In den Kommentaren lass ich gestern sinngemäß: wen wundert es, alle wissen, dass #LLMs ständig Fehler machen.
-
In den Kommentaren lass ich gestern sinngemäß: wen wundert es, alle wissen, dass #LLMs ständig Fehler machen. @marcuwekling sagte am Montag bei der Lesung Ähnliches.
Dazu:
1️⃣In der juristischen Ausbildung lernst du, dass 50-70% der Verwaltungsakt falsch sind. Default: falsch!
2️⃣Dazu: in meiner Schulzeit waren Atlanten/Karten immer falsch (DDR drin, teils Saarland draußen, Jugoslawien komplett). Ich habe nicht gehört, dass über Schulen ähnlich gesprochen wird, wie über LLMs. #ki"Ich habe nicht gehört, dass über Schulen ähnlich gesprochen wird, wie über LLMs"
- Ich schon, und zwar z.B. hier: https://social.tchncs.de/deck/@pikarl@reporter.social/115592442929731733 was zu xn--berholt-m2a.schule/ führte. -
@AwetTesfaiesus weil wir von Maschinen eben korrekte Antworten erwarten. Was würdest Du zu einem Taschenrechner sagen, der zu Deiner Frage, was ist 1 + 1? mal mit 3, mal mit 1 oder mal mit 2 antwortet.
Und ja, das ist zweierlei Maß, und in vielen Bereichen nicht ok. Doch daran müsstet zu allererst ihr, als MdB arbeiten.
@oldperl
hm, aus meiner Perspektive ist es eben nicht "zweierlei Maß", weil es sich um unterschiedliche Formen der Bearbeitung von Aufträgen handelt. Was Menschen machen, können/machen nur Menschen; Menschen können nicht "künstlich" denken, so wie Algorithmen nicht "menschlich" denken/arbeiten. Es ist eine Folge der (unterstelltermaßen interessengeleiteten) Benennuung
jenes Arbeits-/Forschungs-/Wirtschaftsbereiches rund um LLMs etc. als "Künstliche Intelligenz".
@AwetTesfaiesus -
und ich hatte 15 Jahre Schmerztherapie, bin von Arzt zu Arzt geschickt worden mit dutzenden Diagnosen. Nicht alle Ärzte sind automatisch kompetent.
@TheOneSwit das sage ich doch gar nicht, aber die Fehlerhäufigkeit bei Globuli Verschreibern ist deutlich höher @AwetTesfaiesus
-
In den Kommentaren lass ich gestern sinngemäß: wen wundert es, alle wissen, dass #LLMs ständig Fehler machen. @marcuwekling sagte am Montag bei der Lesung Ähnliches.
Dazu:
1️⃣In der juristischen Ausbildung lernst du, dass 50-70% der Verwaltungsakt falsch sind. Default: falsch!
2️⃣Dazu: in meiner Schulzeit waren Atlanten/Karten immer falsch (DDR drin, teils Saarland draußen, Jugoslawien komplett). Ich habe nicht gehört, dass über Schulen ähnlich gesprochen wird, wie über LLMs. #kiEine Maschine, die mir eine korrekte Information liefern soll, sollte eine niedrigere Fehlerquote haben - ich warte ja gerade die Rechercheleistung, die ich sonst selbst erbringen muss. Gleichzeitig hat Marc-Uwe gestern einen diesbezüglich wichtigen Aspekt angesprochen: Die KI-Texte klingen oft so wahrscheinlich, obwohl sie falsch sind. Sie wecken Vertrauen, das nicht gerechtfertigt ist.
Und wer ist generell bei menschlichen Aussagen weniger skeptisch?
1/x
-
@AwetTesfaiesus
Gymnasium während der 2000er.
Wir hatten nen Diercke Atlas, aber wenig länderspezifisch damit gearbeitet. Eher mit den Klimakarten und den Vegetationszonen etc.
Später hatte ich geography wg. bilingualem Unterricht, dafür gab es kein klassisches Lehrbuch.Ich erinnere mich nur, dass die Erdkunde-Leute irgendwas zu Fruchtfolgen lernen mussten, so als gäbe es noch Kartoffelferien.
An falsche Landkarten erinnere ich mich nicht.
In der Zeit war aber auch nicht so viel Umbruch in lehrplanrelevanten Regionen. Könnte also auch ein "Jahrzehnt"-assoziiertes Problem sein.@Aubrieta
ja, ich gehe auch davon aus, dass die für die Erstellung der Schulmaterialien zuständigen Verlage seit etwa 1989 unentwegt redigieren mussten und dass weder Schulen noch Verlage hinterherkamen, sämtliche Bildungseinrichtungen ständig mit aktuellen/richtigen Ausgaben zu versorgen.
@AwetTesfaiesus @oldperl -
Eine Maschine, die mir eine korrekte Information liefern soll, sollte eine niedrigere Fehlerquote haben - ich warte ja gerade die Rechercheleistung, die ich sonst selbst erbringen muss. Gleichzeitig hat Marc-Uwe gestern einen diesbezüglich wichtigen Aspekt angesprochen: Die KI-Texte klingen oft so wahrscheinlich, obwohl sie falsch sind. Sie wecken Vertrauen, das nicht gerechtfertigt ist.
Und wer ist generell bei menschlichen Aussagen weniger skeptisch?
1/x
Man vertraut zwar einem #Experten in seinem Gebiet mehr, einem #Journalist oder #Richter vielleicht auch. Aber wenn #Dieseldieter mit hocheffiziente Verbrenner erklärt, dann gehe ich in die Debatte.
Kann man übrigens mit der KI nicht wirklich.
Deine beiden Beispiel sind für mich zudem nicht nachvollziehbar:
1. VA können gerichtlich überprüft werden. Die Skepsis gegen die Richtigkeit ist also bereits im System verankert. Woher stammen Deine %-Angaben...
2/x
-
Man vertraut zwar einem #Experten in seinem Gebiet mehr, einem #Journalist oder #Richter vielleicht auch. Aber wenn #Dieseldieter mit hocheffiziente Verbrenner erklärt, dann gehe ich in die Debatte.
Kann man übrigens mit der KI nicht wirklich.
Deine beiden Beispiel sind für mich zudem nicht nachvollziehbar:
1. VA können gerichtlich überprüft werden. Die Skepsis gegen die Richtigkeit ist also bereits im System verankert. Woher stammen Deine %-Angaben...
2/x
@Der_zuversichtliche_Daniel @marcuwekling wie ich bereits schrieb: die Prozentangaben stammen aus der Ausbildung. Viele davon kannst du googeln.
Die Angaben zu den BAMF-bescheiden schöpfe ich aus eigener Anschauung
-
Man vertraut zwar einem #Experten in seinem Gebiet mehr, einem #Journalist oder #Richter vielleicht auch. Aber wenn #Dieseldieter mit hocheffiziente Verbrenner erklärt, dann gehe ich in die Debatte.
Kann man übrigens mit der KI nicht wirklich.
Deine beiden Beispiel sind für mich zudem nicht nachvollziehbar:
1. VA können gerichtlich überprüft werden. Die Skepsis gegen die Richtigkeit ist also bereits im System verankert. Woher stammen Deine %-Angaben...
2/x
eigentlich? Und wieso nennst Du eine so große Spanne? Und ist darin berücksichtigt, dass nicht jeder Fehler sich im Ergebnis auswirkt und was ist mit falsch positiven Bescheiden, sind die gleich schlimm wie negative?
2. Falsche Atlanten basieren in der Regel vermutlich eher auf Überalterung und nicht auf einem menschlichen Fehler bei der Erstellung. Das ist also gar nicht vergleichbar mit dem Problem, dass eine KI, die vorgibt aktuell zu sein, falsche...
3/x
-
eigentlich? Und wieso nennst Du eine so große Spanne? Und ist darin berücksichtigt, dass nicht jeder Fehler sich im Ergebnis auswirkt und was ist mit falsch positiven Bescheiden, sind die gleich schlimm wie negative?
2. Falsche Atlanten basieren in der Regel vermutlich eher auf Überalterung und nicht auf einem menschlichen Fehler bei der Erstellung. Das ist also gar nicht vergleichbar mit dem Problem, dass eine KI, die vorgibt aktuell zu sein, falsche...
3/x
@Der_zuversichtliche_Daniel @marcuwekling das Gebiet der DDR wurde extra nicht als Ausland markiert. Die DDR saß mit der Bundesrepublik zur gleichen Zeit in der UN Vollversammlung.
-
eigentlich? Und wieso nennst Du eine so große Spanne? Und ist darin berücksichtigt, dass nicht jeder Fehler sich im Ergebnis auswirkt und was ist mit falsch positiven Bescheiden, sind die gleich schlimm wie negative?
2. Falsche Atlanten basieren in der Regel vermutlich eher auf Überalterung und nicht auf einem menschlichen Fehler bei der Erstellung. Das ist also gar nicht vergleichbar mit dem Problem, dass eine KI, die vorgibt aktuell zu sein, falsche...
3/x
Ergebnisse auswirft.
Zuletzt noch eine Frage dazu, welche Schlussfolgerung Du aus dem Vergleich ziehst:
Für mich ist klar, dass Automatisierung nur dann Sinn ergibt, wenn dadurch die Fehlerzahl sinkt. Das scheint mir aber gerade nicht der Fall. Vielmehr sinkt nur die Überprüf- und Feststellbarkeit. Dann doch lieber falsche, aber nachvollziehbare menschliche Entscheidungen, oder?
Dann können die RA, die vor allem streiten um Geld zu verdienen, durch...
4/x
-
eigentlich? Und wieso nennst Du eine so große Spanne? Und ist darin berücksichtigt, dass nicht jeder Fehler sich im Ergebnis auswirkt und was ist mit falsch positiven Bescheiden, sind die gleich schlimm wie negative?
2. Falsche Atlanten basieren in der Regel vermutlich eher auf Überalterung und nicht auf einem menschlichen Fehler bei der Erstellung. Das ist also gar nicht vergleichbar mit dem Problem, dass eine KI, die vorgibt aktuell zu sein, falsche...
3/x
@Der_zuversichtliche_Daniel @marcuwekling mir ist nicht klar, was du mit falsch positiven bescheiden meinst. Hartz IV, dass gewährt wird, obwohl die Voraussetzung nicht vorliegen?
-
hm, was meint denn "nachbilden"? Letztlich ist eine Rechen-/und Rechner-Leistung immer ("nur") eine Rechenleistung und schlicht etwas anderes als die Leistung eines menchlichen Gehirns. Die Verarbeitungsprozesse eines Körpers mit entsprechenden Schnittstellen zur Umwelt können nicht "nachgebildet" werden. Man sollte aufhören, diese schrägen Narrative von sog. Künstlicher "Intelligenz" usw. mitzutragen.
-
@TheOneSwit das sage ich doch gar nicht, aber die Fehlerhäufigkeit bei Globuli Verschreibern ist deutlich höher @AwetTesfaiesus
Ja, und da stimme ich dir zu was die Erwartung an LLM's betrifft. Wie können wir perfektion von künstlicher Intelligenz erwarten wenn unsere reale Intelligenz schon so mangelhaft ist.
Wie können wir auf erfolg hoffen wenn ein Elon Musk seine LLM schon so programmiert dass sie seine Wahrheiten verbreiten soll und seine großartigkeit preisen.
Einzigen Vorteil einer LLM seh ich im fehlen von Emotionen. Mit den richtigen Daten als Input erhält man nüchterne Antwort
-
Ergebnisse auswirft.
Zuletzt noch eine Frage dazu, welche Schlussfolgerung Du aus dem Vergleich ziehst:
Für mich ist klar, dass Automatisierung nur dann Sinn ergibt, wenn dadurch die Fehlerzahl sinkt. Das scheint mir aber gerade nicht der Fall. Vielmehr sinkt nur die Überprüf- und Feststellbarkeit. Dann doch lieber falsche, aber nachvollziehbare menschliche Entscheidungen, oder?
Dann können die RA, die vor allem streiten um Geld zu verdienen, durch...
4/x
Gerichte korrigiert werden, ebenso wie Behörden, die von Herrn #Dobrindt geleitet werden
und Rechtsanwälte können "gottgleiche" Richter von höheren Instanzen überprüfen lassen.Ähnlich in der Wissenschaft, wo Fachartikel eben von Fachkollegen überprüft werden usw.
5/x
-
Konkret: Ich könnte mir vorstellen, dass in dieser (!) konkreten Herangehensweisen an KI viel Coping steckt. Lügen wir uns hier kollektiv in die eigene (intellektuelle) Tasche?
Oder pfeifen wir hier sogar schon verzweifelt im Walde?
Liege ich komplett falsch?
@AwetTesfaiesus Interessante Frage. Ich habe einige der Diskussionsthreads quer gelesen. Ich habe keinerlei juristische Erfahrung. Hier meine 2c.
Der eigentliche Skandal deiner Aussagen liegt IMHO in der hohen Anzahl der menschlichen Fehler. Wobei politisch motivierte rechtliche Fehler da nicht eingerechnet werden sollten - wir haben verschiedene Ebenen von Fehlern.
1/x
-
@Der_zuversichtliche_Daniel @marcuwekling wie ich bereits schrieb: die Prozentangaben stammen aus der Ausbildung. Viele davon kannst du googeln.
Die Angaben zu den BAMF-bescheiden schöpfe ich aus eigener Anschauung
Ich habe die gleiche Ausbildung genossen, solche Zahlen wurden mir nie genannt
Vor allem aber muss es da ja einen Maßstab geben. Meinst Du weltweit, deutschlandweit, Steuerbescheide, Hartz IV-Bescheide, Asyl-Bescheide, Baugenehmigungen usw.?
Du siehst ich bin an dieser Stelle skeptisch mit Dir und das obwohl Du bei mir anhand vieler Deiner sonstigen Posts durchaus Vertrauen genießt.
-
Ja, und da stimme ich dir zu was die Erwartung an LLM's betrifft. Wie können wir perfektion von künstlicher Intelligenz erwarten wenn unsere reale Intelligenz schon so mangelhaft ist.
Wie können wir auf erfolg hoffen wenn ein Elon Musk seine LLM schon so programmiert dass sie seine Wahrheiten verbreiten soll und seine großartigkeit preisen.
Einzigen Vorteil einer LLM seh ich im fehlen von Emotionen. Mit den richtigen Daten als Input erhält man nüchterne Antwort
@TheOneSwit mag sein, aber zum heutigen Stand erhältst du keine logische Antwort. Du erhältst das Ergebnis, das laut vorhandener Datenlage das häufigste und deshalb das wahrscheinlichste ist. Und das dann auch noch mit einem Datenhaufen, in dem wissenschaftliche Erkenntnisse, die auf Evidenz basieren gleich gewichtet werden mit Hokuspokus und Schwurbelei. Da verzichte ich dann lieber auf diesen #AISlop @AwetTesfaiesus
-
@TheOneSwit Und diese Erfahrung zeigt, dass die Robert Kennedys dieser Welt eher sterben als die, die sich auf wissenschaftliche Evidenz verlassen. Wobei wir wieder bei LLMs landen. Da werden Daten selten gewichtet. Die Esoterik und Schwurbelei wiegen ebenso schwer im Input wie die Wissenschaft. @AwetTesfaiesus
Ja, das "Werkzeug" ist fehlerhaft programmiert und soll aus kapitalistischen/politischen Gründen auch gar nicht richtig funktionieren.
Wäre ja schrecklich wenn so ein Ding nicht bestätigt was Trump, Chamenei, Putin oder auch nur ein Söder sagt. Es würde ja unser Ego verletzen wenn so ein Ding eher recht hätte als ein Mensch.
-
@AwetTesfaiesus Interessante Frage. Ich habe einige der Diskussionsthreads quer gelesen. Ich habe keinerlei juristische Erfahrung. Hier meine 2c.
Der eigentliche Skandal deiner Aussagen liegt IMHO in der hohen Anzahl der menschlichen Fehler. Wobei politisch motivierte rechtliche Fehler da nicht eingerechnet werden sollten - wir haben verschiedene Ebenen von Fehlern.
1/x
@AwetTesfaiesus
Das was du über Juristische Fehler schreibst, hört sich für mich nach einem Skandal an und gebe ich dir Recht: Das sollten wir mindestens so scharf kritisieren und versuchen, zu verbessern. Böse gesprochen (aus Laiensicht): Ist sich die juristische Zunft hier menschlich nicht selbst mehr Wert? Fehler passieren, aber Bullshittexte als quasi Standard der Juristerei - das ist ein gefährliches strukturelles Problem.2/x
-
@Der_zuversichtliche_Daniel @marcuwekling das Gebiet der DDR wurde extra nicht als Ausland markiert. Die DDR saß mit der Bundesrepublik zur gleichen Zeit in der UN Vollversammlung.
Das war nicht in allen Atlanten so und selbst nach Deinem Beispiel ein Spezialfall, der politisch gesteuert war, weil man dadurch die Teilung Deutschlands nicht "anerkennen" wollte.
