In den Kommentaren lass ich gestern sinngemäß: wen wundert es, alle wissen, dass #LLMs ständig Fehler machen.
-
Grundsätzlich richtig (allerdings: ich erinnere Zeiten, in denen alle (!) Widerrufsbelehrungen und alle (!) Hartz4-Bescheide falsch waren, restlos alle).
Aber mich interessiert hier die menschliche Seite, nicht die technische. Warum reagieren wir in der aktuellen Situation, wie wir reagieren?
@AwetTesfaiesus weil ich Angst davor habe das nicht nur ein paar Entscheidungen eine hohe menschliche Fehlerquote haben sondern alle Entscheidungen die bisher eine Fehlerquote von 0% hatten.
-
Konkret: Ich könnte mir vorstellen, dass in dieser (!) konkreten Herangehensweisen an KI viel Coping steckt. Lügen wir uns hier kollektiv in die eigene (intellektuelle) Tasche?
Oder pfeifen wir hier sogar schon verzweifelt im Walde?
Liege ich komplett falsch?
@AwetTesfaiesus
Die Problematik bei KI-basierten Fehlern vs Fehlern anderer Systeme ist das Erkennen und Korrigieren von Fehlern.
Ich arbeite mit solchen Systemen, die am Ende möglichst wenig Fehler aufweisen sollen. KI fällt es schwer mitzuteilen, wann ihre Ergebnisse unsicher sind, wenn deren Grundlagen Zweifel erlauben. Das ist bei anderen Systemen einfacher, weil deren Grundlage leichter ermittelbar sind.
Fehlerarten sind auch nicht gleich. Es gibt lässliche und schwerwiegende.
1/ -
@Awet Tesfaiesus, MdB ich denke, das ist die falsche argumentation. niemand möchte maschinen, die regelmäßig fehler machen, ohne die korrigieren zu können. zb zugfahren, mit autos fahren, die zu 40 - 70% falsch sind. 40% fehler bei selbstfahrenden autos werden diese geräte nicht beliebt machen.
Das ist mir klar; warum sind wir nicht in gleichem Maße entsetzt, wenn Menschen regelmäßig diese Fehler machen.
-
In den Kommentaren lass ich gestern sinngemäß: wen wundert es, alle wissen, dass #LLMs ständig Fehler machen. @marcuwekling sagte am Montag bei der Lesung Ähnliches.
Dazu:
1️⃣In der juristischen Ausbildung lernst du, dass 50-70% der Verwaltungsakt falsch sind. Default: falsch!
2️⃣Dazu: in meiner Schulzeit waren Atlanten/Karten immer falsch (DDR drin, teils Saarland draußen, Jugoslawien komplett). Ich habe nicht gehört, dass über Schulen ähnlich gesprochen wird, wie über LLMs. #ki@marcuwekling @AwetTesfaiesus Naja falsche veraltete Informationen zu haben auf denen man aufbaut ist das eine, nicht auf verfügbare neuere Informationen zurückzugreifen bzw. sie zu ignorieren das andere. Ich hatte mal vor gut einem Monat Microsofts Copilot gefragt wer der aktuelle US Vizepräsident ist. Und trotz Nachfragen und Ausführungen meinerseits das das nicht stimmen kann, hat Copilot darauf beharrt das Kamala Harris die Vizepräsidentin von Donald Trump ist. Und da half auch alles Gegenargumentieren nicht. Die Frage ist also auch wie flexibel solche LLMs sind auf Veränderungen zu reagieren. -
@AwetTesfaiesus LLMs erzeugen plausibel aussehende Texte. Die sind *immer* zufällig gewürfelt, aber ziemlich oft passen sie, weil die statistische Verteilung des Ausgangsmaterials die Wahrscheinlichkeiten vorgibt.
Das ist es was passiert. Das große Problem ist, dass diese Dinger mit viel zu viel Bedeutung aufgeladen werden, von Befürwortern wie von manchen Gegnern.
Mein persönlicher Standpunkt entspricht ungefähr dem Artikel „I am an AI hater“: http://anthonymoser.github.io/writing/ai/haterdom/2025/08/26/i-am-an-ai-hater.html
Anwälte verdienen exakt damit ihren Lebensunterhalt ... seit Jahrtausenden.
-
@AwetTesfaiesus weil ich Angst davor habe das nicht nur ein paar Entscheidungen eine hohe menschliche Fehlerquote haben sondern alle Entscheidungen die bisher eine Fehlerquote von 0% hatten.
@hbauer Darf ich fragen: Wo hast Du eine Fehlerquote von 0 erlebt?
-
@AwetTesfaiesus
Die Problematik bei KI-basierten Fehlern vs Fehlern anderer Systeme ist das Erkennen und Korrigieren von Fehlern.
Ich arbeite mit solchen Systemen, die am Ende möglichst wenig Fehler aufweisen sollen. KI fällt es schwer mitzuteilen, wann ihre Ergebnisse unsicher sind, wenn deren Grundlagen Zweifel erlauben. Das ist bei anderen Systemen einfacher, weil deren Grundlage leichter ermittelbar sind.
Fehlerarten sind auch nicht gleich. Es gibt lässliche und schwerwiegende.
1/@AwetTesfaiesus
2.
Eine Antwort auf o.g. Problematik sind teurere LLM mit Reasoning.
Die bieten dennoch nicht die gleichen Einstellmöglichkeit eines transparenten Fehlerhandlings. -
@AwetTesfaiesus
2.
Eine Antwort auf o.g. Problematik sind teurere LLM mit Reasoning.
Die bieten dennoch nicht die gleichen Einstellmöglichkeit eines transparenten Fehlerhandlings.@Nowhereman Off topic: Ich bin von Reasoning nicht überzeugt.
-
Anwälte verdienen exakt damit ihren Lebensunterhalt ... seit Jahrtausenden.
@AwetTesfaiesus
Die machen etwas mehr als das.Anwält*innen können lernen und haben Motivation, Perspektiven und Interpretationen.
Das fehlt alles bei LLMs.
Eine Anwältin kannst du fragen, wie sie zu einem Schluss gekommen ist und sie wird es dir erklären können, mit mehr Substanz als „diese Worte hab ich mal in ähnlicher Reihenfolge irgendwo gesehen“.
LLMs werden wieder Text produzieren, der aussieht, wie andere Antworten auf ähnliche Fragen aus dem Quellmaterial.
-
@marcuwekling @AwetTesfaiesus Naja falsche veraltete Informationen zu haben auf denen man aufbaut ist das eine, nicht auf verfügbare neuere Informationen zurückzugreifen bzw. sie zu ignorieren das andere. Ich hatte mal vor gut einem Monat Microsofts Copilot gefragt wer der aktuelle US Vizepräsident ist. Und trotz Nachfragen und Ausführungen meinerseits das das nicht stimmen kann, hat Copilot darauf beharrt das Kamala Harris die Vizepräsidentin von Donald Trump ist. Und da half auch alles Gegenargumentieren nicht. Die Frage ist also auch wie flexibel solche LLMs sind auf Veränderungen zu reagieren.
Aber: ähnliche Anekdoten kann ich Dir von Menschen erzählen.
Da sehen mich die Leute in einer Kirche, hören, dass ich Gemeindemitglied bin, ... und sagen mir anschließend: Toll, dass Sie als Muslima zu unserem Gottesdienst kommen.
️ -
@AwetTesfaiesus
Die machen etwas mehr als das.Anwält*innen können lernen und haben Motivation, Perspektiven und Interpretationen.
Das fehlt alles bei LLMs.
Eine Anwältin kannst du fragen, wie sie zu einem Schluss gekommen ist und sie wird es dir erklären können, mit mehr Substanz als „diese Worte hab ich mal in ähnlicher Reihenfolge irgendwo gesehen“.
LLMs werden wieder Text produzieren, der aussieht, wie andere Antworten auf ähnliche Fragen aus dem Quellmaterial.
Ich fürchte, da geht unsere Einschätzung über Angehörige meines Berufs doch sehr auseinander.
Ich sehe da wohl deutlich mehr Ähnlichkeiten als Unterschiede.
-
@AwetTesfaiesus
2.
Eine Antwort auf o.g. Problematik sind teurere LLM mit Reasoning.
Die bieten dennoch nicht die gleichen Einstellmöglichkeit eines transparenten Fehlerhandlings.@AwetTesfaiesus
3 KI ist unschlagbar hilfreich, wenn es um schnelle trainierbare Entscheidungen geht. Ich vergleiche es gerne mit trainierte Reflexe.Im sprachlichen Umfeld nennt man solche Reflexe allerdings auch Vorurteile. Selbst solche sind manchmal hilfreicher als ihr Ruf, aber wir wissen alle um ihre Problematik und haben hoffentlich Strategien dagegen.
-
Ich fürchte, da geht unsere Einschätzung über Angehörige meines Berufs doch sehr auseinander.
Ich sehe da wohl deutlich mehr Ähnlichkeiten als Unterschiede.
@AwetTesfaiesus Natürlich gibt es überall Laberköppe, aber das hat jetzt mit LLMs nichts zu tun.
Z.B. ist mir nicht bekannt, dass irgendwer neue Atomkraftwerke bauen will, um mehr Anwält*innen auszubilden und zu betreiben.
-
@AwetTesfaiesus Natürlich gibt es überall Laberköppe, aber das hat jetzt mit LLMs nichts zu tun.
Z.B. ist mir nicht bekannt, dass irgendwer neue Atomkraftwerke bauen will, um mehr Anwält*innen auszubilden und zu betreiben.
@chris_evelyn Ressourcen-Nutzung ist ein total valider Punkt. Aber jenseits dessen interessiert mich, was in und mit uns Menschen konkret passiert, wenn wir KI kritisieren.
-
Konkret: Ich könnte mir vorstellen, dass in dieser (!) konkreten Herangehensweisen an KI viel Coping steckt. Lügen wir uns hier kollektiv in die eigene (intellektuelle) Tasche?
Oder pfeifen wir hier sogar schon verzweifelt im Walde?
Liege ich komplett falsch?
Fehlerhaft und Fehlerhaft sind hier in diesem Vergleich aber auch zwei paar Schuhe, wenn es um KI geht, versus Mensch.
Ich hab bisher von keinem Verwaltungsakt gehört, der das Gurgeln von Rohrreiniger als Mittel gegen Covid empfiehlt, mal so als Beispiel.
-
@AwetTesfaiesus Natürlich gibt es überall Laberköppe, aber das hat jetzt mit LLMs nichts zu tun.
Z.B. ist mir nicht bekannt, dass irgendwer neue Atomkraftwerke bauen will, um mehr Anwält*innen auszubilden und zu betreiben.
@chris_evelyn Ressourcen-Nutzung ist ein total valider Punkt. Aber jenseits dessen interessiert mich, was in und mit uns Menschen konkret passiert, wenn wir KI kritisieren.
-
@oldperl Meinst Du "Noch mehr Bullsh*t ist gerade nicht, was wir brauchen?"
@AwetTesfaiesus nein, ich meine, und wünsche mir, wieder mehr Ehrlichkeit, verbunden mit mehr Gewissen.
Es geht nicht um "mehr Bullshit", es geht um möglichst "kein Bullshit"
Wir haben so viele Baustellen, sowohl im Land als in der Welt.
Klima, Sozialstaat, Europa - so viele Baustellen, und nur Schönredner:innen und Populist:innen am Ruder, oder eben Wirtschafts-gesteuerte Blackrock-Jünger.
Räumt endlich den @bundestag auf! Was macht ein Steuerverschwender wie #Spahn noch im Amt?
-
@chris_evelyn Ressourcen-Nutzung ist ein total valider Punkt. Aber jenseits dessen interessiert mich, was in und mit uns Menschen konkret passiert, wenn wir KI kritisieren.
@AwetTesfaiesus Das war ein bisschen Snark gerade.
Aber da sind wir wieder bei meiner ersten Antwort: Wir neigen dazu, „KI“ zu überschätzen und mit zu viel Bedeutung zu versehen, weil die Ausgabe eben aussieht wie Sprache.
Und die Marketing-Abteilungen der KI-Firmen tun natürlich nicht nicht viel, uns davon abzubringen.
-
Fehlerhaft und Fehlerhaft sind hier in diesem Vergleich aber auch zwei paar Schuhe, wenn es um KI geht, versus Mensch.
Ich hab bisher von keinem Verwaltungsakt gehört, der das Gurgeln von Rohrreiniger als Mittel gegen Covid empfiehlt, mal so als Beispiel.
Dann haben wir wohl nicht denselben Horizont. Aus einer Akte von mir:
"Die Antragstellerin ist insoweit zur Mitwirkung verpflichtet. Vor diesem Hintergrund ist es schlechterdings nicht nachvollziehbar, warum sich die Antragstellerin angeblich nicht auf eine 300km lange Reise durch das IS-Gebiet begibt, um ihre Geburts- und Diplomurkunde persönlich in Rakka holen. Sie könnte ja auch ihre derzeit in Camp in der Türkei lebende Schwester schicken."
-
3️⃣40%-50% der Internetseiten sind jur. fehlerhaft.
Bei aller offensichtlichen Gefährlichkeit gerade für die Kreativbrache: Menschen machen mE ständig (!) Fehler!
Ich frage mich, ob wir bei #KI zu oft/leicht mit zweierlei Maß für Richtigkeit messen, wenn es um Fehlerhaftigkeit geht.
Ich frage mich auch ehrlich, welche Mechanismen bei uns am Werk sind. Welches Maß legen wir hier an und warum?
Sind wir evtl (zu sehr) daran gewöhnt, dass Algorithmen zu zuverlässig sind?
Die genannte Fehlerquote bei Verwaltungsakten erscheint mir relativ hoch gegriffen. Das Wunderbare ist dann ja aber auch, dass ein Korrekturmechanismus dennoch bereits angelegt ist, mittels Einspruch/Widerspruch oder zB im Steuerrecht weiterer Korrekturmöglichkeiten.
Also ja: Menschen sind auch fehlerbehaftet, aber dafür sind es eben Menschen und Nicht Marketing-Sprechblasen.
