In den Kommentaren lass ich gestern sinngemäß: wen wundert es, alle wissen, dass #LLMs ständig Fehler machen.
-
@BrennpunktUA jedes Foto, das ich mit dem Handy mache ist einmal durch die KI gegangen und aufgehübscht worden (Himmel!).
-
@oldperl ich möchte klarstellen: ich frage mich u.A. warum wir menschlichen Aussagen nicht mit derselben Skepsis begegnen, wie der KI und zwar selbst dann nicht, wenn wir wissen, dass die Ergebnisse mit über 50%iger Wahrscheinlichkeit falsch sind (Jobcenterbescheid?). Wieso ist die falsche „Map of Europe“ ein Anlass zur Empörung, die 10tausend falschen Karten in unseren Schulen aber nicht?
@AwetTesfaiesus weil wir von Maschinen eben korrekte Antworten erwarten. Was würdest Du zu einem Taschenrechner sagen, der zu Deiner Frage, was ist 1 + 1? mal mit 3, mal mit 1 oder mal mit 2 antwortet.
Und ja, das ist zweierlei Maß, und in vielen Bereichen nicht ok. Doch daran müsstet zu allererst ihr, als MdB arbeiten.
-
Das stimmt sicher (wir nennen das dann Widerspruchsbehörde, ... und schaffen sie ständig ab).
Aber mich interessiert wirklich eher die menschliche Seite des Themas.
-
Konkret: Ich könnte mir vorstellen, dass in dieser (!) konkreten Herangehensweisen an KI viel Coping steckt. Lügen wir uns hier kollektiv in die eigene (intellektuelle) Tasche?
Oder pfeifen wir hier sogar schon verzweifelt im Walde?
Liege ich komplett falsch?
@Awet Tesfaiesus, MdB ich denke, das ist die falsche argumentation. niemand möchte maschinen, die regelmäßig fehler machen, ohne die korrigieren zu können. zb zugfahren, mit autos fahren, die zu 40 - 70% falsch sind. 40% fehler bei selbstfahrenden autos werden diese geräte nicht beliebt machen. -
Überhöhen wir uns Menschen da nicht evtl.? "Gewissenhaftes Lektorieren" ist auch nicht die Stärke von Menschen.
Juristen belegen ihre Aussagen (teils wort-weise) mit Fundstellen. Es war schon immer ein Running Gag im Jura-Studium, diese Fundstellen nachzuschlagen und festzustellen, dass das vermeintlich zitierte da überhaupt nicht steht. Gleichwohl wird die Fundstelle brav von einem Gericht nach dem nächsten übernommen. Oft wird nicht geprüft.
-
@AwetTesfaiesus
Mitglieder des Bundestages sind (sollten sein) Vertreter des Volkes, und sollen dort nach bestem (eigenen) Gewissen Entscheidungen für eben dieses Volk treffen.Doch geschieht das wirklich noch. Ich denke nicht. Wir werden inzwischen von Einzelnen und Partei-Vorgaben regiert, und wer sich dem Fraktionszwang nicht unterwirft, ist schnell raus.
Und dann kommt noch eine "lügende" Maschine daher, gesteuert von Oligarchen, und wir sollen dort auch weg oder nicht so genau schauen.
@oldperl Meinst Du "Noch mehr Bullsh*t ist gerade nicht, was wir brauchen?"
-
@AwetTesfaiesus weil wir von Maschinen eben korrekte Antworten erwarten. Was würdest Du zu einem Taschenrechner sagen, der zu Deiner Frage, was ist 1 + 1? mal mit 3, mal mit 1 oder mal mit 2 antwortet.
Und ja, das ist zweierlei Maß, und in vielen Bereichen nicht ok. Doch daran müsstet zu allererst ihr, als MdB arbeiten.
@oldperl Das scheint mir in der Tat auch so.
-
Grundsätzlich richtig (allerdings: ich erinnere Zeiten, in denen alle (!) Widerrufsbelehrungen und alle (!) Hartz4-Bescheide falsch waren, restlos alle).
Aber mich interessiert hier die menschliche Seite, nicht die technische. Warum reagieren wir in der aktuellen Situation, wie wir reagieren?
@AwetTesfaiesus weil ich Angst davor habe das nicht nur ein paar Entscheidungen eine hohe menschliche Fehlerquote haben sondern alle Entscheidungen die bisher eine Fehlerquote von 0% hatten.
-
Konkret: Ich könnte mir vorstellen, dass in dieser (!) konkreten Herangehensweisen an KI viel Coping steckt. Lügen wir uns hier kollektiv in die eigene (intellektuelle) Tasche?
Oder pfeifen wir hier sogar schon verzweifelt im Walde?
Liege ich komplett falsch?
@AwetTesfaiesus
Die Problematik bei KI-basierten Fehlern vs Fehlern anderer Systeme ist das Erkennen und Korrigieren von Fehlern.
Ich arbeite mit solchen Systemen, die am Ende möglichst wenig Fehler aufweisen sollen. KI fällt es schwer mitzuteilen, wann ihre Ergebnisse unsicher sind, wenn deren Grundlagen Zweifel erlauben. Das ist bei anderen Systemen einfacher, weil deren Grundlage leichter ermittelbar sind.
Fehlerarten sind auch nicht gleich. Es gibt lässliche und schwerwiegende.
1/ -
@Awet Tesfaiesus, MdB ich denke, das ist die falsche argumentation. niemand möchte maschinen, die regelmäßig fehler machen, ohne die korrigieren zu können. zb zugfahren, mit autos fahren, die zu 40 - 70% falsch sind. 40% fehler bei selbstfahrenden autos werden diese geräte nicht beliebt machen.
Das ist mir klar; warum sind wir nicht in gleichem Maße entsetzt, wenn Menschen regelmäßig diese Fehler machen.
-
In den Kommentaren lass ich gestern sinngemäß: wen wundert es, alle wissen, dass #LLMs ständig Fehler machen. @marcuwekling sagte am Montag bei der Lesung Ähnliches.
Dazu:
1️⃣In der juristischen Ausbildung lernst du, dass 50-70% der Verwaltungsakt falsch sind. Default: falsch!
2️⃣Dazu: in meiner Schulzeit waren Atlanten/Karten immer falsch (DDR drin, teils Saarland draußen, Jugoslawien komplett). Ich habe nicht gehört, dass über Schulen ähnlich gesprochen wird, wie über LLMs. #ki@marcuwekling @AwetTesfaiesus Naja falsche veraltete Informationen zu haben auf denen man aufbaut ist das eine, nicht auf verfügbare neuere Informationen zurückzugreifen bzw. sie zu ignorieren das andere. Ich hatte mal vor gut einem Monat Microsofts Copilot gefragt wer der aktuelle US Vizepräsident ist. Und trotz Nachfragen und Ausführungen meinerseits das das nicht stimmen kann, hat Copilot darauf beharrt das Kamala Harris die Vizepräsidentin von Donald Trump ist. Und da half auch alles Gegenargumentieren nicht. Die Frage ist also auch wie flexibel solche LLMs sind auf Veränderungen zu reagieren. -
@AwetTesfaiesus LLMs erzeugen plausibel aussehende Texte. Die sind *immer* zufällig gewürfelt, aber ziemlich oft passen sie, weil die statistische Verteilung des Ausgangsmaterials die Wahrscheinlichkeiten vorgibt.
Das ist es was passiert. Das große Problem ist, dass diese Dinger mit viel zu viel Bedeutung aufgeladen werden, von Befürwortern wie von manchen Gegnern.
Mein persönlicher Standpunkt entspricht ungefähr dem Artikel „I am an AI hater“: http://anthonymoser.github.io/writing/ai/haterdom/2025/08/26/i-am-an-ai-hater.html
Anwälte verdienen exakt damit ihren Lebensunterhalt ... seit Jahrtausenden.
-
@AwetTesfaiesus weil ich Angst davor habe das nicht nur ein paar Entscheidungen eine hohe menschliche Fehlerquote haben sondern alle Entscheidungen die bisher eine Fehlerquote von 0% hatten.
@hbauer Darf ich fragen: Wo hast Du eine Fehlerquote von 0 erlebt?
-
@AwetTesfaiesus
Die Problematik bei KI-basierten Fehlern vs Fehlern anderer Systeme ist das Erkennen und Korrigieren von Fehlern.
Ich arbeite mit solchen Systemen, die am Ende möglichst wenig Fehler aufweisen sollen. KI fällt es schwer mitzuteilen, wann ihre Ergebnisse unsicher sind, wenn deren Grundlagen Zweifel erlauben. Das ist bei anderen Systemen einfacher, weil deren Grundlage leichter ermittelbar sind.
Fehlerarten sind auch nicht gleich. Es gibt lässliche und schwerwiegende.
1/@AwetTesfaiesus
2.
Eine Antwort auf o.g. Problematik sind teurere LLM mit Reasoning.
Die bieten dennoch nicht die gleichen Einstellmöglichkeit eines transparenten Fehlerhandlings. -
@AwetTesfaiesus
2.
Eine Antwort auf o.g. Problematik sind teurere LLM mit Reasoning.
Die bieten dennoch nicht die gleichen Einstellmöglichkeit eines transparenten Fehlerhandlings.@Nowhereman Off topic: Ich bin von Reasoning nicht überzeugt.
-
Anwälte verdienen exakt damit ihren Lebensunterhalt ... seit Jahrtausenden.
@AwetTesfaiesus
Die machen etwas mehr als das.Anwält*innen können lernen und haben Motivation, Perspektiven und Interpretationen.
Das fehlt alles bei LLMs.
Eine Anwältin kannst du fragen, wie sie zu einem Schluss gekommen ist und sie wird es dir erklären können, mit mehr Substanz als „diese Worte hab ich mal in ähnlicher Reihenfolge irgendwo gesehen“.
LLMs werden wieder Text produzieren, der aussieht, wie andere Antworten auf ähnliche Fragen aus dem Quellmaterial.
-
@marcuwekling @AwetTesfaiesus Naja falsche veraltete Informationen zu haben auf denen man aufbaut ist das eine, nicht auf verfügbare neuere Informationen zurückzugreifen bzw. sie zu ignorieren das andere. Ich hatte mal vor gut einem Monat Microsofts Copilot gefragt wer der aktuelle US Vizepräsident ist. Und trotz Nachfragen und Ausführungen meinerseits das das nicht stimmen kann, hat Copilot darauf beharrt das Kamala Harris die Vizepräsidentin von Donald Trump ist. Und da half auch alles Gegenargumentieren nicht. Die Frage ist also auch wie flexibel solche LLMs sind auf Veränderungen zu reagieren.
Aber: ähnliche Anekdoten kann ich Dir von Menschen erzählen.
Da sehen mich die Leute in einer Kirche, hören, dass ich Gemeindemitglied bin, ... und sagen mir anschließend: Toll, dass Sie als Muslima zu unserem Gottesdienst kommen.
️ -
@AwetTesfaiesus
Die machen etwas mehr als das.Anwält*innen können lernen und haben Motivation, Perspektiven und Interpretationen.
Das fehlt alles bei LLMs.
Eine Anwältin kannst du fragen, wie sie zu einem Schluss gekommen ist und sie wird es dir erklären können, mit mehr Substanz als „diese Worte hab ich mal in ähnlicher Reihenfolge irgendwo gesehen“.
LLMs werden wieder Text produzieren, der aussieht, wie andere Antworten auf ähnliche Fragen aus dem Quellmaterial.
Ich fürchte, da geht unsere Einschätzung über Angehörige meines Berufs doch sehr auseinander.
Ich sehe da wohl deutlich mehr Ähnlichkeiten als Unterschiede.
-
@AwetTesfaiesus
2.
Eine Antwort auf o.g. Problematik sind teurere LLM mit Reasoning.
Die bieten dennoch nicht die gleichen Einstellmöglichkeit eines transparenten Fehlerhandlings.@AwetTesfaiesus
3 KI ist unschlagbar hilfreich, wenn es um schnelle trainierbare Entscheidungen geht. Ich vergleiche es gerne mit trainierte Reflexe.Im sprachlichen Umfeld nennt man solche Reflexe allerdings auch Vorurteile. Selbst solche sind manchmal hilfreicher als ihr Ruf, aber wir wissen alle um ihre Problematik und haben hoffentlich Strategien dagegen.
-
Ich fürchte, da geht unsere Einschätzung über Angehörige meines Berufs doch sehr auseinander.
Ich sehe da wohl deutlich mehr Ähnlichkeiten als Unterschiede.
@AwetTesfaiesus Natürlich gibt es überall Laberköppe, aber das hat jetzt mit LLMs nichts zu tun.
Z.B. ist mir nicht bekannt, dass irgendwer neue Atomkraftwerke bauen will, um mehr Anwält*innen auszubilden und zu betreiben.
