In den Kommentaren lass ich gestern sinngemäß: wen wundert es, alle wissen, dass #LLMs ständig Fehler machen.
-
@Gormfull @odrotbohm @marcuwekling Da bin ich mir halt nicht sicher.
@AwetTesfaiesus @odrotbohm @marcuwekling
Sicher bin ich mir offensichtlich auch nicht, sonst hätte ich ja nicht meiner “all-positive” Aussage selbst widersprochen
Ein systematischer Fehler, den die KI wahrscheinlich nicht machen würde ist vor dem Mittagessen negativere Bescheide auszustellen, als kurz nach dem Frühstück.
Beschrieben in diesem auch sonst lesenswerten Buch über fehlerhafte menschliche Heuristiken. -
@anwagnerdreas 1x1 der Zeugenaussage:
"Frau Richterin, ich bin mir ganz sicher, dass sie das war. Da habe ich keinen Zweifel. Das weiß ich deshalb noch so genau, weil zur gleichen Zeit..."In meiner Ausbildung hieß es "lügt wie gedruckt" kommt nicht von ungefähr.
@AwetTesfaiesus das ist mal eine vorteilhafte déformation professionelle.
Oder nicht? -
@AwetTesfaiesus das ist mal eine vorteilhafte déformation professionelle.
Oder nicht?Weiiiiiiiss ich nicht! Weiiiiiiiiss ich nicht!
Sollten nur Volljuristen LLMs benutzen dürfen? Vielleicht! Würde die Welt dadurch besser? Ich habe erhebliche Zweifel!
-
@Gormfull @odrotbohm @marcuwekling Da bin ich mir halt nicht sicher.
@AwetTesfaiesus @odrotbohm @marcuwekling
Was eine richtige Entscheidung ist, ist ja irgendwie auch Verhandlungssache. Und da ist es dann schwer in ein LLM reinzuschauen. Es wird dir einen Text generieren, warum es eine Entscheidung getroffen hat, aber dieser Text wird nicht der Begründung entsprechen, warum es die Entscheidung getroffen hat. Die wäre nämlich schlicht, weil sie in einem 100000 dimensionalen Vektorraum “nahe lag”.
-
@AwetTesfaiesus @odrotbohm @marcuwekling
Was eine richtige Entscheidung ist, ist ja irgendwie auch Verhandlungssache. Und da ist es dann schwer in ein LLM reinzuschauen. Es wird dir einen Text generieren, warum es eine Entscheidung getroffen hat, aber dieser Text wird nicht der Begründung entsprechen, warum es die Entscheidung getroffen hat. Die wäre nämlich schlicht, weil sie in einem 100000 dimensionalen Vektorraum “nahe lag”.
@Gormfull @odrotbohm @marcuwekling ich erinnere mich dunkel an eine (für meine profession wenig vorteilhafte) Dissertation, die (nach meiner Erinnerung) die Rechtspraxis kaum anders darstellte. Ich denke es könnte Somek, Rechtliches Wissen, gewesen sein :
https://www.suhrkamp.de/buch/alexander-somek-rechtliches-wissen-t-9783518294024
-
@AwetTesfaiesus @odrotbohm @marcuwekling
Sicher bin ich mir offensichtlich auch nicht, sonst hätte ich ja nicht meiner “all-positive” Aussage selbst widersprochen
Ein systematischer Fehler, den die KI wahrscheinlich nicht machen würde ist vor dem Mittagessen negativere Bescheide auszustellen, als kurz nach dem Frühstück.
Beschrieben in diesem auch sonst lesenswerten Buch über fehlerhafte menschliche Heuristiken. -
E energisch_@troet.cafe shared this topic
-
Konkret: Ich könnte mir vorstellen, dass in dieser (!) konkreten Herangehensweisen an KI viel Coping steckt. Lügen wir uns hier kollektiv in die eigene (intellektuelle) Tasche?
Oder pfeifen wir hier sogar schon verzweifelt im Walde?
Liege ich komplett falsch?
@AwetTesfaiesus Klar, Menschen machen Fehler. Aber Fehler werden durch Menschen wieder abgefedert, korrigiert, berichtigt. Bei LLMs scheint das nicht der Fall, im Gegenteil! Der Zwang zu Ergebnissen führt dazu, dass immer mehr Fehler generiert werden (auch aus der Quelle menschlicher Fehler). Das potenziert die Fehlerquote.
-
@oldperl ich denke, meine Frage wird missverstanden. Natürlich sollten wir hinterfragen. Ich frage mich aber: hinterfragen wir menschliche Ergebnisse mit demselben Eifer?
@AwetTesfaiesus Ja, dort wo ich selbst Kompetenz mitbringe und dort wo nicht: da suche ich immer nach mehreren glaubwürdigen Quellen. Aber klar, irgendwo kommen alle an Grenzen. Dehalb liebe ich das Fediverse. Das ist ein Netzwerk für menschliche Kompetenzerweiterung
@oldperl -
Konkret: Ich könnte mir vorstellen, dass in dieser (!) konkreten Herangehensweisen an KI viel Coping steckt. Lügen wir uns hier kollektiv in die eigene (intellektuelle) Tasche?
Oder pfeifen wir hier sogar schon verzweifelt im Walde?
Liege ich komplett falsch?
@AwetTesfaiesus Interessante Betrachtungsweise. Ich denke einfach, Maschinen werden gebaut, um exakt und deterministisch zu arbeiten - in der Vergangenheit. Kreative und nicht-deterministische Maschinen sind in der Gesellschaft einfach nicht bekannt. Man ERWARTET von Maschinen Korrektheit, und nimmt deren Ergebnisse daher für bare Münze. (Was würdest Du zu einer Suchmaschine sagen, die Links ausspuckt, die es gar nicht gibt?)
Und dann ist die Überraschung und Empörung natürlich groß, wenn es nicht so ist.
Die von Dir aufgezeigten Beispiele von menschlichen Fehlern sind keine Empörung wert, genau aus dem Grund, den Du nennst. Menschen machen ständig Fehler. Hier gibt es keine andere Erwartungshaltung.Meines Erachtens ist das aber auch alles richtig so. Wir müssen lernen, dass ein ...
-
@AwetTesfaiesus Interessante Betrachtungsweise. Ich denke einfach, Maschinen werden gebaut, um exakt und deterministisch zu arbeiten - in der Vergangenheit. Kreative und nicht-deterministische Maschinen sind in der Gesellschaft einfach nicht bekannt. Man ERWARTET von Maschinen Korrektheit, und nimmt deren Ergebnisse daher für bare Münze. (Was würdest Du zu einer Suchmaschine sagen, die Links ausspuckt, die es gar nicht gibt?)
Und dann ist die Überraschung und Empörung natürlich groß, wenn es nicht so ist.
Die von Dir aufgezeigten Beispiele von menschlichen Fehlern sind keine Empörung wert, genau aus dem Grund, den Du nennst. Menschen machen ständig Fehler. Hier gibt es keine andere Erwartungshaltung.Meines Erachtens ist das aber auch alles richtig so. Wir müssen lernen, dass ein ...
@AwetTesfaiesus ... stochastischer Papagei eben KEINE Intelligenz ist. Er reiht Wörter aneinander, weil es wahrscheinlich ist, dass Wort B auf Wort A folgt.
-
@AwetTesfaiesus ... stochastischer Papagei eben KEINE Intelligenz ist. Er reiht Wörter aneinander, weil es wahrscheinlich ist, dass Wort B auf Wort A folgt.
@Ascendor Ich vermute: Du hast nicht Jura studiert.
-
In den Kommentaren lass ich gestern sinngemäß: wen wundert es, alle wissen, dass #LLMs ständig Fehler machen. @marcuwekling sagte am Montag bei der Lesung Ähnliches.
Dazu:
1️⃣In der juristischen Ausbildung lernst du, dass 50-70% der Verwaltungsakt falsch sind. Default: falsch!
2️⃣Dazu: in meiner Schulzeit waren Atlanten/Karten immer falsch (DDR drin, teils Saarland draußen, Jugoslawien komplett). Ich habe nicht gehört, dass über Schulen ähnlich gesprochen wird, wie über LLMs. #ki@AwetTesfaiesus @marcuwekling Ein Unterschied ist, dass wir menschliche Urheber befragen und verantwortlich machen können. Diese können lernen, die gleichen Fehler und Unwahrheiten nicht mehr zu verbreiten. LLMs sind grundsätzlich nicht lernfähig. Was als Lernen verkauft wird, ist ein (aus Kostengründen) sehr beschränkter Kontext, der außerdem „das Gelernte“ nicht sicherstellt, sondern lediglich wahrscheinlicher macht.
-
@oldperl ich möchte klarstellen: ich frage mich u.A. warum wir menschlichen Aussagen nicht mit derselben Skepsis begegnen, wie der KI und zwar selbst dann nicht, wenn wir wissen, dass die Ergebnisse mit über 50%iger Wahrscheinlichkeit falsch sind (Jobcenterbescheid?). Wieso ist die falsche „Map of Europe“ ein Anlass zur Empörung, die 10tausend falschen Karten in unseren Schulen aber nicht?
@AwetTesfaiesus @oldperl Ich denke, dass in der Diskussion die Differenzierung zwischen Menschen und Fachgebieten zu kurz kommt. Ich habe einen Verwandten, den ich gerne zum Thema Automobil befrage, bei dem aber die meisten Aussagen zu Politikern oder Politik auf Falschinformationen beruhen. Ich empfinde es auch nicht so, dass grundsätzlich keine Skepsis an menschlichen Aussagen vorhanden ist. Im Gegenteil kann zu viel Skepsis sogar zu zwischenmenschlichen Problemen führen.
-
In den Kommentaren lass ich gestern sinngemäß: wen wundert es, alle wissen, dass #LLMs ständig Fehler machen. @marcuwekling sagte am Montag bei der Lesung Ähnliches.
Dazu:
1️⃣In der juristischen Ausbildung lernst du, dass 50-70% der Verwaltungsakt falsch sind. Default: falsch!
2️⃣Dazu: in meiner Schulzeit waren Atlanten/Karten immer falsch (DDR drin, teils Saarland draußen, Jugoslawien komplett). Ich habe nicht gehört, dass über Schulen ähnlich gesprochen wird, wie über LLMs. #ki@AwetTesfaiesus yepp, Bildung ist problematisch. Verwaltung auch.
Ermessensspielraum bei einer Bank, kenne ich nur von vermögenden Menschen, die persönlichen Kontakt zum Bankberater haben.
Menschen, die Schulentwicklung machen, reden darüber schon lange. z.b. im #FediLZ gibts da bestimmt mehr.
Aber das kickt halt nicht so in der Presse. und irgendwie läuft da zuviel getrennt und parallel.
-
@AwetTesfaiesus ... stochastischer Papagei eben KEINE Intelligenz ist. Er reiht Wörter aneinander, weil es wahrscheinlich ist, dass Wort B auf Wort A folgt.
@Ascendor Ein Beispiel:
D könnte sich wegen einer Beihilfe zum Diebstahl des B in einem besonders schweren Fall nach §§
242 I, 243 I S. 2 Nr. 1, 27 I strafbar gemacht haben, indem er ...Hierzu bedarf es einer beihilfefähigen Haupttat des B.
B könnte sich gemäß §§ 242 I, 243 I 2 Nr. 1 strafbar gemacht haben, indem er … mitnahm.
Diebstahl gem. § 242 I ist …
---
Ein Wort plausibel wahrscheinlich nach dem anderen. -
@Ascendor Ich vermute: Du hast nicht Jura studiert.
@AwetTesfaiesus Ad hominem als Antwort? Sympathisch.
Ich hatte bisher auch nicht den Eindruck, dass Du eine juristische Diskussion aufmachen wolltest. Du sprachst von gesellschaftlichem Coping.
-
@AwetTesfaiesus Das war ein bisschen Snark gerade.
Aber da sind wir wieder bei meiner ersten Antwort: Wir neigen dazu, „KI“ zu überschätzen und mit zu viel Bedeutung zu versehen, weil die Ausgabe eben aussieht wie Sprache.
Und die Marketing-Abteilungen der KI-Firmen tun natürlich nicht nicht viel, uns davon abzubringen.
@chris_evelyn @AwetTesfaiesus Das Schlimme daran ist, dass der Einsatz von KI dann auch von Parlamentariern als Allheilmittel für alles Mögliche angesehen und deren Einsatz noch forciert wird. Dies schürt Ängste. Wir haben interessante Entwicklungen wie den EU-KI-Act, der einen Rahmen für den Einsatz schafft (was natürlich die US-AI-Unternehmen schockiert). Da ich mich nun mehrere Jahre mit KI beruflich beschäftigt habe, sehe ich den Einsatz in manchen Gebieten als überschätzt an.
-
@AwetTesfaiesus @marcuwekling Ein Unterschied ist, dass wir menschliche Urheber befragen und verantwortlich machen können. Diese können lernen, die gleichen Fehler und Unwahrheiten nicht mehr zu verbreiten. LLMs sind grundsätzlich nicht lernfähig. Was als Lernen verkauft wird, ist ein (aus Kostengründen) sehr beschränkter Kontext, der außerdem „das Gelernte“ nicht sicherstellt, sondern lediglich wahrscheinlicher macht.
@jlink Diese Annahme ist mir zu zweidimensional.
-
@AwetTesfaiesus @oldperl Ich denke, dass in der Diskussion die Differenzierung zwischen Menschen und Fachgebieten zu kurz kommt. Ich habe einen Verwandten, den ich gerne zum Thema Automobil befrage, bei dem aber die meisten Aussagen zu Politikern oder Politik auf Falschinformationen beruhen. Ich empfinde es auch nicht so, dass grundsätzlich keine Skepsis an menschlichen Aussagen vorhanden ist. Im Gegenteil kann zu viel Skepsis sogar zu zwischenmenschlichen Problemen führen.
@AwetTesfaiesus @oldperl und bezüglich KI ist es glaube ich nicht immer Empörung, sondern häufig Genugtuung. Es gibt uns ein schönes Gefühl zu wissen, dass LLMs nicht so intelligent sind, wie manche sie verkaufen, und wir persönlich mehr wissen.
-
@AwetTesfaiesus @oldperl und bezüglich KI ist es glaube ich nicht immer Empörung, sondern häufig Genugtuung. Es gibt uns ein schönes Gefühl zu wissen, dass LLMs nicht so intelligent sind, wie manche sie verkaufen, und wir persönlich mehr wissen.
