In den Kommentaren lass ich gestern sinngemäß: wen wundert es, alle wissen, dass #LLMs ständig Fehler machen.
-
Vielleicht sollten wir präzisieren, über welche Arten von Verwaltungsakten man spricht.
Wenn ich mir allein überlege, wie viele Tausende Abwassergebührenbescheide täglich erlassen werden.
Ich würde nicht ausschließen, dass in der Sozialverwaltung Bescheide fehleranfäliiger sind.
@DerAsket Ja klar.
(Wenngleich: das sind faktisch ja Rechnugsautomationen und wenn einmal die Satzung kaputt oder die Gebührenkalkulation falsch war, sind eben über Jahre hinweg auch alle Bescheide materiell fehlerhaft - jenseits der rechtlichen Unangreifbarkeit)
-
@DerAsket Ja klar.
(Wenngleich: das sind faktisch ja Rechnugsautomationen und wenn einmal die Satzung kaputt oder die Gebührenkalkulation falsch war, sind eben über Jahre hinweg auch alle Bescheide materiell fehlerhaft - jenseits der rechtlichen Unangreifbarkeit)
Abaolut richtig. Shit in, shit out.
-
Konkret: Ich könnte mir vorstellen, dass in dieser (!) konkreten Herangehensweisen an KI viel Coping steckt. Lügen wir uns hier kollektiv in die eigene (intellektuelle) Tasche?
Oder pfeifen wir hier sogar schon verzweifelt im Walde?
Liege ich komplett falsch?
@AwetTesfaiesus Hmm. Also, ja, natürlich machen auch Menschen Fehler, viele Fehler. Und ich glaube auch nicht, dass das generell selten gesehen wird. Mit einer gehörigen Portion Bias gibt es für jedes Thema und für jede Gruppe andere Menschen, die die Fehler dort schon immer und überall gesehen haben (und dabei dann selbst wieder Fehler machen).
Und einige Menschen konnten auch schon immer Fehler und im Weiteren das Reden über Dinge, von denen sie eigentlich nicht so viel Ahnung haben, durch kluge Verpackung verdecken und damit erstaunlich gut durchkommen.
LLMs machen es „nur“ sehr einfach, dass jetzt sehr viele Menschen sehr schnell sehr viele (oft erschreckenderweise sogar für die Ersteller*innen selbst) plausibel klingende Texte erzeugen können.
-
Dann haben wir wohl nicht denselben Horizont. Aus einer Akte von mir:
"Die Antragstellerin ist insoweit zur Mitwirkung verpflichtet. Vor diesem Hintergrund ist es schlechterdings nicht nachvollziehbar, warum sich die Antragstellerin angeblich nicht auf eine 300km lange Reise durch das IS-Gebiet begibt, um ihre Geburts- und Diplomurkunde persönlich in Rakka holen. Sie könnte ja auch ihre derzeit in Camp in der Türkei lebende Schwester schicken."
🤯 mir krampft sich gerade der Magen
Weia, haben wir wirklich nicht, muss ich zugeben. Und solch eine Anordnung hat Bestand?
Da wäre ja selbst eine 300km Fahrt als Geisterfahrer, im Ferienverkehr auf der A1, noch weniger riskant!
So etwas hätte ich bis jetzt für vollkommen ausgeschlossen gehalten. Bin erschüttert, aber so was von!
-
Konkret: Ich könnte mir vorstellen, dass in dieser (!) konkreten Herangehensweisen an KI viel Coping steckt. Lügen wir uns hier kollektiv in die eigene (intellektuelle) Tasche?
Oder pfeifen wir hier sogar schon verzweifelt im Walde?
Liege ich komplett falsch?
@AwetTesfaiesus
Der wesentliche Unterschied besteht in meinen Augen in der Geschwindigkeit.
Bisher war es schon so, dass das Debunking einer Falschaussage 10x so lang gebraucht hat.Die Geschwindigkeit mit der LLM Texte produzieren macht eine Kontrolle oder Überprüfung endgültig völlig unmöglich.
-
🤯 mir krampft sich gerade der Magen
Weia, haben wir wirklich nicht, muss ich zugeben. Und solch eine Anordnung hat Bestand?
Da wäre ja selbst eine 300km Fahrt als Geisterfahrer, im Ferienverkehr auf der A1, noch weniger riskant!
So etwas hätte ich bis jetzt für vollkommen ausgeschlossen gehalten. Bin erschüttert, aber so was von!
@coastgnu Oft.
-
@AwetTesfaiesus
Der wesentliche Unterschied besteht in meinen Augen in der Geschwindigkeit.
Bisher war es schon so, dass das Debunking einer Falschaussage 10x so lang gebraucht hat.Die Geschwindigkeit mit der LLM Texte produzieren macht eine Kontrolle oder Überprüfung endgültig völlig unmöglich.
@Chaotica Sicher korrekt
-
@AwetTesfaiesus Hmm. Also, ja, natürlich machen auch Menschen Fehler, viele Fehler. Und ich glaube auch nicht, dass das generell selten gesehen wird. Mit einer gehörigen Portion Bias gibt es für jedes Thema und für jede Gruppe andere Menschen, die die Fehler dort schon immer und überall gesehen haben (und dabei dann selbst wieder Fehler machen).
Und einige Menschen konnten auch schon immer Fehler und im Weiteren das Reden über Dinge, von denen sie eigentlich nicht so viel Ahnung haben, durch kluge Verpackung verdecken und damit erstaunlich gut durchkommen.
LLMs machen es „nur“ sehr einfach, dass jetzt sehr viele Menschen sehr schnell sehr viele (oft erschreckenderweise sogar für die Ersteller*innen selbst) plausibel klingende Texte erzeugen können.
@AwetTesfaiesus Würde das Problem einerseits eher dort sehen, wo den Ergebnissen eines LLM *mehr* geglaubt wird als menschlichen Ergebnissen. Habe in den letzten Monaten viel zu oft Dinge wie „Ich hab' mal eben ChatGPT/Claude/Grok gefragt: …“ gelesen.
Andererseits in der schieren Menge qualitativ zweifelhafter Inhalte, die da mit wenig Aufwand und geringem Nutzen produziert werden, die halt noch mal anstrengender machen zu sortieren, zu bewerten, zu widersprechen, als es ohnehin schon war.
-
Ad extremum: Wenn das Amt die Weisung ausgibt, alle Entscheide falsch ergehen zu lassen (so häufig im Migrationsrecht, aber auch im Steuerrecht), ist diese Entscheidung immerhin "Verlässlich", oder?
Halt "verlässlich falsch", aber verlässlich.
-
Halte ich überhaupt nicht für schlüssig. Ein Beispiel:
Die Beschränkung des Familiennachzugs für syr. Geflüchtet war in allen Fällen rechtlich falsch. Sie war aber politisch vorgegeben.
Quasi alle Klagen dagegen waren erfolgreich.
Aber nur etwa 30% haben überhaupt geklagt. Heißt: 70% haben es hingenommen. Gerichte trotzdem abgesoffen.
Ein LLM hätte das m.E. mit großer Wahrscheinlichkeit weniger falsch gehandhabt.
-
@Chaotica Sicher korrekt
@AwetTesfaiesus
Und ich bin gar nicht grundsätzlich gegen Technik und KI.Ich finde nur, sie sollte dem Menschen dienen.
Statt selbst fahrende Autos hätte ich lieber eine Spülmaschine, die sich selbst ein- und ausräumt.
Und LLM/KI sollte nicht kreative Aufgaben übernehmen, sondern die Menschen von öden Jobs entlasten, wo es nur um die Anwendung von Regelsätzen geht.
Oder Analyse von richtig großen Datenmengen zB in der Medizin. -
In den Kommentaren lass ich gestern sinngemäß: wen wundert es, alle wissen, dass #LLMs ständig Fehler machen. @marcuwekling sagte am Montag bei der Lesung Ähnliches.
Dazu:
1️⃣In der juristischen Ausbildung lernst du, dass 50-70% der Verwaltungsakt falsch sind. Default: falsch!
2️⃣Dazu: in meiner Schulzeit waren Atlanten/Karten immer falsch (DDR drin, teils Saarland draußen, Jugoslawien komplett). Ich habe nicht gehört, dass über Schulen ähnlich gesprochen wird, wie über LLMs. #ki@AwetTesfaiesus @marcuwekling Wer bitte kennt die Abkürzung LLM ?
-
Das empfinde ich auch so, aber: warum nehmen wir hin, dass eine menschliche Struktur mit krassen Fehlerquoten entscheidet?
-
Aber: ähnliche Anekdoten kann ich Dir von Menschen erzählen.
Da sehen mich die Leute in einer Kirche, hören, dass ich Gemeindemitglied bin, ... und sagen mir anschließend: Toll, dass Sie als Muslima zu unserem Gottesdienst kommen.
️@marcuwekling @AwetTesfaiesus Gefährliches Halbwissen... -
@marcuwekling @AwetTesfaiesus Gefährliches Halbwissen...
@sascha @marcuwekling Ignoranz?
-
"ausschließen" ist ein absoluter Begriff.
Aber: wenn Deine Fehlerquote bei den Leistungsbescheiden bei 50% liegt (und die Bearbeitungszeit bei > 3 Monaten), dann scheint es mir berechtigt zu fragen:
Wäre eine Fehlerquote on 20% bei einer Bearbeitungsdauer von 30 Minuten nicht das bessere System?
-
@AwetTesfaiesus
Und ich bin gar nicht grundsätzlich gegen Technik und KI.Ich finde nur, sie sollte dem Menschen dienen.
Statt selbst fahrende Autos hätte ich lieber eine Spülmaschine, die sich selbst ein- und ausräumt.
Und LLM/KI sollte nicht kreative Aufgaben übernehmen, sondern die Menschen von öden Jobs entlasten, wo es nur um die Anwendung von Regelsätzen geht.
Oder Analyse von richtig großen Datenmengen zB in der Medizin.@Chaotica @AwetTesfaiesus Es ist halt lukrativer, Milliarden Klaus’ und Dörtes ein Tool zu gebe, mit dem sie lustige Bildchen für ihre WhatsApp Gruppe machen können (und deren Input dann via Profiling zu versilbern) oder „intelligente“ Waffen zu verkaufen, als etwas für finanzklamme Medizinprojekte zu bauen.
-
Das empfinde ich auch so, aber: warum nehmen wir hin, dass eine menschliche Struktur mit krassen Fehlerquoten entscheidet?
@AwetTesfaiesus @marcuwekling Ich empfinde das nicht so. Wir leben in einem System mit eingebauten Korrekturmechanismen und um deren Qualität wird in Politik und Gesellschaft gestritten um diese kontinuierlich zu verbessern und dazu kann man sicher auch Technolgie nutzen. Technologie, die den Status Quo jedoch nur manifestiert und die Verbesserungsmöglichkeiten weitestgehend in die Hände einiger weniger, nicht gesellschaftlich Legitimierter legt, ist da IMO eben kritisch(er) zu betrachten.
-
@AwetTesfaiesus @marcuwekling Ich empfinde das nicht so. Wir leben in einem System mit eingebauten Korrekturmechanismen und um deren Qualität wird in Politik und Gesellschaft gestritten um diese kontinuierlich zu verbessern und dazu kann man sicher auch Technolgie nutzen. Technologie, die den Status Quo jedoch nur manifestiert und die Verbesserungsmöglichkeiten weitestgehend in die Hände einiger weniger, nicht gesellschaftlich Legitimierter legt, ist da IMO eben kritisch(er) zu betrachten.
Verstehe ich richtig: "Wenn Palantir.AI das Sozialamt betreibt, wäre sicher nichts gewonnen"?
-
"ausschließen" ist ein absoluter Begriff.
Aber: wenn Deine Fehlerquote bei den Leistungsbescheiden bei 50% liegt (und die Bearbeitungszeit bei > 3 Monaten), dann scheint es mir berechtigt zu fragen:
Wäre eine Fehlerquote on 20% bei einer Bearbeitungsdauer von 30 Minuten nicht das bessere System?
@AwetTesfaiesus @marcuwekling Das würde ich grundsätzlich auch so sehen, wären da nicht die anderen Faktoren wie gesellschaftliche Legitimation, Steuerbarkeit, Ressourcenverbrauch. Ich wollte nur darauf hinaus, dass es IMO nicht so ist, dass die Fehleranfälligkeit von menschengetriebenen Prozessen nicht problematisiert wird. Es gibt nur Arten und Weisen, diese anzugehen, die selbst weniger problembehaftet sind als KI. IT-getriebene Automatisierung gibt es ja nicht erst seit OpenAI.
