In den Kommentaren lass ich gestern sinngemäß: wen wundert es, alle wissen, dass #LLMs ständig Fehler machen.

@chris_evelyn Ressourcen-Nutzung ist ein total valider Punkt. Aber jenseits dessen interessiert mich, was in und mit uns Menschen konkret passiert, wenn wir KI kritisieren.

@AwetTesfaiesus

Fehlerhaft und Fehlerhaft sind hier in diesem Vergleich aber auch zwei paar Schuhe, wenn es um KI geht, versus Mensch.

Ich hab bisher von keinem Verwaltungsakt gehört, der das Gurgeln von Rohrreiniger als Mittel gegen Covid empfiehlt, mal so als Beispiel.

@chris_evelyn Ressourcen-Nutzung ist ein total valider Punkt. Aber jenseits dessen interessiert mich, was in und mit uns Menschen konkret passiert, wenn wir KI kritisieren.

@AwetTesfaiesus nein, ich meine, und wünsche mir, wieder mehr Ehrlichkeit, verbunden mit mehr Gewissen.

Es geht nicht um "mehr Bullshit", es geht um möglichst "kein Bullshit"

Wir haben so viele Baustellen, sowohl im Land als in der Welt.

Klima, Sozialstaat, Europa - so viele Baustellen, und nur Schönredner:innen und Populist:innen am Ruder, oder eben Wirtschafts-gesteuerte Blackrock-Jünger.

Räumt endlich den @bundestag auf! Was macht ein Steuerverschwender wie #Spahn noch im Amt?

@AwetTesfaiesus Das war ein bisschen Snark gerade.

Aber da sind wir wieder bei meiner ersten Antwort: Wir neigen dazu, „KI“ zu überschätzen und mit zu viel Bedeutung zu versehen, weil die Ausgabe eben aussieht wie Sprache.

Und die Marketing-Abteilungen der KI-Firmen tun natürlich nicht nicht viel, uns davon abzubringen.

@coastgnu

Dann haben wir wohl nicht denselben Horizont. Aus einer Akte von mir:

"Die Antragstellerin ist insoweit zur Mitwirkung verpflichtet. Vor diesem Hintergrund ist es schlechterdings nicht nachvollziehbar, warum sich die Antragstellerin angeblich nicht auf eine 300km lange Reise durch das IS-Gebiet begibt, um ihre Geburts- und Diplomurkunde persönlich in Rakka holen. Sie könnte ja auch ihre derzeit in Camp in der Türkei lebende Schwester schicken."

@AwetTesfaiesus

Die genannte Fehlerquote bei Verwaltungsakten erscheint mir relativ hoch gegriffen. Das Wunderbare ist dann ja aber auch, dass ein Korrekturmechanismus dennoch bereits angelegt ist, mittels Einspruch/Widerspruch oder zB im Steuerrecht weiterer Korrekturmöglichkeiten.

Also ja: Menschen sind auch fehlerbehaftet, aber dafür sind es eben Menschen und Nicht Marketing-Sprechblasen.

@DerAsket mir erscheint die Quote eher noch deutlich zu niedrig. Wie andernorts im Thread gesagt: es gab halt lange Passagen, in denen 100% aller Bescheide fehlerhaft waren.

@AwetTesfaiesus

Vielleicht sollten wir präzisieren, über welche Arten von Verwaltungsakten man spricht.

Wenn ich mir allein überlege, wie viele Tausende Abwassergebührenbescheide täglich erlassen werden.

Ich würde nicht ausschließen, dass in der Sozialverwaltung Bescheide fehleranfäliiger sind.

@DerAsket Ja klar.

(Wenngleich: das sind faktisch ja Rechnugsautomationen und wenn einmal die Satzung kaputt oder die Gebührenkalkulation falsch war, sind eben über Jahre hinweg auch alle Bescheide materiell fehlerhaft - jenseits der rechtlichen Unangreifbarkeit)

@AwetTesfaiesus

Abaolut richtig. Shit in, shit out.

@AwetTesfaiesus Hmm. Also, ja, natürlich machen auch Menschen Fehler, viele Fehler. Und ich glaube auch nicht, dass das generell selten gesehen wird. Mit einer gehörigen Portion Bias gibt es für jedes Thema und für jede Gruppe andere Menschen, die die Fehler dort schon immer und überall gesehen haben (und dabei dann selbst wieder Fehler machen).

Und einige Menschen konnten auch schon immer Fehler und im Weiteren das Reden über Dinge, von denen sie eigentlich nicht so viel Ahnung haben, durch kluge Verpackung verdecken und damit erstaunlich gut durchkommen.

LLMs machen es „nur“ sehr einfach, dass jetzt sehr viele Menschen sehr schnell sehr viele (oft erschreckenderweise sogar für die Ersteller*innen selbst) plausibel klingende Texte erzeugen können.

@AwetTesfaiesus

🤯 mir krampft sich gerade der Magen

Weia, haben wir wirklich nicht, muss ich zugeben. Und solch eine Anordnung hat Bestand?

Da wäre ja selbst eine 300km Fahrt als Geisterfahrer, im Ferienverkehr auf der A1, noch weniger riskant!

So etwas hätte ich bis jetzt für vollkommen ausgeschlossen gehalten. Bin erschüttert, aber so was von!

@AwetTesfaiesus
Der wesentliche Unterschied besteht in meinen Augen in der Geschwindigkeit.
Bisher war es schon so, dass das Debunking einer Falschaussage 10x so lang gebraucht hat.

Die Geschwindigkeit mit der LLM Texte produzieren macht eine Kontrolle oder Überprüfung endgültig völlig unmöglich.

@coastgnu Oft.

@Chaotica Sicher korrekt

@AwetTesfaiesus Würde das Problem einerseits eher dort sehen, wo den Ergebnissen eines LLM *mehr* geglaubt wird als menschlichen Ergebnissen. Habe in den letzten Monaten viel zu oft Dinge wie „Ich hab' mal eben ChatGPT/Claude/Grok gefragt: …“ gelesen.

Andererseits in der schieren Menge qualitativ zweifelhafter Inhalte, die da mit wenig Aufwand und geringem Nutzen produziert werden, die halt noch mal anstrengender machen zu sortieren, zu bewerten, zu widersprechen, als es ohnehin schon war.

@odrotbohm @marcuwekling

Ad extremum: Wenn das Amt die Weisung ausgibt, alle Entscheide falsch ergehen zu lassen (so häufig im Migrationsrecht, aber auch im Steuerrecht), ist diese Entscheidung immerhin "Verlässlich", oder?

Halt "verlässlich falsch", aber verlässlich.

@odrotbohm @marcuwekling

Halte ich überhaupt nicht für schlüssig. Ein Beispiel:

Die Beschränkung des Familiennachzugs für syr. Geflüchtet war in allen Fällen rechtlich falsch. Sie war aber politisch vorgegeben.

Quasi alle Klagen dagegen waren erfolgreich.

Aber nur etwa 30% haben überhaupt geklagt. Heißt: 70% haben es hingenommen. Gerichte trotzdem abgesoffen.

Ein LLM hätte das m.E. mit großer Wahrscheinlichkeit weniger falsch gehandhabt.

@AwetTesfaiesus
Und ich bin gar nicht grundsätzlich gegen Technik und KI.

Ich finde nur, sie sollte dem Menschen dienen.

Statt selbst fahrende Autos hätte ich lieber eine Spülmaschine, die sich selbst ein- und ausräumt.

Und LLM/KI sollte nicht kreative Aufgaben übernehmen, sondern die Menschen von öden Jobs entlasten, wo es nur um die Anwendung von Regelsätzen geht.
Oder Analyse von richtig großen Datenmengen zB in der Medizin.