In den Kommentaren lass ich gestern sinngemäß: wen wundert es, alle wissen, dass #LLMs ständig Fehler machen.

@AwetTesfaiesus
Die machen etwas mehr als das.

Anwält*innen können lernen und haben Motivation, Perspektiven und Interpretationen.

Das fehlt alles bei LLMs.

Eine Anwältin kannst du fragen, wie sie zu einem Schluss gekommen ist und sie wird es dir erklären können, mit mehr Substanz als „diese Worte hab ich mal in ähnlicher Reihenfolge irgendwo gesehen“.

LLMs werden wieder Text produzieren, der aussieht, wie andere Antworten auf ähnliche Fragen aus dem Quellmaterial.

@sascha @marcuwekling

Aber: ähnliche Anekdoten kann ich Dir von Menschen erzählen.

Da sehen mich die Leute in einer Kirche, hören, dass ich Gemeindemitglied bin, ... und sagen mir anschließend: Toll, dass Sie als Muslima zu unserem Gottesdienst kommen.
‍️

@chris_evelyn

Ich fürchte, da geht unsere Einschätzung über Angehörige meines Berufs doch sehr auseinander.

Ich sehe da wohl deutlich mehr Ähnlichkeiten als Unterschiede.

@AwetTesfaiesus
3 KI ist unschlagbar hilfreich, wenn es um schnelle trainierbare Entscheidungen geht. Ich vergleiche es gerne mit trainierte Reflexe.

Im sprachlichen Umfeld nennt man solche Reflexe allerdings auch Vorurteile. Selbst solche sind manchmal hilfreicher als ihr Ruf, aber wir wissen alle um ihre Problematik und haben hoffentlich Strategien dagegen.

@AwetTesfaiesus Natürlich gibt es überall Laberköppe, aber das hat jetzt mit LLMs nichts zu tun.

Z.B. ist mir nicht bekannt, dass irgendwer neue Atomkraftwerke bauen will, um mehr Anwält*innen auszubilden und zu betreiben.

@chris_evelyn Ressourcen-Nutzung ist ein total valider Punkt. Aber jenseits dessen interessiert mich, was in und mit uns Menschen konkret passiert, wenn wir KI kritisieren.

@AwetTesfaiesus

Fehlerhaft und Fehlerhaft sind hier in diesem Vergleich aber auch zwei paar Schuhe, wenn es um KI geht, versus Mensch.

Ich hab bisher von keinem Verwaltungsakt gehört, der das Gurgeln von Rohrreiniger als Mittel gegen Covid empfiehlt, mal so als Beispiel.

@chris_evelyn Ressourcen-Nutzung ist ein total valider Punkt. Aber jenseits dessen interessiert mich, was in und mit uns Menschen konkret passiert, wenn wir KI kritisieren.

@AwetTesfaiesus nein, ich meine, und wünsche mir, wieder mehr Ehrlichkeit, verbunden mit mehr Gewissen.

Es geht nicht um "mehr Bullshit", es geht um möglichst "kein Bullshit"

Wir haben so viele Baustellen, sowohl im Land als in der Welt.

Klima, Sozialstaat, Europa - so viele Baustellen, und nur Schönredner:innen und Populist:innen am Ruder, oder eben Wirtschafts-gesteuerte Blackrock-Jünger.

Räumt endlich den @bundestag auf! Was macht ein Steuerverschwender wie #Spahn noch im Amt?

@AwetTesfaiesus Das war ein bisschen Snark gerade.

Aber da sind wir wieder bei meiner ersten Antwort: Wir neigen dazu, „KI“ zu überschätzen und mit zu viel Bedeutung zu versehen, weil die Ausgabe eben aussieht wie Sprache.

Und die Marketing-Abteilungen der KI-Firmen tun natürlich nicht nicht viel, uns davon abzubringen.

@coastgnu

Dann haben wir wohl nicht denselben Horizont. Aus einer Akte von mir:

"Die Antragstellerin ist insoweit zur Mitwirkung verpflichtet. Vor diesem Hintergrund ist es schlechterdings nicht nachvollziehbar, warum sich die Antragstellerin angeblich nicht auf eine 300km lange Reise durch das IS-Gebiet begibt, um ihre Geburts- und Diplomurkunde persönlich in Rakka holen. Sie könnte ja auch ihre derzeit in Camp in der Türkei lebende Schwester schicken."

@AwetTesfaiesus

Die genannte Fehlerquote bei Verwaltungsakten erscheint mir relativ hoch gegriffen. Das Wunderbare ist dann ja aber auch, dass ein Korrekturmechanismus dennoch bereits angelegt ist, mittels Einspruch/Widerspruch oder zB im Steuerrecht weiterer Korrekturmöglichkeiten.

Also ja: Menschen sind auch fehlerbehaftet, aber dafür sind es eben Menschen und Nicht Marketing-Sprechblasen.

@DerAsket mir erscheint die Quote eher noch deutlich zu niedrig. Wie andernorts im Thread gesagt: es gab halt lange Passagen, in denen 100% aller Bescheide fehlerhaft waren.

@AwetTesfaiesus

Vielleicht sollten wir präzisieren, über welche Arten von Verwaltungsakten man spricht.

Wenn ich mir allein überlege, wie viele Tausende Abwassergebührenbescheide täglich erlassen werden.

Ich würde nicht ausschließen, dass in der Sozialverwaltung Bescheide fehleranfäliiger sind.

@DerAsket Ja klar.

(Wenngleich: das sind faktisch ja Rechnugsautomationen und wenn einmal die Satzung kaputt oder die Gebührenkalkulation falsch war, sind eben über Jahre hinweg auch alle Bescheide materiell fehlerhaft - jenseits der rechtlichen Unangreifbarkeit)

@AwetTesfaiesus

Abaolut richtig. Shit in, shit out.

@AwetTesfaiesus Hmm. Also, ja, natürlich machen auch Menschen Fehler, viele Fehler. Und ich glaube auch nicht, dass das generell selten gesehen wird. Mit einer gehörigen Portion Bias gibt es für jedes Thema und für jede Gruppe andere Menschen, die die Fehler dort schon immer und überall gesehen haben (und dabei dann selbst wieder Fehler machen).

Und einige Menschen konnten auch schon immer Fehler und im Weiteren das Reden über Dinge, von denen sie eigentlich nicht so viel Ahnung haben, durch kluge Verpackung verdecken und damit erstaunlich gut durchkommen.

LLMs machen es „nur“ sehr einfach, dass jetzt sehr viele Menschen sehr schnell sehr viele (oft erschreckenderweise sogar für die Ersteller*innen selbst) plausibel klingende Texte erzeugen können.

@AwetTesfaiesus

🤯 mir krampft sich gerade der Magen

Weia, haben wir wirklich nicht, muss ich zugeben. Und solch eine Anordnung hat Bestand?

Da wäre ja selbst eine 300km Fahrt als Geisterfahrer, im Ferienverkehr auf der A1, noch weniger riskant!

So etwas hätte ich bis jetzt für vollkommen ausgeschlossen gehalten. Bin erschüttert, aber so was von!

@AwetTesfaiesus
Der wesentliche Unterschied besteht in meinen Augen in der Geschwindigkeit.
Bisher war es schon so, dass das Debunking einer Falschaussage 10x so lang gebraucht hat.

Die Geschwindigkeit mit der LLM Texte produzieren macht eine Kontrolle oder Überprüfung endgültig völlig unmöglich.

@coastgnu Oft.