In den Kommentaren lass ich gestern sinngemäß: wen wundert es, alle wissen, dass #LLMs ständig Fehler machen.
-
Konkret: Ich könnte mir vorstellen, dass in dieser (!) konkreten Herangehensweisen an KI viel Coping steckt. Lügen wir uns hier kollektiv in die eigene (intellektuelle) Tasche?
Oder pfeifen wir hier sogar schon verzweifelt im Walde?
Liege ich komplett falsch?
@AwetTesfaiesus ein gegenargument wäre, dass verwaltungsakte unter anderem wegen verschiedenster ismen mit absicht falsch ausgeführt werden, und es gefährlich ist, diese zu industrialisieren.
zum anderen haben llms ganz neue unknown unkowns wie dinge schiefgehen können, und die tatsache, dass schon mehrere menschen direkt durch die verwendung von llms und ais gestorben sind, ist meiner meinung nach grund genug, ...
-
@AwetTesfaiesus ein gegenargument wäre, dass verwaltungsakte unter anderem wegen verschiedenster ismen mit absicht falsch ausgeführt werden, und es gefährlich ist, diese zu industrialisieren.
zum anderen haben llms ganz neue unknown unkowns wie dinge schiefgehen können, und die tatsache, dass schon mehrere menschen direkt durch die verwendung von llms und ais gestorben sind, ist meiner meinung nach grund genug, ...
@AwetTesfaiesus ... sie wie andere experimentelle technologien, nur in klar abgesteckten räumen einzusetzen.
-
@AwetTesfaiesus OK, und was beweist das? Natürlich ist es wahrscheinlich, dass in menschlichen Texten Wörter wahrscheinlich auf andere Wörter folgen. Nur haben die Menschen diese Wörter nicht aufgrund von Wahrscheinlichkeitsberechnungen aneinander gereiht, sondern weil sie nachgedacht haben und die Worte einen semantischen Sinn ergeben haben.
Die Wahrscheinlichkeit, die die KI benutzt, ist also gerade dadurch entstanden, dass sie Texte zum Training verwendet hat, die von Menschen erzeugt wurden. Daher WIRKT es, als wäre die KI eine Intelligenz. Ist sie aber nicht. Sie denkt nicht nach, sie reiht nur Wörter aufgrund von Wahrscheinlichkeiten aneinander.@Ascendor Das soll sagen: Scheinplausibilität wird oft hingenommen. Warum ist es für uns ein Skandal, dass KI das auch macht?
-
@Ascendor Das soll sagen: Scheinplausibilität wird oft hingenommen. Warum ist es für uns ein Skandal, dass KI das auch macht?
@AwetTesfaiesus und da habe ich meine Erklärung für oben hingeschrieben.
-
@AwetTesfaiesus ein gegenargument wäre, dass verwaltungsakte unter anderem wegen verschiedenster ismen mit absicht falsch ausgeführt werden, und es gefährlich ist, diese zu industrialisieren.
zum anderen haben llms ganz neue unknown unkowns wie dinge schiefgehen können, und die tatsache, dass schon mehrere menschen direkt durch die verwendung von llms und ais gestorben sind, ist meiner meinung nach grund genug, ...
Die "unknown unknowns" sind sicher valide.
Die "Industrialisierung"... nichts anderes passiert in der Verwaltung doch seit Jahrzehnten.
-
@AwetTesfaiesus
Gymnasium während der 2000er.
Wir hatten nen Diercke Atlas, aber wenig länderspezifisch damit gearbeitet. Eher mit den Klimakarten und den Vegetationszonen etc.
Später hatte ich geography wg. bilingualem Unterricht, dafür gab es kein klassisches Lehrbuch.Ich erinnere mich nur, dass die Erdkunde-Leute irgendwas zu Fruchtfolgen lernen mussten, so als gäbe es noch Kartoffelferien.
An falsche Landkarten erinnere ich mich nicht.
In der Zeit war aber auch nicht so viel Umbruch in lehrplanrelevanten Regionen. Könnte also auch ein "Jahrzehnt"-assoziiertes Problem sein. -
@SusanneBonn Allein, mir fehlt der Glaube!
@AwetTesfaiesus Das gilt derzeit für ziemlich viele wünschenswerte bis dringend nötige Bestrebungen. Aber vielleicht gibt es ja doch noch sinnvollere Möglichkeiten als aufzugeben.
-
@jlink Sorry! Worin liegt der Unterschied zu menschlichem Lernen tatsächlich und vor allem: was folgt daraus für die Praxis?
Glaubst Du nicht, die Mitarbeiter:in auf dem Jobcenter "lernt" nicht auch täglich Dinge, die sie nicht lernen sollte (und wendet sie nachher unzulässig an)?
Beispiel in der Praxis: Der Antrag stinkt nach Raucherwohnung. Nirgendwo im SGB steht das, aber ich kenne Menschen, die daraus schließen: "Wer qualmt, säuft auch".
@AwetTesfaiesus @jlink ich glaube das Beispiel sofort, und dennoch hinterlässt es bei mir ein "autsch". Jesus und Maria, sollten die Sachbearbeiter da nicht geschult sein, ihre eigenen Vorurteile reflektiert zu erkennen? Wie mag das dann erst bei Namen, Handschrift und Schreibfehlern sein?
-
@AwetTesfaiesus @jlink ich glaube das Beispiel sofort, und dennoch hinterlässt es bei mir ein "autsch". Jesus und Maria, sollten die Sachbearbeiter da nicht geschult sein, ihre eigenen Vorurteile reflektiert zu erkennen? Wie mag das dann erst bei Namen, Handschrift und Schreibfehlern sein?
-
@oldperl ich denke, meine Frage wird missverstanden. Natürlich sollten wir hinterfragen. Ich frage mich aber: hinterfragen wir menschliche Ergebnisse mit demselben Eifer?
@AwetTesfaiesus @oldperl
In kurz:Menschen sind Menschen, manipulierbar fehlerhaft.
Der Brockhaus/Wikipedia war recherhiert und "wahr".
Computer sind/waren Maschinen die etwas deterministisch berechnet haben. Das Ergebnis war quasi "mathematisch richtig" und nachvollziehbar. Man verlässt sich darauf.
LLMs liefern statistisch wahrscheinliche Halluzinationen ohne Verständnis von wahr und falsch. Wir unterstellen aber Intelligenz und nutzen es als Lexikon.
Ist halt schwierig/falsch.
-
@jlink Sorry! Worin liegt der Unterschied zu menschlichem Lernen tatsächlich und vor allem: was folgt daraus für die Praxis?
Glaubst Du nicht, die Mitarbeiter:in auf dem Jobcenter "lernt" nicht auch täglich Dinge, die sie nicht lernen sollte (und wendet sie nachher unzulässig an)?
Beispiel in der Praxis: Der Antrag stinkt nach Raucherwohnung. Nirgendwo im SGB steht das, aber ich kenne Menschen, die daraus schließen: "Wer qualmt, säuft auch".
@AwetTesfaiesus Der Unterschied ist mMn die menschliche Fähigkeit zur Reflexion. Und dass wir am Ende Rechenschaft ablegen müssen - zumindest manche von uns.
-
@AwetTesfaiesus @jlink ich glaube das Beispiel sofort, und dennoch hinterlässt es bei mir ein "autsch". Jesus und Maria, sollten die Sachbearbeiter da nicht geschult sein, ihre eigenen Vorurteile reflektiert zu erkennen? Wie mag das dann erst bei Namen, Handschrift und Schreibfehlern sein?
Wollt ihr noch ein paar "Alltagswissen" aus dem Jurist:innen-Leben:
1. Ob ein männlicher Zeuge lügt, erkannte ein Ausbilder (Richter mit Leitungsfunktion) meiner besseren Hälfte u.A. an deren Unterarmen! (tätowiert=Knastvogel=Lügner)
2. Ein:e Polizist:in verriet mir: ob man einen Straftäter vor sich hat, erkennt man (natürlich) an den Schuhen. (Betrüger haben billiges Schuhwerk)
Glaubt nicht, dass die Welt vor lauter Menschen nicht sei, wie sie ist.
-
@AwetTesfaiesus Der Unterschied ist mMn die menschliche Fähigkeit zur Reflexion. Und dass wir am Ende Rechenschaft ablegen müssen - zumindest manche von uns.
@jlink da irgendwo verorte ich mein Störgefühl auch.
-
@AwetTesfaiesus @oldperl
In kurz:Menschen sind Menschen, manipulierbar fehlerhaft.
Der Brockhaus/Wikipedia war recherhiert und "wahr".
Computer sind/waren Maschinen die etwas deterministisch berechnet haben. Das Ergebnis war quasi "mathematisch richtig" und nachvollziehbar. Man verlässt sich darauf.
LLMs liefern statistisch wahrscheinliche Halluzinationen ohne Verständnis von wahr und falsch. Wir unterstellen aber Intelligenz und nutzen es als Lexikon.
Ist halt schwierig/falsch.
@andreas_tengicki @oldperl Brockhaus war nicht wahr
-
Konkret: Ich könnte mir vorstellen, dass in dieser (!) konkreten Herangehensweisen an KI viel Coping steckt. Lügen wir uns hier kollektiv in die eigene (intellektuelle) Tasche?
Oder pfeifen wir hier sogar schon verzweifelt im Walde?
Liege ich komplett falsch?
@AwetTesfaiesus Nein ich seh das auch so. Und nebenbei ist das eine philosophisch ziemlich interessante Frage. Ist unsere natürliche Intelligenz wirklich irgendwie erhaben über die maschinelle? Es gibt dazu viel spannende Literatur. Roger Penrose: The Emperor's new mind fällt mir gerade ein.
Witzigerweise scheint mir gerade die IT-Bubble, die ja in gewisser Weise mal besonders verantwortlich ist dafür, besonders streng mit den LLMs zu sein. Haben die einfach nur Angst um ihre Coder-Jobs?
-
Überhöhen wir uns Menschen da nicht evtl.? "Gewissenhaftes Lektorieren" ist auch nicht die Stärke von Menschen.
Juristen belegen ihre Aussagen (teils wort-weise) mit Fundstellen. Es war schon immer ein Running Gag im Jura-Studium, diese Fundstellen nachzuschlagen und festzustellen, dass das vermeintlich zitierte da überhaupt nicht steht. Gleichwohl wird die Fundstelle brav von einem Gericht nach dem nächsten übernommen. Oft wird nicht geprüft.
@AwetTesfaiesus
Hmm, OK. Wenn ich sowas lese, springt immer mein Advocatus Diaboli an:
Diesen Prozess könnte man signifikant durch den Einsatz von ... "KI" ... verbessern. Also nicht einfach einen Chatbot fragen, sondern richtig, Vektor-DB mit den Inhalten, exakte Scopes und dediziertes, (nach-) trainiertes Netz, meinetwegen noch ein LLM zum nett Aufbereiten der Antworten.
@BrennpunktUA @marcuwekling -
Die "unknown unknowns" sind sicher valide.
Die "Industrialisierung"... nichts anderes passiert in der Verwaltung doch seit Jahrzehnten.
@AwetTesfaiesus jupp, die entwicklung ist überall nicht gut, und ich kann gut verstehen, dass dann manchmal "egal was, hauptsache was anderes" verlockend ist, aber ki, zumindest in dem rahmen wie es momentan benutzt und entwickelt wird, ain't it.
pharmakonzerne sind nicht die guten, aber sie können verhältnismäßig wenig schaden anrichten, weil die regularien ziemlich solide sind. natürlich erst immer *nachdem* menschen zu schaden kamen...
-
@AwetTesfaiesus
Hmm, OK. Wenn ich sowas lese, springt immer mein Advocatus Diaboli an:
Diesen Prozess könnte man signifikant durch den Einsatz von ... "KI" ... verbessern. Also nicht einfach einen Chatbot fragen, sondern richtig, Vektor-DB mit den Inhalten, exakte Scopes und dediziertes, (nach-) trainiertes Netz, meinetwegen noch ein LLM zum nett Aufbereiten der Antworten.
@BrennpunktUA @marcuwekling -
@AwetTesfaiesus jupp, die entwicklung ist überall nicht gut, und ich kann gut verstehen, dass dann manchmal "egal was, hauptsache was anderes" verlockend ist, aber ki, zumindest in dem rahmen wie es momentan benutzt und entwickelt wird, ain't it.
pharmakonzerne sind nicht die guten, aber sie können verhältnismäßig wenig schaden anrichten, weil die regularien ziemlich solide sind. natürlich erst immer *nachdem* menschen zu schaden kamen...
@AwetTesfaiesus ... und auf der zeitleiste sind wir in der it-branche auf jeden fall noch in der zeit wo sich ärzte vor einer operation vielleicht die hände waschen, wenn sie auf dem weg dahin an einem waschbecken vorbeikommen, und leute auf der titanik zum spaß ganzkörperröntgenaufnahmen von sich machen lassen.
-
In den Kommentaren lass ich gestern sinngemäß: wen wundert es, alle wissen, dass #LLMs ständig Fehler machen. @marcuwekling sagte am Montag bei der Lesung Ähnliches.
Dazu:
1️⃣In der juristischen Ausbildung lernst du, dass 50-70% der Verwaltungsakt falsch sind. Default: falsch!
2️⃣Dazu: in meiner Schulzeit waren Atlanten/Karten immer falsch (DDR drin, teils Saarland draußen, Jugoslawien komplett). Ich habe nicht gehört, dass über Schulen ähnlich gesprochen wird, wie über LLMs. #kiFür mich ist der Unterschied zwischen Fehlern von Menschen und Fehlern von Programmen die Möglichkeit, Korrektur vom Schreiberling verlangen zu können. Es muss für falsche Tatsachenbehautungen Haftung geben.
Wenn ein Polizist in seinem Bericht Müll produziert, kann er identifiziert werden und den Kram korrigieren. Und muss, bei vorsätzlichen Fehlern mit Konsequenzen rechnen. (Ob das in der Realität wirklich passiert lasse ich erstmal außer acht - es gibt wenigstens die rechtliche Möglichkeit)
Bei der KI gibt es keine Möglichkeit für Konsequenzen. Wie sollen die aussehen? Abschaltung für ein par Stunden? Wie soll sie KI denn denn lernen, dass Lügen falsch ist, so ganz ohne Bewusstsein? Wer soll sie denn tragen? Oder soll die Haftung vonder Herstellerfirma, die sich schon beim Füttern ihres Produktes um keine Gesetze geschehrt hat, und damit durchkommt, übernommen werden?
Oder doch wieder von der Person, deren Arbeit die KI machen sollte?
