KI-Crawler scrapen alles, was nicht bei drei hinter der Firewall ist.
-
KI-Crawler scrapen alles, was nicht bei drei hinter der Firewall ist. Immer und immer wieder. Dabei ignorieren sie etabliert geglaubte Opt-Out-Standards und nutzen besonders perfide Methoden. Wie gehen Betreiber*innen von Infrastruktur damit um?
Das besprechen @monoxyd und Constanze mit den @ubernauten Jonas und @leah, die auch von der Herausforderung durch Crawler bei chaos.social berichtet.
https://chaosradio.de/cr303-laestige-ki-crawler-ignorieren-grosse-nein-schilder -
KI-Crawler scrapen alles, was nicht bei drei hinter der Firewall ist. Immer und immer wieder. Dabei ignorieren sie etabliert geglaubte Opt-Out-Standards und nutzen besonders perfide Methoden. Wie gehen Betreiber*innen von Infrastruktur damit um?
Das besprechen @monoxyd und Constanze mit den @ubernauten Jonas und @leah, die auch von der Herausforderung durch Crawler bei chaos.social berichtet.
https://chaosradio.de/cr303-laestige-ki-crawler-ignorieren-grosse-nein-schilder@chaosradio @monoxyd @ubernauten @leah coole Folge, mir fehlt etwas die Antwort, warum robots.txt nicht für AI-Crawler geeignet sind (und den html-meta Tag oder http header X-Robots)
-
@chaosradio @monoxyd @ubernauten @leah coole Folge, mir fehlt etwas die Antwort, warum robots.txt nicht für AI-Crawler geeignet sind (und den html-meta Tag oder http header X-Robots)
@genofire @chaosradio @monoxyd @ubernauten die Antwort ist recht einfach. Sie halten sich zum guten Teil nicht dran.
-
@genofire @chaosradio @monoxyd @ubernauten die Antwort ist recht einfach. Sie halten sich zum guten Teil nicht dran.
@leah @chaosradio @monoxyd @ubernauten das ist bekannt und auch ein Problem für meine Infrastruktur. Ich meinte, warum müssen wir was neues aushandeln und wieder Energie reinstecken ein neuen Standard zu entwickelt?
-
@leah @chaosradio @monoxyd @ubernauten das ist bekannt und auch ein Problem für meine Infrastruktur. Ich meinte, warum müssen wir was neues aushandeln und wieder Energie reinstecken ein neuen Standard zu entwickelt?
@genofire @chaosradio @monoxyd @ubernauten müssen wir ja nicht. Von mir aus könnten sie sich einfach dran halten und wer sich nicht dran hält fliegt. So mach ich das.
-
W wando@troet.cafe shared this topic
