@leah @chaosradio @monoxyd @ubernauten das ist bekannt und auch ein Problem für meine Infrastruktur. Ich meinte, warum müssen wir was neues aushandeln und wieder Energie reinstecken ein neuen Standard zu entwickelt?
G
genofire@social.bremen.social
@genofire@social.bremen.social
Beiträge
-
KI-Crawler scrapen alles, was nicht bei drei hinter der Firewall ist. -
KI-Crawler scrapen alles, was nicht bei drei hinter der Firewall ist.@chaosradio @monoxyd @ubernauten @leah coole Folge, mir fehlt etwas die Antwort, warum robots.txt nicht für AI-Crawler geeignet sind (und den html-meta Tag oder http header X-Robots)
-
Moin, wir sind die Vereinskneipe Karo aus Bremen.@KaroBremen moin
@lassen kennt ihr bereits oder?