Det er ingen nyhet at nettsider er frustrerte over AI-roboter, som tar seg til rette. Ei heller at flere aktører prøver å stenge dem ute, som VG og Nasjonalbiblioteket.
Som kode24 tidligere har omtalt, har for eksempel Cloudflare laget et våpen for å blokkere alle boter, som svar på at flere aktører ikke godtar at du gir beskjed i robot.txt.
Nå sier SourceHut at de har måtte ty til kraftig lut mot botene, så kraftig at det også vil kunne påvirke de ekte brukerne deres, melder The Register.
– Aggressive boter
SourceHut er et open source-alternativ til GitHub og GitLab, om enn betydelig mindre. Denne uka har de fortalt om problemene boter fører til for dem.
– Vi fortsetter å oppleve driftsforstyrrelser som følge av agressive LLM-boter. Vi jobber fortløpende med tiltak, som skal begrense følgene, skriver de i en oppdatering.
– Tiltakene holder problemet i sjakk, inntil videre. Men noen tiltak kan ramme sluttbrukere, skriver de videre.
Noe av dette skyldes at de har tatt i bruk bot-fangeren Nepenthes for å fange opp botene som jakter på data til å trene store språkmodeller. Konsekvensen er at flere sider kan framstå ustabile, forklarer SourceHut.
AI-botter stjeler innhold: Cloudflare lanserer nytt våpen
Stenger for hele skyleverandører
Et annet tiltak er å blokkere tilgang fra flere skyleverandører.
Mye av trafikken fra boter skal ha utspring fra Google Cloud og Azure, ifølge SourceHut. De ber administratorer ta kontakt for å få laget unntak fra blokkeringen.
SourceHut påpeker at selv om tiltakene er ment å være midlertidige, så ønsker de også at utviklere gjør det lettere for dem å være mer løse opp i lignende scenarioer i framtida.
Håpet er at kontakt med brukerne skal gjøre det mulig å vite om trafikk er "malicious" eller ei, slik at det er mulig å sette inn mer målretta tiltak.
