AI-crawlere har vært ute i hardt vær den siste tiden. Clouflare har laget en søppel-labyrint for å stanse dem, og andre har påkalt dødsguden Anubis til kamp mot robotene.
Nå går også Wikimedia ut, og forteller hvor stor påkjenning dette utgjør for Wikipedia.
– Vi ser at kapasiteten til nedlastning av multimedieinnhold har økt med 50 prosent siden januar 2024. Dette skyldes ikke menneskelige brukere, skriver Wikimedia i ett blogginnlegg.
Det skyldes derimot boter, på jakt etter bildemateriale delt med Creative Common-lisenser, som blir brukt til å trene AI-modeller.
Nå advarer Wikimedia om følgene.
Utløste «trafikkork»
– Vår infrastruktur er dimensjonert for å håndtere at trafikken øker mye under store hendelser, som mange er interessert i. Men crawlere skaper så mye trafikk, at det fører til høyere kostnader og risiko, ifølge Wikimedia.
De viser til det som skjedde da USAs tidligere president, Jimmy Carter, døde i desember 2024:
- Den engelskspråklige artikkelen på Wikipedia ble vist 2,8 millioner ganger den dagen. Selv om det er ganske mye, så er det ikke nok til å tvinge siden i kne.
- Men da flere begynte å spille av et 1,5 time langt opptak av en presidentdebatt mellom Carter og Ronald Reagan, førte det til en dramatisk økning i trafikken.
Konsekvensen var, i praksis, trafikkorker på siden. Dette førte igjen til lavere lastetid, eller at folk ikke fikk kontakt med siden.
Kaller på dødsgud i kamp mot AI-crawlere
– Dårligere rusta
Det er her økningen på 50 prosent i nedlasting av multimedieinnhold kommer inn i bildet.
I en grafikk delt av Wikimedia, er det tydelig at trafikken over tid har vært på et relativt jevnt nivå, men at det endret seg nærmest over natta med en betydelig trafikkvekst fra 2024 av.
– Det er heller ingen tegn til at det roer seg, skriver Wikimedia, og fortsetter:
– Når det nye normalnivået for tilgang til multimedieinnhold øker, gjør det at vi er dårligere rusta og har mindre kapasitet til å håndtere plutselig hopp i trafikken når det skjer.
AI forsøpler Wikipedia – nå starter ryddejobben
Vil ha innstramming
Da Wikimedia undersøkte trafikkmønstrene nærmere, viste det seg at boter utgjorde en uforholdsmessig stor andel av den mest krevende trafikken på sidene.
– Denne bruken har ført til at teamet med ansvar for stabiliteten på sidene, har vært nødt til å blokkere den overveldende trafikken fra crawlere før det skaper problemer for brukerne, skriver Wikimedia.
Selv om boter står for rundt 35 prosent av alle sidevisninger, sto de samtidig for 65 prosent av den mest kostnadskrevende trafikken.
Forklaringen er at Wikipedia cacher artikler som mange mennesker etterlyser, på datasentre nær dem. AI-boter etterspør gjerne et større utvalg av artikler, gjerne også ikke-cachede artikler, som da krever mer av ressursene.
– Innholdet vårt er gratis. Infrastrukturen vår er ikke det, skriver Wikimedia, som nå inkluderer kampen mot AI-boter i utkastet til årsplanen, for å sikre en bærekraftig utvikling videre.
