– Det er håpløst å skulle blokkere AI-crawlerne. Det er håpløst fordi de lyver og gjemmer seg bak IP-adresser som tilsier at de er privatpersoner, forklarte FOSS-utvikleren Xe Iaso i januar.
I et blogginnlegg beskrev Iaso konsekvensene av at AmazonBot ignorerte robot.txt-fila på deres Git-server, og at de derfor vurderte å gjøre serveren helt privat.
Men i stedet for å gi opp, valgte Iaso å ta opp kampen. Og med det har dødsguden fra det egyptiske dødsriket entret ringen: Anubis er klar til å straffe AI-crawlere.
Basert på spredningen verktøyet har fått, og utfordringene andre open source-miljøer har opplevd den siste tiden, er nok bidraget mer enn kjærkomment.
«Veier sjela»
I ett oppdatert innlegg går Iaso gjennom det nye verktøyet.
– Anubis veier sjela til forbindelsen din, ved å bruke en sha256 proof-of-work-oppgave for å hindre boter som er ute etter å skrape dataene dine, skriver Iaso med henvisning til egyptisk mytologi.
I henhold til myten må du sørge for å ha en ren samvittighet, og i forlengelsen av det et rent hjerte, før du dør.
Et rent hjerte veier i mytologien mindre enn en fjær, som det blir veid opp mot. Har du et rent hjerte, får sjelen leve evig i dødsriket. Skulle hjertet derimot vise seg å være tyngre enn fjæra, blir den spist og ødelagt for all tid.
Så i overført betydning: Du må ha edlere motiver enn en AI-crawler for å få tilgang på nettsida.
Iaso sammenligner verktøyet med Hashcash, og skriver at både nettlesere og boter må bestå oppgaven før de får tilgang på nettsidene der Anubis er tatt i bruk.
Nå har de fått nok: Lurer boter med labyrint av søppel
Rask vekst
For brukere som støter på Anubis, vil de få se en søt tegning.
– Dette er mitt forsøk på å gjøre Anubis antromorf, sier Iaso til Techcrunch. Skulle en bot støte på Anubis, vil de bli nektet adgang.
Iaso delte prosjektet på GitHub 19. mars, og siden den gang har bruken spredt seg raskt.
Det er så langt oppe i snart 2.300 stjerner, har fått 20 bidragsytere og er oppe i 45 forks.
Stort problem innen open source
Iaso er ikke alene innen open source-miljøet om å se seg nødt til å ty til kraftige verktøy for å stanse AI-crawlere den siste tiden.
Samme dag som Anubis så dagens lys på GitHub, meldte SourceHut at mottiltak mot AI-botter også ville kunne ramme brukerne på siden.
– Vi fortsetter å oppleve driftsforstyrrelser som følge av agressive LLM-boter. Vi jobber fortløpende med tiltak, som skal begrense følgene, skrev de i en oppdatering, og fortsatte:
– Tiltakene holder problemet i sjakk, inntil videre. Men noen tiltak kan ramme sluttbrukere.
Som om det ikke var nok, ble også KDE-miljøet på GitLab rammet. Ifølge brukere ha meldt fra om de i praksis ble DDoS'et av en bot fra Alibaba.
Saken er omtalt hos The Libre, som skriver at GitLab ble utilgjengelig for KDE-utviklere i en kortere periode i etterkant av "besøket".
