Hvorvidt man skal blokkere AI-boter eller ikke, er et vanskelig valg mange utviklere og nettstedeiere står overfor.
- På den ene siden vil kvaliteten på språkmodellene nettsteder og utviklere selv bruker bli bedre om de trenes på kvalitetsdata.
- På den andre siden mener mange at aktører som Google og OpenAI bør betale for å bruke opphavsrettslig beskyttet materiale som treningsdata.
- For ikke å snakke om at AI-botene i noen tilfeller kan skape så mye trafikk at det kan gi skyregninger på tusenvis av dollar.
Men det å forsøke å blokkere Googles AI-boter kan imidlertid straffe seg, skriver Bloomberg.
Ifølge mediehus Bloomberg har snakket med er nemlig Google-verktøyet som skraper nettsteder for innhold til AI-trening det samme som også brukes til å lage de vanlige søkeresultatene på Google.
AI-blokkering gir dårlig SEO
Google har begynt å teste ut å vise AI-genererte svar på toppen av søkeresultatsiden ("AI Overviews"). Det betyr i praksis at brukere ikke trenger å klikke seg videre til andre nettsteder – altså andre nettsteder som kan ha bidratt med gratis data som Google har brukt til å lage de AI-genererte svarene.
Joe Ragazzo er publisher for nyhetsnettstedet Taking Points Memo, og sier til Bloomberg at de nå står overfor et stort dilemma:
– Vi har to dårlige valg. Du kan droppe ut og dø med én gang, eller du kan samarbeide med dem og antagelig bare dø sakte, fordi de til slutt ikke vil trenge deg, sier Ragazzo.
AI-botter stjeler innhold: Cloudflare lanserer nytt våpen
Google: "Dypt sammenflettet"
Google bruker ifølge Bloomberg egne boter ("crawlere") for noen AI-produkter, som Gemini-chatboten. Men hovedcrawleren deres, Googlebot, brukes både til AI Overviews og til de vanlige Google-søkeresultatene.
En talsperson fra Google sier til Bloomberg at årsaken er at AI og selskapets søkemotor er "dypt sammenflettet". Talspersonen sier imidlertid at publisister kan blokkere spesifikke sider eller deler av nettsider fra å dukke opp i AI Overviews i søkeresultater. Men det å gjøre dette vil også kunne føre til at innholdet vil forsvinne andre steder.
Men ifølge Google-talspersonen vil AI-blokkerte sider ikke forhindres fra å vises i de vanlige søkeresultatene, slik noen av mediehusene tilsynelatende hevder. Men de vil ikke dukke opp andre steder – som i såkalte "snippets" med ekstrainformasjon – eller i Google Discover.
Lever av Google
Risikoen ved å blokkere Googles boter er uansett for stor, mener mange:
– Googles holdning undervurderer den betydelige risikoen dette utgjør for innholdsskapere, spesielt de som er avhengige av synlighet i søkemotorer for å opprettholde levebrødet sitt, sier Marc McCollum, som jobber med innovasjon hos Raptive, et selskap som representerer publisister og influensere.
Andre publisister og mediehus Bloomberg har snakket med påpeker at de kan blokkere AI-botene fra andre enn Google uten at det skader dem. Men på grunn av den sterke posisjonen Google har innenfor søk, kan de ikke blokkere Googles AI-bot.
– Blokkerer jeg Googlebot, mister vi trafikk og kunder, sier Kyle Wiens, sjef i iFixit.
