– Vi skulle gjerne vist deg en beskrivelse her, men nettsiden tillater oss ikke det, melder DuckDuckGo da kode24 tester ut påstanden fredag ettermiddag.
Søkemotoren klarer å finne undersiden Advice Animals på Reddit, men kan altså ikke forhåndsvise innhold. For referanse gir samme søk hos Google et utdrag av innholdet.
Det er ikke bare deg: Google har blitt dårligere
Begrenset av manglende tilgang
404 media var først ute med å omtale problemstillingen. De skriver at brukere av søkemotorer som Bing, DuckDuckGo, og flere andre søkemotorer opplever samme problem.
Noe av det de har til felles, er at de ikke baserer seg på indekseringene til Google. Søkemotorene det gjelder, vil heller ikke vise eldre resultater.
Ifølge 404 skal søkeresultater som er eldre dukke opp som vanlig. De mener søkemotorene er blitt nektet tilgang til å «crawle» Reddit, og at det dermed kun er Google som vil ha tilgang til å vise nye treff fra Reddit.
404 underbygger dette med at den uavhengige søkemotoren Kagi fortsatt får nye treff fra Reddit. Den krever betalt fra brukere, og kjøper deler av sin søkeindeks fra... Google.
Forskere advarer: Stadig flere ber AI-selskapene holde fingra av fatet
Nekter for at penger er årsaken
The Verge antyder at situasjonen har oppstått i kjølvannet av at Google og Reddit nylig inngikk en avtale. Den tillater Google å bruke innholdet på Reddit til trening av sine AI-systemer.
Avtalen skal ha en verdi på 60 millioner dollar, ifølge The Verge.
En talsperson for Reddit nekter for at det er noen sammenheng mellom avtalen, og situasjonen der søkemotorene er stengt ute.
– Vi har vært i diskusjoner med flere søkemotorer. Vi har ikke klart å bli enige med alle , sier Tim Rathschmidt.
– Årsaken er at ikke alle kan eller vil gi oss forpliktende løfter om hva de vil gjøre med innholdet, blant annet når det kommer til AI, forklarer han til The Verge.
Ingen Meta-AI i Norge og EU med det første
Strammet inn 1. juli
Magasinet hevder innstrammingen skjedde i forbindelse med en endring i robots.txt-fila. Begrunnelsen var nettopp å stanse AI-roboter fra å forsyne seg med innhold.
Endringen har også fått følger for søkemotoren Mojeek, sier Colin Hayhurst til 404. Han er CEO for selskapet bak søkemotoren, og hevder å ha kontaktet Reddit om problemet da det oppsto, uten å få svar.
Rathschmidt hos Reddit sier også til 404 at Reddit nå blokkerer alle roboter fra selskaper som nekter å forplikte seg til ikke å bruke dataene for AI-trening.
Ifølge 404 skal han ikke ha svart på hvorfor Mojeek ikke har fått svar på sine henvendelser. Deres roboter skal nemlig ikke bruke data til AI-trening. Google har avstått fra å kommentere saken.
Microsoft sier i en uttalelse til The Verge at de respekterer robots.txt-standarden, og følger denne når de forbyr bruk av innhold til trening av generativ AI, sier talspersonen Caitlin Roulston.
Hun legger også til at Microsofts søkemotor Bing sluttet å crawle Reddit da de oppdaterte robots.txt-fila 1. juli.
