Etter at populariteten til språkmodeller som OpenAIs ChatGPT har tatt fullstendig av de siste månedene, har mange forsøkt å finne metoder for å detektere om tekster er laget av datamaskiner eller mennesker.
For eksempel har OpenAI selv laget et verktøy som skal kunne anslå sannsynligheten for at teksten du leser er skrevet av kunstig intelligens.
Men er det egentlig mulig å vite med sikkerhet om en tekst er skrevet av en AI eller ikke? Nei, mener fem forskere ved University of Maryland i USA, skriver The Register.
«Vi mener resultatene kan åpne for en ærlig diskusjon om bruken av AI-generert tekst.»
Dømt til å mislykkes
I en forskningsrapport med tittelen "Can AI-Generated Text be Reliably Detected?" har forskerne Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang og Soheil Feizi gått gjennom ulike metoder for å detektere hvorvidt tekst er menneskeskapt eller ikke.
– I rapporten viser vi både teoretisk og empirisk at disse state-of-the-art-detektorene ikke på pålitelig vis kan detektere LLM-utdata i praktiske scenarioer, skriver forskerne i rapporten.
Med LLM menes "Large Language Models" – altså store språkmodeller som chat-tjenester som OpenGPT baserer seg på.
Forskerne mener uregulert bruk av LLM kan få mange uønskede konsekvenser. De nevner blant annet plagiering av tekst, spam, falske nyheter og manipulering av web-innhold på måter som kan få negative følger for samfunnet. Pålitelig detektering av AI-generert tekst kan derfor være viktig for å sikre at LLM brukes på en forsvarlig måte.
Dessverre fungerer det ikke. Deteksjon av AI-generert tekst ser ut til å være dømt til å mislykkes etter hvert som maskinlæringsmodellene blir stadig bedre til å etterligne oss mennesker.
Nå skal AI ta jobben du ikke gidder å gjøre selv
Enkelt å lure
Det finnes flere metoder for å detektere AI-skrevet tekst. Én metode baserer seg på å se på mønstre som er typiske for tekst skrevet av bestemte språkmodeller, en annen metode er vannmerke-teknikker der AI-generert tekst "merkes" med en slags skjult signatur.
I rapporten viser imidlertid forskerne at det er lett å lure detektorer som ser etter disse tingene. Det er rett og slett bare å skrive om setningene litt og bytte ut noen ord her og der – noe som kan automatiseres.
Ved å bytte ut ord kan nøyaktigheten til en AI-detektor reduseres fra 97 prosent til mellom 80 og 57 prosent. Da begynner du å nærme deg at du like gjerne kunne kastet kron og mynt, skriver The Register.
– Vi mener resultatene kan åpne for en ærlig diskusjon om bruken av AI-generert tekst på en måte som er etisk og pålitelig, skriver forskerne i rapporten.
