For å få holde foredrag eller workshops på konferansen NDC Oslo, må du sende dem et forslag, ofte kalt et abstrakt.
I år fikk konferansen 2.067 slike: 1.676 for vanlige foredrag, 179 for lyntaler og 212 for workshops.
– Og vi tror at en fjerdedel av forslagene var skrevet med stor grad av hjelp fra AI-verktøy, sier Einar W. Høst til kode24.
Han jobber som rådgiver i NAV, og sitter i komiteen som bestemmer hvilke forslag som faktisk blir taler på NDC Oslo.
Det var det ikke mange av de over 500 AI-genererte forslagene som fikk, og grunnen er ganske enkel.
Irriterende AI-språk
Det var flere ting som avslørte de AI-genererte forslagene. Det første, var nærmest bare en magefølelse.
– Det ble raskt tydelig for oss i komiteen at det var noe rart med abstraktene i år. Det er interessant hvordan det fungerer: Man reagerer på at noe er «off» før man kan si noe nøyaktig om hva det er som er galt. Mennesker er gode på sånt. Jeg personlig merket at jeg ble irritert av å gjøre evalueringen, og det har jeg aldri blitt før, sier Høst.
Etterhvert viste det seg hva det handla om: Det var ikke folk med ekte intelligens som hadde skrevet dette, men kunstig intelligens.
– Da vi begynte å se nærmere på det, så vi at det var mange typiske kjennetegn: Mye floskler og entusiastisk tåkeprat, samtidig som det var vanskelig å få grep på hva foredraget egentlig handlet om. Enkelte setninger var helt meningstomme, fortsetter Høst.
– Jeg tror det var dette som gjorde meg irritert. Abstractet kommuniserte ikke med meg! Jeg skjønte ikke hva foredraget skulle handle om! Det var bare ord etter ord etter ord.
«In the ever-evolving landscape of microservices.»
Fulle av floskler
Da det ble klart for NDC Oslo-gjengen at de nå satt med massevis av AI-genererte taleforslag, begynte Høst og se enda nærmere på saken:
De tagga alle som enten antatt AI-generert eller håndskrevet. Alle ble så kjørt gjennom Copyleaks, som kan gjenkjenne AI-generert tekst, og skal ha bekrefta alle mistankene deres.
Høst skrev små analyseprogrammer for å se nærmere på mønstrene i abstraktene. Mange ord og uttrykk viste seg å gå igjen i de AI-skapte, som "paramount", "harness", "pivotal", "immersive", "enlightening", "thought-provoking" og "profound". Andre gikk bare igjen i de håndskrevne, som "deal", "something", "probably", "likely" og "useful".
Høsts programmer så også på det han kaller floskler som gikk igjen i AI-tekstene, som "in this epic session", "in the dynamic realm of moden infrastructure", "in the ever-evolving landscape of microservices" og "in the era of digital transformation".
Og det er slik han har konkludert med at omlag hvert fjerde forslag var skrevet av AI. Med andre ord over 500 abstrakter.
AI gjorde det dårligere
– Vi takket ja til noen. Men AI-genererte abstrakter gjorde det relativt sett dårlig, sier Høst til kode24.
Som tallene tyder på, er konkurransen om å få prate på NDC Oslo beinhard. Spesielt for de som brukte AI for å skrive forslaget:
- Godkjenningsraten for timeslange foredrag var 6,6 prosent. Altså fikk bare 1 av 15 forslag godkjenning.
- For AI-genererte forslag var godkjenningsraten bare 3,8 prosent.
- For håndskrevne forslag var raten 7,4 prosent – altså omlag dobbelt så høy.
– AI-genererte abstrakter gjorde det relativt sett dårlig, og grunnen var at de var dårligere enn de håndskrevne, forklarer Høst.
– Et abstrakt som er gjennomsyret av floskler og fluff skader sjansene sine for å vinne frem.
Høst holdt derfor lyntalen «Why your AI generated talk abstract was rejected for NDC Oslo» på samme konferanse, med samme budskap: Fordi de var for dårlige.
Ikke alle kan alt
– Ikke alle er like flinke til å skrive, og kan kanskje få god hjelp til dette med AI. Så er det noe galt, i seg selv, i å bruke AI-verktøy til hjelp?
– Det er sant at ikke alle er like flinke til å skrive, på samme måte som ikke alle er like flinke til å synge, tegne, snekre, male, løpe og så videre. Det kan man si er litt urettferdig. Og det hadde vært fint om AI-verktøy kunne utjevne disse forskjellene og gjøre oss alle like gode til alt, svarer Høst.
– Men det er å be om for mye, og viser en grunnleggende mangel på forståelse for hvordan kreative prosesser som skriving fungerer. Man må ha en naiv forståelse av skriving for å tro at AI-verktøy kan rette opp den skjevheten.
Han mener skriving er «90 prosent tenkning, lesing og revidering», noe AI ikke hjelper deg med. Og han reagerer på AI-entusiaster vil at alle skal kunne gjøre alt, noe han ser på som umulig, da man i det minste må gjenkjenne kvalitet.
– Det er ikke noe galt, i seg selv, å bruke AI-verktøy som støtte i en skriveprosess. Men det er potensielt en skummel samarbeidspartner. AI-verktøyene leverer ferdig tekst som ikke inviterer til revisjon. Det gjør det fristende å ta snarveier, mener Høst, som så foredragsforslag hvor «forfatteren» åpenbart ikke engang hadde lest gjennom det hen leverte fra seg.
«Jeg tror det er i ferd med å vokse frem en viss "AI-ick" hos folk.»
Se bildene fra NDC Oslo 2024: 2.300 utviklere samla i Oslo Spektrum
Tror på et «AI-ick»
– Hva tenker du om årene som kommer - ser du for deg at det bare blir flere AI-skrevne foredragsforslag til dere framover?
– Jeg tenker det blir spennende å se. Jeg håper at når hypen rundt disse verktøyene får roet seg litt, så vil verktøyblindheten også bli mindre fremtredende. Jeg håper at vi kommer til å bli flinkere til å se på den faktiske kvaliteten på det verktøyene produserer, fremfor å falle i staver over at de produserer noe som tilfredsstiller formkravene og på overflaten ser OK ut, svarer Høst.
Han har ikke mye til overs for å dele AI-skapt innhold og skryte av at AI har laga det, kanskje for å vise hvor «framoverlent» man er.
– Den fasen er over, og jeg tror vi kan forvente en motreaksjon. Jeg tror det er i ferd med å vokse frem en viss "AI-ick" hos folk, fordi det viser seg at både tekst og bilder faller igjennom kvalitetsmessig. Det vil bli flaut å bruke illustrasjonsbilder som er tydelig AI-genererte, tror Høst.
Han innser at verktøyene stadig blir bedre, og på et tidspunkt kanskje kan konkurrere med for eksempel håndskrevne taleforslag til NDC. Men som han sier:
– Jeg tror fremdeles vi håper på den greia med å «gjøre det» uten å måtte gjøre det. Og det kommer ikke til å funke.
