Dårlig AI-generert kode skaper trøbbel: «Hører mer og mer om det»

Det går fort og greit med AI-generert kode, men det blir også vanligere med feil som følge av det, sier Tariq Shaukat.

Tariq Shaukat hos Sonar sier de hører mer og mer om problemer som følge av AI-generert kode. 📸: Dado Ruvic / Reuters / NTB og James Atoa / UPI / Shutterstock / NTB
Tariq Shaukat hos Sonar sier de hører mer og mer om problemer som følge av AI-generert kode. 📸: Dado Ruvic / Reuters / NTB og James Atoa / UPI / Shutterstock / NTB Vis mer

78 prosent av norske utviklere oppga i år at de bruker AI i jobbsammenheng, da de svarte på kode24s lønns- og trivselsundersøkelse.

Ifølge analyseselskapet Gartner vil 90 prosent av utviklere kode med AI-støtte allerede i 2028.

Samtidig blir det mer vanlig at selskaper får problemer som følge av kode, generert av nettopp AI, melder Tech Republic.

Tariq Shaukat er toppsjef hos cleancode-selskapet Sonar, og har tidligere jobbet i Bumble og Google Cloud. Han sier de ser at selskaper i stadig større grad tar i bruk AI-løsninger for å generere kode, og bruker koden i produksjon – før systemer krasjer eller blir sårbare.

Manglende reviews

– Vi hører mer og mer om det, sier han til Tech Republic, og peker på at årsaken i all hovedsak er mangel på reviews.

– Enten fordi selskapet ikke har en robust nok kode og gode nok rutiner for kode-review, eller fordi utviklere gransker AI-generert kode mindre kritisk enn de ville gjort med sin egen, sier.

– Når de blir spurt om feilene fra AI, så er det vanlige svaret at "det er ikke min kode". De føler altså mindre ansvar for koden, siden de ikke skrev den, forklarer Shaukat.

Han understreker samtidig at dette ikke handler om manglende omsorg, men heller manglende interesse for det han kaller "copy-editing code", i tillegg til at systemene for kvalitetskontroll ikke er klare for tempoet endringene skjer i.

Fokus på mengde og tid

Blant de som svarte på undersøkelsen til kode24, så svarte 75 prosent at de skrev raskere kode, mens bare 33 prosent mente den ble bedre.

GitHubs toppsjef Thomas Dohmke skrev i fjor sommer om hva GitHub Copilot hadde bidratt til. Han trakk også fram at AI gir mer kode, og det skjer raskere.

Dette er et grunnleggende problem som ble påpekt i en bloggpost hos Arc i vår. Med et anslag om at det i gjennomsnitt går med ti ganger mer tid til å lese over koden, enn på å skrive den, så vil konsekvensen bli tidspress.

I posten tar de også for seg funnene til GitClear, som har undersøkt kvalitet på AI-kode. Funnene deres er også tydelig: Andelen kode som er for dårlig, øker raskt.

Feil i opptil 7 av 10

En studie fra 2023 underbygger også at det er utfordringer med kode som er generert av eller i samarbeid med AI.

Resultatet var at de, da, mest oppdaterte utgavene av ChatGPT, GitHub Copilot og Amazon CodeWhisperer genererte riktig kode i henholdsvis 65.2, 46.3, og 31.1 prosent av tilfellene.

kode24 har tidligere omtalt at de nye modellene fra OpenAI være bedre enn forgjengerne på koding. Samtidig er det verdt å merke seg at det likevel vil være behov for testing.

Og denne bør fortsatt ha mennesker i hovedsetet, påpekte Ronny Ellefsen i et leserinnlegg på kode24 nylig. Han er senior UX-designer hos Netlife. Han trakk fram sommerens store snakkis, Crowdstrike, som eksempel på problemet:

– Mens CrowdStrike har et stort team og benytter AI i mange av sine prosesser, var det tilsynelatende mangel på menneskelig innsikt som gjorde at en kritisk bug slapp gjennom.