Økt produktivitet er ett av argumentene som oftest trekkes frem som grunn til å bruke AI-baserte kodeassistenter. Microsoft og GitHub mener slike kodeassistenter kan øke produktiviteten med 50 %, men ifølge Gartner har ledere urealistiske forventninger til produktivitetsøkningen.
Det store spørsmålet er altså om utviklere blir mer produktive med AI – eller bare produserer mer dårlig kode og mer teknisk gjeld?
En fersk rapport fra kodeanalyseselskapet Uplevel kan tyde på det siste. Undersøkelsen er gjort blant nesten 800 utviklere og viser at de som har tatt i bruk AI-assistenter ikke gjør det særlig bedre enn før de fikk kodeassistentene. Det skriver CIO.
Men de skriver kode med bugs raskere enn noensinne.
41 prosent flere feil
I undersøkelsen så man på blant annet:
- PR cycle time: Tiden det tar å merge en pull request inn i en kodebase.
- PR throughput: Antall pull requester som merges inn.
- Feilrate: Hvor mange "bugs" er det i koden?
- Utbrenthet: Hvor mye overtid må folk jobbe? Dette er ifølge Uplevel en viktig indikator på risikoen for å bli utbrent.
Advarer: – Nå kan vi lage teknisk gjeld enda raskere enn før!
– Når vi undersøkte "PR cycle time", "PR troughput" og kompleksitet sammen med pull requests med tester, viste det seg at Copilot verken hjalp eller var til skade for utviklerne. Det økte heller ikke kodehastigheten, skriver Uplevel i rapporten.
Tiden det tar å merge inn pull requests (cycle time) gikk ned ubetydelig etter innføringen av Copilot, rundt 1,7 minutter, ifølge underøkelsen.
Men antallet bugs økt betydelig – med hele 41 prosent.
– Det tyder på at Copilot-tilgang kan påvirke kodekvaliteten. Det faktum at "PR throughput" var uendret, støtter denne muligheten ytterligere, skriver Uplevel.
Like stor fare for utbrenthet
I undersøkelsen spurte man om hvor mye utviklere måtte jobbe utenom vanlig arbeidstid ("always on time"). Dette skal være en viktig indikator for om man blir utbrent eller ikke.
Undersøkelsen viste at antallet timer man jobber utenfor vanlig arbeidstid falt i både testgruppen og kontrollgruppen.
Men mengden overtid sank mer for de som ikke brukte Copilot. Mens de som brukte Copilot jobbet 17 prosent mindre, var tallet for de som ikke brukte Copilot 28 prosent.
«Copilot-tilgang var ikke effektiv i å forhindre risikoen for utbrenthet.»
– Copilot-tilgang var ikke effektiv i å forhindre risikoen for utbrenthet, konkluderer Uplevel i rapporten.
Undersøkelsen ble gjort før Copilot ble tatt i bruk fra 9. januar til 9. april 2023, og så på nytt etter at det ble tatt i bruk – fra 8. januar til 7. april 2024.
Microsoft ønsket ikke å kommentere undersøkelsen overfor CIO, men viser til sin egen undersøkelse som viser at utviklere som brukte Copilot var i stand til å skrive kode 55 prosent raskere.
4 av 5 norske utviklere koder med AI – men ikke for bedre kode
– Det blir bedre
Til CIO sier Matt Hoffman i Uplevel at det kan finnes flere måter å måle utviklerproduktivitet på enn det de har gjort, og selskapet foreslår ikke at selskaper skal slutte å bruke kodeassistenter.
I rapporten slås det fast at utviklingen innenfor AI-kodeassistenter går veldig raskt, og ifølge rapporter fra GitHub gjør det at utviklere er mer fornøyde. Men ledere kan med fordel legge opp til en konservativ strategi for å ta i bruk verktøy som Copilot – i påvente av at verktøyene blir bedre.
Statens vegvesen ga nylig alle sine utviklere tilgang til Copilot, etter at deres egne undersøkelser viste at utviklerne i en testgruppe hos dem mente de hadde blitt mer produktive etter at de tok det i bruk. Les mer om det her:
