Skriver utviklere bedre kode dersom de bruker GitHub Copilot?
GitHub mener i alle fall det selv, og viste sist måned til en fersk rapport som skulle underbygge den påstanden.
Hvem som har laget rapporten? GitHub selv.
Nå kommer kritikken mot rapporten, blant annet fra utvikleren Dan Cîmpianu, som påpeker flere store svakheter ved både funnene og metoden.
Subjektive vurderinger
For mens GitHub påstår at koden er mer til å stole på, lettere å lese og mer funksjonell, så er ikke Cîmpianu enig i at funnene nødvendigvis er reelle.
Han argumenterer i et blogginnlegg for at en enkel CRUD-applikasjon kan ha vært en del av treningsdataene til Copilot, og at det blir for enkelt.
Cîmpianu viser også til at det var andre utviklere i studien som vurderte koden til hverandre, blant annet på lesbarhet. Dermed blir det fort slik at de gir «stilpoeng», når det gjelder lesbarhet og hvor lett vedlikeholdet vil være.
I begge fall er det da en subjektiv vurdering, noe han mener gjør at funnene mister mye av verdien, særlig når det er snakk om maks 3 prosent bedring.
Cîmpianu kritiserer også faktum at en del av «feilene» som ble skrevet av utviklerne uten AI-verktøy, fortsatt ville vært fungerende kode, bare ikke perfekt.
5 nyheter fra GitHub: Copilot til XCode og terminalen
Ønsker ikke svare på kritikken
I utgangspunktet var det plukket ut 243 Python-utviklere med minst fem års erfaring, men bare 202 leverte «godkjente» bidrag. Det er uklart hva som ligger bak at 31 bidrag ble refusert.
The Register trekker også fram statistiske avvik i rapporten. Med 202 deltakere i studien, og ti reviews per deltaker, skulle det endt opp med 2.020 reviews. I stedet endte det opp med 1.293.
Avisa har bedt GitHub om en kommentar til kritikken, men GitHub har så langt ikke ønsket å svare på denne.
– Om du som utvikler ikke kan skrive god kode uten AI, så bør du ikke bruke den heller. Ingenting kan erstatte egen erfaring og stolthet av jobben du gjør, uavhengig av hva de som skal selge AI måtte påstå, oppsummerer Cîmpianu.
Det hører med til historien at flere også har kritisert GitHub Copilot for å gjøre usikker kode enda mer usikker. I 2023 viste en GitClear-rapport om AIs påvirkning av kode at mindre kode kan gjenbrukes, og en økning av churn.
