Hva skjer når AI brukes mer i letingen etter bugs og sårbarheter? Jo, stadig mer av rapportene som sendes inn til open source-prosjekter blir dårlige.
– Jeg har i det siste sett en oppsving i rapporter med ekstremt dårlig kvalitet. De framstår som spam, og som typiske AI-hallusinasjoner, skriver Seth Larson i et blogginnlegg.
Han er sikkerhetsutvikler hos Python Software Foundation, og ber nå folk slutte å bruke AI-verktøy i jakten på bugs og sårbarheter.
– Systemene forstår ikke kode, er et av poengene i innlegget.
Framstår som ekte problemer
Larson har gitt innlegget tittelen «New era of slop security reports for open source», som gir et greit inntrykk av hvordan han opplever situasjonen.
– Rapportene kan i starten framstå som legitime tilbakemeldinger, og det tar tid til å avkrefte at de er nettopp det, forklarer han.
Larson jobber selv med å håndtere rapporter som kommer inn for blant annet CPython, pip, urllib3, Requests. I tillegg bidrar han også på flere prosjekter.
– Når dette skjer på flere av prosjektene jeg har oversikt over, så mistenker jeg at det skjer med flere andre open souce-prosjekter, på en stor skala. Det er en trend som bør bekymre, skriver han.
Advarer mot AI-testing: «Kan ikke erstatte mennesker»
Frykter utbrente maintainere
Larson gjør et poeng ut av at mange bidrar frivillig som maintainere innen open source-miljøet. Mange av dem vil helst jobbe med andre temaer enn sikkerhet, mener han. De gjør det først og fremst for å beskytte brukerne.
– Derfor er det kritisk at de som sender inn sikkerhetsrapporter, respekterer at dette er noe folk ofte gjør frivillig, skriver Larson.
Han frykter at konsekvensen i verste fall blir utbrente bidragsytere. Derfor går Larson til det skrittet å anbefale at denne typen rapporter bør bli behandla som ondsinnede.
– Selv om det ikke er intensjonen, så er resultatet at maintainere blir utbrent, og mer negative til å håndtere viktig sikkerhetsarbeid, advarer han.
Thordur tester AI-modeller. Her er hans favoritter
– Nekter å ta lett på det
Blogginnlegget er også omtalt hos The Register, som også henviser til en rapport hos curl. Der blir det tidlig påpekt i et svar fra grunnleggeren Daniel Stenberg, at dette er en av mange AI-genererte rapporter de mottar.
– Vi mottar mye av dette AI-genererte søppelet, og det skjer ofte. Du bidrar til en unødvendig belastning på de som maintainer curl. Jeg nekter å ta lett på det. Jeg er fast bestemt på å slå ned på slikt, skriver han og fortsetter:
– Du har sendt inn det som helt klart er en AI-generert "rapport". Du tror sannsynligvis at det er en sikkerhetsrisiko, fordi en AI har lurt deg til å tro det. Du kaster bort tiden vår, ved at du ikke sier fra om at dette er laget av en AI.
Brukeren som sendte inn rapporten har senere sletta kontoen sin.
