- Den raske utviklingen og adapsjonen av kunstig intelligens er skremmende, sier Victoria Almazova, senior sikkerhetsarkitekt, til kode24.
Almazova er en av foredragsholderne på NDC Security som forrige uke ble avholdt på Clarion Hotel i Oslo. Til daglig jobber hun i Microsoft Norge, men uttaler seg til kode24 som privatperson.
I foredraget snakket hun om hvilke utfordringer og muligheter sikkerhetsbransjen står overfor i møte med kunstig intelligens, og brukte blant annet Microsofts GitHub Copilot som et eksempel.
Vil få store konsekvenser
Almazova, som også har en utdanning i IT-juss, tror at fremveksten til kunstig intelligens kommer til å skape både positive og negative ringvirkninger i samfunnet.
- Utviklingen kommer til å gå raskere og raskere helt fram til et selskap eller en person utvikler noe dumt som får dramatiske konsekvenser, som igjen kommer til å skape juridiske reaksjoner, sier hun.
Allerede ser vi store forskjeller i hvordan stater stiller seg til teknologien. Almazova viser til at stater som Kina har innført regler for bruken av generativ AI. På den andre siden har Japan vedtatt å satse på sikkerhetsmekanismer basert på kunstig intelligens.
- I fjor investerte de mye penger på AI-basert teknologi som lar dem oppdage "fake news" og så videre, sier hun.
Se hvordan cyber-kriminelle nå bruker ChatGPT: - Det er skremmende enkelt
Problemet med Copilot
I foredraget brukte Almazova populære GitHub Copilot som et eksempel på hvordan AI allerede har fått konsekvenser for sikkerheten innenfor utvikling.
Almazova understreker at kunstig intelligens kan bidra med mye positivt, og viser til at verktøy som Copilot kan være veldig gode hjelpemidler. For eksempel kan det hjelpe utviklere å spare tid med "boilerplate" kode og gi raskere læring.
Faren med denne type verktøy er likevel at utviklere kan bli ukritiske og lene seg for mye på verktøyet.
- En undersøkelse viste tidligere at halvparten av utviklerne som prøver den fortsetter. Tallene kan være annerledes nå som det har blitt en betalingstjeneste, sier hun.
Årsaken til at det er problematisk er at tjenesten kan gi sårbar kode.
- Forskning viser at 44 prosent av forslagene til Copilot inneholder en sårbarhet. Forskere har sett at dersom du skriver sårbar kode, så pleier Copilot å foreslå den til deg senere. Den lærer jo, sier Almazova.
Risiko i stor skala
Almazova mener at en av utfordringene med kunstig intelligens, slik som Copilot, er at vi kan få "risiko i skala".
- Tenk at noen går gjennom koden til en utvikler og finner en feil. Da kan han si: Fiks det. Men med Copilot er det også mange andre steder som allerede har blitt fikset, og i stedet har introdusert sårbarheter som kanskje ikke er like synlige, sier hun.
Ifølge Almazova er det derfor ekstra viktig å få inn sikkerhets kodeanalyse-verktøy inn i utviklingen.
- Folk kan lene seg for mye på forslagene fra AI-en og skru av den kritiske tenkingen sin. Vi er jo late av natur og forsøker hele tiden å forenkle ting. Det viktigste er å ha Copilot som medpilot og alltid sjekke koden, sier hun.
Almazova understreker at poenget ikke er å kritisere Copilot, men at hun først og fremst bruker teknologien som et eksempel på utfordringene med generativ AI som ligger nærme utviklere.
- Slik jeg ser det er heller ikke sårbarhet det samme som faktisk utnyttbar, sier Almazova.
Nå kan alle skrive angreps-kode, med AI som ChatGPT. Det har sine fordeler
Utfordring med datasett
Ifølge Almazova er en annen sikkerhetsutfordring med kunstig intelligens datasett og hvorvidt de er oppdaterte med korrekt eller ny informasjon.
- Hvis datasett inneholder utdatert informasjon kan de ende opp med å foreslå utdaterte ting. I en forskningsartikkel ble Copilot spurt om å hashe noen passord. AI-en anbefalte MD5. Men alle vet at denne praksisen var god for typ 24 år siden og ikke lenger, sier hun.
Almazova legger til at betydningen til datasett gjør også at de blir et mål for hackere, som kan ha et ønske om å påvirke modellene.
- Vi har også utfordringer med at folk misbruker AI. For eksempel ble ChatGPT nesten umiddelbart brukt til phishing eller hacking av script kiddies. Dette misbruket kommer til å skje mer og mer, sier hun.
Slår alarm om elevers bruk av ChatGPT: - Fristelsen til å jukse blir stor
Burde være bekymret
Almazova er forbløffet over den raske utviklingen innenfor kunstig intelligens.
- Sist år fikk vi Dall-e og holdningen var sånn: "Kult, fine bilder. Men det er fremdeles AI". Så kom lense.ai og folk var sjokkerte. Med ChatGPT tok det hele flatt av, sier hun.
I 2023 kommer vi til å se en utvikling mot video, mener Almazova.
- Så spørsmålet er: Burde vi være bekymret? Ja. Det er bare et tidspunkt før trusselaktører kommer til å bruke teknologien i stor skala til phishing eller svindelangrop, sier hun.
- Er den eneste veien fremover å gå inn for tunge reguleringer av teknologien?
- Ja. Noen deler av kunstig intelligens må bli regulert. Jeg tror vi må starte med intellektuell eiendom og ansvarlighet. Får vi en felles forståelse her ville det være bra.
