IT-avdelinga på NTNU, NTNU IT, har testet ut Copilot for Microsoft 365, som et delprosjekt under et av Datatilsynets «sandkasseprosjekter».
Erfaringen er oppsummert i en rapport som nå er klar.
Med unntak av noen testbrukere, vurderer IT-direktør Håkon Alstad det til å være «lite sannsynligvis at verktøyet blir tatt i bruk på NTNU». Det skriver han i et innlegg på LinkedIn, der han også deler rapporten.
I rapporten deler de også flere råd og spørsmål som andre virksomheter kan ha nytte av når de selv skal vurdere nytten av Copilot for Microsoft 365.
Mens NTNU nå har konkludert om at de neppe vil ta i bruk Copilot for Microsoft, fortalte utviklere hos Vegvesenet om sin opplevelse av å ta i bruk GitHub Copilot; kodeassistenten til Microsoft.
Det NTNU testa er altså assistenten i Office-pakka deres.
Åtte hovedfunn
I rapporten tar de for seg åtte ulike hovedfunn, basert på erfaringene de har høstet under prøveperioden.
Disse kan oppsummeres som at løsningen kan virke godt, men at det også følger mange utfordringer, både for enkeltpersoner, organisasjonen og for storsamfunnet:
- Funn 1: Copilot er helt glimrende når du allerede kan det du vil at den skal hjelpe deg med
- Funn 2: Copilot kan påvirke utøvelse av offentlig myndighet
- Funn 3: Copilot behandler enorme mengder personopplysninger på nye og ukontrollerte måter
- Funn 4: Microsoft 365 er utfordrende å forvalte
- Funn 5: Copilot er tidlig i utviklingsløpet
- Funn 6: Copilot påvirker organisasjonen
- Funn 7: Copilot kan brukes til å overvåke og måle prestasjoner og adferd
- Funn 8: Copilot fungerer tidvis skikkelig bra
Første som gir Copilot til alle: «Vil ikke leve uten!»
Advarer mot overvåkning
Funn 7, om overvåkning av de ansatte, er nok det som gir størst grunn til uro hos de fleste. Selv om Copilot ikke skal ha andre tilganger enn brukerne, så er det stor forskjell på hva den rekker å bruke tilgangen til.
Mens du kan bruke timesvis på å gjøre deg opp en mening om andre ansattes humør basert på epost, teams-meldinger og andre kanaler, så kan Copilot gjøre det samme på bare sekunder.
– Det er mulig å spørre og få svar fra Copilot om for eksempel hvilken sinnsstemning eller humør et annet navngitt menneske er i. I og med at det er mulig, så vil det bli gjort, konkluderes det i rapporten.
Denne tilgangen åpner også opp for «bossware-problematikk». Arbeidsgiver kan få Copilot til å gjøre vurderinger av ansattes prestasjoner og adferd, basert på skriftlig innhold den har tilgang på.
Ifølge rapporten er det heller ingen mulighet for ansatte å finne ut om de er blitt vurdert på denne måten.
Frykter feil tolkninger
Dersom det mangler data til vurderingsgrunnlaget, «kan det oppstå løgn og hallusinasjoner», ifølge rapporten. Dette gjelder også følelser og sinnstilstand hos de ansatte.
Copilot kan også ha en tendens til å slite med bekreftelsesbias, ifølge observasjoner. Løsningen vil i stor grad søke å bekrefte spørsmål om en ansatt virker sur, og slik forsterke misforståelser.
Det er også uklart hvilke forutsetninger, parametre og verdier som er lagt til grunn for vurderingene som Copilot gjør. Det er lite sannsynlig at verdiene verktøyene er bygd på de arbeidslivsidealene vi er vant med i dag, skriver de i rapporten.
Samtidig blir det påpekt mulige løsninger:
- En kan være å begrense tilgangene til Copilot, enten det er til epost, «private områder».
- Det er også mulig å vedta at ledere med personalsvar ikke får tilgang til Copilot. De vil da miste et mulig verktøy, men det vil kunne beskytte personvernet til ansatte.
- Rapporten omtaler også verktøy som skal «varsle» dersom slike spørsmål blir stilt, men dette er ikke blitt testet som del av pilotprosjektet.
Utviklere har talt: Denne slår Copilot ned i støvlene
Krevende, og blir stadig verre
I rapporten blir også selve løsningen Microsoft 365 adressert. Den beskrives i seg selv som krevende å forvalte, men at det blir enda verre når Copilot-løsningen kommer på toppen av det hele.
I funn 4 blir det problematisert hvilke krav dette vil kreve av en organisasjon, blant annet behovet for en «robust infrastruktur» av ansatte med spesialisert kompetanse. Disse må igjen ha tid og ressurser til å holde seg oppdatert. Dette beskrives som en forutsetning for at de skal vite hvilke funksjoner som skal være aktivert eller deaktivert til enhver tid.
Selv om det er mulig å få tilpassede løsninger fra Microsoft, krever det tid å sette seg inn i disse alternativene for å gjøre et best mulig valg, poengteres det i rapporten. Microsoft sin «opt out»-policy blir også betegnet som ytterligere en utfordring som krever enda mer av administratorer som må aktivt deaktivere nye funksjoner, tillegg og utvidelser dersom disse ikke skal være tilgjengelige for brukerne.
– Tidlig i utviklingsløpet
Utfordringene rundt forvaltning av en løsning med Microsoft 365 m/ Copilot blir heller ikke mindre av at det fortsatt er under utvikling.
– Dette betyr at funksjonaliteten kan endre seg fra dag til dag, skriver rapporten kortfattet om funn 5.
Det vil kreve at brukere og administratorer må planlegge bruk, forvaltning og opplæring på en måte som tar høyde for dette.
– Copilot er i mange henseender mer et konsept enn et ferdig produkt, heter det seg i rapporten.
De anbefaler gode rutiner for aktiv bruk av piloterings- test og prosjektmetodikk.
Rådet er å prøve ut ny teknologi som Copilot i en kontrollert setting før de blir fullt ut implementert. Da kan eventuelle problemer løses tidlig, og de nødvendige tilpasninger kan gjøres.
Tror AI snart erstatter én av fire norske IT-folk
Vil påvirke på flere flater
– Tenk Copilot først og fremst som et organisasjonsutviklingsprosjekt, sekundært som et IT-prosjekt, står det om funn 6 i rapporten.
Siden mye er nytt ved en slik løsning, vil det påvirke organisasjonene der det blir tatt i bruk. Et eksempel som trekkes frem, er opptak og transkribering fra møter. Disse kan bli gjenstand for diskusjon og uenigheter, og har vært det i starten. At det er blitt mindre uenighet etter en tids bruk, kan være et tegn på at det blir mer akseptert, men også at noen velger bort denne måten å jobbe på.
I funn 2 blir det påpekt at Copilot kan påvirke offentlig forvaltning. I mange saker er det viktig for tilliten at det er mulig å se det offentlige i kortene, og få bakgrunnen for avgjørelser. Dette kan være en utfordring med Copilot, ifølge rapporten.
Igjen handler dette om at Copilot kan gi feilaktive eller feil slutninger når den har for lite informasjon å jobbe med. Men det kan også skje når den tilsynelatende har tilgang til god nok informasjon, står det i rapporten.
For å avhjelpe på dette, anbefales det å ha et sikkerhetsnett som fanger opp og retter slike feil.
– Det er stor risiko for at det offentlige gjør feil om vi tar alt Copilot foreslår som sannhet, skriver de i rapporten.
Personopplysninger på avveie
I funn 3 tas håndteringen av personlysninger opp. En organisasjon som gir Copilot full tilgang til all informasjon, vil kunne oppleve at informasjonen blir behandlet og satt sammen på nye måter.
Men om kommandoen til Copilot er upresis, vil den selv velge hva den mener er den beste løsningen for oppgaven. Den skiller ikke på kvalitetssikrede og endelige dokumenter, og eventuelle utkast som den også får tilgang på.
I store organisasjoner som NTNU kan dokumenter med personopplysninger bli mellomlagret utenfor fagsystemer, bli klassifisert mangelfullt eller delt via interne samhandlingsplattformer. Da kan Copilot få tilgang til opplysningene, og bruke dem til noe annet enn det som opprinnelig var tenkt.
I rapporten blir det retorisk spurt om hvilke forventninger du har når du sender en e-post til det offentlige, og påpekt at innholdet i e-posten er ute av din kontroll så snart du trykker «send».
– Det er lite sannsynlig at du vil gå til en personvernerklæring (eller ringe opp en saksbehandler) på forhånd for å sjekke om e-posten din blir behandlet av kunstig intelligens eller ikke, skriver de i rapporten.
Tidligere i år installerte Microsoft Copilot på servere, uten at administratorer hadde bedt om det. Det skal ikke ha skjedd lekkasjer av data fra serverne som følge av dette.
Fikk Copilot uten å be om det: «Noe har gått veldig galt»
Men det kan virke veldig bra
Samtidig er det verdt å merke seg at NTNU også har gjort funn som er positive.
– Gjennom hele prosjektperioden har det vært flere «Aha!-opplevelser» hvor Copilot har vist seg å være et utmerket verktøy. Copilot er god til å trekke ut essensen fra store filer for å sette sammen til et nytt, mer fokusert dokument. Dette er en oppgave som fort ville tatt en person flere dager å gjøre, men Copilot kan utføre jobben på bare noen få minutter, oppsummerer rapporten på funn 8.
I funn 1 blir det påpekt at brukere med god kjennskap til informasjonen Copilot bruker, raskt kan avsløre feil. Da kan feil rettes raskt, og instrukser kan bli mer presise i fortsettelsen.
En annen fordel som trekkes fram, er at Copilot kan bidra til at brukere kan komme raskere i gang med oppgaven. Enten ved å gi et utgangspunkt, komme med forslag eller ved å hjelpe til med struktur. Den kan også bidra med ideer, innspill og til å se problemet fra en annen vinkel.
Uansett blir det trukket fram at selv om Copilot kan være nyttig, så er det viktig å følge ekstra nøye med på kvaliteten i arbeidet, for å sikre at feil ikke oppstår.
PS: NTNU-studenten Marie Holmeide er i år sommerkoder. Der forteller hun blant annet om hva unge utviklere tenker om nettopp AI.
