Først publisert på engelsk på AgderInThe.Cloud 4 juli 2024.
1. juli ble det publisert en artikkel i kode24 hvor NTNUs IT-direktør Håkon Alstad uttaler at det ikke er sannsynlig at NTNU vil ta i bruk Copilot for Microsoft 365 etter Prosjekt: Pilotere Copilot for Microsoft 365 i Datatilsynets regulatoriske sandkasse.
Rapporten omhandler NTNUs erfaringer med å teste Copilot for Microsoft 365 våren 2024, og presenterer de åtte hovedfunnene som spilles inn til Datatilsynets prosjekt i den regulatoriske sandkassen for personvernvennlig innovasjon og digitalisering
Grunnen til at vi ønsker å skrive dette innlegget er at vi vet at mange har sett frem til rapporten fra NTNU og at de følger spent på det som har blitt lagt frem. Det vi reagerer på er de uttalelsene som kommer om at Copilot er utrygt og vil eksponere sensitiv data. Det kan virke skremmende for andre som har ventet for å se hva NTNU vil gjøre, og derfor vil vi ta for oss deres funn i denne artikkelen. Vi forsøker her å forstå vinklingene på spørsmålene som er stilt og hvordan dette er besvart. Dette er på ingen måte en kritikk av rapporten og NTNUs arbeids om er lagt inn, men et forsøk på å se på funnene med andre øyne, og kanskje hjelpe andre å forstå hva som kreves for å kunne ta i bruk Copilot på en trygg måte.
Litt bakgrunn om oss først: Vi er konsulenter med fagområdet Microsoft 365 og spesielt fokus på informasjonssikkerhet og Copilot, så vi er klar over hvilke utfordringer flere nå står ovenfor når de skal ta i bruk ny teknologi, ikke bare Copilot.
På flere seminarer, blant annet EDU Fagdag hvor NTNU også presenterte sitt prosjekt, har vi snakket om Copilot og hvordan bli «Copilot ready». Vi understreker gang på gang at Copilot er nettopp det den kalles: En Copilot – Sluttbrukeren er fremdeles piloten, den som har ansvaret, og spesielt for dataene dere gir tilgang til for Copilot. Dine data, ditt ansvar – som det alltid har vært.
Vår oppfatning er at det ikke er noe nytt å bekymre seg over, fordi bekymringen, det vil si at data ligger ubeskyttet og tilgjengelig for ansatte, er der allerede. Med ustrakt bruk av SharePoint, Teams, tidligere Yammer og flytting av data fra on-prem til sky, har man flyttet gammel teknisk gjeld imellom hus i mange år. All gammel data har vært søkbar og tilgjengelig for brukere i lange tider.
Men NTNUs rapport kan gi inntrykk av at det er mye nytt å være bekymret for med Copilot.
Så, kjære leser, vi skal nå adressere hvert funn for å argumentere for hvorfor det ikke nødvendigvis er Copilot som er problemet slik det kan fremstå av uttalelsene fra NTNU.
I kjølvannet av teknologiske fremskritt har Norges teknisk-naturvitenskapelige universitet (NTNU) vært i forkant med å integrere AI-verktøy i sitt pedagogiske og administrative rammeverk. Introduksjonen av Copilot, en sofistikert chatbot og en såkalt large language model, har imidlertid reist bekymringer over potensielle overvåkings- og personvernproblemer blant de ansatte. I dette innlegget ser vi på hovedfunnene fra rapporten og fra artikkelen i Kode24.
Dette er de 8 funnene i rapporten:
- Copilot er helt genialt når du allerede vet hva du vil at det skal hjelpe deg med
- Copilot kan påvirke offentlig myndighetsutøvelse
- Copilot behandler enorme mengder personopplysninger på nye og ukontrollerte måter
- Microsoft 365 er utfordrende å administrere
- Copilot er tidlig i utviklingsprosessen
- Copilot påvirker organisasjonen
- Copilot kan brukes til å overvåke og måle ytelse og atferd
- Copilot fungerer til tider veldig bra
Rapporten fremhever også de positive sidene ved Copilots kapasitet til å raskt oppsummere informasjon fra store filer. Det understreker imidlertid viktigheten av å overvåke arbeidskvaliteten for å forhindre feil.
Så med bakgrunn og funn summert opp, så hopper vi bare rett til funn nummer 2, for funn nummer 1 er vi helt enige i.
Frykter overvåking av ansatte med Copilot
Funn nummer 2 - Copilot kan påvirke utøvelse av offentlig myndighet
I rapporten skriver NTNU: Copilot kan gi feilaktige svar eller gjøre feilslutninger. Dette gjelder særlig når den ikke har nok informasjon å jobbe med, men kan også forekomme når den tilsynelatende har tilgang til god nok informasjon.
Vi mener at dette gjelder i like stor grad uten Copilot. Ansatte kan også gi feil svar og ta feil beslutninger om de ikke har riktig data grunnlag å ta avgjørelser på.
De kommer også med klare anbefalinger rundt dette funnet:
- Ta en aktiv posisjon til hvilke data Copilot skal ha tilgang til (dette gjelder alle verktøy, inkludert Microsoft 365).
- Arbeide systematisk for å sikre god forståelse av regelverket og forvaltningskompetansen ved institusjonen.
- Prioriter å ha «eget hus i orden».
- Forsikre deg om at den menneskelige kontrollen fungerer.
Dette er et godt eksempel på at sluttbrukeren er piloten, og må uansett kvalitetsjekke det som kommer fra copilot. Feilaktive svar og slutninger kan komme fra både personer og KI.
Dette er sentralt – ikke bare overfor den offentlige myndigheten, men i det generelle arbeidet med data og hvordan de brukes. Og det er slik vi kan adressere bekymringene i funnene.
Kort oppsummert så betyr det at dere må vite hva slags data dere har, dere må forstå bruken av disse dataene, og de må sikres.
Fikk Copilot uten å be om det: «Noe har gått veldig galt»
Funn nummer 3 - Copilot behandler enorme mengder personopplysninger på nye og ukontrollerte måter
Funnet sier at Copilot behandler enorme mengder personopplysninger på nye og ukontrollerte måter, og anbefalingene i rapporten sier at man må gjøre en grundig konsekvensutredning (DPIA) og revidere den oftere enn man hadde trodd, og at man skal ha en høy terskel for å godkjenne hvilerisiko når det gjelder GDPR og personvern.
Hvis vi tolker denne påstanden, vil vi anta at organisasjoner generelt behandler store mengder personopplysninger og unnlater å beskytte og kontrollere dem på riktig måte og i samsvar med regelverket.
Copilot behandler opplysninger og data på forespørsel av en sluttbruker (prompt), basert på tilgangene til den aktuelle sluttbrukeren. Sluttbrukeren (som vi allerede har nevnt er ansvarlig, altså «piloten») må selv vurdere hvordan svaret fra Copilot skal behandles iht. etablerte rutiner.
Dette er noe dere allerede bør ha på plass, og hvis ikke, burde dere ha gjort det i går. Det er ikke noe som er Copilots feil, personopplysningene dere har i M365 burde allerede vært tatt vare på.
En organisasjons risikoregister bør reflektere deres evne til å håndtere dataene de har samlet inn og innehar. Hvis det ikke er tilfelle, har vi funnet problemet. I tillegg, hvis de fortsatt ikke har datastyring på plass, må man lure på hva som hindrer dem. Hva er galt eller mangler i en organisasjons ledelse som gjør at datasikkerhet og personvern blir oversett?
Copilot er som en robotstøvsuger som kommer seg inn under sengen og trekker ut alt dere sier dere skal ha "vasket og rengjort".
Hvis dere ikke kjenner dataene deres, forstår dataene deres og ikke sikrer dataene som må sikres, vil konsekvensen være at Copilot vil fortsette å behandle dataene på ukontrollerte måter.
Funn nummer 4 - Microsoft 365 er utfordrende å administrere
NTNU opplyser at Microsoft 365 er utfordrende å administrere.
Hvilke utfordringer medfører M365-administrasjon? Hvordan har forfatteren lagt fram disse utfordringene?
Vi er noe forvirret over rollene som forfattere av rapporten innehar, om det er fra et IT-perspektiv de peker på vanskeligheten med å administrere Microsoft 365 eller om det er fra et brukerperspektiv. Mener de organisatorisk administrering eller teknisk administrering, av roller «administrator»? Eller mener de begge deler? Dette kommer ikke helt tydelig frem ut ifra rapporten
Forfatterne av rapporten fremhever at en dypere forståelse av M365 Copilot krever kjennskap til Microsoft 365. Imidlertid, ved å ikke klargjøre skillet mellom organisatoriske ansvarsområder og IT-avdelingens roller, etterlater de uttalelsen åpen for tolkning, noe som kan føre til betydelig forvirring blant leserne. På mange måter beviser dette at forfatterne av rapporten ikke er involvert i M365 administrasjon og derfor fremstår som ikke teknisk personell. Så hvorfor kommentere på teknisk administrasjon?
Datastyring er en organisatorisk funksjon som stammer fra et sett med prinsipper som styrer beslutninger. Ergo, hvis prinsippene deres ikke er på plass, vet vi det fra tilstanden til dataene deres. Og disse manglene eksisterte lenge før dere lisensierte Copilot.
Vi kan hevde at systemer generelt er utfordrende å administrere, og det er derfor vi har eksperter som gir råd. Det er utfordrende, og dere må ha de rette folkene til å håndtere det og som kan lese seg opp på litteraturen og endringene. Og dere må akseptere deres egne begrensninger og bruke eksperter når det trengs. Og igjen, dette er egentlig ikke et Copilot-problem.
Hvis en teknologi er utfordrende å håndtere, er det viktig å forstå hvorfor det er utfordrende, og hvordan skal vi håndtere det for å lette dette presset. Vi sluttet ikke å jobbe med å sette en mann på månen fordi det var utfordrende.
Funn nummer 5 - Copilot er tidlig i utviklingsprosessen
Dette er et pussig funn. Ja, det er en baby, det er ikke engang et år gammel ennå, og som alle babyer trenger Copilot å lære alle trinnene før den blir voksen.
Og hvis vi ser på hvordan andre apper har utviklet seg, mye på samme måte som at Word 2.0 bare har rudimentære likheter med Word for M365, kan vi forvente at dette produktet vil få funksjoner, funksjonalitet og finesse etter hvert som tiden går. Dette er neppe en dårlig ting. Produkter som modnes i samarbeid med store brukerbaser, har større sannsynlighet for å modnes på måter som kommer brukerbasen til gode. Dette er fornuftig; Tilbakemeldingssløyfer og nåværende databehandlingsforhold har tid til å påvirke utviklingen.
Ifølge Microsoft er Copilot et AI-drevet produktivitetsverktøy som koordinerer store språkmodeller (LLM), innhold i Microsoft Graph og Microsoft 365-produktivitetsappene du bruker hver dag, for eksempel Word, Excel, PowerPoint, Outlook, Teams og andre. Denne integrasjonen gir intelligent assistanse i sanntid, slik at brukerne kan forbedre kreativiteten, produktiviteten og ferdighetene sine. Fra oversikt over Microsoft Copilot for Microsoft 365 | Microsoft Learn.
Stikkordene her er «Muliggjør brukere og gir intelligent assistanse». Det er et verktøy, for å assistere brukere.
Ved å fremme et miljø som verdsetter generasjonsskifte, kan vi sikre at fordelene med teknologi maksimeres og at alle aldersgrupper inkluderes i den digitale transformasjonsreisen.
Utviklere har talt: Denne slår Copilot ned i støvlene
Funn nummer 6 - Copilot påvirker organisasjonen
Som funn 6 indikerer, handler dette prosjektet om organisasjonsutvikling og innflytelsen på organisasjonen, ikke bare IT. Det er noe snodig at en organisasjon som jobber med blant annet forskning kan stille seg såpass negativ til endringer, da dette er en absolutt forutsetning for fremgang.
Copilot kan og vil gjøre en forskjell for en organisasjon. Det handler ganske enkelt om et spørsmål om tidseffektivitet. Når vi kan utføre de rutinemessige delene av en oppgave veldig raskt, kan vi velge å bruke tiden vi sparer på andre mer komplekse oppgaver. Potensialet for positiv påvirkning for brukerne (enten de er interne brukere i en organisasjon eller innbyggerbrukere i en kommune) er enormt.
Og det vil føre til potensielt skremmende utfordringer med å transformere våre arbeidsmetoder og revurdere vår praksis, som alle nye systemer, organisatoriske endringer og tiden har gjort før og vil igjen. Nye teknikker og oppfinnelser vil alltid kreve endringer hos store og små organisasjoner, men det er ikke motargument mot å ta i bruk ny teknologi. Skulle vi fortsatt med stearinlys i lysekroner fordi glødepære krevde endringer?
Prosjektets fokus på organisasjonsutvikling legger vekt på strategisk bruk av data for å drive beslutningstaking og vekst. Å anerkjenne den iboende verdien av data og utnytte dem effektivt kan føre til betydelige forbedringer i effektivitet, innovasjon og konkurransefortrinn. Det handler om å fremme en kultur der data ikke bare er en IT-ressurs, men en kjerneressurs som alle i organisasjonen forstår og utnytter til sitt fulle potensial.
NTNU nevner også at nye funksjoner i etablerte verktøy kan skape reaksjoner blant brukere, for eksempel opptak av møter og den tolkningen som gjøres her.
Vi tør påstå at menneskelig tolkning alltid har vært en kilde for feil og misforståelser, og at man her må ha et godt opplegg for brukeropplæring og rutiner for hvordan man bruker verktøyene, ikke la være å ta det i bruk fordi noen kan feiltolke svarene. Igjen, sluttbruker er piloten her, sluttbrukeren har et ansvar for å gi fra seg data som er reell.
Funn nummer 7 - Copilot kan brukes til å overvåke og måle ytelse og atferd
Så hvis vi ser på nummer 7, er de spesifikke personvernbekymringene angående bruk av Copilot for Microsoft 365 ved NTNU:
- Overvåking av ansatte: Copilots tilgang gjør det mulig å raskt analysere ansattes atferd og humør basert på skriftlig innhold, noe som reiser bekymringer om personvern og potensielt misbruk for ansattes ytelsesevalueringer uten deres viten.
- Datahåndtering: Det er en risiko for at Copilot behandler og kombinerer personopplysninger på nye, ukontrollerte måter, spesielt hvis inndatakommandoen er upresis, noe som kan føre til mulige feiltolkninger eller misbruk av sensitive data.
- Forvaltningens konsekvenser: Bruk av Copilot i offentlig forvaltning kan påvirke åpenhet og tillit, da det kan gi uriktige konklusjoner eller handlinger basert på utilstrekkelig informasjon.
- Sikkerhetsrisikoer: Muligheten for at Copilot genererer unøyaktig eller hallusinatorisk innhold hvis det mangler tilstrekkelige data, inkludert falske vurderinger av ansattes følelser eller sinnstilstander.
Vår oppfatning av denne bekymringen er at det ikke er basert på verktøyet selv, men mer på den etiske delen av å bruke Copilot. Husk at Copilot har tilgang til alt du allerede har tilgang til. Måten du tolker data på vil alltid være opp til deg, brukeren, hvem som tolker dem, og av den grunn kan det alltid være feil. Så når IT-direktør Håkon Alstad sier det er lite sannsynlig at NTNU tar i bruk Copilot på grunn av monitorering og måling av ytelse, kan vi hypotisere at det fortsatt er et gap mellom å forstå teknologiens funksjonalitet versus hvordan tekniske løsninger arver organisasjoners etikk og moral.
Geværet i seg selv har ingen moralsk status, siden det ikke har noen egen vilje. Naturligvis kan det bli brukt av onde mennesker til onde formål, men det er flere gode menn enn onde, og mens sistnevnte ikke kan overtales til rettferdighetens vei ved propaganda, kan de sikkert bli korrigert av gode menn med rifler. - Jeff Cooper, «Riflens kunst»
Hvem er det i organisasjonen som vil ha så store rettigheter til å kunne utføre denne overvåkingen gjennom korrelasjon av logger og prompting? Og dessuten, hvem ville tillate dette? Teknologi kan ikke – og bør ikke – løse alle problemer. Hvis det er fare for at folk "ser" på folk, bør dette reduseres med passende kontroller vi kan bruke fra grunnleggende informasjonsstyrings- og sikkerhetsprinsipper som separasjon av plikter, revisjon av logging og tilgang, og interne retningslinjer eller prosedyrer. Det er et stort behov for brukeradopsjon når man jobber med slike verktøy, og forstå at sluttbrukeren er piloten – sluttbrukeren må sørge for at dataene den bruker eller lager med Copilot bare er et utkast; Det er uferdig.
Det kan være galt hvis man har feil data tilgjengelig for seg, og ja, Copilot kan hallusinere, men vi tør å si at det gjør brukerne en gang iblant.
Første som gir Copilot til alle: «Vil ikke leve uten!»
Funn nummer 8 - Copilot fungerer til tider veldig bra
NTNU slår fast at Copilot fungerer veldig bra noen ganger, og det kan vi absolutt være enige om. Det er ikke perfekt, det er veldig avhengig av hvordan du spør og dataene som er tilgjengelige for brukeren. Igjen er vi tilbake til brukeradopsjon og å ha dataene i orden.
Her gir NTNU beskjed om at man ikke skal bruke deres prosjekt som en potensiell showstopper – her er vi ettertrykkelig enige.
Men bruk noen av prosjektresultatene deres for å komme raskere til kjernen av utfordringene deres når dere starter på dette prosjektet. Og til slutt, bruk tiden og bruk den godt.
Og ikke glem brukerne.. Brukerne er alltid den største variabelen din, så sørg for at dere har brukeradopsjon på plass, så vel som sikkerheten. Da kan dere slå på Copilot, og gjøre det vel vitende om at dere har sikret det som skal sikres.
Fra et IT teknisk perspektiv
Fra et IT teknisk perspektiv så mener vi at rapporten til NTNU har en potensiell feil vinkling, da det tilsynelatende ser ut til at Copilot er kilden til problemet, mens det faktisk er mangelen på kontroll over data som er roten til alt potensielt ondt.
Vi har mange meninger om hvordan man også bør sikre brukerne, bare sikring av dataene vil ikke få dere over målstreken. Og kjære IT administratorer, vær nå så greie at dere sørger for at dere har slått på MFA (to faktor-pålogging) og at dere følger prinsippene om Zero Trust og Least privileges.
Skulle dere være usikre på hvordan gå videre, så snakk for all del med en voksen. Få hjelp til å analysere data, få kontroll over hvordan den behandles og hjelp til å sette i gang med å sikre den. Og for å sitere en god mann; du må peke på dette problemet med hele hånda ovenfor de som bestemmer, slik at de ser nødvendigheten av å sette i gang. Det skulle jo også vært gjort i henhold til GDPR og nå NIS 2.
Vår konklusjon, og på sett og vis er det også mye av det NTNU også har lagt inn i sin rapport, er at dere må ha absolutt ha orden i eget hus. Dette innebærer å rydde i god gammel «teknisk gjeld», alt som sluttbruker har spart på i alle år, men som mest sannsynlig har mistet sin verdi, og alt som organisasjonen har flyttet med seg i overgangen til sky. Men dette gjelder uansett hvilke verktøy dere skal i gang med.
Selv om Copilot nok kan virke skummel der den snuser rundt som en digital Sherlock Holmes – den finner selv de mest skjulte hemmeligheter og informasjon, og alt du trenger å gjøre er å spørre. Ingen mysterier er for store eller små!” 🕵️♂️🔍
Har dere som organisasjon kontroll i eget hus, ved å ha en regelmessig rengjøring av huset ditt. En dyp viten om hva slags data dere har, hvordan de behandles og hvordan de bør beskyttes. Og ikke minst, sletting/arkivering av det dere kan, ja da kan dere fint slå på Copilot og være trygge på at informasjon som Copilot finner, er det den skal finne.
