Universitetet i Oslo (UiO) har lansert GPT UiO, som skal være den første GPT-baserte tjenesten i Norge som er lovlig og trygg å bruke i utdanningssektoren.
Det er altså ikke snakk om en ny språkmodell, men en frittstående webapplikasjon som kjører på gpt.uio.no. Her lar UiO studentene bruke OpenAIs ChatGPT innenfor kravene universitetet og lovverket setter til personvern og sikkerhet.
Løsningen skal være spesielt designet for å ivareta personvern med funksjoner som Feide-pålogging og lokal lagring av historikk. Alle data blir lagret på UiOs servere, og ingenting skal bli utlevert til OpenAI.
Applikasjonen har nå 3.000 brukere og øker med rundt 500 nye brukere hver dag.
- Det viktigste for oss, var å unngå at vi utleverte persondata om våre studenter og ansatte - og det har vi klart, sier Dagfinn Bergsager, seksjonssjef for webutvikling, til kode24.
Lagrer ingen data
Ifølge Bergsager bruker de OpenAI sin ChatGPT-modell via Azures API.
- Her kan alle studenter og ansatte logge inn og starte samtaler med ChatGPT. Alle data blir lagret på UiOs servere, og verken Microsoft eller OpenAI vet hvem som har skrevet hva; det er det kun vi som vet.
Han legger til at web-applikasjonen er en NextJS-app som kjører som en kontainer i UiOs kontainermiljø med OKD.
- Appen er skrevet med React og Typescript, og har en lokal Postgress-database. Vi sikrer effektiv lastbalansering ved å sette opp microtjenester med Go som gjør at vi kan veksle mellom datasenter i flere regioner hos Azure; og spre alle spørringer jevnt.
Støtte på skalerings-problem
Bergsager legger til at utviklerne har gjort en rekke innstillinger, samt søkt om tilpasninger fra Microsoft for å gjøre tjenesten tilpasset GDPR.
Ifølge Bergsager lagrer ikke Azure noen data som de sender.
- De trener ikke på våre data, og data som skal prosesseres skal aldri forlate EU/UK.
Bergsager forteller at det som var særlig vanskelig å få til, var å få tjenesten til å skalere i Azure.
- Det skulle ikke mange hundre samtidige brukere til før vi nådde maksgrensen til det vi hadde tilgang til av ressurser.
Flere enedepunkter
Bergsager sier at løsningen ble flere endepunkter i Azure med egen lastbalanserer.
- Vi måtte også endre på hvor mye ressurser som ble holdt av i hvert prompt som vi sender for å unngå å peake i azure.
Bergsager sier at tjenesten har blitt veldig populær i utdanningssektoren; og vi er spent på hvordan denne skal bli brukt.
- I første omgang vil vi prøve å ta det vi tekster av video fra forelesninger med Whisper å lage sammendrag av forelesninger med GPT og legge det i studentportalen. Vi vet også at flere skal bruke dette i undervisning, og sammenlikne de svarene de får fra GPT, sier han.
