Fra midten av mars frem til månedsskiftet mellom mars og april har Skatteetaten opp mot 600.000 unike brukere inne i løsningen i døgnet.
Men av og til går det galt, som i år da Skatteetaten opplevde nedetid siste dag før hundretusenvis av nordmenn skulle levere skattemeldingen, 30. april.
Til kode24 har Skatteetaten gitt et innblikk i hva som gikk galt og hvordan utviklerne gikk fram for å løse problemet og forbedre plattformen.
Infrastrukturen skapte trøbbel
IT-direktør Jørn Leonhardsen i Skatteetaten sier at det i år trolig var infrastrukturen som skapte midlertidig ustabilitet.
- Og selv med midlertidig ustabilitet i år, var det rundt 360.000 som leverte skattemeldingen de tre siste dagene før fristen 2. mai. I tillegg har langt flere enn vanlig vært inne og sjekket skattemeldingen sin og levert på nett i denne skattemeldingsperioden enn det vi vanligvis ser, sier han til kode24.
Ifølge informasjon som kode24 har fått fra Skatteetaten, ble det 5. mai satt i gang en grundig feilsøking på IT-plattformen. Blant teknologiene som utviklerne undersøke, var applikasjonen Skattemelding-core og Openshift-tjenester.
Openshift er en container- og plattformtjeneste utviklet av Red Hat som bygger på Kubernetes-teknologi.
Martin (24) rulla ut for tidlig: - Stressende å se hele frontenden gå ned
En ubalanse
Undersøkelsen viste at Skattemelding-core opplevde en kraftig økning i CPU-forbruket rundt klokken 10:30, noe som førte til at den tilknyttede Openshift-noden gikk tom for CPU-kraft. Dette resulterte i langsommere respons og ytelse.
Feilsøkingen viste at dette problemet kunne påvirke et økende antall brukere over tid.
Ifølge Skatteetaten hadde de en ubalanse i belastningen, som førte til at én "pod" mottok flere tilkoblinger enn andre. Dette skapte en flaskehals, som gjorde det vanskelig for systemet å komme seg ut av situasjonen uten betydelig reduksjon i belastningen.
Dette løses ved å redusere antall brukerforespørsler eller midlertidig begrense tilgangen til systemet, slik at de overbelastede "poddene" får tid til å håndtere belastningen og returnere til en normalen.
En endring i Openshifts "scheduler" bidro også til problemet.
«Det høyeste trykket har vi i lanseringsperioden.»
'Rutinemessig oppgradering' endte med at CMS-et til store, norske nettaviser gikk ned i over to timer
Holder på å lage nye løsninger
Ifølge Leonhardsen har de tidligere år hatt utfordringer når mange har logget seg på samtidig.
- Etter at vi innførte puljevis tilgjengeliggjøring av skattemeldingen, har både ID-porten, Altinn og vi hatt stabile løsninger i publiseringsperioden. Det er da det er aller største trykket pågang på tjenestene.
Leonhardsen sier at sett opp mot antall tjenester, kompleksiteten i det Skatteetaten leverer og antall brukere de håndterer samtidig, så har etaten høy oppetid.
- Vi holder nå på å lage nye løsninger, som i fremtiden skal håndtere våre tjenester på en mye bedre måte, og i overgangen kan det forekomme ustabilitet. I skattemeldingen forvaltes et omfattende regelverk, og dette driver høy kompleksitet i den tekniske løsningen. Det kan derfor være krevende å finne rotårsaker når noe går tregt eller feiler.
- Hvor mange brukere har dere på det meste?
- Det høyeste trykket har vi i lanseringsperioden, som er fra midten av mars og frem til månedsskiftet mellom mars og april. Da er det opp mot 600.000 unike brukere inne i løsningen i løpet av et døgn, sier Leonhardsen.
«Løsningen kan i tillegg skaleres ytterligere opp "on the fly" av personell som er på jobb, sier han.»
Gjorde flere grep
For å håndtere problemene som førte til nedetiden og forbedre IT-plattformens ytelse, gjennomfører Skatteetaten flere tiltak. De forteller:
- "Implementere pod anti-affinity for å forhindre at flere podder kjører på samme node.
- Øke CPU-request i Skattemelding-core for å skape mer headspace.
- Endre helsesjekker i Skattemelding-core for å sette poden til readiness: false hvis den har for mye å gjøre.
- Legge til VPA (Vertical Pod Autoscaling) i Openshift for automatisk justering av ressursallokering.
- Undersøke keep-alive i alle ledd, særlig mellom SME-backend og Skattemelding-core.
- Fjerne avhengigheter til bakenforliggende komponenter ved bruker-login for raskere innlogging."
Sånn gjør Oslo Origo DevOps: – Ikke for pyser
Omfattende beredskap
Leonhardsen forteller at 4,2 millioner har i år mottatt den digitale skattemeldingen. Fire millioner har åpnet skattemeldingen, over tre millioner har sendt den inn.
- Det er ny rekord etter at den nye og moderniserte digitale skattemeldingen ble lansert i 2020, forteller Leonhardsen.
Leonhardsen sier at når det er "høysesong" er det en omfattende beredskap fra både tekniske og funksjonelle ressurser fra lanseringen 14. mars og ut april. Rundt frister har de ekstra beredskap. Løsningen skaleres opp slik at det skal være nok tekniske ressurser til at løsningen skal håndtere trykket og mer.
- Løsningen kan i tillegg skaleres ytterligere opp "on the fly" av personell som er på jobb, sier han.
