DevOps-plattformen CircleCI ber alle brukerne sine om å bytte ut sine private nøkler i systemet, etter at de nylig skal ha funnet et sikkerhetsbrudd.
CI/CD-tjenesten varslet først om at de hadde satt i gang en undersøkelse etter et sikkerhetsbrudd onsdag 4. januar, og lovet samtidig at de skal komme med fortløpende oppdateringer om funn.
I mellomtiden ber de altså alle brukere bytte ut nøklene sine.
Skal være trygt
I en blogginnlegg henviser CircleCI til en liste over hvordan man skal gå frem for å endre de aktuelle nøklene. Listen er på syv punkter og er ganske omfattende.
I tillegg oppfordrer de alle brukere på deres eget forum til å gå til verks umiddelbart for å endre nøklene.
CircleCI skriver videre at de er har:
- "Rotert" nøkler på alle produksjonsmaskiner og erstattet alle tilgangsnøkler. Rotere vil si at man ugyldiggjør en nøkkel og erstatter den med en ny.
- Utført en revisjon av all tilgang til systemet.
- Begynt å jobbe aktivt med tredjeparter og partnere for å validere stegene i videre undersøkelse av problemet.
Det er altså lite som tyder på at CircleCI har kommet til bunns i hva som har skjedd, og omfanget, ennå. I en oppdatert pressemelding betrygger de at de er sikre på at nå det er trygt å bygge CircleCI-prosjekter, så lenge du altså har fornyet de hemmelige nøklene du har lagret i tjenesten.
Equinor angrepet av hackere i sommer - vil ikke kommentere hvem som angrep
Brukte lang tid på å si i fra
Lead for DevOps-teamet i Aller Media, Kevin Midbøe, var en av dem som måtte trå til etter at CircleCI sendte ut en e-post til alle kundene sine.
Han er kritisk til hvor tregt selskapet sa i fra.
- Vi oppdaget problemet på torsdag morgen. Det var litt sporadisk kommunisert av CircleCI, men jeg fikk en e-post fra dem 03:00 torsdag. Her ser vi par viktige ting: Først at dette har vært ett problem siden 22. desember, men de brukte veldig lang tid på å si fra. Og de gir lite informasjon, men ber om å rotere alt man har lagret i systemet deres, ASAP, forteller han.
Midbøe forteller at CircleCI er et kritisk ledd mellom koden i Aller Media og tilgjengeliggjøring i skyen.
- Vi tester, verifiserer, bygger og laster opp Docker-images av appene våre med CircleCI. Det innebærer at vi lagrer secrets til å hente ned koden fra Github, credentials til databaser for testing, tredjepartstjenester for intergrasjonstjenester eller rapportering, og til Google-skyen vår for å laste opp bygde Docker-images og sende informasjon til Kubernetes-clusteret vårt.
Fikk tilgang til Slacks private GitHub-repoer - kildekode på avveie
Slettet alt
Midbøe forteller at teamet hans måtte slette alle disse nøklene fra CircleCI, og at det mest kritiske var fornying av deploy-nøkler. Som er private nøkler som gir tilgang til intern kode.
- Om noen nå har fått tak i den private nøkkelen gir det tilgang til våre private Github-repoer, forklarer han.
Totalt måtte gjengen slette og generere nøkler til over 400 prosjekter på nytt. Det førte til at de måtte stenge tilgang til CircleCI torsdag morgen, og bruke hele dagen på å rotere nøkler. Og arbeidet er ikke ferdig ennå.
- Vi kartla også alle app-spesifikke secrets lagret i .env-variabler for alle appene vår. De starter vi å rotere i helga og starten av neste uke.
Redd for avis-bugs
Midbøe forteller at teamet heldigvis klarte å håndtere feilen på en måte som ikke påvirket redaksjonene eller leserne til Aller Media, som inkluderer Dagbladet.no.
Han forteller at det likevel var skummelt å "kutte kabelen" mellom koden deres og skyen.
- Det vi var redde for var at hvis vi hadde en bug i koden vår ville vi ikke kunne deploye noen endringer til clusteret vårt. Det er en veldig sjelden hendelse, men aldri gøy å ha isolerende kabler kuttet slik. Også var dette selvfølgelig skummelt med at nøklene våre kanskje har blitt lekket, men dette ble igjen slettet veldig raskt og roterte ila gårsdagen.
Vi gjør oppmerksom på at kode24.no eies av Aller X, som igjen eies av Aller Media.
