I fjor siterte vi Digi på at Facebook- og Instagram-eier Meta har bygget opp en egen utviklingsavdeling i Oslo som skal jobbe med AI. Og i hvert fall vi i kode24 var veldig nysgjerrige:
Hva driver de egentlig med der?!
Etter et år med mye hemmelighetskremmeri, har kode24 som første tech-publikasjon fått besøke AI-senteret for å få svar på nettopp hva de driver med der.
Og ikke minst, hvorfor Meta har valgt å bygge opp en storsatsning på AI nettopp i Oslo sentrum.
35 ansatte
– Vi støtter opp om Metas eget utviklingsprogram for å utvikle egne AI-akselleratorbrikker – både hardware og software til hardwaren, forklarer Mohammed Sourouri, som jobber som "Research Scientist & Engineering Manager" i Meta, til kode24.
Det innebærer at han har en teknisk lederrolle.
Totalt jobber det rundt 35 ansatte i det som kalles "HEART AI Applications Engineering team" – der "HEART" står for "Hardware Engineering, AI systems & Release to Production".
Alle, med unntak av et par personer, jobber som utviklere – og i skrivende stund er Meta i ferd med å rekruttere ytterligere 7-10 personer.
Meta slår et slag for open source AI, hevder ny modell er på nivå med GPT-4o
Strømgjerrig AI-brikke
Sourouri forteller at brikkene de utvikler er en AI-akselleratorbrikke kalt MTIA – Meta Training and Inference Accelerator.
Den nyeste versjonen er MTIA v2, som du kan lese mer om på Metas egne sider her.
– Det er en AI-aksellerator utviklet for våre egne workloads. Mens en GPU fra AMD eller Nvidia fungerer veldig godt for Llama eller andre store språkmodeller og generativ AI, så har vi en masse workloads som er AI-baserte, men som ikke er generativ AI eller store språkmodeller, sier Sourouri.
– Det må du forklare. Hva slags workloads?
– Det er blant annet for det som kalles "deep learning recommendation models", som brukes på tvers av mange av Metas produkter.
«GPU-er brenner veldig mye energi. Vår MTIA bruker 90 watt mot kanskje 700 watt for en GPU.»
Brukes på datasentre
Disse AI-modellene brukes til blant annet å bestemme hva slags innhold som skal dukke opp i brukernes feeder på Facebook, Instagram og andre steder, gi anbefalinger av innhold, og så videre.
– Teamet jeg leder har gjort optimaliseringer av de AI-modellene vi har på MTIA v2.
Noe av poenget med å lage en egen, skreddersydd AI-akselleratorbrikke er å spare strøm. MTIA-brikkene brukes i Metas datasentre, og produseres hos verdens største uavhengige halvlederfabrikk, TSMC på Taiwan.
– Energieffektivitet er veldig viktig for oss. GPU-er brenner veldig mye energi. Vår MTIA bruker 90 watt mot kanskje 700 watt for en GPU.
Slik endte de opp i Norge
Før vi går mer inn på hva utviklere jobber med, og hvordan de jobber, må vi ha svar på én ting:
Hvorfor har Meta valgt å bygge opp et såpass stort AI-miljø nettopp i Oslo?
– Veldig mange av oss som jobber her i dag pleide å jobbe i en britisk AI-startup som heter Graphcore, forteller Sourouri.
Graphcore – som eksisterer fortsatt – lager et AI-optimalisert alternativ til GPU-er som kalles IPU-er (Intelligence Processing Unit).
For noen år siden kjøpte Graphcore opp det norske selskapet Skala, som også jobbet med AI-akselleratorer. Dette ble til den norske avdelingen av Graphcore.
– Men i 2022 ble Oslo-kontoret til Graphcore lagt ned. Samtidig startet Meta sitt eget akselleratorprogram, og da tilbød de oss jobb.
Sourouri forklarer at alle de ansatte i Graphcores norgesavdeling i praksis mistet jobben, og dermed måtte alle – inkludert han selv – gjennom en vanlig runde med jobbsøking og intervjuer. Det endte lykkelig for mange tidligere Graphcore-ansatte:
– Meta endte opp med å ansatte mange av utviklerne fra Graphcore for å sikre seg spisskompetanse.
Det hører med til historien at Metas AI-avdeling først holdt til i Barcode i Bjørvika, ettersom det var der også Facebooks salgsavdeling for Norge satt. Men da salgsavdelingen for Norden ble samlet i Danmark og alle selgerne forsvant fra Oslo-kontoret, flyttet AI-teamet inn i det som var Graphcores gamle lokaler nær Aker brygge.
Meta nekter å svare på hva de gjør med AI-brille-bilder
Koder i C og C++
– Programmeringsspråkene vi bruker primært er C++ og C, samt at vi bruker Python og PyTorch, sier Sourouri.
AI-rammeverket PyTorch er populært innenfor kunstig intelligens, og ble i sin tid utviklet av Meta (det vil si, det het bare Facebook den gangen).
PyTorch står også sentralt i mye av det Metas AI-utviklerteam i Oslo jobber med. Slik ser programvarestacken til MTIA ut:
Sourouri har fått med seg debatten rundt C, C++ og minnesikkerhet, men innenfor den nisjen de jobber i er det C++ det likevel i all hovedsak går i.
– Vi ser at mange unge søkere har Rust-erfaring, mens mange av de mer erfarne utviklerne har C++-erfaring.
– Det er helt klart at Rust er i rivende utvikling, men per nå forholder vi oss til C++. Men internt andre steder i Meta har vi en masse Rust-initiativer – men det er ikke noe vi driver med i Norge foreløpig.
Frykter at C++ forsvinner: «Blir den nye COBOL»
Stort selskap, lite byråkrati
– Hvordan har det vært å gå fra å jobbe i et lite selskap til å jobbe i Meta?
– Det er jo et mye større selskap, med 70-80.000 ansatte. Vi er mye mer selvforsynt på ekspertise i selskapet, og har noen av de beste folkene på nettverk og på å bygge systemer, sier Mohammed.
Han forteller at mens de i hans tidligere jobber var avhengig av å få inn kompetanse utenfra, så har de mye mer kompetanse innad i Meta – noe som gjør at man lærer veldig mye.
Siden Meta er så stort, bygger selskapet også mye infrastruktur selv og lager egne interne verktøy. For eksempel bruker ikke Meta git til versjonskontroll slik som de fleste andre, men har utviklet sitt eget versjonskontrollsystem kalt Sapling – basert på Mercurial.
– Vi har også vår egen utgave av VS Code, tilpasset oss og de verktøyene vi trenger.
«Det som er bra, sett med utviklerøyne, er at man har fjernet veldig mye friksjon som finnes når man jobber i team.»
Men til tross for at Meta er et stort, og som Sourouri selv sier – et veldig amerikansk selskap – er det ifølge han veldig lite byråkrati.
– Vi fokuserer ikke så mye på agile, scrum, og så videre – men på det vi kaller direkte samarbeid. Mennesker snakker sammen og løser ting på whiteboards, du ser whiteboards overalt her, sier Sourouri.
Han forteller at det er mye engasjement rundt hverandres arbeid og en kultur der alle heier på hverandre.
– Det som er bra, sett med utviklerøyne, er at man har fjernet veldig mye friksjon som finnes når man jobber i team. Det er heller fokus på å levere. Minimere prosjektstyring og maksimere produktivitet.
Mye kompetanse i Norge
– Er det vanskelig å få tak i utviklere? Det er jo et forholdsvis smal nisje det dere driver med her?
– Meta har en global tiltrekningskraft, så for annonsene vi har hatt ute så har det søkt folk fra hele verden – selv om stillingene er i Norge, sier Sourouri.
Han håper imidlertid at flere fra Norge skal være med på å styrke miljøet i den norske avdelingen.
– Innenfor software tror jeg denne kompetansen finnes i Norge. Men vi håper også å kunne jobbe med ulike miljøer i Norge, som universiteter, og prøve å bygge opp kompetansen i Norge.
