Facebook-eier Meta lanserte tirsdag kveld norsk tid Llama 3.1 405b, selskapets aller kraftigste AI-modell. Modellen kan ifølge Metas egne tester konkurrere med de kraftigste AI-modellene som eksisterer i dag, som GPT-4, GPT-4o og Claude 3.5 Sonnet.
Det som skiller den fra andre såpass kraftige modeller er at den kan lastes ned gratis fra llama.meta.com og kjøres på egen maskinvare. Og den er open source/åpen kildekode – i hvert fall det som er Metas definisjon på dette (mer om det senere).
– I tillegg til å ha vesentlig bedre kost/ytelse sammenlignet med lukkede modeller, vil det faktum at 405B-modellen er åpen gjøre den til det beste valget for fintuning og destillering av mindre modeller, skriver Meta-sjef Marc Zuckerberg i et blogginnlegg der han begrunner hvorfor Open Source AI er den rette veien å gå innenfor AI fremover.
Trenger heftig maskinvare
I tillegg til å lansere Llama 3.1 405B, lanserer Meta også oppgraderte versjoner av sine andre modeller 8B og 70B.
"405B" står for 405 "billion" – det vil si at modellen har 405 milliarder parametre. Parametre er numeriske verdier som inneholder informasjon om det modellen har lært gjennom treningsdataene. Flere parametre betyr at AI-modellen har et større nevralt nettverk, som igjen gjør at den i teorien har kraftigere muligheter – men også krever mer CPU-kraft for å kjøre.
Det betyr at du Llama 3.1 405B neppe er noe du kjører på hjemmekontoret: Ifølge The Register trenger du rundt 810 gigabyte med minne for å kjøre modellen med den samme 16-bits presisjonen som modellen ble trent på. Et Nvidia DGX H100-system har åtte H100 Tensor Core-GPU-er og koster flere millioner kroner – men har likevel ikke det som skal til.
Det har også krevd sitt å trene modellen: 30,84 millioner "GPU-timer" og tilsvarende 11.390 tonn med CO2-utslipp.
Alle de tre Llama-modellene har et kontekstvindu på 128.000 tokens, som er opp fra 8000 tokens tidligere. Størrelsen kontekstvinduet avgjør hvor mye informasjon modellen kan jobbe med samtidig når den skal svare på det du spør den om (kall det AI-ens "korttidshukommelse").
Tilgjengelig hos AWS, Google og Microsoft
For de fleste vil det kanskje være mest aktuelt å kjøre modellene hos en av de store skyleverandørene – for eksempel annonserte AWS samme dag som 405B-modellen var tilgjengelig at du nå kan kjøre alle Llama 3.1-modellene i Amazon Bedrock.
Google har også gjort modellene tilgjengelig i Google Cloud, mens Microsoft har gjort dem tilgjengelig via sin Azure AI Models-as-a-service-tjeneste.
Åpen kildekode eller ikke?
I et blogginnlegg skriver Marc Zuckerberg at han mener open source AI er bra for utviklere. Han nevner blant annet mulighet til å fintune egne modeller og unngå å bli "innelåst" hos én leverandør.
– Mange virksomheter vil ikke avhenge av modeller de ikke kan kjøre eller kontrollere selv. De vil ikke at lukkede modell-leverandører kan være i stand til å endre modellen, endre brukervilkårene eller til og med slutte å levere tjenesten til dem. De vil heller ikke bli låst inn i én enkelt sky som har eksklusive rettigheter til modellen, skriver Zuckerberg.
Ikke alle er enige i at det Meta leverer med sine "åpne" AI-modeller virkelig er open source, ettersom de ikke bruker noen av de tradisjonelle åpen kildekode-lisensene – og man må fylle ut et skjema for å laste ned. Men i utgangspunktet kan hvem som helst laste dem ned, men man får ikke tilgang til treningsdataene som er brukt til å trene modellen.
Du kan laste ned Llama 3.1-modellene fra llama.meta.com eller HuggingFace.
