Elon Musks AI-selskap xAI har gitt ut sin store språkmodell (LLM) Grok-1 som åpen kildekode under Apache 2.0-lisensen. Det melder blant andre VentureBeat.

Det er språkmodellens arkitektur og såkalte "vekter" som blir åpen kildekode, og som nå er lagt ut på github.com/xai-org/grok. Dermed vil det være mulig for hvem som helst å bidra til modellen og påvirke hvordan xAI oppdaterer Grok i fremtiden, eller kopiere modellen og bruke den til hva man selv vil – inkludert kommersielle formål.

Det som gis ut er Grok-1 slik den så ut før den ble trent opp i oktober 2023.

I praksis betyr det at det er en grunnleggende modell trent opp på store mengder tekst, men den er ikke finjustert for noen bestemte oppgaver – som for eksempel dialog. Du får heller ikke se hvilke data den kommersielle Grok-chatboten er trent på.

314 milliarder parametre

Innenfor store språkmodeller brukes gjerne antall parametre som et tegn på hvor avansert modellen er. En modell med mange parametre er typisk en mer kompleks modell som er mer kapabel enn en modell med færre parametre.

Grok har 314 milliarder parametre, som gjør den til den største av alle åpen kildekode-modeller. Til sammenligning har andre åpen kildekode-modeller som Metas Llama 2 70 milliarder parametre og Mistral 8x7B 12 milliarder parametre.

Antall parametre for GPT-4 som brukes i ChatGPT er ikke kjent, men anslås av noen til å ligge på 1,76 billioner (1,76 tusen milliarder).

Saksøkte OpenAI

VentureBeat skriver at det at Musk nå gjør Grok til åpen kildekode kan være et smart forretnings- og PR-messig trekk etter at Musk nylig saksøkte OpenAI og grunnlegger Sam Altman på grunn av det han mener er «et svik» mot selskapets grunnleggende mål om å «gagne menneskeheten».

Musk var en av grunnleggerne av OpenAI, og hevder han har inngått en avtale med Altman og medgrunnlegger Greg Brockman om at selskapet skulle forbli en ideell organisasjon som skulle utvikle teknologi til fordel for allmennheten. Ved at OpenAI nå samarbeider tett med Microsoft, mener Musk at de har brutt med denne avtalen.

Å gjøre Grok til åpen kildekode kan være nyttig for å markere forskjeller i ideologien til xAI og OpenAI i den kommende rettssaken og når Musk kritiserer OpenAI, skriver VentureBeat.

Mange utviklere har reagert positivt på at Grok nå blir åpen kildekode. Selv om noen sier de savner at mer kunne vært åpen kildekode, som treningsdata og mer av koden, så får xAI skryt for den tekniske løsningen.

– Hvis Devin kan erstatte deg, er du ikke utvikler

fredag 15. mars 2024