– Mange tror Perplexity vil utkonkurrere Google. Vi synes dette er ganske stort, sier Jon Bratseth til kode24.
Bratseth er grunnlegger og CEO i Trondheim-selskapet Vespa.ai, som omtaler seg selv som "en plattform for å utvikle og drive storskala AI-applikasjoner for bedrifter". Kort fortalt er det en løsning som kombinerer big data, RAG, vektorsøk, maskinlæring og store språkmodeller (LLM-er) for å levere søkeresultater raskt.
Bratseth forteller at Perplexity, som verdsettes til så mye som 18 milliarder dollar (190 milliarder kroner), til nå har brukt Microsofts Bing-søkemotor i bunnen, sammen med en LLM.
Men de siste månedene har Perplexity gradvis byttet ut Bing med norske Vespa.ai.
– Nå kjører de på vår skytjeneste, og er 100 prosent over på Vespa, sier Bratseth stolt.
Lagde søkemotorer før Google
Det som i dag er Vespa.ai har røtter helt tilbake til 1997:
- Da begynte selskapet å utvikle sin søkemotor – faktisk året før Google så dagens lys. Etter hvert ble selskapet til Fast Search & Transfer (Fast). Disse utviklet søkemotoren alltheweb.com, som i 2003 ble solg til det amerikanske selskapet Overture, og senere samme år overtatt av Yahoo!.
- Resten av Fast ble som mange vet solgt til Microsoft i 2008. Men kjerneteamet som jobbet med alltheweb.com ble altså værende i Trondheim, og har de siste årene jobbet med blant annet personalisering av innhold på Yahoo.com. Blant annet er alle nyhetssider, finansnyheter og mye mer generert av Vespa.
- I fjor ble Vespa.ai spunnet ut som et eget selskap. Men selv om selskapet står på egne ben, har de fortsatt et samarbeid med Yahoo, som også har en eierandel i Vespa.
I dag teller Vespa.ai 50 ansatte – hvorav 35 er utviklere. Plattformen de har laget brukes i dag av rundt 50 kunder verden over, der blant annet Spotify – i tillegg til Yahoo – står på kundelisten.
Googles nye AI-søk: Spis stein, ha lim i pizza
RAG – søk for språkmodeller
Det er liten tvil om at AI kommer til å spille en mye større rolle innenfor søk fremover. For ikke lenge siden varslet Google at de har begynt å teste ut 100 prosent AI-genererte søkeresultater.
Dette er et marked andre også, som Perplexity, vil ha kloa i.
For at AI-søk skal fungere bra, trenger man imidlertid noe mer enn bare språkmodellen (LLM-en):
- Det er her RAG – Retrieval-Augmented Generation – kommer inn i bildet.
- RAG sørger for å hente inn rykende fersk informasjon fra nettsider og filer, og forer dette til LLM-en.
- Så genererer LLM-en et svar til brukeren – med kildehenvisninger så brukeren kan sjekke at ting stemmer.
– Det er en masse nye usecaser rundt RAG. Det er egentlig bare søk på nytt, men konsumenten av søket er ikke et menneske, men en språkmodell.
Det høres kanskje enkelt ut, men det å få det til i praksis med høy ytelse er svært vanskelig, ifølge Bratseth.
– Det viktigste for oss er kvaliteten på relevansen, noe som er enda viktigere for språkmodeller. For de har jo ingen bakgrunnskontekst, de går ikke i møter og leser e-poster – men er avhengig av å få all informasjonen den trenger i søket.
Databutton lager AI-utviklere, men vil ikke ta jobben din
«Dette er sånt som tar ti år å lage, og det er bare Vespa og de kjente store søkeplattformene som kan gjøre det.»
Åpen kildekode
Vespa.ai er åpen kildekode-løsning (Apache 2.0), som kan lastes ned og brukes fritt. Det Vespa tjener penger på er å drifte dette for andre og tilby ulike tjenester rundt.
– Vi har en skytjeneste der vi tar hånd om alt det operasjonelle. De fleste kundene våre er på den, sier Bratseth.
Av konkurrenter finner man blant andre Elastic Search og OpenSearch.
– Mange påstår å gjøre det samme som oss. Og så har du vektordatabaser, men du trenger også vanlig tekstsøk og søk i strukturerte data i tillegg, og du må få dette til å fungere sammen med maskinlæringsmodeller, sier Bratseth.
Ytelse og skalerbarhet er også viktig. Alt må skje på millisekunder – tusenvis av ganger i sekundet.
– Dette er sånt som tar ti år å lage, og det er bare Vespa og de kjente store søkeplattformene som kan gjøre det.
