Vi har tidligere skrevet om Helge Sverre Hessevik Liseth, mannen bak hobbyprosjektet Kassal.app – en prissammenligningstjeneste for matvarer. I dag jobber han som "VP of Engineering" i Crescat.
Helge lager «Prisjakt for mat»: – Hittil har jeg tjent 400 kroner
Nå er Helge Sverre, som på LinkedIn kaller seg en "workaholic og compulsive side-hustler", klar igjen med et nytt sideprosjekt.
Og mens Kassalapp-appen kanskje ikke har vært noen stor gullgruve så langt, har han denne gangen lyst til å lage en tjeneste han håper mange har lyst til å betale for.
Den nye tjenesten heter Dobbeltklikk, og er en plattform som konverterer kvitteringer, lønnsslipper, bankutskrifter, fakturaer og andre dokumenter til data som enkelt skal kunne brukes videre. Du kan for eksempel dra og slippe en jpg-fil med en kvittering inn i løsningen, og få ut JSON-data med all tekst, beløp og klassifisering av dokumentet og de ulike feltene. Eller du kan sende inn dokumentene via et API.
Helge Sverre kaller det "Norges råeste AI-baserte kvitteringsskanner og API".
– Jeg har laget "bits 'n pieces" av dette i forskjellige prosjekter, og tenkte det var på tide å samle alt under samme tak. Og prøve å tjene noen slanter på kunnskapen og det jeg tidligere har laget, sier Helge Sverre til kode24.
«Jeg vil prøve å tjene noen slanter på kunnskapen og det jeg tidligere har laget.»
Trenger det til borettslaget
Helge Sverre forteller at Dobbeltklikk er det han kaller en "dataekstraksjons-plattform", der man laster opp dokumenter enten via et UI eller et API.
– Så kjøres det OCR på dokumentet for å hente ut "plain" tekst. Teksten brukes til å klassifisere dokumentet i en passende dokumenttype, som kvittering, faktura, lønnslipp eller bankutskrift, forklarer han.
Deretter brukes AI til å hente ut innholdet, ved at det er en skreddersydd "prompt" til AI-en for de ulike typene dokumenter. Avhengig av hva slags dokument løsningen finner ut at det er, hentes data ut, valideres og berikes på ulike måter.
Er det for eksempel en faktura med organisasjonsnummer, kan det gjøres en sjekk mot Brønnøysundregistrene for å hente ut ekstrainformasjon som kan sendes sammen med responsen fra Dobbeltklikk-løsningen. Du kan altså få mer data fra Dobbeltklikk-API-et enn det som ligger i selve fakturaen.
Helge Sverre mener det er mange bruksområder for det han nå lager, og at han også har hatt behov for en slik løsning til flere prosjekter han selv jobber med.
– Som styreleder i borettslaget vil jeg laste opp gamle skannede protokoller fra styremøter og trekke ut dato, styremedlemmer og saksliste. Jeg har 150 dokumenter fra borettslaget jeg sitter i nå som bare eksisterer som skannede PDF-filer i arkivet.
På sikt vil han bytte ut kvitteringsskanneren i Kassalapp-appen til å bruke Dobbeltklikk som "backend" slik at han slipper å duplisere arbeidet han gjør på skanneteknologi, prompts til AI-en, og så videre.
– Jeg jobber på et større prosjekt som per nå har kodenavn minsaldo.no hvor jeg vil koble sammen alt av privatøkonomisk informasjon, som lønn, gjeld, inkassosaker, kalkulatorer, transaksjoner, og så videre.
– Her vil det være behov for å kunne trekke ut strukturerte data fra diverse skatt-, og lønnsrelaterte dokumenter, samt kvitteringer.
Bygger i Laravel
– Hvordan har du laget løsningen?
– Jeg er stor fan av Laravel og TALL-stacken. Her er det ikke noe unntak. Systemet er bygget med Laravel, Livewire, Tailwind og AlpineJS. For admin-panel og enkle "CRUD"-views er det tatt i bruk Filament PHP v3.
Til å gjøre selve OCR-jobben – tekstgjenkjenningen – brukes AWS Textract, som ifølge Helge Sverre er veldig god på tolkning av skandinavisk tekst. Han ser imidlertid på mulighet for å støtte flere andre OCR-løsninger i fremtiden.
Nytt API går i strupen på ChatGPT
– AI-funksjonaliteten bruker OpenAI sin nye Turbo Instruct-modell som baserer seg på DaVinci-modellen. Sammenlignet med det jeg har brukt tidligere i Kassalapp er skannetiden halvert, uten nevneverdig tap av datakvalitet.
Så brukes Function calling-API-et til OpenAI til klassifiseringen av dokumentene. Det vurderes også å bruke åpen kildekodebaserte finjusterte modeller som Llama 2 eller Mistral og hoste dette selv i egen sky for å få ned kostnader og øke hastighet.
Gratis til hobbybruk
– Du sier du håper å tjene noen slanter på prosjektet. Hvordan blir prismodellen?
– Jeg vurderer en freemium-modell. I denne modellen får brukerne et bestemt antall gratis kall til API-et og tilgang til brukergrensesnittet, kanskje mellom 50 og 100 kall, sier Helge Sverre.
For de som trenger mer, eller ønsker å bruke det til kommersielle formål, så vurderer han en tredelt abonnementsplan med månedlig eller årlig fakturering. Eventuelt en betal-per-bruk-modell.
– Det endelige valget avhenger av kundenes behov. Jeg innser at noen kunder kanskje vil ha et variabelt behov over tid. For eksempel kan det være økt etterspørsel rundt innlevering av skattedokumenter.
– I slike tilfeller kan betal-per-bruk eller et token/kredittsystem, likt det man finner i mange mobilspill, være mer fornuftig.
Helge Sverre sier han også ser på muligheten for nettopp dette prosjektet å ta en fast sum for å lage og tune en spesifikk "ekstraktor" for de som har helt spesielle behov.
Foreløpig er dobbeltklikk.no bare tilgjengelig i en lukket demoversjon, men planen er å lansere om kort tid.
