– Dagens utfordring er at AI-agenter, som chatbots og automatiserte systemer, ofte henter data fra nettet på en ustrukturert og uregulert måte, ofte gjennom web-skraping. Dette fører til en rekke problemer for både AI-utviklere og tjenestetilbydere.
Det sier utvikleren Daniel Bentes, som står bak en ny protokoll som ifølge han skal løse de vanligste problemene med hvordan AI-agenter og webtjenester snakker med hverandre.
Protokollen kalles UIM – Unified Intent Mediator Protocol.
UIM vil ifølge Bentes løse blant annet problemet med uregulert web-skraping – at AI-agenter henter data fra nettsider uten å respektere nettsidens retningslinjer.
– Mange nettsider har vilkår for hvordan innholdet kan brukes, men AI-agenter ignorerer ofte disse retningslinjene, sier Bentes.
Gir kontrollen til tjenesten
– Kan du si litt om hvordan UIM løser dette problemet?
– UIM lar nettsider spesifisere sine retningslinjer for AI-interaksjon gjennom en agents.json-fil. Denne filen fungerer som en “bruksavtale” hvor tjenestetilbydere kan angi tillatelser, begrensninger, og eventuelle kostnader for datatilgang. Dette skaper et rammeverk der AI-agenter kun får tilgang til data på en kontrollert og samtykkebasert måte, forklarer Bentes.
Han sier UIM også kan løse problemet med manglende kompensasjon for de som tilbyr data – data som AI-agenter i dag ofte henter og bruker gratis til å for eksempel trene modeller.
– Med UIM kan tjenestetilbydere definere betalingsmodeller gjennom protokollen. Dette betyr at de kan belaste AI-agenter for tilgang til data eller spesifikke tjenester, noe som åpner for nye inntektsstrømmer og sikrer at de som produserer data blir kompensert.
Ifølge Bentes er det viktig for nettstedeiere og de som skaper innhold å ha kontroll på hvordan dataene brukes av AI-agenter. Måten AI-agenter og webtjenester samhandler på i dag er alt annet enn optimal, mener han.
"Som å bygge hus med gaffateip"
Med UIM skal altså de som tilbyr data som AI-agenter kan bruke, selv definere tydelige regler for hvordan de kan brukes.
Dette gjøres gjennom et språk som kalles ODRL (Open Digital Rights Language), som gir en detaljert beskrivelse av hvilke handlinger som er tillatt, hvem som kan utføre dem og under hvilke betingelser. Først når reglene er fulgt, får AI-agentene tilgang til dataene.
I dag henter som nevnt AI-agenter ofte data fra webtjenester gjennom skraping. Dette er lite effektivt, mener Bentes.
Raser mot AI: Skrapes millioner av ganger, for tusenvis av dollar
– Web-skraping er en prosess hvor AI-agenter henter data direkte fra nettsider ved å analysere HTML-koden. Dette høres kanskje greit ut i teorien, men i praksis er det som å bygge et hus med gaffateip.
Det er en risiko for at web-skrape-kode brekker når nettsiden endres. I tillegg har gjerne nettsider klare vilkår for bruk av innholdet, noe web-skraping ofte bryter med. Web-skraping henter også ofte unødvendige og irrelevante data.
– I stedet for å “gjette” hva dataene betyr, gir UIM en standardisert måte for webtjenester å tilby data til AI-agenter. AI-agenten kan da forstå eksakt hva som tilbys og hvordan det skal brukes, noe som fjerner usikkerheten og ineffektiviteten knyttet til web-skraping, sier Bentes.
Heller ikke API-er fungerer bra
En skulle kanskje tro at API-er er en bedre måte for AI-agenter å integrere mot webtjenester på, men også dette har sine utfordringer, mener Bentes.
– Hver webtjeneste har sitt eget API med unike strukturer, dataformater, og regler. Dette betyr at hver gang en AI-agent skal koble til en ny tjeneste, må utvikleren bygge en tilpasset løsning fra bunnen av. For eksempel kan to ulike e-handelsplattformer ha helt forskjellige API-er for å hente produktinformasjon, noe som krever separate integrasjoner for hver enkelt.
Siden det ikke finnes en standard, må utviklere skrive tilpasset kode for hver eneste API-integrasjon. Når API-er oppdateres, må AI-agents kode også oppdateres, noe som fører til kontinuerlig vedlikehold og teknisk gjeld.
«Dette fjerner behovet for skreddersydde integrasjoner og reduserer vedlikeholdet dramatisk»
Selv om man kanskje kan tenke at de samme utfordringene vil gjelde for en løsning som UIM, hevder Bentes at hans løsning er bedre.
– UIM-protokollen gir en felles, standardisert måte for AI-agenter å oppdage og samhandle med API-er. Dette betyr at uansett hvilken webtjeneste AI-agenten ønsker å koble til, er strukturen og reglene for interaksjonene de samme.
– Dette fjerner behovet for skreddersydde integrasjoner og reduserer vedlikeholdet dramatisk, sier Bentes.
Var Rabbit R1 bare tull og tøys hele tida?
Ville løse egne behov
– Hvordan fikk du idéen?
– Jeg fikk idéen etter å ha opplevd hvor vanskelig og kronglete det var å bygge en AI-agent og "data enrichment pipeline" som måtte innhente informasjon fra andre tjenester online, sier Bentes.
Han sier det var frustrerende og tidkrevende å måtte kombinere mange forskjelllige metoder som crawling, skraping, simulerte brukerhandlinger, omgåelse av CAPTCHA-er og direkte API-integrasjoner.
– Det føltes som å stadig bygge provisoriske løsninger som ville kollapse ved den minste endring.
Bentes begynte derfor å lete etter en mer effektiv måte å løse oppgaven på, noe som kunne løse rotårsaken – ikke bare symptomene.
– Samtidig som jeg jobbet med dette, kom jeg over Apples lansering av Apple Intelligence, som gjorde meg oppmerksom på konseptet “intents.” Her var det en måte å strukturere hvordan AI og applikasjoner kunne kommunisere og forstå intensjoner på en mye mer sømløs måte.
I tillegg ble Bentes inspirert av en artikkel på The API Changelog som tok opp utfordringene med hvordan dagens AI-assistenter sliter med å koble intensjoner til faktiske handlinger på nett. Selv om ChatGPT kunne forstå intensjonen bak å bestille en togbillett, kunne den ikke fullføre handlingen – bare gi en anbefaling om å bruke en bookingtjeneste.
– UIM-protokollen ble født ut av et behov for å løse de reelle utfordringene jeg selv sto overfor, kombinert med inspirasjon fra eksisterende tilnærminger som alle peker mot en fremtid hvor AI-assistenter virkelig kan forstå og utføre intensjoner på en intelligent, effektiv og etisk måte.
Vil ha bidrag
– Dette er et open source-prosjekt. Ønsker du deg flere bidragsytere?
– Absolutt! Jeg har aldri utviklet en standard før, selv om jeg har satt meg inn og tatt i bruk flere åpne standarder i min karriere. Åpne standarder bidrar til samarbeid og innovasjon, sier Bentes.
Han er selvfølgelig avhengig av at løsningen blir tatt i bruk, og har derfor gått i dialog med Data Futures Lab hos Mozilla Foundation, AI-Control-programkomitéen hos IETF og TDM Reservation Protocol community group hos W3C. Dette går mest på standardisering, men han ønsker seg også flere aktive prosjekter, utviklere og andre som kan bidra.
– Håpet er å kunne samarbeide med større aktører, innholdsleverandører, media og plattformer for netthandel for eksempel. Men ikke minst større og mindre AI-startups/selskaper som faktisk bygger fremtidens assistenter og agent-teknologi. Jeg tror at adopsjon av UIM-protokollen vil hjelpe dem og deres kunder mest i fremtiden.
Reagerer på nye AI-krav: – Krever hundrevis av ganger mer energi
Planen videre er å prøve å finne ut hva slags produkter og tjenester som kan ha størst nytte av protokollen.
– Jeg har identifisert 14 ulike produkter og tjenester som kan bygges rundt UIM-protokollen, og i løpet av de neste ukene vil jeg fokusere på å validere 2-3 av disse idéene. Målet er å finne ut hvilke av dem som har størst potensial til å skape reell verdi og kanskje til og med skape en helt ny tjeneste eller løsning som markedet trenger.
– Opprinnelig var tanken å starte en ny-AI-startup, men jeg innså at protokollen var for viktig til å holdes bak lukkede dører, derfor valgte jeg å gjøre den open source.
Les også om hvordan Daniel brukte NotebookLM til å forklare prosjektet:
