Går det an å øke trafikksikkerheten ved å leke med lekebiler? Joda, det er fullt mulig, mener prosjektleder og utvikler i Statens Vegvesen, Anita Sengebusch.
– Det startet som et morsomt prosjekt for å ha noe å vise frem på Javazone, men det har vist seg at vi kan ta det i bruk på ekte øvelser, sier hun til kode24.
Sengebusch og rundt 30 av hennes kollegaer har brukt lekebiler og modeller av veier og tunneler til å simulere hendelser i trafikken:
Ved å bruke bilder av lekebilene til å trene opp en maskinlæringsmodell, har teamet vist hvordan de kan automatisere varsling av alvorlige hendelser.
Vil bruke på ekte øvelser
Sengebusch forteller at Vegvesenet hadde en stand på Javazone i fjor der de demonstrerte en maskinlæringsmodell med lekebiler og en miniatyr av en parkeringsplass. De fikk gode tilbakemeldinger på denne, og begynte å diskutere hva de kunne gjøre på årets Javazone.
Noen fikk da idéen om å vise frem noe fra Vegtrafikksentralen. Disse har nemlig bygget en miniatyrmodell av et tunnelanlegg med små lekebiler. Disse brukes til beredskapsøvelser hvor de trener på ulike situasjoner som kan oppstå i tunneler.
Øvelsene er imidlertid helt manuelle, der folk fra politi, brannvesen og ambulanse står samlet rundt bordet og diskuterer.
Nå har utviklerne hos Vegvesenet fått lov til å montere kameraer i tunnel-modellen til Vegtrafikksentralen for å overvåke lekebilene ved hjelp av AI.
Det var først ment for å demonstrere teknologi på Javazone, men Vegtrafikksentralen syntes det var så interessant at de nå vil bruke løsningen på ekte beredskapsøvelser.
– På Vegtrafikksentralen har de overvåking av de virkelige tunnelene. Hvis de får opp en skjerm for sin miniatyrmodell også, kan de gjøre treningen enda mer realistisk, sier Sengebusch.
1.000 bilder av lekebiler
– Hvordan fungerer løsningen?
– Vi har tatt rundt 1.000 bilder av lekebilene våre – både biler og lastebiler. Så har vi lastet opp bildene til Google Vertex AI og annotert dem – det vil si tegnet firkanter rundt for å si hva som er biler og hva som er lastebiler.
Totalt endte de opp med rundt 1.200 biler og 1.200 lastebiler som til slutt var annotert. Dette er i nedre grense for hva som er anbefalt for en maskinlæringsmodell, men det har likevel fungert overraskende bra.
– Så har vi brukt Google Cloud til å trene en AutoML Edge-modell. Denne modellen lastes så ned og kjøres med Tensorflow, forklarer Sengebusch.
Backenden til løsningen er laget med Java og Spring Boot-rammeverket. På Javazone har de tenkt å kjøre hele løsningen i Docker-containere på en Linux-laptop.
Så brukes live videofeeder fra tre kameraer i lekebilmodellen – ett på en parkeringsplass og to i en tunnel:
- Bilder fra kameraene sendes til backenden som henter prediksjoner fra Tensorflow-modellen i form av blant annet koordinater og sannsynlighet for om det er en personbil eller en lastebil.
- Frontenden (React) mottar bilder med prediksjoner, og tegner opp bildene med bokser og informasjon om sannsynlighet for hva kameraet ser.
For de to kameraene i leketunnelen sendes videoløsningen til frontenden, som kan vise live video. Så plukkes enkeltbilder fra videostrømmen og sendes til backenden. For kameraet på parkeringsplassen går videofeeden direkte til backenden.
Øvelser, i første omgang
Som nevnt vil løsningen bli brukt til øvelser med lekebiler og miniatyrmodeller. Men på sikt kan det hende lignende løsninger også vil kunne bli tatt i bruk for overvåking av ekte biler i ekte tunneler.
Sengebusch forteller at Vegtrafikksentralen i dag allerede har mye av teknologien de har laget, men dette er via svært kostbare kameraer, der teknologien er innebygd.
– I første omgang er det vi har laget tenkt brukt til øvelser, og for å få litt erfaringer med det.
Da kan man kanskje klare seg med billigere kameraer enn de spesialkameraene man har i dag.
– Hva er poenget med å bruke AI, kan de ikke bare følge med på kamerabildene?
– Det er for mange ting å følge med på manuelt. Ved å bruke AI kan man, hvis en bil har stått på samme sted i lengre tid, predikere at den har stoppet, og gi alarm.
De som sitter på Vegtrafikksentralen og følger med har nemlig ikke bare tre kameraer å holde styr på – men et stort antall videostrømmer fra tunneler og veier over hele landet.
«Den fungerte ikke når det ble vinter, siden den var trent på biler i solfylte California.»
AI fungerte ikke på vinteren
Sengebusch og kollegaene hennes i Vegvesenet har tidligere prøvd å bruke maskinlæringsmodeller laget av andre til å kjenne igjen biler, men dette viste seg å fungere dårlig.
– Den fungerte ikke når det ble vinter, siden den var trent på biler i solfylte California.
Det er derfor mange fordeler ved å gjøre det selv, mener hun.
– Det å trene maskinlæringsmodeller på et mindre sett med lekebiler har gitt oss erfaring og kunnskap vi kan ta med oss inn i den virkelige verden.
Sengebusch forteller at det uansett har vært moro for utviklerne i Vegvesenet å jobbe med prosjektet. De har rundt 40 utviklere i en seksjon som vanligvis jobber i ulike team – og dermed ikke har så mye med hverandre å gjøre i det daglige.
– Men nå er det over 30 som jobber sammen. Det er bra for både fagmiljø, teambuilding og faglig utvikling; en avveksling fra det daglige arbeidet.
