Språkrådet har testet hvor god ChatGPT er i bokmål og nynorsk.
Konklusjonen er klar: Hovedfunnet var at ChatGPT skrev klart bedre bokmål enn nynorsk.
I testen viste det seg at det ble tre ganger mer feil på nynorsk. For på bokmål var det 2,6 feil per side, på nynorsk hele 8 feil per side, skriver Språkrådet på sin nettside.
Fant felles svakhet
Ikke nok med det: Mens bokmålsfeilene gjerne var tegnsetting eller feil bruk av stor og liten forbokstav, dreide det seg for nynorsk seg om gale bøyningsformer og bruk av bokmålsord.
Men én ting hadde de robotoversatte nynorsktekstene og bokmålstekstene til felles: Engelske formuleringer skinner gjennom.
– AI-norsken er såpass preget av engelsk at den ofte kan virke fremmed eller pussig, konstaterer Språkrådet og deler et par eksempler:
«Hans tok et øyeblikk før han svarte» og «han hadde ikkje møtt Mari i person enno».
– KvinneGuidePT gir deg ekte kjerringråd!
Testet på romaner og utredninger
Språkrådet ba i testen ChatGPTs versjon 4.0 om å skrive sammendrag av romaner og offentlige utredninger så vel som hele fortellinger.
Instruksene var på engelsk «for ikke å påvirke det norske språket i svarene», ifølge artikkelen «KI-språkets fallgruver» på rådets hjemmeside.
Det resulterte i 157 sidene à 320 ord, halvparten på bokmål, halvparten på nynorsk. De ble gjennomgått av fire ansatte med erfaring fra språkvask og korrektur.
Testen, utført i oktober i fjor, viste at roboten fortsatt trenger «en svært kritisk» medforfatter eller redaktør.
For å følge med på utviklingen ønsker Språkrådet å gjenta undersøkelsen også i 2025.
