Slik testet vi NRK for AI-infeksjon

Manifest Media har brukt verdens mest nøyaktige AI-detektor, Pangram, på 90 tekster av fem ulike NRK-kommentatorer på Marienlyst.

Testen viser at fire kommentatorer har 0 prosent andel AI-tekst i alle sine 15 tekster.

Disse fire er Tone Sofie Aglen, Lars Nehru Sand, Inger Merete Hobbelstad og Sigurd Falkenberg Mikkelsen.

Cecilie Langum Becker, som var NRKs økonomikommentator fra 2018 og inntil nylig, får AI-flagg på 14 av 15 kommentarer som er publisert etter at ChatGPT ble allment tilgjengelig.

Slik gjorde vi testen

Vi har valgt ut kommentarene tilfeldig fra nrk.no. Kriteriene er at det skal være en kommentar og den skal være publisert etter at ChatGPT ble tilgjengelig i november 2022.

Vi har lagt nettadressen til kommentarene inn i Pangram 4. Programmet fjerner mellomoverskrifter og annet uvedkommende og analyserer selve brødteksten.

For sikkerhets skyld, har vi kjørt tekstene gjennom Pangram to ganger. Det er kun små avvik mellom de to testene.

(I første runde fikk Langum Becker AI-flagg på 15 av 15 tekster, men en av dem kom ut med «0 prosent» i andre runde.)

Hva er egentlig Pangram?

Pangram er et amerikansk selskap, etablert i 2023, som har trent opp kunstig intelligens til å merke forskjell på tekst skrevet av mennesker og tekst der AI-modeller har vært involvert i skrivingen.

Kan vi vite at Pangram ikke flagger menneskelig tekst som AI? Pangram har så å si utryddet denne feilen, kjent som «falsk positiv».

Forskere ved Universitetet i Chicago har testet Pangram på 1992 tekster av mennesker. Andelen «falsk positiv» var 0,0 prosent for romaner, blogginnlegg og CV-er.

For nyhetsartikler, som trolig ligner mest på NRK-tekstene vi har undersøkt, var andelen falsk positiv 0,08 prosent. Det vil si 0,8 promille. Som betyr 0,8 feil per 1000 tester⁠.

Pangrams egne tester fant en falsk-positiv-rate for nyhetsartikler på 0,001 prosent, 1 feil per 100 000 tekster. Når Pangram får kritikk, er det gjerne for å la for mange AI-infiserte tekster passere, ikke for andelen «falsk positiv».

Integrert i Substack

Pangram regnes nå som så pålitelig at Substack har integrert verktøyet⁠ i sin tjeneste, for å avdekke om det faktisk er mennesker som står bak innleggene som mange betaler for å lese der.

Når Pangram får kritikk, er det gjerne for å la for mange AI-infiserte tekster passere, ikke for andelen «falsk positiv»

Fungerer Pangram like bra på norsk som på engelsk? Norsk sto på lista over offisielt støttede språk i Pangram 3.1–3.3, men ikke i Pangram 4, som ble lansert 29. juli i år. Antakelig fungerer Pangram foreløpig enda bedre på engelsk tekst enn på norsk.

Kan det dermed tenkes at AI-flagg på NRK-tekster skyldes norsk språk? Svaret er nei.

Pangram oppgir 0 prosent AI-infeksjon for alle de 60 tekstene av fire andre NRK-kommentatorer vi har kjørt gjennom testen. Da kan det ikke være bruken av norsk som gjør utslaget hos Langum Becker.

Kan det ikke tenkes at hun har en skrivestil som ligger nærmere chatbotenes, og at det er dette som flagges av Pangram?

Vi har forsøkt å teste den muligheten ved å gi Pangram en kontrollgruppe på 15 kommentarer signert Langum Becker før ChatGPT ble lansert 30.11.2022. For alle disse 15 tekstene oppgir Pangram 0 prosent AI.

– Min tydelige signatur

Pangram sier ikke noe om hvorvidt chatbotene har skrevet det meste av teksten selv eller bare omskriver et menneskeskapt utkast.

– Helt siden NRK tok i bruk KI-verktøy, har jeg brukt dem i det tekstforberedende arbeidet, sier Langum Becker i en kommentar til den høye AI-skåren artiklene hennes oppnår i Pangram.

– Mine tekster har ligget i skjæringspunktet analyse og forklaring av mer eller mindre komplekse sammenhenger, og KI har først og fremst gjort tekstene mer effektive og enda mer pedagogiske. Innhold, vurderinger og journalistisk håndverk er mine egne, og med min tydelige signatur, sier den tidligere økonomikommentatoren i NRK.

Langum Becker forlot Marienlyst 1. september, til fordel for en informasjonsjobb i det Kjell Inge Røkke-kontrollerte industrikonsernet Aker ASA.