Bias er den skævhed, der opstår, når et system ikke bare gengiver verden, men vægter den. Det kan være åbenlyst, når noget fremstilles ensidigt eller stereotypt. Men det kan også være skjult: i tone, i vinkling, i kildevalg, i fravalg, i det, der virker neutralt, men som allerede trækker i en bestemt retning.

I journalistik har bias altid eksisteret. Men med AI bliver problemet mere vanskeligt, fordi skævheden ikke kun ligger i den enkelte journalists valg. Den kan også ligge i data, modeller, prompts, guardrails og de usynlige prioriteringer, der former en tekst, før den overhovedet når frem til læseren.

Derfor er spørgsmålet ikke kun, om AI i medierne er biased. Spørgsmålet er også, om medierne kan opdage det, dokumentere det og måle det. Nicolai Hyllested byggede en AI-måler for at finde skævheder i artikler. Men forsøget afslørede hurtigt et større problem: Der findes ingen objektiv baseline.

Den tekniske og den menneskelige bias

Bias er den skævhed, der opstår, når et system ikke bare gengiver verden, men systematisk vægter den på bestemte måder. I et AI-system kan det ske flere steder: i de data modellen er trænet på, i de instruktioner den får, i de sikkerhedslag og filtre der styrer dens svar, og i den måde output bliver rangeret, forkortet eller præsenteret på. Teknisk bias er derfor ikke kun et spørgsmål om, at modellen siger noget åbenlyst forkert eller diskriminerende. Det kan også være, at den oftere forbinder autoritet med bestemte typer personer, foreslår bestemte vinkler frem for andre, udelader perspektiver eller formulerer sig med en tone, der får én fortolkning til at fremstå mere naturlig end en anden. Bias er med andre ord ikke bare fejl i systemet. Det er mønstre i systemets prioriteringer.

Ofte bruger vi imidlertid ordet bias langt mere løst. I praksis kalder vi tit noget biased, når vi oplever, at en tekst, en vinkel eller en prioritering går imod vores egne holdninger eller verdensbillede. Bias bliver med andre ord ikke kun en teknisk eller analytisk kategori, men også en følelsesmæssig reaktion: en måde at sige, at noget føles skævt, urimeligt eller politisk farvet.

Det gør bias-begrebet vanskeligt, fordi vi som læsere og borgere sjældent møder tekster neutralt. Vi har allerede vores egne erfaringer, værdier og antagelser med ind i læsningen. Derfor kan det, den ene læser opfatter som nøgtern journalistik, af en anden opleves som ideologisk slagside. Og netop dér opstår det vanskelige spænd mellem menneskelig oplevelse og teknisk analyse: Bias er både noget, der kan være indlejret i systemer og sproglige mønstre, og noget, vi som mennesker projicerer ind i tekster, når de rammer os på den forkerte side af vores egne overbevisninger.

Den objektive måler

Det store spørgsmål er selvfølgelig, hvordan man måler bias uden selv at blive en del af målingen og lægge sin egen bias ind i mellemrummet. Og den helt store elefant i rummet er selvfølgelig også: Hvordan måler vi overhovedet bias?

Bias er ikke et ord eller en sætning. Det er en vægtning. En skævvridning. Men i forhold til hvad?

Andre “målere” på markedet har forsøgt at løse det på forskellige kreative måder, med større eller mindre held. Kigger man lidt nærmere efter, viser det sig hurtigt, at de ofte virker i ret snævre områder, men ikke løser problemet generelt. Da Nicolai Hyllested begyndte at se på det, stod det hurtigt klart, at andre selvfølgelig også havde fået den tanke, at der lå et reelt problem her. Bagefter pegede forskellige eksisterende løsninger i samme retning. Og ja, de kan være brugbare. Men de bygger som regel på menneskelige vurderinger, politiske akser eller på forhånd definerede kategorier.

Det vil sige, at mange biasmålere i praksis først indfører et perspektiv og derefter måler ud fra det. For eksempel ved at definere en observatør eller trække en højre-venstre-akse ned over et helt medie. Nicolai Hyllested gik en helt anden vej, mere ved et tilfælde end ved stor visdom.

I et helt urelateret emne omkring bias havde han brug for at kunne få 100 procent ud af tre biasspor, altså lægge dem sammen, og den eneste måde, han kendte til, var vektorer. Da først den model var på plads, kunne bias operationaliseres som et tal, i stedet for bare at være en fornemmelse i teksten, og følges gennem systemet for at se, hvor meget det drejede sig i den anden ende.

Så var opgaven “bare” at isolere, hvad der skyldtes bias, og hvad der skyldtes tone, konvergens og alt det andet, der forstyrrer målingen. Millioner af tokens senere var næste skridt at overføre det til et program, der kunne måle bias i medierne. Det var i hvert fald ambitionen.

Det viste sig hurtigt, at når man går fra et system, hvor man kan kontrollere for næsten alt, til den virkelige verden, så sker der et kompleksitetsskifte, der er fuldstændig vanvittigt. Verden er ikke lineær. Og den er i hvert fald ikke ren nok til, at man bare kan bygge en baseline og måle op imod den.

Den umulige baseline

Det største problem er uden tvivl at skabe en baseline, og de studier, der siden er læst, viser også, at Nicolai Hyllested på ingen måde er den første, der er kørt fast dér. Man bliver nødt til at skabe et ståsted, hvorfra man kan se sin vektor dreje. Og her ligger der en stor fare: at man lægger sin baseline så højt, at alle andre målinger kommer til at se flade ud, fordi de ender på niveau. Hvis alle bjerge har samme højde, inklusive ens eget, er det pludselig svært at se, hvilket der faktisk er højest.

Derudover er der helt simple problemer som sample size og selve udvalget, man bruger til at beregne sin baseline ud fra. Og hvis man ikke tidligere har arbejdet med dataindsamling eller statistik, er det måske meget fair, at man ikke når helt derhen, når man bygger sin måler.

Men det helt grundlæggende problem er mere irriterende end som så: Hvordan finder man neutrale medier at måle fra? Medier der er fair, præsenterer begge sider nogenlunde lige, og gør det i stor nok skala til, at man faktisk kan bruge dem til noget. Det var dér, forsøget stødte på sit største problem. For i praksis er det tæt på umuligt. Ikke fordi der ikke findes relativt nøgterne medier, men fordi “neutral” i praksis ikke er en ren og objektiv kategori.

Så valgte Nicolai Hyllested en anden tilgang. Den historie, der skulle undersøges, blev hentet ind, fundet hos hovedkilder, der på forhånd var defineret, for eksempel Reuters, og derfra blev der bygget et cluster rundt om den samme historie. Samtidig blev der brugt et par andre greb. For eksempel blev historien strippet ned til sin grundform og lagt ind som et ekstra kontrollag i baselinen.

Det viser sig desværre hurtigt, at i en verden af bias og medier er det ikke helt fair kun at tale om bias. Og det er her, man mister fodfæstet. Ja, et medie kan godt være biased eller mindre biased. Men hvis tonen er hård, hvis den ene side fremstilles upræcist, hvis den ene part fylder mere, eller hvis noget vigtigt er udeladt, så kan en historie komme til at fremstå biased uden nødvendigvis at være det på en simpel politisk akse.

Så står man pludselig ikke bare med ét problem, men med flere lag oven i hinanden. Flere tal. Flere steder, hvor en læser kan springe over, hvor systemet kan skævvride, og hvor en historie kan blive båret videre som bias til en anden persons egen agenda.

Vores verden er bias

Bias bliver aldrig noget, man bare kan trække ud i lyset og derefter være færdig med. Det er snarere et grundvilkår, man er nødt til at arbejde systematisk med. Verden er fuld af skævheder, interesser, perspektiver og indbyggede prioriteringer, og journalistikken står ikke udenfor det. AI gør ikke problemet mindre. Den gør det snarere mere komplekst, fordi de redaktionelle valg nu i stigende grad flettes sammen med tekniske valg, som ikke altid er synlige for hverken redaktion eller læser.

Risikoen er derfor ikke nødvendigvis, at AI gør journalistikken mere åbenlyst skæv. Risikoen er, at skævheden bliver mere ensartet, hurtigere og lettere at skalere. En AI følger den retning, den er sat i, og dermed kan et medies eksisterende linje blive forstærket, uden at det nødvendigvis opdages undervejs. Det gør ikke journalistikken mere neutral. Det gør bare dens mønstre mere stabile.

Bias skal kunne spores

Det efterlader medierne et sted mellem erkendelse og ansvar. De kan næppe bygge en endelig og objektiv biasmåler, der én gang for alle afgør, om en tekst er neutral eller skæv. Men de kan godt blive langt bedre til at gøre deres egne valg synlige, teste deres systemer, sammenligne output, føre log over brugen af AI og diskutere, hvilke mønstre de selv er med til at reproducere.

Målet er ikke at rense journalistikken for enhver skævhed – det har aldrig været muligt – men at gøre bias mindre skjult, mindre automatisk og mindre uimodsagt. Hvis AI i stigende grad bliver en del af journalistikken, er det måske ikke den perfekte måler, medierne har mest brug for, men en mere ærlig praksis: en, der erkender, at også maskinens neutralitet er et redaktionelt valg.

Læs Nicolai Hyllesteds papers om hans arbejde på hans LinkedIn Profil.

Vi laver journalistik om AI, fordi udviklingen går hurtigere end den offentlige samtale.

På AI Portalen forsøger vi at skabe overblik, perspektiv og kritisk indsigt i en teknologi, der allerede former alt fra arbejdsmarkedet til demokratiet — ofte uden at nogen bremser op og forklarer, hvad der foregår.

Hvis vores artikler hjælper dig med at forstå AI lidt bedre, så overvej at støtte arbejdet.

Et medlemskab gør én ting mulig: at vi kan blive ved med at undersøge, dokumentere og forklare, hvordan AI påvirker Danmark — uden investorer, uden PR-interesser og uden at jage hype.

Bliv medlem og vær med til at styrke uafhængig journalistik om AI.