Bias er ikke problemet. Det er det skjulte bias, der er. 

En personlig og systemisk refleksion over LLM’er, skjult vægtning og hvorfor bias bliver farligere, når den opfører sig som neutral hjælp.

Jeg elsker bias. Den der ubestemmelige størrelse, som alle slynger efter hinanden og bruger til at slå andre oven i hovedet med, mens de selv naturligvis står skinnende rene og objektive tilbage.

Lad os starte et personligt sted. Ikke alt for dybt, bare nok til at være irriterende ærligt.

I mange år var jeg overbevist om, at jeg selv var objektiviteten med ben. Jeg stod så længe på logikkens alter, at rationalet nærmest føltes som min religion. Der skulle både et forhold og en personlig krise til, før det gik op for mig, at jeg selvfølgelig heller ikke var fri for bias.

Så ramte AI-verdenen. Og pludselig var bias ikke bare noget, vi skulle tage stilling til i medier eller politik. Det var noget, vi sad og talte direkte med. Noget der svarede igen. Noget der ikke bare skrev tekst, men opførte sig som et spejlbillede af os selv.

Vi har lært at tale om bias i aviser, på tv og i den offentlige debat. Fint nok. Men med LLM-systemer er vi nået til et andet sted. Her bliver bias ikke bare læst. Det bliver oplevet. Det bliver pakket ind i samtale, tone, hjælpsomhed og genkendelighed. Og jo mere de her systemer bliver normale, jo mere kommer de også til at påvirke os, langt mere end mange har lyst til at indrømme.

Når de kloge stiller sig op og forklarer AI, starter de næsten altid samme sted: træningsdata, vægte og sandsynligheder. Og ja, det betyder noget. Men for brugeren er det sjældent dér, slaget står.

Vi tror, at bias først opstår i det øjeblik, vi får et svar. Men allerede før dit spørgsmål når frem til modellen, er der truffet valg på dine vegne. Det spørgsmål, du tror, du stiller, er derfor ikke nødvendigvis det spørgsmål, modellen faktisk svarer på.

I den anden ende bliver svaret også afgrænset, blandt andet af noget så lavpraktisk som længde, tokenbudget og hvad der passer ind i brugerfladen. Også det er en vægtning. Også det former det svar, du ender med at læse.

Og mellem de to punkter ligger der flere lag: guardrails, runtime-logik, systemstyring og andre indgreb, som er med til at formulere det færdige svar. Læg dertil tone, alignment, konvergens og det dybere indre maskinrum som residual stream, så begynder pointen at blive ubehageligt klar: Vi ser et output, men vi aner kun i begrænset grad, hvilke skub, filtre og prioriteringer der har formet det undervejs.

Min påstand er derfor ret enkel. I praksis er der fire ting, der former vores oplevelse af AI langt mere direkte end de fleste forklaringer om vægte og sandsynligheder: bias, tone, alignment og konvergens.

Tone, alignment og konvergens kan i et vist omfang styres. De kan justeres, dæmpes, trimmes og pakkes pænt ind. Men at der findes noget i et system, nemlig bias, som ingen reelt har styr på, burde gøre alle en smule urolige.

Og her mener jeg ikke bare den åbenlyse bias, som alle straks leder efter. Vi er vant til at råbe biased i kvinde- og mandespørgsmål, eller når en indvandrer prøver at komme ind på det lokale diskotek. Og helt ærligt, der er LLM-modellerne ofte blevet ret gode. Sikkert fordi det er et fokusområde, og de store firmaer udmærket ved, at det er noget af det første, brugerne tester. Det ville faktisk være mærkeligt, hvis kommercielle firmaer med etiske ambitioner ikke havde styr på netop det lag.

Det mere bekymrende er noget andet. Der ser ud til at være domæner, hvor der optræder en mere strukturel bias. Jeg bruger ordet strukturel her, selv om det teknisk set er lidt mere nuanceret end som så. Men ordet er brugbart nok til formålet. Pointen er, at der findes skævheder, som ikke bare forsvinder, fordi man lægger guardrails og runtime-lag ovenpå. Oversat til almindeligt dansk: der findes bias, som dem der bygger systemet, ikke bare kan fikse med lidt pæn kodelogik og et sæt regler ovenpå modellen.

Vi kan alle være nogenlunde enige om, at vægtene har deres egne indbyrdes forhold, og at vi som brugere ikke har en jordisk chance for at kende dem. Helt ærligt virker det nogle gange heller ikke som om, dem der bygger systemerne, forstår mere end stykvis af det, de står med. Mere bekymrende er det måske, at måden man fodrer rådata ind i systemet på, også har væsentlig indvirkning på, hvordan vægtenes indbyrdes forhold udvikler sig, og dermed på små forskelle i bias i den endelige model.

I en verden af residual stream, residual reasoning og jagten på det næste spring i compute er det ikke mærkeligt, at bias bliver overset.

Forskningen jagter fremdrift. Firmaerne jagter kapabilitet. Brugerne tester de mest åbenlyse skævheder først: mand, kvinde, chef, ansat, navn, hudfarve, politiske markører. Det giver mening. Det er det synlige. Det er det, man kan pege på.

Men hvis vi kun ser på, hvad bias betyder i de oplagte cases, og ikke på hvilken adfærd en LLM faktisk har på tværs af domæner, så skyder vi os selv i foden.

For lige nu vurderer vi ofte LLM’er lidt som vi vurderer sociale medier, ud fra det synlige output. Det er en fejl. Output er ikke en særlig god benchmark for det, vi ikke ser. Og slet ikke for det, der sniger sig ind under radaren.

Bias er i sig selv ikke et problem. Bias unchecked og uadresseret er.

Vi er som mennesker vant til at være omgivet af bias overalt. I andre mennesker. I bøger. I medier. I kulturen generelt. Vi ved, uden at nogen behøver sige det højt, at der er en vægtning. At nogen ser verden fra et sted. Det er først, når denne bias ledes ind ad bagdøren, uden om vores forsvarsværker og vores kritiske sans, at problemerne for alvor opstår.

Vi anerkender uden større diskussion, at en kultur hvor kvinder konstant omtales som det svage køn, ikke er sund. Men hvad med en hr-afdeling, der bruger AI uden at vide, at status og autoritet er problembørn? Hvad med et system, der lægger skjult vægt på kompetence på en måde, ingen i rummet opdager, fordi alle regner med, at OpenAI eller Anthropic selvfølgelig har styr på det?

Ingen forventer den spanske inkvisation. Nej. Men i det mindste vidste man, at den fandtes. Her er vi på bar bund. Og hvis bias faktisk er strukturel, så har de jo af gode grunde heller ikke fuld kontrol over den.

Vi er på vej ind i en tid, der sætter vores tillid endnu mere på prøve. I den digitale tidsalder havde vi trods alt et flow, der i det mindste var lineært og forståeligt for nogen mennesker på kloden, uanset hvor komplekst det blev. Nu træder vi ind i et univers, hvor ingen reelt ved, hvordan systemet faktisk virker.

Det univers minder mindre om klassisk software og mere om en hjerne. Vi ved, at der sker noget. Vi kan se et udfald. Men de enkelte processer er grundlæggende lukket land og kan kun tilnærmes gennem modeller, målinger og kvalificerede gæt.

Og her er bias væsentlig. For bias er noget af det eneste, der rammer os direkte, uden at vi eller andre nødvendigvis kan skrue ret meget på den underliggende sammenhæng mellem vægtene. Det er også derfor, det er så vigtigt at forstå, at vi ikke står neutralt i mødet med de her systemer.

Jeg siger ikke, at vi skal være bange for AI. Snarere det modsatte. Vi skal bruge det. Vi skal lære det. Vi skal presse det. Men vi skal også omgås det, som vi ville omgås et andet menneske. Med åbenhed, ja. Men også med paraderne oppe.

Vi må ikke lade os lulle i søvn og tro, at vi står upåvirkede i mødet med noget, der kan blæse lige gennem vores kognitive forsvar, før vi overhovedet opdager, at vi burde have haft dem oppe.

Skal vi så helt opgive de her systemer?

Nej. Det er egentlig ikke min pointe.

Min pointe er, at vi står et sted, hvor vi har stået før med ny teknologi, i ukendt territorium. Noget, der kommer til at påvirke os på måder, vi endnu ikke forstår fuldt ud.

Bare se på sociale medier. De kom ikke med en seddel, hvor der stod, hvad de ville gøre ved vores opmærksomhed, vores adfærd og vores kultur. For mange er det gået fint nok. For andre har konsekvenserne været ret katastrofale.

Hvis vi allerede tidligt kan få klarhed over de problemer, der findes i LLM-systemer, har vi i det mindste en chance for at komme nogle af dem i forkøbet.

Vi redder ikke alle fra at falde i et hul. Men måske kan vi gøre landingen en smule mindre brutal.