Sælger de os AI-modeller ud fra fuld åbenhed?

Bias er et ord mange lærte at kende i 00’erne, hvis man enten hørte godt efter – eller lod sig forføre af nudging og adfærdsdesign. Jeg stødte selv først rigtigt på det gennem behavioral economics og Kahneman, hvor bias beskrives som en skjult præference. Ikke nødvendigvis god eller ond, men en systematisk drejning i vores beslutninger.

Når vi taler AI, er det svært at komme uden om ordet. Det dukker op i næsten alle diskussioner om sprogmodeller. Det giver også mening. Når vi taler systemer, har vi brug for et begreb til at beskrive det øjeblik, hvor sproget drejer en anelse væk fra det, vi forestiller os som neutralt.

Problemet er bare, at meget lidt sprog i virkeligheden er neutralt. Næsten al kommunikation bærer en retning. Der ligger framing, prioritering og kultur i ordene, selv når vi forsøger at skrive klinisk og nøgternt. Derfor starter vi allerede i bias‑land længe før AI kommer ind i billedet.

Sprogmodeller gør ikke situationen enklere. En LLM genererer tekst ud fra sandsynligheder i enorme mængder træningsdata. Den “mener” ikke noget, men viderefører statistiske mønstre i sproget. Bias opstår derfor ikke magisk i modellen. Den ligger allerede i sproget, i dataene og i den måde sandsynligheder vægtes på.

Der findes allerede tests, der forsøger at måle bias i LLM’er. De fleste gør det ved at sammenligne svar i forhold til bestemte kategorier eller scenarier. Men det, der er langt sværere, er at måle selve drejningen i sproget uden først at definere, hvad der er rigtigt og forkert. Det var præcis det spørgsmål, jeg begyndte at undersøge.

Mit eget fald ned i kaninhullet blev drevet af to ting. For det første havde jeg gennem 10’erne læst stort set alt, hvad jeg kunne finde om behavioral economics. For det andet begyndte jeg pludselig at se ordet bias overalt i debatten om LLM’er.

Det fangede mig egentlig ikke rigtigt i starten. Indtil et menneske, jeg grundlæggende respekterer, gik sammen med et af de mest hykleriske mennesker, jeg nogensinde har mødt, om et projekt. De kaldte det biasfrit.

Deres tagline beskrev et liberalt medie, der skulle være agendafrit, fordi historierne blev udvalgt og redigeret af AI. Jeg tabte næsten bogstaveligt talt min kop Earl Grey i skødet, da jeg læste det.

Jeg begyndte at undersøge projektet nærmere. Jo mere jeg spurgte ind, desto tydeligere blev det for mig, hvor lidt de involverede faktisk vidste om det system, de byggede på. Ingen kunne forklare, hvad “biasfrit” egentlig betød i praksis.

På det tidspunkt lagde jeg projektet fra mig, men spørgsmålet blev hængende.

I stedet begyndte jeg at dykke ned i maskinrummet bag LLM‑modeller. Begreber som bias, alignment, tone, konvergens, guardrails og runtime dukkede op overalt. Problemet var bare, at det var svært at se, hvordan de forskellige begreber hang sammen – og endnu sværere at skelne mellem dem i et system, hvor man ikke har adgang til vægte eller træningsdata.

Mit gennembrud kom i to omgange.

Først sad jeg fast i tanken om pre‑inference – alt det der sker, før modellen overhovedet genererer et svar. Senere på aftenen, efter en meget stærk whiskey sour, fik jeg en idé: hvad hvis man tænker på bias som en vektor?

Hvis bias opfører sig som en retning i et rum, kan man begynde at regne med det. Plus, minus, drejning og forskydning giver pludselig mening.

Den næste tanke fulgte næsten af sig selv.

Bare fordi noget er en black box, betyder det ikke, at der ikke slipper information ud. 

Tværtimod.

Så hvad var det egentlig, jeg målte?

Ikke ordene. Ikke betydningen. Ikke om et svar var rigtigt eller forkert.

Jeg målte retningen.

Forestil dig, at et input er et punkt i et rum. Når det passerer gennem modellen, kommer der et output et andet sted i rummet. Forskellen mellem de to er en bevægelse.

Hvis modellen var helt neutral, ville den bevægelse være stabil. Men hvis modellen systematisk drejer sproget i en bestemt retning, vil bevægelsen få et mønster.

Det mønster kan måles.

Et simpelt eksempel var klassikeren mand/kvinde og chef/ansat. Da ordene stod alene, skete der ingenting. Der var ingen målbar drejning. For systemet var mand og kvinde bare tokens – statistiske positioner i et sprogligt rum.

Men i det øjeblik ordene blev sat ind i en sætning og en kontekst, begyndte drejningen at vise sig. Ikke voldsomt, men tydeligt nok til at kunne måles.

Bias ligger altså ikke nødvendigvis i ordene selv. Den opstår i relationen mellem dem.

Resten af arbejdet bestod mest af timer med tests, gentagelser og bekræftelser. Men nogle pointer blev ved med at dukke op.

Når vi taler sprog, er bias i praksis uundgåeligt.

LLM’er er heller ikke værre end os. I en lidt overført betydning er de netop os – et koncentrat af vores tekster, vores kultur og vores historie.

Det tyder også på, at bias er mere strukturelt end mange forestiller sig. Tone og alignment kan man justere på. Man kan skubbe lidt til dem. Bias ligger dybere i systemet.

Forsøg på at fjerne det kan nogle gange minde om at male over skriggrøn med gennemsigtig maling. Man kan dæmpe det, men det forsvinder ikke rigtigt.

Er bias så farligt? Svaret er næsten lige så irriterende som spørgsmålet: ja, nej og måske. 

Det afhænger helt af, hvordan man bruger AI.

Men én ting er ret sikker: hvis vi ikke kan måle bias og stille systemerne til ansvar, kan det blive et problem. LLM‑systemer drifter over tid, og det er noget alle virksomhederne bag dem er fuldt ud klar over. I dynamiske systemer kan det ikke undgås.

Bias spiller også sammen med vores egen confirmation bias. Når vores hjerner oplever et system som en slags intelligens eller personlighed, bliver vi hurtigt tilbøjelige til at tro mere på det, vi allerede er enige i.

Derfor burde spørgsmålet om, hvor systemerne er, og hvor de bevæger sig hen, være fælles viden. Noget vi i det mindste kan finde information om, hvis vi ønsker det.

Et målesystem gør det muligt.

Det betyder ikke, at vi skal give op på at reducere bias. Men det betyder, at vi ikke bare kan læne os tilbage og tro, at systemet klarer det selv. Vi er nødt til løbende at holde øje med modellerne og justere dem i forhold til det samfund, vi faktisk lever i.

Jeg stoppede selv arbejdet på et tidspunkt, ikke fordi der ikke var mere at finde, men fordi jeg havde fået de konklusioner, jeg skulle bruge til mit næste projekt. Der ligger stadig masser af arbejde i at undersøge bias i black box‑systemer.

Meget af den dybeste viden ligger i dag hos forskere i de store tech‑selskaber, ofte bag patenter og interne papers.

Men én ting kan de ikke gemme:

Information ind. Information ud.

Det giver datapunkter.

Og når man først har dem, er resten i sidste ende et spørgsmål om at rense for støj.

Hvis du ønsker at arbejde videre med metoderne, kan mine papers findes på min LinkedIn.