AI-Basics, del 11

Fra pilot til effekt: Sådan måler du generativ AI uden at snyde dig selv

Skrevet af Kåre Bjørn Jensen assisteret af AI

Mange organisationer har efterhånden gennemført en række pilotprojekter med generativ AI. Udfordringen er, at mange projekter bliver hængende dér: De virker “sådan nogenlunde”, men det er uklart, om de skaber varig værdi, og hvad der skal til for at skalere sikkert. OECD peger netop på, at mange AI-initiativer i den offentlige sektor forbliver i pilotfasen, fordi governance, kompetencer og skalering halter efter teknologien [1].

Den praktiske nøgle i 2026 er at gøre generativ AI til et almindeligt produktionssystem: med KPI’er, tests, driftsovervågning – og en tydelig business case.

1) Start med at adskille tre slags “værdi”

Det lyder banalt, men det er her, mange målinger går galt:

A) Adoption (brug): Hvor meget bruges løsningen – og af hvem?

B) Effekt (adfærd): Ændrer den arbejdsmønstre (møder, mail, dokumentproduktion)?

C) Business value (resultat): Bliver der faktisk sparet tid/penge eller løftet kvalitet?

Microsofts Copilot Control System lægger præcis denne opdeling til grund: readiness/adoption, productivity impact og business value/ROI – og understreger, at du bør koble brugsdata med egne organisationsmålinger (fx fra SAP, Workday eller Salesforce), hvis du vil tæt på reel effekt [2].

2) Mål på opgaven – ikke på “gode svar”

Generativ AI er ikke traditionel software: kvalitet handler ikke kun om korrekthed, men også om relevans, sikkerhed, bias og omkostning – og det kan ændre sig, når løsningen er sat i drift. Microsoft beskriver derfor “continuous evaluation” som nødvendigt for at opdage kvalitetsdrift, hallucinationer og utilsigtet bias over tid [3].

Et godt minimumssæt af KPI’er for en AI-løsning i drift kan fx være:

• Opgavesucces: Bliver opgaven løst – uden eller med menneskelig hjælp?
• Overdragelsesgrad: Hvor ofte må et menneske tage over undervejs?
• Faktatroværdighed/kildeforankring (hvis løsningen bruger dokumenter som grundlag): Kan svaret spores tilbage til konkrete kilder, og holder det sig til dem?
• Regel- og sikkerhedsoverholdelse: Overtrædes interne retningslinjer, lovkrav eller sikkerhedspolitikker?
• Omkostning og svartid: Hvad koster en løst opgave, og hvor lang tid tager den i “værste fald”/spidsbelastning (fx 95%-niveauet)?

En nyere litteraturgennemgang gennemgår 28 forskellige målepunkter og kobler dem til kvalitetskravene i ISO/IEC 25023. Formålet er at gøre det lettere for praktikere at vælge netop de mål, der passer til det, systemet skal kunne i praksis [4]. Google anbefaler en beslægtet, test-drevet tilgang: Man fastlægger på forhånd vurderingskriterier og målepunkter og afprøver dem på et evalueringssæt, så kvalitet vurderes mere systematisk – og mindre ud fra mavefornemmelser [5].

3) Brug ét “realitets-check”: Mennesker overvurderer ofte gevinsten

Hvis du vil have én påmindelse om, hvorfor målinger skal være objektive: METR’s RCT på erfarne open-source udviklere fandt, at deltagerne troede, AI sparede tid – men i praksis brugte de 19% længere tid, bl.a. pga. review af AI-output og ventetid på generering af indhold [6]. Det betyder ikke “AI virker ikke” – men at ROI afhænger af opgavetype, workflow og disciplin.

4) Tjekliste: “før du skalerer”

1. Har I et eval-datasæt med 20-50 realistiske cases pr. use case? [3][5]
2. Har I defineret stop-kriterier (hvilke fejl er uacceptable)?
3. Kan I forklare effekten i kroner/timer/kvalitet – ikke kun i “oplevelse”? [2]
4. Har I overvågning: fejltyper, cost per task, latency, policy breaches? [3]
5. Er der en klar ejer, der kan ændre proces og træning – ikke kun “AI-teamet”? [1]

5) Case-skabelon (klar til at kopiere)

Use case: (fx “udkast til afgørelsesbrev”)

Brugere: (hvem, hvor ofte)

Opgavemål: (task success + kvalitetskrav)

Eval-datasæt: (cases + rubrics)

Human-in-the-loop: (hvornår kræves godkendelse)

Drift: (monitorering, incident-proces, kvartalsvis re-eval)

Business case: (tid/penge/kvalitet + baseline før/efter)

Vi laver journalistik om AI, fordi udviklingen går hurtigere end den offentlige samtale.

På AI Portalen forsøger vi at skabe overblik, perspektiv og kritisk indsigt i en teknologi, der allerede former alt fra arbejdsmarkedet til demokratiet — ofte uden at nogen bremser op og forklarer, hvad der foregår.

Hvis vores artikler hjælper dig med at forstå AI lidt bedre, så overvej at støtte arbejdet.

Et medlemskab gør én ting mulig: at vi kan blive ved med at undersøge, dokumentere og forklare, hvordan AI påvirker Danmark — uden investorer, uden PR-interesser og uden at jage hype.

Bliv medlem og vær med til at styrke uafhængig journalistik om AI.