Kontrol i kæden – fra indkøb til mål

Militær AI bliver ofte fortalt som et fremtidsscenarie: autonome systemer, maskiner der træffer beslutninger, krig “på autopilot”. I praksis starter forandringen mere prosaisk. Den starter, når nye systemer bliver købt ind og koblet ind i hverdagen: software, der sorterer overvågningsdata, systemer der fusionerer flere datakilder, og beslutningsstøtte, der rangerer, hvad der bør have opmærksomhed først. Det er ikke nødvendigvis våbenautonomi – men det er teknologi, der kan flytte beslutninger tættere på handlingen.  

Den demokratiske kerne er derfor ikke, om vi “tror” på AI. Det er, om nogen kan svare på tre spørgsmål, når det gælder liv-og-død-beslutninger: Hvem satte kravene? Hvem kontrollerer systemet? Og hvem kan efterprøve, hvad der skete bagefter?  

Indkøb er styring, og drift er magt

Indkøb lyder teknisk, men for militær AI er det her, kontrollen enten bygges ind – eller forsvinder. Selve købet er sjældent den svære del. Den svære del kommer bagefter: integration og drift. For et AI-system står ikke alene. Det skal kobles ind i platforme, dataflows og procedurer, og det er ofte her, det får sin reelle magt: ved at bestemme, hvad operatøren ser først, hvad der markeres som relevant, og hvad der ender øverst i en prioriteringsliste.  

Samtidig er AI ikke statisk. Systemer opdateres, patches, justeres og i nogle tilfælde re-trænes. Det betyder, at kontrol ikke kan være et engangstjek ved anskaffelse. Kontrol skal være en løbende disciplin – ellers risikerer man, at praksis langsomt glider, uden at nogen beslutter, at den skal glide.  

Overvågning → prioritering → mål: den korte vej til beslutninger

Det politisk eksplosive er sjældent science fiction. Det er det hverdagsagtige: systemer, der sorterer enorme datamængder, giver en prioriteret liste og skubber beslutninger i en bestemt retning, længe før nogen formelt “trykker af”. Når beslutningsstøtte bliver filter og rangering, kan den glide fra “hjælp” til “default”. Og når default bliver norm, bliver afvigelse dyr: det kræver mere tid, mere argumentation og ofte højere godkendelse.  

I praksis handler beslutningsstøtte ofte om tre funktioner: scoring (en sandsynlighed eller score), rangering (en prioriteret liste) og triage (en reduktion af store datamængder til “det, du bør kigge på nu”). Det lyder uskyldigt, men det kan være netop sådan, overvågning bliver til mål: ikke som ét spring, men som en kæde, hvor det bliver stadig sværere at se, hvornår mennesket reelt udøver uafhængig vurdering.  

Her opstår civil skade typisk ikke, fordi “AI vil skade civile”, men fordi tre mekanismer kan forstærke hinanden: fejl og usikkerhed, der ikke bliver synlige; tempo, der gør menneskelig kontrol formel; og godkendelsesrutiner, der gør “mennesket i loopet” tyndt. Hvis output opleves som en konklusion i stedet for en hypotese, og hvis processen belønner hastighed, kan godkendelse blive et signaturled.  

Menneskelig kontrol ligger i proceduren – ikke i ét klik

Det er derfor misvisende at tale om menneskelig kontrol som ét enkelt øjeblik. Kontrollen ligger fordelt i en procedure – i flere trin og roller. Første kontrolpunkt ligger ofte før operationen: i design og anskaffelse, hvor man beslutter, hvad systemet viser, om usikkerhed overhovedet synliggøres, og hvad der logges. Næste kontrolpunkt ligger i opsætning og procedurer: i kommandokæden og standardrutiner, der bestemmer, hvornår noget skal dobbelttjekkes, hvornår det skal eskaleres, og hvad det kræver at afvige. Tredje kontrolpunkt ligger i den konkrete beslutningssituation, hvor operatøren og nærmeste leder formelt “godkender” – men kun har reel kontrol, hvis der er tid, information og legitim mulighed for at sige nej. Fjerde kontrolpunkt ligger efter handlingen: i logning, efterprøvning og hændelsesrapportering.  

Hvis et af disse trin mangler, kan systemet stadig se ud, som om der er kontrol. Men kontrollen kan være fragmenteret, og ansvaret kan ende med at lande hos den sidste person i kæden – netop der, hvor der er mindst mulighed for at ændre noget.  

“Meaningful human control”: målbart eller marketing?

Derfor er “human control” blevet et politisk nøgleord – og derfor bliver det også elastisk. Alle kan være enige om ordene, men uenige om tærsklen: Er kontrol, at nogen kan stoppe i tide? Eller er kontrol, at der “altid er en kommandokæde”? Hvis begrebet skal være mere end marketing, skal det kunne testes.  

En praktisk måde at gøre det på er at kræve fem ting, der faktisk kan måles i design, procedurer og tilsyn:

1. Tid: Er der tid nok til vurdering – eller kun til godkendelse?
2. Information: Ser operatøren usikkerhed og fejltyper – eller kun en anbefaling?
3. Veto: Kan man afvise uden systemisk pres (tempo, kultur, KPI’er, eskalation)?
4. Logning: Kan beslutningen rekonstrueres bagefter – inklusive afvigelser?
5. Uafhængigt tilsyn: Findes der fortrolig efterprøvning og læring fra “near misses”?  

Efterprøvning er demokratiets sikkerhedssele

I sidste ende handler det om efterprøvning: ikke om at offentligheden skal kende operationer, men om at demokratiet kan vide, om kontrollen er reel. Det kræver logning og sporbarhed, adgang til at revidere “den sorte boks” (også når leverandøren kalder det proprietært), og en læringssløjfe via hændelsesrapportering, så problemer opdages før de bliver til katastrofer. Uden den slags efterprøvning bliver ansvar et spørgsmål om forklaringer frem for dokumentation.  

Det er også derfor, diskussionen om internationale normer og FN-processer går så trægt: stater kan ofte blive enige om principper, men tøver ved konkrete krav, der kan binde hænder og tempo. Alligevel peger udviklingen i normdebatten på, at “human control” kun bliver politisk holdbart, hvis det gøres operationelt – og dermed auditérbart.  

Tre spørgsmål, der afslører om kontrollen findes

Hvis man vil skære det hele ned, er der tre spørgsmål, som enhver ansvarlig brug af militær AI bør kunne svare på – uden at afsløre taktiske detaljer:

• Kan vi efterprøve beslutningen bagefter? (Hvad viste systemet, og hvorfor handlede vi?)
• Hvem har helhedsansvaret? (Ikke bare komponentansvar, men ansvar for kæden)
• Hvem kan stoppe eller ændre praksis, når systemet glider? (Tilsyn, logs, læring – ikke bare tillid)  

Militær AI bliver ofte solgt som effektivitet. Men i et demokrati er effektivitet ikke nok. Når systemer former beslutningsgrundlaget, skal vi kunne dokumentere, at kontrollen var reel – og at ansvaret ikke forsvandt i kæden, længe før beslutningen blev truffet.