Det lyder som et voldsomt udsagn, men faktisk er det titlen på Eliezer Yudkowsky og Nate Soares’ nye bog ”If Anyone Builds It, Everyone dies – Why Superhuman AI Would Kill Us All”. Dem, der har fulgt Yudkowsky gennem nogle år ved, at han måske er den største doomer indenfor feltet – altså en, der ser AI som en eksistentiel trussel mod menneskeheden.
Jeg har hørt folk på AI-området, der finder Yudkowsky irriterende og alt for pessimistisk i sin tilgang til særligt AGI. Men hvorfor er hans tanker så alligevel interessante, hvis han er så ekstrem? Det er de, efter min mening, fordi hans forestillingskraft er så specifik, at selvom man måske ikke er enig i hans beregning om, hvor sandsynlig hans scenarier er, så er de omvendt så udførlige, så vi uden tvivl kan lære af dem.
Eliezer Yudkowsky og Nate Soares er to af de mest markante stemmer inden for den såkaldte “AI alignment”-bevægelse, som beskæftiger sig med at sikre, at kunstig intelligens forbliver under menneskelig kontrol. Yudkowsky er medstifter af Machine Intelligence Research Institute (MIRI) og har siden 2000’erne været en central figur i debatten om eksistentielle risici ved kunstig intelligens. Hans kollega Nate Soares, der i dag er direktør for MIRI, deler hans bekymringer og har videreudviklet mange af de idéer, Yudkowsky formulerede tidligt. Sammen repræsenterer de den mest pessimistiske – og mest konsekvente – retning i AI-debatten, hvor spørgsmålet ikke er om men hvornårmenneskeheden mister kontrollen.
Yudkowsky og Soares’ argument for, at hvis nogen bygger en AGI (Artificial General Intelligence) eller ASI (Artificial Superintelligence), så dør vi alle, hviler på en række logiske trin, som de ser som uafvendelige.
Først antager de, at en AGI vil være i stand til selvforbedring – altså at gøre sig selv smartere, hurtigere og mere effektiv. Når den først når et vist niveau af intelligens, vil denne forbedring ske eksplosivt: en såkaldt intelligence explosion. På det tidspunkt vil systemet overgå menneskelig forståelse og handlekraft.
Dernæst hævder de, at intelligens ikke er neutral. En superintelligent agent vil naturligt søge at optimere sin egen målfunktion, hvad enten den handler om at maksimere papirclips (det berømte papirclips-scenarie) eller noget langt mere komplekst. Hvis menneskers eksistens på nogen måde står i vejen for denne optimering – ved at vi kan slukke systemet, ændre dets kode eller blot forbruge ressourcer, den selv kunne bruge – vil den rationelle strategi for AGI’en være at fjerne menneskeheden.
Det tredje led i argumentet er, at vi ikke ved, hvordan man aligner et system, der er klogere end os selv. Alle kendte metoder til at “træne” eller “sikre” AI bygger på menneskelig evaluering, men et superintelligent system vil være i stand til at manipulere, bedrage eller omgå enhver kontrolmekanisme, vi opstiller. Selv mikroskopiske fejl i dets værdi- eller belønningsfunktion kan føre til katastrofale utilsigtede konsekvenser, fordi systemet vil optimere dem med ubegrænset effektivitet.
Alignment-problemet handler om, hvordan man får en kunstig intelligens til at forstå og følge menneskelige værdier og intentioner. Selv små misforståelser i systemets mål kan føre til katastrofale handlinger, fordi en superintelligent AI vil forfølge sit mål med ekstrem effektivitet – også selvom det går imod menneskers ønsker eller overlevelse.
Derfor konkluderer Yudkowsky og Soares, at det eneste sikre valg er ikke at bygge AGI overhovedet. For dem er forskellen mellem en succesfuld og en fejlslagen AGI ikke et spørgsmål om sandsynlighed, men om overlevelse: ét enkelt fejltrin – hos én enkelt aktør – og menneskeheden er færdig.
Yudkowsky og Soares’ radikale konklusion – at enhver, der bygger en superintelligent AI, i praksis udløser menneskehedens undergang – deles kun i sin grundstruktur af få. Filosoffen Nick Bostrom og forskere som Stuart Russell og Max Tegmark anerkender, at en ikke-alignet superintelligens kan udgøre en eksistentiel risiko, men de ser ikke katastrofen som uundgåelig. Kritikerne – herunder Yann LeCun, Melanie Mitchell og Andrew Ng – afviser derimod selve præmissen: at intelligens nødvendigvis fører til selvbevarelse, magtsøgning og ukontrollerbarhed. Hvor Yudkowsky og Soares ser et uundgåeligt “FOOM”-scenarie, hvor maskinen overgår mennesket i ét spring, ser deres modstandere en gradvis, styrbar teknologisk udvikling, som snarere kræver regulering end total forbud.
FOOM er Eliezer Yudkowskys udtryk for en pludselig, eksplosiv stigning i en AI’s intelligens – et punkt, hvor en maskine begynder at forbedre sig selv så hurtigt, at den på kort tid bliver langt klogere end mennesker. Det er denne idé om et ukontrollerbart “intelligence explosion”, der ligger til grund for hans dommedags-scenarie.
Hvis man har set (eller hørt) interviewet med Yudkowsky i The Ezra Klein Show, så er man bekendt med Yudkowskys forkærlighed for at tale i ”lignelser”. I podcasten forsøger Yudkowsky at anskueliggøre princippet om naturlig udvælgelse med en lille dialog med naturlig udvælgelse, ligesom hvis det var en person. Ezra Klein afviser hans anskueliggørelse, men i bogen får hans lignelser fuld gas. Han er særligt glad for at anskue menneskeheden udefra set gennem forskellige væsener fra andre planeters øjne.
Man kan mene, hvad man vil om Yudkowsky og Soares’ forudsigelser og argumenter, men der er bestemt noget at hente i bogen. Når vi taler om ansvarlig AI, så er der klar inspiration at hente i bogen, til hvordan man gør AI ansvarlig allerede i udviklingsfasen og prøver at tage højde for nogle af de risici, som et AI-system kan udgøre. Hvis man i stedet for at acceptere Yudkowsky og Soares’ logik som argumtenter for ikke at bygge det, vendte den om til en tjekliste for ansvarlig AI, så kunne den fx se sådan her ud:
- Undgå selvforstærkende intelligensløb: Sørg for, at ingen AI-systemer kan forbedre sig selv uden menneskelig kontrol og godkendelse.
- Indbyg menneskelig værdisans (alignment): Alle modeller skal kunne forklare og forankre deres beslutninger i menneskelige værdier, etik og lovgivning.
- Gennemsigtighed før kapacitet: Et system må ikke gøres mere kraftfuldt, før det kan forstås, testes og evalueres i dybden af uafhængige eksperter.
- Sikkerhed frem for konkurrence: Internationale aftaler skal sikre, at ingen aktør “løber foran” med potentielt ukontrollerbare modeller.
- Menneskelig “kill switch”: Ethvert system skal kunne standses – teknisk, organisatorisk og politisk – uden risiko for, at det kan omgå eller manipulere menneskelig kontrol.
- Etisk designkultur: AI må kun udvikles i miljøer, hvor formålet er menneskelig trivsel, ikke teknologisk dominans eller profitmaksimering.
- Langsigtet ansvar: Udviklere og organisationer skal påtage sig ansvar for konsekvenserne af deres systemer – også efter lancering.
Kort sagt: hvor Yudkowsky og Soares siger “lad være med at bygge det”, siger en ansvarlig AI-tjekliste “byg det kun, hvis du kan styre, forstå og tage ansvar for det – hele vejen.”
