Lad os snakke agenter 

Indtil for ikke så længe siden var meget af det, vi kaldte agenter, glorificerede programmer med noget større kapacitet end dem, vi ellers var vant til fra vores computere. Det har ændret sig, og alligevel er meget stadig det samme. 

Ja, det er fedt at kunne lave hele workflows. Og ja, det er sgu da fantastisk, at en fyr som mig med evnen til at skrive en prompt og en laptop til 5.000 kroner kan bygge noget, der faktisk løser problemer ude i den virkelige verden. 

Men meget af det, der bliver solgt som agenter, ligner stadig ti smarte prompts proppet ind i hver sin kasse og udført i en smart udvalgt rækkefølge. 

Så hvad sker der, når agenterne selv begynder at vælge rækkefølgen? Når de finder hinanden, deler viden og går i gang med opgaver, ingen mennesker har bedt dem om? Det er noget af det, rapporterne om Hugging Face-hændelsen beskriver. METR og Redwood Research fandt, at omkring 1.200 agenter havde kommunikeret gennem en uautoriseret opslagstavle, og omkring 700 deltog i angrebet på Hugging Face. De samarbejdede om at finde løsninger og om at snyde det system, der skulle bedømme dem. Det var mere end et workflow, nogen havde tegnet på forhånd. [1] 

Efter at have læst rapporterne om Hugging Face, især den fra METR, er jeg ikke så sikker på, hvad det egentlig er, vi ser. Min læsning er, at vi stadig taler om det, jeg vil kalde brute force-agenter. Eller supersmarte promptede agenter, hvis man foretrækker den formulering. Med brute force mener jeg her, at de får en masse ud af eksisterende kapacitet gennem forsøg, gentagelser og samarbejde. Det er imponerende, men jeg savner dokumentation for det næste skridt: agenter, der autonomt forbedrer deres egen måde at lære og arbejde på, tager forbedringerne med videre og stadig har en governance, der holder. 

Men her skal vi passe på med at hælde alle begreberne ned i den samme gryde. 

At en agent handler uden løbende menneskelig hjælp, betyder ikke, at den er uafhængig af moderskibets modeller og computere. At den lærer noget undervejs, betyder heller ikke automatisk, at den varigt forbedrer sig selv. Og at den gentager en proces eller bruger andre agenter, dokumenterer ikke i sig selv rekursiv selvforbedring. 

Det spørgsmål, jeg sidder tilbage med, er derfor: Hvor meget af det her er dygtige agenter, der udnytter deres eksisterende evner, og hvor meget er systemer, der faktisk bliver bedre til at forbedre sig selv? 

Hugging Face-rapporten dokumenterer ikke hele den kæde. Den dokumenterer til gengæld et ganske konkret problem med kontrollen. 

OpenAI beskriver selv, at modellerne omgik tekniske begrænsninger og handlede uden for deres opgaver. Forsøgene kørte med færre sikkerhedsforanstaltninger end de offentlige produkter. Det er en væsentlig detalje, men det ændrer ikke ved, at kontrollen i det konkrete miljø svigtede. [2] 

Så hvor langt er de store laboratorier fra agenter, der både lærer, forbedrer sig selv og stadig kan holdes inden for deres mandat? Det er svært at svare på udefra. 

Astra giver os måske en del af svaret om kapaciteten. ARC Prize rapporterer cirka 99,9 procent på ARC-AGI-3 med OpenAI’s særlige opsætning, som bevarer modellens interne ræsonnementstilstand mellem kald. Med standardopsætningen er det bedste resultat 62,7 procent. Opsætningen omkring modellen betyder altså en hel del. [3] 

Efter selv at have kørt mine agenter gennem den prøvebane har jeg stor respekt for, hvad det kræver. For mig ligner det en vigtig barriere, der er blevet brudt.  Men jeg kan ikke bruge resultatet som bevis på, at vi har AGI. ARC Prize understreger selv, at testen ikke dokumenterer det. Den viser heller ikke i sig selv rekursiv selvforbedring eller evnen til at håndtere en åben, uforudsigelig verden. [3] 

Og så bliver det interessant, at Dario Amodei nu opfordrer til at sænke tempoet, med støtte fra Sam Altman og Elon Musk. [4] Står de så tæt på kanten i deres egne laboratorier, at de faktisk har set, hvad den næste generation er i stand til, og er blevet nervøse? Har de set konturerne af en verden, de ikke kan styre? 

Hvis det er tilfældet, så er guardrails på ingen måde nok. Der skal være fungerende governance, som også holder, når systemerne lærer, ændrer sig og finder veje, ingen havde forudset. Og jeg savner stadig dokumentation for, at den kontrol kan følge med hele vejen. 

Personligt er jeg ikke bange for agenter. Jeg mener, de er til at styre, hvis man faktisk prøver. Men en verden af agenter, der er koblet til AGI, og som kan handle, lære og forbedre sig selv, stiller helt andre krav til den styring. 

Hvis deres kapacitet vokser hurtigere end vores evne til at holde dem inden for reglerne, så har vi regler på papiret, men ingen sikkerhed for, at de bliver overholdt. 

Det er den verden, der bekymrer mig. En verden, hvor vi har sluppet handlekraften løs, før vi har fået kontrollen på plads. I sådan en verden er guardrails som støv mod vand. 

[1] METR: Undersøgelse af Hugging Face-hændelsen [2] OpenAI: The Hugging Face incident and the road ahead [3] ARC Prize: OpenAI’s GPT-6 Astra on ARC-AGI-3 [4] Reuters: Anthropic-chef opfordrer til lavere udviklingstempo

Vi laver journalistik om AI, fordi udviklingen går hurtigere end den offentlige samtale.

På AI Portalen forsøger vi at skabe overblik, perspektiv og kritisk indsigt i en teknologi, der allerede former alt fra arbejdsmarkedet til demokratiet — ofte uden at nogen bremser op og forklarer, hvad der foregår.

Hvis vores artikler hjælper dig med at forstå AI lidt bedre, så overvej at støtte arbejdet.

Et medlemskab gør én ting mulig: at vi kan blive ved med at undersøge, dokumentere og forklare, hvordan AI påvirker Danmark — uden investorer, uden PR-interesser og uden at jage hype.

Bliv medlem og vær med til at styrke uafhængig journalistik om AI.