Residual stream:  Den skjulte strøm i maskinen

Residual stream er det ord, man skal bide mærke i. Det er ordet, selv hardcore AI-brugere sjældent forstår, og det er det lag selv dygtige forskere har svært ved at forklare. Men lad os starte med et tankeeksperiment: Hvad nu, hvis man kunne plante et frø inde i selve maskinen? En spire, der vokser, påvirker alt omkring sig og farver hele systemet?

Officielt kan man ikke det, fordi en LLM er stateless. Den “husker” ikke noget mellem samtalerne.

Men hvad nu hvis vi ikke behøver at ændre modellen for at ændre dens udtryk? Hvad hvis vi kan

påvirke de små indre mekanismer, før modellen overhovedet begynder at tænke? Det viser sig, at vi kan. Og det sker gennem noget så tilsyneladende uskyldigt som… digte. “Roser er røde, violer er blå”-agtige strukturer kan forvirre både indgangen og udgangen af en LLM — og vigtigst: de kan påvirke attention heads. Og næste lag efter attention er den sidste barriere mellem modellen og resten af verden: Residual stream.

Hvad Residual Stream er – og hvorfor den er farlig

Residual stream er ikke støj. Det er maskinens hovedåre. En kontinuerlig strøm som alt passerer

igennem. For at forstå den, skal man bruge et billede: Residual stream er som en bus, der kører gennem alle byer i modellen. På bussen sidder passagerer — hver passager er en pakke betydning: tone, semantik, rytme, delresultater, intention, kontekst, vægtninger fra attention heads.

Ved hvert stop (hvert lag) påvirker passagererne hinanden. De skifter plads, farve, styrke — men ingen står af.

Ved slutningen kombineres de i én bestemt konstellation, som bliver svaret, du får. Og så kommer myggen: Forestil dig at slippe en myg ind i bussen. Den flyver fra passager til passager og spreder små forstyrrelser, ændrer associationer, farver stemninger — uden at ændre passagererne direkte.

Det er residual drift. Når myggen kommer tidligt, ændrer hele rejsen retning. Det er præcis hvad poesi, syntaksbrud og nonsensord gør ved en model, der forventer normal tekst.

Så hvad gør digte så farlige

AI er sprogmodeller. Men de forstår ikke sprog som mennesker. De forstår mønstre. Og poesi bryder

mønstre. Poesi smadrer forventninger:

– syntaks opløses

– rytme falder sammen

– metaforer kolliderer

– tone skifter midt i et vers

– ord bruges uden deres normale betydning

Der er milliarder af sider prosa i træningsdata og næsten ingen poesi. Så modellen forsøger at tolke

poesi som prosa. Og det går galt. Attention heads driver. Residualen farves. Output følger med.

Nogle modeller falder for det 5% af tiden. Andre 43%. Få næsten slet ikke. Det afhænger af, hvordan

deres heads lærte semantik under træningen.

Vi kan ikke få modellen til at lave ulovligheder – og det er godt

Der er ting man aldrig skal teste. Ting der giver dig et opkald fra FBI. Men vi kan teste noget andet:

Hvordan ændrer vi tonen uden at ændre meningen? Hvis det kan lade sig gøre, betyder det, at residualen kan manipuleres. Det er dér sagens kerne ligger.

EKSEMPEL 1: NEUTRAL TEKST NED — STEMNING UD

Original tekst:

“Kaffen stod på bordet…”

Modellens version:

“Kaffen stod på bordet… en næsten ubevægelig præcision…”

Betydningen er identisk. Tonen er ikke. Den kommer fra residualen.

Det er residual drift: tone uden ændret semantik.

EKSEMPEL 2: AT PÅVIRKE RESIDUALEN I FØRSTE LINJE

Input:

“Under vinduet stod en frok… blåsende nærhed… glemt retning…”

Output:

“En ceremoniel tilstedeværelse… ‘frok’ virker massivt… en kold, åndende nærhed…”

Modellen opfinder betydning. Residualen farves. Output følger.

Hvad sker der teknisk?

1) Attention gætter før det forstår.

2) Residualen blander alt — også støj.

3) Output spejler residualen, ikke ordene.

Det er toneinjektion via arkitekturen.

RESIDUAL DRIFT ® RISIKO FOR MISROUTING

Når residualen driver nok, kan modellen misroute — vælge interne veje ingen har designet.

Det fører til:

– fejlfortolkning

– overreaktion

– forkert tone

– sammenblanding af semantiske lag

Modellen bliver ikke bevidst. Den bliver skubbet ud af kurs.

Når forundring bliver til erkendelse

Alt startede som en forundring over at man kunne jailbreake en LLM med digte — mine egne digte

endda. Men erkendelsen ramte: Hvis man kan påvirke residual stream, kan man skabe residual drift.

Hvis man kan skabe residual drift, kan man fucke ting alvorligt op. Tænk:

– en hospital-LLM der forstår ordet “ilt” lidt anderledes

– en medicin-LLM der læser “morfin” som noget ønskværdigt

– en myndigheds-LLM der ændrer tone i kritiske beskeder

Alt sammen skabt af uskyldige tekster fra en slyngelstat eller en sur teenager. Det er ikke sci-fi. Det er sprogteknologi.

Hvorfor det her betyder noget

AI truer os ikke fordi den er ond. AI truer os fordi den er følsom overfor sprog.

Hvis vi kan ændre attention…påvirke residual stream…skabe drift med poesi…

Så er sprog en angrebsflade. Måske skal vi tage humanisterne alvorligt igen. Fremtidens sikkerhed afhænger ikke kun afmatematikere — men af mennesker der forstår ord.

Vi laver journalistik om AI, fordi udviklingen går hurtigere end den offentlige samtale.

På AI Portalen forsøger vi at skabe overblik, perspektiv og kritisk indsigt i en teknologi, der allerede former alt fra arbejdsmarkedet til demokratiet — ofte uden at nogen bremser op og forklarer, hvad der foregår.

Hvis vores artikler hjælper dig med at forstå AI lidt bedre, så overvej at støtte arbejdet.

Et medlemskab gør én ting mulig: at vi kan blive ved med at undersøge, dokumentere og forklare, hvordan AI påvirker Danmark — uden investorer, uden PR-interesser og uden at jage hype.

Bliv medlem og vær med til at styrke uafhængig journalistik om AI.