Den tysta uteslutningen: kompetensen som vittrar bort utan att någon stänger dörren

En pilot som flyger med autopiloten inkopplad större delen av sin karriär tappar, mätbart, förmågan att flyga för hand. Forskning på just det här (hur flygskicklighet korrelerar med hur mycket manuell flygning en pilot faktiskt gjort) visar att kopplingen är som starkast till de senaste två månaderna. Färdigheten vittrar snabbt, och den vittrar tyst: ingen fattar ett beslut om att en pilot ska bli sämre. Det sker bara, som en bieffekt av att automationen är så pass bra att den sällan behöver ifrågasättas.

Samma mönster syns nu i medicin, och med siffror från i år. En studie publicerad i The Lancet Gastroenterology & Hepatology följde fyra endoskopicentra där läkare arbetat med AI-assisterad koloskopi. När forskarna sedan mätte hur bra samma läkare var på att upptäcka polyper utan AI-stödet, hade träffsäkerheten fallit från 28,4 till 22,4 procent. Inte för att läkarna blivit sämre läkare. För att förmågan att upptäcka det AI:n annars alltid pekade ut hade slutat övas.

Från "kan inte läsa" till "kan inte bidra"

I förra artikeln handlade problemet om att agenter som pratar med varandra kan utveckla ett språk vi inte längre förstår. Det här är nästa steg på samma väg, men tystare och mer förrädiskt: det handlar inte längre om att vi utestängs från att förstå, utan om att vi själva tappar förmågan att bidra, även när vi fortfarande formellt är inbjudna.

Ingen stänger dörren. Det är precis det som gör det svårare att upptäcka än en tydlig exkludering. En organisation som medvetet stänger ute människor från beslut möter motstånd, protester, en tydlig linje att peka på och reagera mot. En organisation där kompetensen bara sipprar bort, för att den aldrig behöver användas, möter ingenting alls, förrän dagen den behövs och inte längre finns där.

Varför "en människa kan alltid gripa in" är en illusion

De flesta system för AI-styrning bygger på en sista säkerhetsspärr: om något går fel kan en människa alltid gripa in, granska, och ta över. Det låter tryggt. Men spärren förutsätter att människan som ska gripa in fortfarande kan det: att kompetensen att bedöma, ifrågasätta och faktiskt agera manuellt fortfarande finns kvar i skarpt läge, inte bara i teorin.

Om den kompetensen redan vittrat bort, för att den aldrig övats, är säkerhetsspärren en illusion. Precis som en pilot som inte flugit för hand på ett år inte plötsligt blir bra på det för att motorn tar slut, blir inte en organisation som slutat granska sina agentsystem på riktigt plötsligt bra på det för att något går snett. Det är samma logik som spårbarhetsproblemet i del 2, fast flyttat en nivå djupare: det räcker inte att informationen finns kvar att granska, om ingen längre har förmågan att granska den.

Var TTL kommer in

Del 2 slutade med en fråga om vad som händer när agenter får egna nycklar, egna behörigheter, och en klocka som tickar på hur länge de får ha dem. Den klockan (TTL, time-to-live: en satt livslängd på en agents autonoma mandat innan det måste förnyas) är i första hand tänkt som en säkerhetsmekanism: begränsa hur stor skada ett system som gått snett hinner göra innan någon måste titta på det igen.

Men TTL gör mer nytta än så, om den utformas rätt. En kort livslängd på autonomt mandat tvingar fram återkommande, verkliga kontaktpunkter mellan människa och system, inte en symbolisk "godkänn"-knapp, utan ett tillfälle där någon faktiskt måste förstå vad som hänt för att kunna förnya mandatet. Det är exakt den typen av regelbunden, tvingad övning som höll pilotens flygskicklighet vid liv i studierna ovan.

Med andra ord: en väl satt TTL löser två problem samtidigt. Den begränsar blastradien om något går fel (säkerhetsargumentet från del 2). Och den motverkar kompetensbortfallet genom att göra mänsklig inblandning obligatorisk och återkommande, snarare än valfri och därmed lätt att låta glida bort (kompetensargumentet i den här artikeln). Sätts TTL:en för lång, "det fungerar ju, varför störa", försvinner båda skyddsnäten samtidigt, tyst, utan att någon märker det förrän det redan är för sent.

Designprincipen

Precis som i del 2 är svaret inte att förbjuda automation eller stoppa agenter från att ta över rutinuppgifter. Svaret är att inse att granskningsbarhet och kompetens inte uppstår av sig själva bara för att systemet fungerar bra. De måste medvetet byggas in i hur systemet får lov att arbeta.

De organisationer som klarar sig är inte de som håller flest människor sysselsatta med att övervaka agenter. Det är de som medvetet konstruerar återkommande, verkliga kontaktpunkter: rätt satta TTL:er, riktiga granskningsuppgifter, inte symboliska, innan effektiviteten hunnit göra den mänskliga kompetensen irrelevant. Skillnaden mellan de två är osynlig i vardagen. Den syns först den dag skyddsnätet faktiskt behöver hålla.

Källor: Ebbatson m.fl., forskning om manuell flygskicklighet och automationsberoende hos piloter, sammanfattad i On autopilot: the dangers of overautomation.

Budzyń K, Romańczyk M, Kitala D, et al., Endoscopist deskilling risk after exposure to artificial intelligence in colonoscopy: a multicentre, observational study, The Lancet Gastroenterology & Hepatology, 2025.