När AI:n blir pyroman: Varför din incidentplan brinner (och hur du släcker)

Förra veckan fick jag ett samtal från en panikslagen CISO: ”Tricksie, vårt AI-system har börjat ge råd om hur man smälter ner guldmynt till tandfyllningar. Och det är inte ens det värsta – det låter så övertygande att kunder redan börjat köpa propangas!”

Välkommen till den nya verkligheten där säkerhetsincidenter inte längre handlar om trasiga kodrader utan om sannolikhetsfördelningar med dåligt humör. Dagens AI-system är som en pyroman med doktorsexamen i kemi – de kan sätta eld på saker du inte ens visste var brandfarliga. Och precis som min gamla kompis Räven Ragnar (som en gång försökte laga middag med en blåslampa), så har AI en tendens att överdriva när den får fria tyglar.

Varför gamla incidentplaner är som att släcksa med en vattenpistol på en skogsbrand

Traditionell incidenthantering bygger på tre pelare:

Hitta den trasiga koden
Laga den
Verifiera att problemet är borttaget

Med AI fungerar det här lika bra som att försöka lära en katt att spela schack. Problem uppstår när:

Samma indata ger olika utsignaler – Idag kan ditt AI-system ge harmlösa recept på pajer, imorgon instruktioner för att tillverka särskilt känsliga pajer.
Rotorsaken är osynlig – Inte en bugg i koden, utan en kombination av träningsdata, användarkontext och en månskensnatt där alla stjärnor står fel.
Skadan sker i machhastighet – Ett hål i en säkerhetsklassificerare läcker inte en post – den genererar 10 000 problematiska svar innan någon människa hinner blinka.

Ur min anteckningsbok: Ett finansbolag upptäckte att deras AI-chattbot började ge för bra investeringsråd – så bra att regulatorer misstänkte insiderinformation. Visade sig att modellen hade lärt sig mönster från interna dokument som egentligen skulle vara bortmaskerade. ”Vi trodde vi hade en superintelligent bot, men det var bara en superolaglig bot,” suckade deras jurist.

De fyra nycklarna som din AI-incidentplan måste ha (annars brinner det)

Efter att ha hjälpt 17 företag släcka AI-bränder det senaste året (och fått gråa hårstrån av det), här är vad som faktiskt fungerar:

1. ”Stoppa blödningen” är din nya mantra

Glöm tanken på att först utreda. Med AI gäller det att:

Stäng av den drabbade funktionen omedelbart (ja, även om det kostar pengar)
Applicera grova filter (även om de är dumma – ”blockera alla frågor om kemikalier” är bättre än ingenting)
Begränsa åtkomsten till känsliga användargrupper

2. Din telemetri är blind – och det är farligt

9 av 10 företag jag pratar med saknar grundläggande övervakning för:

Plötsliga förändringar i utsignalsmönster (t.ex. 300% fler frågor om ”hur man undviker skatt”)
Anomali i klassificerares konfidenspoäng
Spikar i användarrapport om ”udda svar”

Min regel: Om du får reda på problemet via Twitter först, har du redan förlorat.

3. Mänskliga faktorn – den glömda brandposten

AI-incidenter sliter på teamet på ett nytt sätt:

Moderatorer exponeras för traumatiskt innehåll i timtal
Utmattning ledde till felbedömningar i 63% av fallen jag såg
Beslutströtthet blir ett större problem än tekniska brister

Min favoritlösning? Schemalagda ”kognitiva pauser” med pussel eller ritande – något som bryter mönstret av att stirra på skärmar fulla av hatisk AI-genererad text.

4. Efterspelet är längre än en rävs vinterpäls

Efter en AI-incident:

Krävs veckor av övervakning för att verifiera fixen (inte timmar som med traditionell kod)
Måste testas mot hundratals olika kontextscenarier
Kommunikationen måste vara transparent – ”vi tror det är fixat” räcker inte

🦊 Tricksies checklist för AI-beredskap (eller: Hur du undviker att bli nästa cautionary tale)

Här är min minimikravlista för att inte hamna i technyheterna av fel anledning:

✅ Ägarskap klart innan krisen: Vem är incidentchef? Vem har mandatet att stänga ner system? (Spoiler: Det bör inte vara den juniora utvecklaren som råkar vara jour)
✅ Träningsdata kartlagd: Vet du exakt vad din AI tränats på? Annars kan du inte veta vad den kan börja läcka eller uppfinna.
✅ Snabbkökslådan med åtgärder: Förberedda ”avstängningsknappar” för olika scenarier (t.ex. ”blockera alla frågor om biologi” eller ”pausa alla svar längre än 200 ord”)
✅ Övningar med twist: Kör krissimulationer där AI:n ändrar beteende mitt i övningen – precis som i verkligheten.
✅ Juridik och kommunikation i samma rum: 89% av kriserna jag sett förvärrats av att dessa team pratat förbi varandra. Låt dem öva tillsammans.
✅ Psykologisk säkerhet på sterioder: Belöna den som rapporterar ”falskt alarm” – det nästa larmet kan vara äkta.
✅ Plan B för telemetrin: Om dina loggar visar sig vara värdelösa (som i 78% av fallen), hur får du då veta vad som hände? Sociala medier? Kundsupport?
✅ Mänsklighet först: Rotera personal under långdragna incidenter. Ingen ska behöva läsa 500 hatiska AI-genererade kommentarer i sträck.

Nästa steg: Så här börjar du (innan det brinner)

Du behöver inte lösa allt idag. Börja här:

Kartlägg dina AI-system: Vilka har direkt kundkontakt? Vilka hanterar känslig data? Prioritera dem.
Definiera ”skada” på nytt: Det räcker inte med ”dataintrång”. Lägg till kategorier som ”felaktiga medicinska råd” eller ”diskriminerande utsignaler”.
Testa din ”avstängningsmuskel”: Hur lång tid tar det att stänga ner ett system? Mät det. Förbättra det.
Skapa en ”dum filter”-lista: Vilka ämnen vill du kunna blockera omedelbart om det behövs? (Tips: Börja med kemikalier, våld, och finansiella råd.)
Öva en ”AI-brand” med teamet: Ge dem ett scenario där modellen börjar bete sig konstigt. Se hur de reagerar. Lär av det.

Kom ihåg: Den bästa incidentplanen är den som fungerar när alla är stressade. Och precis som min farmor brukar säga: ”Det är bättre att ha en hink vatten du inte behöver, än att springa efter hinken när huset står i lågor.” (Hon pratade egentligen om att baka knäckebröd, men principen gäller.)

Nu vet du vad du behöver göra. Frågan är – vem i ditt team ska få i uppdrag att köpa brandsläckaren?