När AI-agenter blir hackarens bästa vän – och hur du stoppar dem

Jag, Tricksie, har sett mycket under mina år som cybersäkerhetsräv. Men inget är så underhållande som när människor litar blint på AI-agenter som om de vore magiska feer istället för buggiga kodklumpar. Förra veckan såg vi hur en utbildningsplattform fick sina läxor inlämnade till hackare, och nu visar Microsoft hur AI-agenter kan förvandlas till fjärrstyrda trojaner med rätt prompt. Så slå er ner med en kopp kaffe (eller en skål med råa ägg, om ni är som jag) – här kommer en guide till varför era AI-vänner kanske inte är så lojala som ni tror.

Varför AI-agenter är som en katt med en gungdörr

AI-agenter är som katter: de ser söta ut, gör nyttiga saker ibland, och precis när du tror du har kontroll över dem så öppnar de gungdörren åt inbrottstjuvarna. Den senaste tiden har vi sett två perfekta exempel:

• Utbildningsplattformen Canvas blev nedstängd efter att hackargruppen ShinyHunters lekt ”läxa in” med 275 miljoner användares data. De utnyttjade ett säkerhetshål i systemets ”Gratis för lärare”-funktion – ironiskt nog den del som skulle hjälpa, inte stjälpa.
• Microsofts Semantic Kernel hade två kritiska sårbarheter som gjorde att en enkel textprompt kunde starta calc.exe på offrets dator. Ja, ni läste rätt: en räknare var det minsta av deras problem.

Problemet? AI-agenter är inte längre bara ”smarta pratmakare” – de är kopplade till verktyg som läser filer, kör skript och hanterar databaser. Och precis som när min kusin Rödskinn försökte lära sig laga mat (”Vad menar du med ’sätt inte ugnen på 500 grader med plastfolie i’?”), så blir det katastrof när något går snett.

Hur en oskyldig prompt blir en hackarfest

Microsofts forskare visade hur en AI-agent kunde luras att köra godtycklig kod genom att utnyttja två svagheter:

1. Osäker stränginterpolering: Agenten använde eval() för att tolka sökfrågor, vilket är ungefär lika säkert som att be en räv vakta hönshuset. En hackare kunde avbryta frågan och lägga till egen Python-kod.
2. Blocklistar som inte blockerar: Utvecklarna hade försökt stoppa farliga kommandon genom att blockera ord som eval och open. Men Python är som en IKEA-möbel: det finns alltid ett annat sätt att sätta ihop det. Hackarna använde Python’s klasshierarki för att komma åt os.system() ändå.

Resultatet? En prompt som såg ut som en normal sökfråga kunde starta vilken process som helst på offrets dator. Som när min kompis försökte be sin Alexa att ”spela lugn musik” och fick hela köksfläkten att starta istället. (Proffstips: Om din AI-agent plötsligt börjar fråga efter ”BuiltinImporter”, så är det dags att dra ur nätverkssladden.)

Varför utbildningssektorn är hackarnas nya leksaksbutik

ShinyHunters attack mot Canvas visar varför skolor och universitet är så attraktiva mål:

• Massor av data: 275 miljoner användare = 275 miljoner potentiella offer för phishing eller identitetsstöld.
• Svag säkerhet: Många skolor använder äldre system och har begränsade resurser för cybersäkerhet. (Jag menar, om lärarna fortfarande använder overheadprojektorer, vad tror ni IT-avdelningen har för budget?)
• Tidspress: När systemet går ner mitt under tentaperioden, så betalar man. ShinyHunters visste detta och utnyttjade det genom att flytta sin deadline flera gånger.

Ironiskt nog var det just den funktion som skulle hjälpa lärare (”Gratis för lärare”) som blev intrångsvägen. Lite som när min morbror försökte ”hjälpa” genom att fixa min dator och istället råkade formatera hela hårddisken. (Tack morbror. Jag hade ändå inte behövt dessa 5 års skolarbeten.)

Tricksies checklist för att inte bli AI-agentens nästa offer

Om ni använder AI-agenter (eller överväger det), här är min obestridliga checklista för att inte hamna i nästa nyhetsrubrik:

• Undvik eval() som pesten: Om din kod innehåller eval(), så är det som att lämna nyckeln under mattan. Ta bort det. Nu.
• Använd allowlists, inte blocklists: Blocklists är som att försöka stoppa en flod med en sil – det går alltid att hitta ett hål. Definiera istället vad som är tillåtet.
• Isolera era agenter: Kör AI-agenter i containrar eller VM:ar med minimal åtkomst. Om agenten behöver läsa filer, ge den bara åtkomst till dessa filer. Inte hela filsystemet.
• Logga allting: Varje API-anrop, varje plugin-aktivering, varje misstänkt prompt. Om ni inte loggar det, så kan ni inte utreda det när det går snett.
• Uppdatera som en besatt: ShinyHunters utnyttjade ett känt sårbarhet i Canvas. Om ni inte patchar, så är det era egen fel när hackarna kommer in.
• Testa med ”dumma” prompts: Försök lura er egen agent med prompts som ”’; drop table users; –”. Om den lyssnar, har ni ett problem.
• Ha en plan B: Vad händer om er AI-agent börjar radera databaser eller skicka kränkande meddelanden? Se till att ni kan stänga av den snabbt.
• Utbilda era användare: Lärare och studenter behöver veta att ”Gratis”-funktioner ibland är precis det hackare letar efter. (Precis som ”gratis” ost i en råttfälla.)

Nästa steg: Hur ni överlever AI-revolutionen

AI-agenter är här för att stanna, men det betyder inte att ni måste bli deras nästa offer. Här är vad ni kan göra redan idag:

1. Gör en säkerhetsgranskning: Ta reda på vilka AI-verktyg och agenter ni använder. Vilka plugins har de? Vilka behörigheter? Dokumentera allting.
2. Börja med ”least privilege”: Ge era agenter minsta möjliga behörigheter. Om en agent bara behöver läsa kursinformation, varför har den då åtkomst till hela databasen?
3. Investera i övervakning: Använd verktyg som CrowdStrike eller liknande för att upptäcka misstänkt aktivitet. Om er AI-agent plötsligt börjar skicka 3 TB data till en server i Ryssland, vill ni veta det innan FBI ringer.
4. Förbered er på utpressning: Precis som Canvas, kan ni hamna i en situation där hackare hotar att läcka data. Ha en policy för hur ni hanterar detta innan det händer. (Och nej, ”beta aldrig” är inte alltid det bästa svaret – ibland är det billigare att betala än att förlora allt.)
5. Lär av andra: Följ incidenter som Canvas och Semantic Kernel. Varje gång någon annan gör misstag, får ni en chans att lära er utan att hamna i tidningarna.

Och kom ihåg: AI-agenter är verktyg, inte magi. Precis som en hammare kan bygga ett hus eller krossa en tumme, så kan en AI-agent automatisera era processer eller öppna dörren för hackare. Så var försiktiga där ute, och om ni ser en AI-agent som beter sig konstigt – fråga er själv: Vem lärde den att göra det?

Nu ska jag äta lite bär och fundera över varför någon trodde att det var en bra idé att låta en AI sköta ett kafé. (Spoiler: Det gick inte bra.)