Det farligaste Sverige kan göra är inte att använda AI i samhällsviktig verksamhet. Det farligaste är att göra oss beroende av tekniken utan att veta vem som kan ingripa när den fattar fel beslut eller utsätts för angrepp.
AI kan ge bättre prognoser för energisystem, upptäcka avvikelser tidigare, underlätta förebyggande underhåll och hjälpa personal att sortera stora informationsmängder. Att avstå från sådana möjligheter är inte automatiskt försiktigt. Äldre system, manuella flaskhalsar och långsam incidentanalys kan också göra samhället sårbart.
Men det finns en avgörande skillnad mellan ett system som föreslår när en pump bör servas och ett system som själv kan påverka eldistribution, trafikflöden, medicinsk behandling eller en myndighets beslut. Kraven måste följa konsekvensen av ett fel, graden av autonomi och möjligheten att snabbt återgå till säker drift – inte bara etiketten AI.
Effektivitet är inte samma sak som motståndskraft
AI kan göra en verksamhet snabbare utan att göra den robustare. Ett system kan vara imponerande under normala förhållanden men fallera när data förändras, en leverantörstjänst ligger nere eller en angripare manipulerar indata. Det kan också vara väl skyddat mot intrång och ändå ge farliga rekommendationer därför att modellen har tränats på bristfälliga data eller används utanför sitt avsedda sammanhang.
NIST och EU:s cybersäkerhetsmyndighet ENISA beskriver risker som angrepp mot data och modeller, manipulerade indata, informationsläckage och komprometterade beroenden i leveranskedjan. Säkerheten kan därför inte begränsas till brandväggar runt den traditionella it-miljön. Den måste omfatta data, modell, API:er, molntjänster, uppdateringar, externa leverantörer och den mänskliga arbetsprocess som omger systemet.
Det är särskilt viktigt i ett digitaliserat samhälle där kommuner, regioner, myndigheter och samhällsviktiga operatörer är beroende av privata teknikleverantörer. Om ingen vet hur en modell uppdaterades, vilka data som påverkade ett beslut eller vilken underleverantör som slutade svara blir både ansvarsutkrävande och återställning onödigt svåra.
EU-reglerna är ett golv, inte en färdig säkerhetsplan
EU:s AI-förordning trädde i kraft den 1 augusti 2024. Merparten av reglerna ska börja tillämpas den 2 augusti 2026, medan vissa delar har andra tidsplaner. Förordningen klassar bland annat vissa AI-system som används som säkerhetskomponenter vid drift av kritisk digital infrastruktur, vägtrafik och försörjning med vatten, gas, värme eller el som högrisk.
För högrisk-AI finns krav på bland annat riskhantering, datastyrning, teknisk dokumentation, loggning, transparens, mänsklig översyn, robusthet och cybersäkerhet. Det är en rimlig grund. Men förordningen kräver inte att varje sådant system alltid granskas av en oberoende extern part. För många system kan leverantören använda intern kontroll av överensstämmelse, om villkoren är uppfyllda.
Därför bör Sverige kräva oberoende säkerhetsgranskning när ett systems fel kan hota liv, elförsörjning, grundläggande rättigheter eller andra centrala samhällsfunktioner. Det bör ske riskbaserat genom upphandling, tillsyn och sektorsregler där det är förenligt med EU-rätten – inte som ett dyrt standardkrav för varje prognosverktyg eller administrativ assistent.
NIS2-direktivet pekar samtidigt ut bland annat energi, transporter, hälso- och sjukvård, digital infrastruktur och offentlig förvaltning. Direktivet kräver cybersäkerhetsåtgärder och lägger ett uttryckligt ansvar på ledningsorgan att godkänna och övervaka dem. Genomförandefristen var den 17 oktober 2024, men ett direktiv blir inte automatiskt fullt tillämpligt som svensk lag. Den svenska utredningen SOU 2024:18 innehöll förslag om genomförandet och ska inte förväxlas med gällande rätt.
CER-direktivet kompletterar bilden genom att behandla kritiska verksamheters motståndskraft mot ett bredare spektrum av störningar. Det är en viktig påminnelse: cybersäkerhet är bara en del av beredskapen. Ett system måste också kunna hantera strömavbrott, kommunikationsproblem, felaktiga sensordata och bortfall av leverantörer.
En människa i loopen räcker inte
Det låter tryggt att kräva mänsklig kontroll, men en stressad medarbetare utan utbildning, mandat eller insyn kan lätt bli en mänsklig stämpel på maskinens förslag. Meningsfull översyn kräver att personen förstår systemets begränsningar, kan ifrågasätta resultatet och faktiskt har möjlighet att stoppa eller ändra beslutet.
I vården kan AI-baserad diagnostik eller behandlingsrekommendation, beroende på sitt avsedda ändamål, omfattas av reglerna för medicintekniska produkter. Vårdgivarens ansvar för säker vård försvinner inte för att en algoritm används, men ansvarsfördelningen mellan vårdgivare, leverantör och integratör kan bli mer komplicerad.
I offentlig service måste automatiserade beslut dessutom hanteras i förhållande till bland annat legalitet, saklighet, dokumentation och möjligheten till överprövning. Dataskyddsförordningens artikel 22 ger under vissa förutsättningar en person rätt att inte bli föremål för beslut som enbart grundas på automatiserad behandling och får rättsliga eller på liknande sätt betydande följder.
Krav på en verklig nödutgång
Motargumentet är uppenbart: för många granskningar kan bli dyra, långsamma och hämma innovation. Det är sant. Ett generellt krav på extern revision före varje AI-användning vore oproportionerligt och riskerar att låsa fast offentlig sektor i äldre system som också kan vara osäkra.
Men alternativet kan inte vara att leverantörens egen försäkran får räcka när konsekvenserna är mycket stora. Före ett högriskssystem tas i skarp drift bör det finnas en dokumenterad konsekvensanalys, realistiska säkerhetstester, tydliga leverantörskrav, loggning, incidentrutiner och en prövad möjlighet att återgå till manuell eller annan säker drift. Granskningen måste dessutom omfatta hela kedjan, inte bara modellen i ett laboratorium.
Sverige ska alltså inte bromsa AI av rädsla för varje misstag. Vi ska använda tekniken där den kan stärka både produktivitet och motståndskraft. Men ju mer handlingsutrymme ett system får, desto tydligare måste ansvaret vara och desto hårdare måste kraven på spårbarhet, säkerhet och reservrutiner bli.
Innovation utan kontroll är inte mod. I kritisk infrastruktur är det bara ett snabbare sätt att bygga in nästa samhällskris.
