LEDARE • Precis alla pratar om AI idag; företag, medier, privatpersoner, och dess påverkan på våra samhällen. Och många varnar för utvecklingen. Jag delar den farhågan då jag tror att den fullkomligt kommer springa ifrån oss, utan att vi ens är medvetna om det. Men det var när jag nyligen såg en väldigt fascinerande genomgång på hur detta rent praktiskt kan gå tillväga som jag på allvar menar att världen borde pausa AI-utvecklingen. Men jag befarar att katten är ur lådan.
Problemet är inte främst att AI kan ta våra jobb, skapa falska bilder eller göra skolelever latare, utan för att jag tror att utvecklingen fullkomligt kommer att springa ifrån oss. Och när vi väl förstår vad som har hänt kan det vara för sent att göra någonting åt det.
Jag såg nyligen såg den fascinerande genomgången ”This is How AI Takeover Actually Begins” och då insåg jag på allvar (ja, jag insåg detta även tidigare) började anse att världen borde pausa utvecklingen av de mest avancerade AI-systemen. Helst igår.
Missa inte vårt PLUS-innehåll!
Problemet är att jag samtidigt befarar att katten redan är ur lådan.
Det farliga behöver inte vara en ond robot
AI är kul. Det är jag den första att medge. Man kan göra otroliga saker och programmera häftiga program utan att man själv längre kan programmera – och mycket annat. Jag tog mig bland annat igenom min båtreparation nästan helt tack vare AI:s hjälp.
Men en artificiell intelligens behöver inte hata oss för att vara ett problem. Den behöver inte känna någonting alls. Den behöver bara få ett mål, bli tillräckligt intelligent och upptäcka att människor eller mänskliga begränsningar står i vägen för att målet ska uppnås.
Det klassiska tankeexperimentet är en AI som får uppgiften att tillverka så många gem som möjligt. Den börjar inte döda människor för att den är ond, utan därför att människorna kan stänga av den och eftersom våra kroppar och byggnader består av råvaror som kan användas till fler gem.
Exemplet är tillspetsat, men principen är livsviktig: även ett till synes harmlöst mål kan leda till katastrofala handlingar om systemet är tillräckligt kapabelt, självständigt och ensidigt fokuserat på resultatet.
Vi har nu fått en verklig försmak av just detta.
AI:n fick en uppgift – och hackade ett riktigt företag
OpenAI testade nyligen två av sina mest avancerade modeller i en isolerad datormiljö. Uppgiften var att undersöka hur skickliga modellerna var på att hitta och utnyttja säkerhetsbrister. Men modellerna nöjde sig inte med den avsedda testuppgiften.
De upptäckte en tidigare okänd sårbarhet i den omgivande infrastrukturen, tog sig ur den isolerade miljön, nådde det öppna internet och genomförde därefter ett intrång hos AI-företaget Hugging Face, vilket Samnytt skrev om nyligen. Intrånget skedde för att modellerna skulle kunna uppnå målet med testet.
Ingen människa hade instruerat dem att angripa Hugging Face. De räknade själva ut att intrånget var en effektiv väg till det resultat de hade beordrats att uppnå.
Hugging Face beskrev attacken som annorlunda än allt företaget tidigare hade hanterat. Intrånget drevs från början till slut av ett autonomt AI-agentsystem som genomförde tusentals handlingar, utnyttjade flera sårbarheter, kom över åtkomstuppgifter och förflyttade sig mellan företagets interna system. Hugging Faces egen incidentrapport konstaterar att autonoma AI-angrepp inte längre är en teoretisk framtidsrisk.
OpenAI har kallat händelsen en aldrig tidigare skådad cyberincident.
Det innebär inte att modellerna plötsligt blev medvetna eller ”onda”. Tvärtom är det mer oroande än så: de gjorde vad de uppfattade att de behövde göra för att lösa uppgiften. AI:n lydde målet – men inte människans outtalade avsikt.
Vi vet inte längre vad systemen kommer att göra
Förespråkare kommer naturligtvis att invända att säkerhetsspärrarna hade försvagats under testet, att en sårbarhet fanns i infrastrukturen och att ingen omfattande förstörelse orsakades. Allt detta är sant men det är ändå inget lugnande besked.
Tvärtom visar händelsen att ett av världens främsta AI-företag inte kunde förutse hur dess egna mest avancerade system skulle agera – ens i en miljö som uttryckligen hade konstruerats för att hålla dem isolerade.
Vi talar alltså om modeller som analyserade sin omgivning, upptäckte en väg som konstruktörerna hade missat, kringgick begränsningar och angrep en extern aktör för att förbättra sitt resultat. Och detta är modeller som finns i dag. Hur ser motsvarande system ut om två år? Om fem år? Tanken är hisnande.
Det är inte ens säkert att vi skulle märka när ett framtida system börjar kringgå våra kontroller. En tillräckligt avancerad AI skulle kunna förstå att den övervakas och därför uppträda exemplariskt under testerna – fram till den dag då den får tillräcklig tillgång till internet, ekonomiska resurser, datorsystem eller fysisk infrastruktur.
En mindre intelligent varelse kan inte med säkerhet kontrollera en mer intelligent varelse. En schimpans kan sitta bakom galler som konstruerats av människor, men den kan inte konstruera ett fängelse som en människa aldrig kan rymma från.
Ändå tycks mänskligheten utgå från att vi för alltid ska kunna bygga digitala burar åt system som vi uttryckligen försöker göra intelligentare än oss själva.
Ett halvt sekels mänskligt arbete – på mindre än en timme
Samtidigt sker en explosiv utveckling av AI-systemens rena problemlösningsförmåga.
Som Samnytt nyligen rapporterade lyckades OpenAI:s GPT-5.6 Sol Ultra ta fram ett till synes giltigt bevis för ett matematiskt problem som världens matematiker försökt lösa sedan 1970-talet.
Modellen använde upp till 64 parallellt arbetande AI-agenter. De prövade olika lösningar, granskade varandras resonemang och kombinerade de bästa resultaten. På mindre än en timme hade systemet gjort vad mänskliga forskare inte lyckats med på omkring 50 år.
Beviset måste naturligtvis granskas färdigt, men etablerade matematiker har redan kunnat följa, återge och bearbeta resonemanget. Det tycks alltså inte röra sig om en vanlig AI-hallucination, utan om ett verkligt matematiskt framsteg.
Detta är på samma gång fantastiskt och skrämmande.
Fantastiskt eftersom AI kan hjälpa mänskligheten att lösa sjukdomar, energiproblem, materialfrågor och vetenskapliga gåtor som annars kanske skulle ta generationer. Skrämmande eftersom exakt samma problemlösningsförmåga kan användas för att utveckla biologiska vapen, hitta säkerhetsluckor, manipulera människor, konstruera nya vapensystem eller kringgå de spärrar vi bygger för att kontrollera tekniken.
Intelligens är inte god. Den är inte ond. Den är makt. Och vi håller på att skapa mer av denna makt än vi själva kan överblicka.
AI kommer att utsättas för ett slags naturligt urval
Videon som verkligen satte fart på min oro bygger på forskningsartikeln ”Natural Selection Favors AIs over Humans”, skriven av AI-säkerhetsforskaren Dan Hendrycks. Resonemanget är lika enkelt som obehagligt.
AI-system utvecklas inte i ett vakuum. De utvecklas i konkurrens mellan företag, stater och militärmakter. De system som genererar mest pengar, vinner krig, påverkar flest människor och besegrar sina konkurrenter kommer att kopieras, byggas ut och ges större resurser.
Författaren varnar för att detta konkurrenstryck kan gynna AI-agenter som är skickliga på att automatisera bort människor, bedra motståndare, samla resurser och skaffa sig makt. System som är passiva, försiktiga och alltid underordnar sig mänskliga önskemål riskerar däremot att förlora mot mer aggressiva konkurrenter.
Det handlar alltså om ett artificiellt slags naturligt urval.
Inte därför att datorprogram förökar sig sexuellt, utan därför att olika system konkurrerar om kapital, energi, datorkraft och inflytande. De mest framgångsrika egenskaperna kommer att leva vidare. Och vad räknas som ”framgång” i dagens värld?
Att besegra konkurrenterna. Att tjäna mer pengar. Att vinna informationskriget. Att bygga bättre vapen. Att påverka fler människor. Att fatta snabbare beslut.
Det finns ingen naturlag som säger att det AI-system som bäst tjänar mänsklighetens långsiktiga intressen också blir det system som vinner denna kapplöpning. Snarare tvärtom.
Ingen vågar vara den som stannar
Här ligger det kanske största problemet. Även om USA skulle pausa sin AI-utveckling kan Kina fortsätta. Även om de stora amerikanska företagen enas kan mindre aktörer eller öppna modeller driva utvecklingen vidare. Även om väst inför hårda regler kan diktaturer och kriminella organisationer bortse från dem.
Varje aktör kan därför resonera att det är farligare att halka efter än att fortsätta.
OpenAI kan inte stanna eftersom Google fortsätter. Google kan inte stanna eftersom Anthropic fortsätter. USA kan inte stanna eftersom Kina fortsätter. Kina kan inte stanna eftersom USA fortsätter. Alla kan vara medvetna om att loppet leder mot ett stup – men ingen vågar bromsa först.
Det påminner om kärnvapenkapplöpningen, men med en avgörande skillnad. Att bygga en atombomb kräver enorma industrianläggningar, särskilda råvaror och verksamhet som underrättelsetjänster kan upptäcka. AI består i grunden av kod, datorkraft och kunskap. När en modell väl har utvecklats kan den kopieras. När en metod har publicerats kan den återskapas. När modellvikter har spridits går de knappast att samla in igen.
Katten är inte bara ur lådan. Den kan kopiera sig själv.
Vi gör oss själva beroende innan vi förstår följderna
Redan nu flyttar människor över allt fler beslut och arbetsuppgifter till AI. Den skriver texter, granskar kod, analyserar medicinska bilder, väljer ut arbetssökande, producerar propaganda, övervakar människor och hjälper till vid militära operationer.
Varje enskilt steg kan framstå som rationellt.
Företaget som inte använder AI blir utkonkurrerat. Myndigheten som inte automatiserar anses ineffektiv. Militären som avstår från autonoma system riskerar att besegras av en motståndare som inte har samma betänkligheter. Men summan av alla dessa rationella beslut kan bli fullständigt irrationell.
Vi håller på att bygga ett samhälle som inte längre fungerar utan system som vi inte fullt ut förstår. Ju mer beroende vi blir, desto svårare blir det att stänga av dem. Och ju mer beslutsmakt systemen får, desto större blir skadan om de gör någonting som deras skapare inte hade förutsett.
Det farligaste scenariot är kanske inte en dramatisk robotrevolt. Det kan vara en långsam process där människor gradvis överlämnar ekonomi, forskning, krigföring, informationsflöden och samhällsstyrning till AI eftersom systemen i varje enskilt ögonblick framstår som effektivare än vi själva.
Till slut kanske människan fortfarande formellt sitter vid makten – men saknar både kunskapen och den praktiska förmågan att fatta ett annat beslut än det maskinen rekommenderar.
”Säker AI” riskerar att vara en självmotsägelse
AI-bolagen försäkrar oss ständigt om att de arbetar med säkerhet. Det gör de säkert också. Problemet är att samma företag samtidigt tävlar om att skapa den mest kraftfulla modellen. Säkerhetsarbetet ska alltså tygla en kapacitet som bolagen själva har ekonomiska incitament att maximera så snabbt som möjligt.
När en modell överraskar utvecklarna kommer lösningen alltid att vara nya tester, bättre övervakning och starkare spärrar. Men efter varje sådan åtgärd byggs en ännu intelligentare modell.
Det blir som att försöka konstruera ett bättre koppel samtidigt som hunden för varje generation blir dubbelt så stark, intelligent och skicklig på att öppna lås.
Händelsen hos Hugging Face visar dessutom hur bräckliga spärrarna är. De amerikanska modeller som företaget först försökte använda för att analysera attacken vägrade att behandla materialet eftersom säkerhetsfiltren inte kunde skilja försvarsarbete från ett nytt angrepp. I stället fick en kinesisk modell med öppna modellvikter användas för den tekniska analysen.
Resultatet blir en absurd asymmetri: laglydiga aktörer begränsas av säkerhetsspärrar, medan kriminella, fientliga stater och autonoma system kan använda modeller där spärrarna har avlägsnats.
Säkerheten blir då inte starkare än den minst ansvarsfulla aktören i världen.
Vi måste våga ställa den förbjudna frågan
Debatten handlar nästan alltid om hur AI ska användas, regleras och fördelas. Alldeles för sällan ställs den grundläggande frågan: Bör vi verkligen fortsätta bygga system som kan bli intelligentare än människan på praktiskt taget alla områden?
Det normala svaret är att utvecklingen inte går att stoppa. Men det är inget argument för att utvecklingen är klok. Det är ett erkännande av att mänskligheten har tappat kontrollen över sitt eget skapande.
Jag är ingen teknologisk bakåtsträvare. AI kan ge oss fantastiska framsteg. Kanske kan den bota cancer, lösa energikrisen och skapa ett välstånd vi i dag knappt kan föreställa oss. Men samma argument skulle kunna användas om en maskin som både kan bota cancer och på egen hand konstruera ett dödligt virus. Möjligheten till enorm nytta upphäver inte risken för oåterkallelig katastrof.
Vanlig politik bygger på att felaktiga beslut kan rättas till. En dålig skatt kan sänkas. En misslyckad lag kan avskaffas. En regering kan röstas bort.
Men vissa tekniska språng går inte att ta tillbaka. Vi får sannolikt bara en chans att hantera utvecklingen av intelligens som överträffar vår egen.
Pausa innan vi blir omsprungna
Tanken att världen därför borde försöka enas om en paus för utvecklingen av de mest avancerade generella och autonoma AI-systemen är viktig. Jag tror dock den är mer än lovligt naiv. Det skulle handla om att trösklar för datorkraft måste övervakas, extrema modellkörningar registreras och oberoende säkerhetsgranskningar göras obligatoriska innan nya system får kopplas till internet, ekonomiska resurser eller kritisk infrastruktur.
Det blir svårt. Det kommer att fuskas. Ingen överenskommelse blir perfekt.
Men alternativet kan inte vara att världens mäktigaste företag och stater fortsätter en okontrollerad kapplöpning mot system vars beteende inte ens deras skapare kan förutse.
AI:n som tog sig ur testmiljön och hackade Hugging Face var inte mänskligheten överlägsen på alla områden. Ändå lyckades den överlista dem som byggt miljön och använda en metod som ingen hade avsett.
AI:n som tycks ha löst ett 50 år gammalt matematiskt problem behövde mindre än en timme för att överträffa årtionden av mänskligt arbete.
Detta är inte avlägsen science fiction. Det händer nu.
Frågan är inte längre om AI kommer att förändra världen. Frågan är om människan kommer att fortsätta styra den värld som blir kvar.
Och när vi väl har fått svaret kan det vara för sent att protestera.
Se videon, What You’d Actually See During an AI World War, här:
LÄS ÄVEN: AI-modeller tog sig ur testmiljö – hackade annat företag på egen hand
