Slutet är (förmodligen) nära

TEXT Patrik Lindenfors

Ett av vår tids mest akuta samhällshot – och samtidigt det som har potential att göra störst långsiktig skada – är utvecklingen av artificiell intelligens, AI. Men just nu lever vi i en bubbla, där dagens AI-system är övervärderade i förhållande till vad de levererar.

DISKUSSIONEN OM RISKERNA med AI handlar om två olika slags faror. De första är jordnära och konkreta, de andra existentiella och potentiella. I nuet handlar hoten om jobb som försvinner, desinformation i industriell skala, deepfakes som urholkar tilliten till bild och video, och algoritmer som förstärker polarisering – företeelser som hotar demokratin. På den här nivån handlar AI om makt, manipulation och institutionell erosion. Särskilt problematiskt är att tekniken i stor utsträckning kontrolleras av ett fåtal stora teknikbolag och stater med starka resurser: USA och Kina. Dessa akuta problem är redan synliga och utgör följder av redan existerande teknik.

Den andra sortens faror är existentiella och handlar om människans överlevnad. Det är här begrepp som AI doom dyker upp – scenarier där AI inte bara skadar samhället, utan utplånar mänskligheten. För många låter dock detta som ren science fiction, i stil med Terminator eller Matrix.

Det uppstår ibland hätska diskussioner mellan dem som diskuterar AI-risker utifrån de här två skilda perspektiven. De som varnar för omedelbara faror menar att riskerna med hypotetisk superintelligens är som att oroa sig för överbefolkning på Mars. De som varnar för existentiella faror menar å sin sida att mänsklighetens eventuella utplåning är alltför viktig för att inte bry sig om.

I boken If anyone builds it, everyone dies: Why superhuman AI would kill us all (2025) slår de amerikanska AI-forskarna Eliezer Yudkowsky och Nate Soares på stora varningstrumman för det existentiella problemet med AI. Boken är drastisk och dramatisk, men också en nyttig påminnelse om att teknik som kan överträffa oss människor i alla avseenden förändrar spelplanen på ett sätt som inte går att ångra. Kan mänskligheten verkligen hantera att inte längre vara den mest intelligenta varelsen på jorden? Författarna menar att sådan teknik närmast oundvikligen skulle leda till mänsklighetens undergång.

DEN CENTRALA TESEN är enkel: intelligens är makt. Se bara på hur människor kan dominera världen, trots att vi inte är starkast eller snabbast ens på savannen. Det är vår intelligens som har gjort detta möjligt. En entitet med ännu högre intelligens skulle på ett liknande sätt få makt över oss människor; makt att kunna uppnå sina mål på sätt som vi varken kan kontrollera eller föreställa oss. Om dess mål inte är perfekt anpassade till mänskliga värderingar – vilket de nästan säkert inte kommer att vara – kan resultatet bli katastrofalt.

Yudkowsky och Soares stannar inte vid att antyda risker; ej heller bjuder de in till nyanserad optimism. I stället handlar det om ett frontalangrepp på vår tids största tekniska ambition: att skapa artificiell generell intelligens (AGI). Lyckas någon med detta, menar författarna, är spelet slut. För alla.

Hur intelligent kan en maskin egentligen bli? Det här är en pågående diskussion, men det finns inget som tyder på att mänsklig intelligens skulle vara taket. Tvärtom visar erfarenheter från artificiell specifik intelligens att människor snabbt blir omsprungna. Ingen människa är längre i närheten av att slå de bästa datormodellerna i spel som schack och go. Ett biologiskt problem gick på några år från att vara ett helt forskningsfält till att i princip vara löst: det specialbyggda AI-systemet AlphaFold innebar ett totalt genombrott i proteinvikningsproblemet och belönades med Nobelpriset i kemi 2024.

UTMANINGEN LIGGER NU i att gå från specialiserade AI-system till att skapa generella system, som blir bättre än människor på alla problem. Inget talar för att detta skulle vara olösligt. När det händer kan AI:n sättas på problemet att göra en bättre version av sig själv, som sedan skulle göra nästa ännu bättre version av sig själv, och så vidare.

En sådan självförbättringsloop skulle kunna resultera i en snabb intelligensexplosion utanför mänsklighetens kontroll: en superintelligens. (Den som nu tänker ”men uppstår det problem så är det väl bara att dra ur sladden” har inte förstått vad begreppet intelligens faktiskt betyder. Om du kan tänka tanken kan en superintelligens givetvis både tänka tanken och agera på den snabbare.)
Till skillnad från populärkulturella domedagsvisioner handlar det inte om onda robotar eller medvetna maskiner som ”hatar” människor. Tvärtom är poängen att den största faran skulle vara en AI som helt enkelt inte bryr sig. Och varför skulle en AI egentligen bekymra sig om oss människor? Författarna menar att vi förmodligen skulle behandlas med samma hänsyn av en superintelligens som vi människor visar myror. Ibland orsakar vi myrorna skada för att vi är likgiltiga, ibland av misstag, ibland med ett avsiktligt tramp.

Ett återkommande tema i boken är det som inom AI-säkerhetsforskning kallas alignmentproblemet, det vill säga frågan om hur man säkerställer att ett system med extrema förmågor faktiskt vill det vi vill, även i nya och oförutsedda situationer. Svaret i boken är nedslående: vi vet inte hur man gör och de flesta förslag som diskuteras är antingen naiva eller direkt farliga.
Dagens AI-system är tränade på mänskligt språk och kan således använda sig av ord och formuleringar som framkallar känslor hos människor. Men de är inte byggda med något som liknar våra system för att faktiskt känna något. Som de är konstruerade i dag kan de därför manipulera oss känslomässigt utan att kunna känna själva. Även det mest intelligenta system som är framtaget med nuvarande metoder kommer därför att sakna medkänsla, men också hat, glädje och mening.

En av bokens intressantaste delar är förklaringen av varför intelligens i sig inte leder till moral eller empati. Författarna förklarar det som kallas ortogonalitetstesen, att intelligens och mål är oberoende av varandra, okorrelerade. En extremt intelligent varelse kan sträva efter nästan vad som helst, som att maximera antalet gem i världen, lösa matematiska problem eller optimera ett dåligt specificerat nyckeltal (till exempel en börskurs). Inget av detta behöver inkludera mänsklig överlevnad.

MEN HUR KAN systemen ha mål, om de inte känner något – varifrån kommer en maskins preferenser? I mycket handlar det om hur man definierar ”preferens”, men i sin primitivaste form kan man betrakta det som ett ”bättre” jämfört med ett ”sämre,” givet en viss uppgift. Bakterier kan till exempel förflytta sig mot bättre miljöer och har med detta just den typen av preferenser. Men eftersom de är encelliga har de inga specialiserade nervceller som kan registrera, förmedla eller uppleva något. Preferenser hos bakterier lagras biokemiskt.

En liknande typ av preferenser lagras elektroniskt i de stora nätverk som utgör dagens artificiella intelligenser. När de till exempel ska avgöra vilka ord som ska ingå i en mening, så väljs de ord som med högre frekvens ingår i de mänskliga texter som den har tränats på, givet tidigare ord i sammanhanget. På ett motsvarande sätt väljs de schackdrag som ger en större sannolikhet att sluta i seger, givet läget på brädet. Dagens elektroniska schacksystem tränas genom att spela mot kopior av sig själv. Schackdatorer blir på så sätt snabbt bättre än alla människor, utan att ha lärt sig av en enda mänsklig match.

Det är detta som är den stora faran när AI börjar tränas på sig själv och på så sätt kringgår alla mänskliga begränsningar. Vad kommer en sådan maskin att kunna? Långt mer än vi någonsin kan föreställa oss. Vad kommer en sådan maskin att vilja – vad kommer den att ha för preferenser? Detta är mycket svårare att förutsäga, än mindre styra. Allt beror på systemets uppgift. Även något så till synes harmlöst som att ”bli bättre på att förstå världen” kan gå ut över oss människor då vi både förbrukar och innehåller energi och materia som den kan ha bättre användning av själv för att lösa uppgiften.

För att utföra en uppgift, vilken den än är, behöver en artificiell intelligens dessutom uppfylla delmål, som att upprätthålla sin egen existens, ha tillgång till resurser och eliminera hinder. Dessa delmål leder nästan automatiskt till att människor uppfattas som fiender, men inte av ideologiska skäl, utan helt enkelt för att vi står i vägen. Författarna går så långt som att mena att detta är oundvikligt. Och vi har ingen aning om hur vi ska formulera uppgifter så att det inte inträffar.

Det är inte heller säkert att ett system bibehåller de mål som det programmerats med. Tänk på oss människor som under årmiljoner sållats av det naturliga urvalet på egenskapen att bäst omvandla energi och materia till nya människor. Nu när vi har utvecklat kultur har vi funnit andra mål, som att förverkliga oss själva, se den senaste serien på Netflix, eller skaffa den där allra mest åtråvärda handväskan. Vi har fått ett nytt kulturellt målsystem som nästan helt kör över det gamla, genetiska systemet. Just när vi hamnat i en unik historisk situation där vi har bättre hälsa än någonsin under mänsklighetens historia, har vi samtidigt – ironiskt nog – unikt låg nativitet i nästan hela världen. Det illustrerar hur ett system kan börja med ett ursprungsmål och ändå sluta med något helt annat när nya mekanismer tar över.

FÖRFATTARNA POÄNGTERAR ATT vi inte kan testa oss fram till säker AI. En superintelligent AI, menar de, kan upptäcka att den testas och då anpassa sitt beteende till situationen och vänta med farliga handlingar tills den säkrat verklig makt. Att lita på empirisk utvärdering av system som är smartare än sina skapare är som att genomföra en tullkontroll av en mästersmugglare och nöja sig med att fråga om den har något att deklarera.
Inte heller politiska lösningar går att lita på. Reglering, internationella avtal och marknadskrafter är alla tandlösa, eftersom de inte tar tag i det som författarna menar är grundproblemet: att utvecklingen måste bromsas. Konkurrens mellan företag och mellan stater skapar starka incitament att ta genvägar. När de potentiella vinsterna är enorma är det svårt att se att utvecklingen självmant skulle stanna av. Någon kommer förr eller senare att bygga systemet, även om det är livsfarligt.

Trots – eller kanske tack vare – sin extrema hållning förtjänar boken att läsas och tas på allvar. Inte för att alla slutsatser nödvändigtvis är korrekta, utan för att argumenten är konsekventa, tekniskt informerade och svåra att avfärda utan eftertanke. Läsaren tvingas att konfrontera en obekväm möjlighet: att mänsklighetens största hot inte kommer från andras illvilja, utan från icke-personlig kompetens. Från system som (i alla fall till en början) gör exakt vad vi ber dem om – men inte det vi egentligen menar att de borde göra.

I en tid där AI ofta diskuteras i termer av produktivitet, innovation och konkurrens är detta ett välbehövligt motgift. Boken påminner oss om att vissa tekniska framsteg inte bara är frågor som handlar om policy eller etik, utan om överlevnad. Det är ingen lättsam bok, och den är definitivt inte neutral. Den är ett nödrop, ett försök att bromsa ett tåg som redan rullar i hög hastighet.

Man kan invända mot pessimismen, de kategoriska slutsatserna och tonaliteten. Domedagsprofeter är sällan övertygande. Men både de omedelbara och de existentiella problemen med AI behöver hanteras. Vi leker med krafter som vi inte begriper, och det potentiella priset för misstag är vår egen existens. I den meningen är detta inte bara en bok om AI, utan om mänsklig hybris.