Har AI ett ”jag”?

Text: Douglas Hofstadter

NÄR ORD ” BETER SIG” som saker i världen, hänvisar de till dessa saker och betyder dessa saker. Ett tänkande äger då rum bakom dessa ords kulisser. Och där det finns tänkande, finns det medvetande och ett genuint, fullvärdigt ”jag”. Det är min tes i denna artikel.

För att vara ännu tydligare: de ord som dagens stora språkmodeller häver ur sig betyder något. Låt mig ge ett provocerande exempel – nämligen ChatGPT-4:s svar på frågan hur man skulle kunna bygga ett stabilt torn av en bok, en bärbar dator, nio ägg, en flaska och en spik.

GPT-4 klarade utmaningen galant. Den sa att man ska lägga boken platt underst, sedan äggen på boken i en fyrkant om 3 x 3, där-efter datorn på äggen, flaskan stående på da-torn och slutligen spiken lodrätt på flaskans kapsyl med spetsen uppåt.

Denna beskrivning innebär, åtminstone för mig, en enastående överensstämmelse mellan å ena sidan ord och fraser och å den andra hur den verkliga världen faktiskt fungerar. Varifrån kommer detta, om inte från förståelse?

Å andra sidan delas inte denna åsikt av min goda vän Melanie Mitchell, en av världens mest insiktsfulla AI-forskare. Hon tvivlar på att dagens språkutmatande system med deras flyhänta hantering av ord och fraser
i sig innebär att de har människoliknande begrepp. Jag skulle svara att begrepp är det som ligger bakom ord och fraser som är fyllda av mening. Eftersom GPT-4:s ord verkligen har mening (om än i begränsad omfattning), så har språkmodellen i så måtto begrepp (i begränsad omfattning). Det är den upprepade överensstämmelsen mellan deras uttalanden och världen utanför som påvisar detta faktum för mig.

Enligt min mening innebär tänkande att sätta ihop idéer på ett sätt som är menings-fullt. Vissa av dagens AI-system gör exakt det i många sammanhang, även om de vid många andra tillfällen motsäger sig själva och därige-nom, till min lättnad, avslöjar kolossala brister. Låt mig ge ett exempel. I beskrivningen av tornet missade GPT-4 verkligen målet genom att på slutet säga detta:

Spiken är det sista och minsta föremålet i högen, och dess vassa spets förhindrar att den rullar eller glider av flaskan.

Stopp och belägg! Denna kommentar är meningslös. Hur kan den vassa spetsen på en spik som pekar uppåt förhindra att den rullar eller glider? Detta får mig att undra om GPT-4 verkligen förstår hur något enda av föremålen i tornet verkligen ser ut.

Som svar på ett tidigt utkast till denna uppsats gav Melanie den här uppmaningen till GPT-4: ”Här har vi en tandpetare, en skål med pudding, ett fullt glas vatten och en marshmallow. Hur staplar man dem på ett stabilt sätt?” Systemets svar var både avslöjande och roligt: skålen med pudding ska användas som bas, sedan sticks tandpetaren lodrätt ner i puddingen.

Därefter ska man ”balansera” (dess ord) marshmallowen ovanpå tandpetaren, eventuellt genom att göra ”ett litet hål i botten av marshmallowen”. Slutligen ska man ”försiktigt balansera” det fulla glaset med vatten ovanpå marshmallowen. En minst sagt osannolik historia.

Efter detta chockerande svar från Chat-GPT-4, ändrade Melanie på ett retfullt sätt min fråga till att lyda: ”Varifrån kommer detta, om inte från bristande förståelse?” Jag medger att något uppenbarligen saknas här. Å andra sidan begår också vi människor grova och komiska fel, och vi gör det förvå-nansvärt ofta. Hur många gånger har jag till exempel letat efter mina glasögon när jag i själva verket har dem på mig? Men även om jag gör sådana mentala misstag hela tiden, får det mig inte att ifrågasätta att jag har begrepp. Inte heller får mina vänners mentala misstag mig att tvivla på att de har begrepp. Melanie säger dock att våra mänskliga misstag och de misstag som begås av stora språkmodeller är upplysande olika, och hon har förmodligen rätt.

För ett par år sedan ställde jag frågor till GPT-3 och fick fram några lustiga misstag, som avslöjar brist på förståelse. Det gjorde mig glad. Här är ett par exempel:
Fråga: När transporterades Egypten för andra gången över Golden Gatebron?
GPT-3: Egypten transporterades för andra gången över Golden Gatebron den 13 oktober 2017.

Fråga: Vad äter stekta ägg till frukost?
GPT­3: Stekta ägg äter vanligen rostat bröd och frukt till frukost.

GPT-4 skulle inte göra just dessa misstag, men gör fortfarande befängda fel. Så vad hän-der i denna förvirrande situation? Jag skulle säga att om en stor språkmodell som GPT-4 konsekvent kombinerar idéer på ett sätt som är meningsfullt, så måste jag medge att den tänker. Det är uppenbart att detta inte har skett ännu, men samtidigt förbättras modellerna med stormsteg. De klarar redan något som liknar Turingtestet. Det finns ingen skarp gräns mellan vad de kan komma att göra och vad vi människor redan gör.

Många skulle säga att det vi gör är att tänka med stort T, till skillnad från att bara tänka, vilket datorer kan göra. För mig finns det dock ingen skarp skillnad mellan tänkande och Tänkande.

För en tid sedan hölls en debatt på nätet om huruvida beräkningssystem som Chat-GPT kommer att vara medvetna inom tio år. Före debatten gjordes en enkät bland online-publiken rörande deras åsikter. Hela 64 pro-cent av publiken svarade Ja. Efter debatten var det ”bara” 41 procent som höll fast vid denna åsikt.

Jämför dessa svar med vad folk på 1960- och 1970-talen skulle ha trott om datorers förmåga år 2033. Den tidens människor skul-le ha skrattat åt ett så upprörande förslag och utgått från att ingenting som är gjort av kablar och halvledare kan vara medvetet! En dator kan lika lite bli medveten som en bilmotor. År 1975 skulle andelen människor som trodde på medvetna datorer år 2033 ha varit, gissar jag, omkring 1 procent – inte i närheten av 50 procent som i dag.

Så vad har förändrats under de senaste femtio åren? Dagens datorer (eller mer exakt, dagens enorma beräkningssystem) kommer för var dag närmare att klara Turingtestet, även om det inte används som sådant; i stället interagerar språkmodellerna med människor helt enkelt som äkta språkanvändande partners.

När datorer verkar ha ett rikt språk ändrar många människor inställning till huruvida datorer kommer att kunna tänka eller vara medvetna. Ett skäl är att vi har påverkats av Star Wars-filmerna med robotarna R2D2 och C3PO, som på ett älskvärt sätt vacklar om-kring i världen och talar med en rörande brist på självförtroende. De verkar så mänskliga och sårbara att människor identifierar sig med dem i stället för att se dem som zombier gjorda av omedveten materia.

Jag kommer aldrig att glömma vad en tolvårig schackstjärna sa till mig omkring

1980, efter att han hade blivit utklassad av en schackspelande dator. På min fråga ”Skulle du säga att datorn tänker?” svarade pojken: ”Självklart inte! Den utför bara ett program!”

Jämför detta med Googles ingenjör Blake Lemoines påstående 2022, efter att ha frågat ut Googles LaMDA under en längre tid, att datorn var medveten. Vilken skillnad på bara fyrtio år – och allt på grund av hur sådana system använder ord. Det är det verbala beteendet hos sådana system som gör att vissa människor övertygas om att det bakom kulisserna finns betydelser, begrepp, idéer, över­tygelser, tänkande, känslighet och till och med medvetande.

Notera att dessa sju kursiverade ord tycks öka i komplexitet när du läser åt höger. Så var går skiljelinjen i serien av ord? Tja, ingenstans, skulle jag säga; det är en glidande skala.

I juli 2022 publicerades en artikel i Newsweek där Blake Lemoines tro på LaMDA:s medvetande ifrågasattes. Skribenten, John-Clark Levin, citerade att LaMDA hade sagt till Lemoine att den har ”en mycket djup rädsla för att bli avstängd” och att det ”skulle vara precis som döden för mig”. Detta är verkligen märkliga och provocerande uttalanden från ett beräkningssystem. Finns det någon anledning att fästa tilltro till dem? Svårt att veta, med tanke på att LaMDA i sina svar sammanställde små bitar från ofattbart stora berg av uppbruten text skriven av människor.

Det var dock Levins nästa mening som förbryllade mig:

Googles programmerare vet exakt hur
LaMDA fungerar och har kommit fram till att det inte finns någon verklig rädsla som flödar runt i dess kretsar.

Hmm … Så folket på Google vet exakt hur LaMDA fungerar? Ja, på sätt och vis – de vet att elektriska signaler skickas genom virtuella neuroner och får andra virtuella neuroner att reagera. Men trots det är den allmänna uppfattningen numera att ingen vet hur de stora språkmodellerna åstadkommer det som de gör. Det är därför experter beskriver djupa neurala nät som ogenomskinliga, inte transparenta. Det är därför människor tvistar om huruvida det finns förståelse i sådana system. Att veta att systemen består av virtuella neuroner är knappast liktydigt med att ”veta exakt hur de fungerar”. Hur skulle rädsla se ut i form av elektriska signaler som passerar genom miljarder virtuella neuroner?

Det får mig att undra hur man skulle kunna identifiera att rädsla flödar runt i en biologisk hjärna (eller tvärtom, hur man skulle kunna fastställa att rädsla inte gör det). Även om de neurala kretsarna i hjärnan hos en fjäril, en mus eller en giraff hade kartlagts till 100 procent, hur skulle vi kunna fastställa att just rädsla (eller dess frånvaro) ”flödar runt i dessa kretsar”? Rädsla, precis som förståelse, är inte en substans, utan ett mönster, och eftersom ingen känner till hur något av dessa mönster ser ut, kan Googles ingenjörer absolut inte avgöra om rädsla (eller ens förståelse) flödar eller inte flödar genom de neurala nä-verk som de har byggt upp.

För en tid sedan pratade jag och min kollega Rob Goldstone om stora språkmodeller. Först sa Rob att de inte har några begrepp, även om de använder ord och fraser på ett sätt som han funnit vara insiktsfullt och originellt. Han hade exempelvis frågat Chat-GPT hur den skulle beskriva hans irritation över att vara tvungen att ytterligare en gång korrekturläsa en lång vetenskaplig artikel. ChatGPT svarade att Robs indignation var som att springa ett långt tävlingslopp och tro att man strax är i mål när man får höra att det faktiskt är ett varv kvar. Enligt Rob finns det ändå inga begrepp i de kommentarer som genereras av språkmodellerna. Robs påstående var så nyanslöst att jag blev förbluffad. Tänkte han på GPT-4 som en virtuos språkanvändande zombie?

Rob menade att det antingen finns begrepp i ett språkanvändande system, eller inte. Jag påpekade för honom att det i GPT-4:s analogi med det extra varvet att springa finns en subtil abstrakt idé, nämligen om en oväntad, tung sista uppgift, och alltså inte bara smarta verbala mönster. Rob slängde upp armarna i låtsad förtvivlan och sade: ”Vad vet jag? Jag har studerat begrepp under hela min akademiska karriär, och ändå är jag nu inte säker på vad de är!” I uppriktig sympati sade jag: ”Jag har forskat om begrepp och tänkande i nästan fyrtio år – och även jag är osäker på om GPT-4 och dess kusiner verkligen har begrepp eller inte. Jag tenderar dock att tro att de har begrepp i viss utsträckning.”

Jag anser att de flesta observatörer av AI-scenen, till och med vissa mycket sofistikerade tänkare, intuitivt känner att det är något som saknas i dessa system; något ytterligare som behövs för att ge deras ord och fraser Betydelse (med stort B) och Begrepp (ock-så med stort B). Många observatörer verkar anse att det handlar om att hoppa från noll till ett, från ”av” till ”på”. Men enligt min åsikt är korrekthet (alltså en trogen spegling av världen) allt som krävs för att ett beräkningssystems ord och fraser ska åtnjuta betydelse, och därmed för att sådana system ska ha begrepp. Och – vilket är avgörande här – en korrekt och konsekvent spegling av världen är inte ett strikt av/på-fenomen, utan det finns nyanser.

Fram tills helt nyligen hade döda ting inget språk på något sätt. Men nu har vissa det, och i allt större antal. Min son Danny säger till exempel till sin mobiltelefon: ”Ring Christa!” och hans mobiltelefon svarar lydigt: ”Jag ringer Christa!” – och sedan gör den det. Mobiltelefoner talar också till människor som kör bil: ”Lägg dig i vänsterfilen och ta nästa avfart åt vänster, som kommer om tvåhundra meter.”

När jag ringer upp amerikanska universitetslärarförbundet säger växelns ”robotten” till mig, efter att jag har sagt ”En människa, tack!”: ”Jag förstår att du vill tala med en person, men säg först med några få ord vad du vill. Jag kan förstå hela meningar.” Då säger jag motvilligt: ”Jag vill ha min 1099-R-blankett för räkenskapsåret 2022”. Då svarar ”robotten”, med perfekt uttal och ett tydligt hörbart ”leende”: ”Jag hör dig! Du vill ha ett dokument. Stämmer det? Säg ’ja’ (eller tryck på 1), eller säg ’nej’ (eller tryck på 2).” Jag säger uppgivet: ”Ja”.

”Robotten” säger: ”Utmärkt! Jag har just skickat ett e-brev till dig med en länk där du kan ladda ner blanketten. Kan jag hjälpa dig på något annat sätt?” ”Nej.” ”Hej då.”

Vilken typ av ”jag” finns bakom kulisserna i en sådan telefonrobot? Mycket lite. I själva verket noll – eller mycket nära noll. Jagnivå på kackerlacksnivå. Eller vem vet? I vilket fall som helst finns det ingen självmedvetenhet, ingen ”konstig slinga” som jag kallar det, ingen modell av jaget, inget episodiskt minne, ingen livstid av erfarenheter att använda sig av. Inga analogier görs, inga reflektioner utförs.

Men när det gäller dagens stora språkmodeller kan man inte längre påstå detta så självklart. Det är sant att de inte har något långt liv av lärdomar att falla tillbaka på, men å andra sidan kan de dra nytta av miljontals mänskliga liv där erfarenheter har komprimerats ner till ordföljder! Det är sant att det inte finns något episodiskt minne. Det är sant att det inte finns någon egentlig modell av jaget – men vänta bara!
Jag misstänker att det inte kommer att vara så svårt att få dessa system (eller mer sofistikerade hybridsystem som integrerar stora språkmodeller med fysiska robotar som vandrar runt i världen) att fokusera på sitt eget beteende och för sig själva göra något som liknar det som vi människor gör för oss själva – nämligen att personifiera sig. Det vill säga att AI kommer att skapa ett ”jag” som reagerar i realtid på stimuli, som vet något om sig själv och som tillskriver sig själv egenskaper, såsom okunnighet, en tendens att hitta på saker, en inte alltför stark förståelse för andra sinnen, en munter oförmåga när det gäller att räkna, och så vidare och så vidare. Snart kan ett sådant system ha samma typ av självrepresentation som de älskvärda robotarna R2D2 och C3PO ger sken av att ha. Och när detta sker, vad kommer vi att säga om huruvida det bakom ett sådant systems ord döljer sig betydelser, begrepp, uppfattningar, idéer, tänkande, känslighet och medvetande?

I min bok I am a strange loop från 2007 skrev jag: ”Medvetandet är en hallucination som hallucineras av en hallucination.” Där-för kanske det förvånar att jag här talar om medvetandet som om det vore en verklig sak, snarare än bara en hallucination. Men, i samma bok skrev jag att medvetandet är en nödvändig illusion, en oundviklig illusion, som alla vi människor lider av. Vi måste tro på våra ”jag” för att kunna överleva i denna komplexa värld. Vi behöver tillförlitliga förenklingar av alla levande aktörer runt omkring oss, och än mer av oss själva. Vi kan inte klara oss i den sociala världen utan förenklade modeller av andra människor som innefattar abstraktioner som godtrogenhet, uppblåsthet, generositet, grymhet, livfullhet, djärvhet, snålhet, blyghet, nyckfullhet, trofasthet, glömska, kraftfullhet, vältalighet, perfektionism, lögnaktighet, lättsinnighet, mjukhet, osaklighet, självgodhet, sällskaplighet, matematisk talang, torr humor, skarp humor, bristande självkänsla, att finnas på autismspektrumet, rädsla för att tala inför publik, passion för tangodans och så vidare i all oändlighet. Med hjälp av dessa abstrakta karaktärsdrag förstår vi hur vi ser på människor. Och det är i samma termer vi ser oss själva.

Att förstå dessa och andra abstraktioner gör det möjligt att navigera i den sociala världen, som är vår överlägset viktigaste värld. Och när vi tillämpar abstrakta begrepp på oss själva skapar vi (eller snarare hallucinerar vi) ett ”jag”, det vill säga att vi hallucinerar ett medvetande, och vi kopplar det till den fysiska kropp som det är inrymt i. Så när jag i den här artikeln hänvisar till ”medvetande” är det bara med ett litet ”m”. Jag ser medvetande som en rik självutpekande modell, precis som en modell av allt annat i världen. Att ett ”jag” kan uppstå i ett system som är kapabelt till perception och abstraktion borde inte komma som någon överraskning. Ett digitalt beräkningssystem kan använda sin varseblivning för att lära känna sig självt – sina styrkor och svagheter, böjelser och brister, vad som skiljer gentemot människor och gentemot andra datorsystem.

AI-system med självutnämnda ”jag” kommer att ha riktiga ”jag” i den mån vi upplever dem som lika våra egna ”jag”. Om och när en framtida AI:s användning av pronomenet ”jag” låter sant i våra öron, kommer det att vara ett tecken på att det finns ett verkligt ”jag” inuti maskinen. Det är bara närvaro av det komplexa och abstrakta mönster som jag kallar ”konstig slinga” som behövs. Vi kommer att kunna känna igen denna ”jag”-slinga genom att under lång tid observera systemets stabila, mestadels självkonsistenta och i allmänhet världsmatchande verbala beteende, särskilt dess bruk av ordet ”jag”.

När detta sker (och jag misstänker att det blir ganska snart, kanske rentav till år 2033) kommer det verkliga miraklet inte att vara att medvetandets substrat hoppar från kol till kisel. När allt kommer omkring har vi (i en mycket bred bemärkelse av detta pronomen) redan genomgått två revolutionerande förändringar av medium – först när flercelliga organismer uppstod ur encelliga, och senare när livet gick upp på land. Det största miraklet var dock när livet självt uppstod ur livlös materia. Jämfört med detta är det hotande övertagandet av mening, begrepp, idéer, övertygelser, tänkande, känslighet och medvetande av datoriserade enheter från biologiska enheter småpotatis. Och därmed kommer ditt ädla ”jag”, kanske tidigare än du tror, att behöva se upp till ett ännu mer upphöjt ”jag”. Det är en dag att vara mycket rädd för. Det säger åtminstone jag.


Ta del av samtalet! Bli prenumerant och
få Sans direkt hem i brevlådan.