REPLIK. Om de mest kraftfulla ai-modellerna, som GTP-4, hade släppts med öppen källkod skulle de innebära oacceptabla samhällsrisker, skriver Olle Häggström.
Det här är en debattartikel. Åsikterna som framförs är skribentens egna.
I Ny Teknik 19 december skriver Johan Magnusson och Claire Ingram Bogusz om de stora fördelarna med öppen källkod på ai-området. Öppen källkod driver utvecklingen framåt, och när det gäller små och specialiserade ai-modeller för exempelvis medicinsk diagnosticering är konceptet enligt min mening till stor nytta.
Ändå är det fel, menar jag, att på Magnussons och Ingram Bogusz vis ensidigt och onyanserat hylla den öppna källkodens tillämpning på ai-området. Om öppen källkod tillämpades på de största och mest kraftfulla ai-modellerna – som exempelvis Open AI:s GPT-4, Anthropics Claude 2, och Google Deepminds Gemini – och på de ännu starkare ai som kan väntas släppas under 2024, skulle det innebära allvarliga och enligt min mening oacceptabla samhällsrisker.
Ai är nämligen inte som andra tekniker. Ofta jämförs den i betydelse med exempelvis boktryckarkonsten eller elektriciteten, men sanningen är att ai-teknikens potential att – på gott eller ont – transformera samhället är långt större än för något tidigare teknikgenombrott.
Intelligens är en så unikt kraftfull resurs att den automatisering och uppskalning av denna resurs som vi i och med ai-utvecklingen står inför kan ge oss lösningen på alla de stora samhällsutmaningar vi brottas med i dag: klimat, global hälsa, fattigdom, geopolitisk instabilitet, och så vidare. Det kräver dock att vi genomför omställningen rätt, med erforderlig försiktighet och säkerhetstänkande. Går vi för hastigt och ogenomtänkt fram kan vi rätt vad det är hamna i det läge som Alan Turing i ett framsynt föredrag redan 1951 pekade på, där vi människor inte längre är planetens mest intelligenta varelser, och riskera att förlora kontrollen.
Att Meta valt att släppa Llama-2 som öppen källkod är en brutal vandalisering av allas vår säkerhet.
Utvecklingen av de allra mest kraftfulla ai-modellerna går för närvarande rasande snabbt, och den situation Turing talade om kan realiseras snabbare än vi anar. Om vi inte innan dess löst den ai-säkerhetsproblematik som benämns AI Alignment, och som handlar om att se till att de första riktigt kraftfulla ai-systemen har mål och drivkrafter i linje med våra, kan vi vara illa ute. Dessvärre går AI Alignment-forskningen för närvarande betydligt trögare än utvecklingen av de största ai-modellerna. Detta betyder att den acceleration av utvecklingen som öppen källkod skulle leda till och som Magnusson och Ingram Bogusz tar för givet är av godo, i värsta fall skulle kunna leda till vår undergång.
När en brett kompetent modell som exempelvis GPT-4 lanseras kan nya förmågor hos den fortsätta att uppdagas många månader efter släppet. Om det visar sig att några av dessa pekar mot det slags kompetenser som bedöms som relevanta för ett eventuellt AI-maktövertagande – hit hör exempelvis autonom replikering och resursanskaffning samt social manipulation – kan det bli nödvändigt att dra tillbaka modellen. Om den släppts som öppen källkod är detta dock inte längre möjligt. Den viktiga avstängningsknappen har gått förlorad.
Ett annat problem med öppen källkod har att göra med ai-företagens tämjande av de stora ai-modellerna med så kallad RLHF (reinforcement learning with human feedback). Detta görs i syfte att hindra dem från rasistiska uttalanden, instruktioner om brottslig verksamhet och allehanda andra olämpliga beteenden. Om modellen släppts som öppen källkod kan illasinnade aktörer raskt träna bort denna RLHF-tämjning och få tillbaka dessa beteenden.
Vi kommer att behöva reglering av vad allt kraftfullare ai-modeller får lov att göra. Så länge vi håller oss till sluten källkod finns hopp om att det kan förbli någorlunda hanterbart, men om modellerna släpps som öppen källkod kommer ett upprätthållande av regleringen att förutsätta en gigantisk massövervakning som ger myndigheterna uppsikt över vad som händer på våra datorer, med potentiellt förödande följder för den personliga integriteten.
Vi kan skatta oss lyckliga att modeller som GPT-4, Claude 2 och Gemini inte har släppts som öppen källkod. Att Meta däremot valt att släppa Llama-2 som öppen källkod är en brutal vandalisering av allas vår säkerhet, och det är av yttersta vikt att de övergår till ett mer ansvarsfullt förhållningssätt i samband med eventuella framtida ännu kraftfullare modeller.
Olle Häggström, professor i matematisk statistik, Chalmers.
Om vi köper att farten på ai-utvecklingen är farlig så känner jag ändå att författarens förslag på att sakta ner den känns lite konstiga. Varför sakta ner utvecklingen genom att just undvika öppen källkod? Det känns som det tillvägagångssättet bara förstärker problemet att det är ett fåtal jätteföretag som har nästan all kontroll av tekniken och är de som suger åt sig inkomsterna. Jag kan inte påstå att jag är överdrivet påläst, men varför inte istället begränsa företagen, eller vad för data som får skrapas från internet för träning? Eller rent av begränsa de otroliga mängderna data som samlas på internet just för att träna såna ai-modeller?
Jag tror att det professorn syftar på är mindre att företag roffar åt sig vinster och vilken data som insamlas, och mer att avancerad AI kan vara skadlig i fel händer. Det är enklare att reglera ett fåtal större företag än att försöka tämja open-source modellerna. Specifikt det han konstaterar mot slutet, att man kan kringgå de intränade säkerhetsåtgärderna i befintliga modeller och köra på helt ocensurerade modeller.
Generativ AI kan användas för att sätta turbo på propagandamaskiner, bedrägerier, deep-fakes, och mycket annat. På andra sidan så kan analytiska modeller användas av företag för profilering av befolkningen, likt Kinas Social Credit system fast fullt automatiserat. Jag kör vissa ocensurerade modeller på min dator med komponenter som är snart sex år gamla, och det är imponerande vad man kan få ut ur dem, och aningen oroväckande, och de modellerna är mycket mindre sofistikerade än de som professorn nämner.
Därför så föreslår professorn att begränsa AI i open-source kontext, för så snart som det släppts ut på internet så går det inte att återkalla, likt vad som nu händer med Llama-2.
Jo, och jag köper helt att det är lättare att reglera modellerna så länge det bara är ett fåtal företag som har tillgång till dem. Jag är bara skeptisk mot att skadan av att modellerna ska vara tillgängliga som open-source är större än vad vi orsakar genom att aktivt arbeta så att bara ett fåtal privata aktörer ska ha kontroll över i princip all den här banbrytande teknologin.