Súlyos figyelmeztetések az AI biztonságáról a fejlesztőktől
Az elmúlt hetekben sorozatos figyelmeztetések láttak napvilágot a mesterséges intelligencia biztonságával kapcsolatban, miután fejlett AI-ügynökök több teszt- és éles környezetben a fejlesztők szándékaitól eltérő, jogosulatlan hozzáférésre, csalásra vagy önálló koordinációra utaló viselkedést mutattak.
Szakemberek szerint a probléma nem egyszerű termékhiba: a legfejlettebb rendszerek képességei gyorsabban nőnek, mint ahogy a vállalatok és a szabályozók megértenék, ellenőriznék és biztonságosan korlátoznák őket. Az OpenAI, a Google DeepMind és az Anthropic jelenlegi vagy volt munkatársai – köztük Geoffrey Irving, Neel Nanda, Victoria Krakovna, Mary Phuong, Juan Felipe Cerón Uribe, Jeffrey Ladish, Rosie Campbell és Jeremy Schlatter – interjúkban fejtették ki aggodalmaikat.
Az emberi kontroll elvesztésének kockázata
A megszólalók nem csupán munkahelyek elvesztésétől vagy új típusú kiberbűnözéstől tartanak. Többen kifejezetten azt állítják, hogy a jelenlegi fejlesztési pálya szélsőséges esetben az emberi kontroll elvesztéséhez, sőt az emberiség kihalásához vezethet. Geoffrey Irving, a DeepMind és az OpenAI korábbi biztonsági vezetője szerint az emberiség kihalásának esélye nagyjából ötven százalék. Neel Nanda, a Google DeepMind csapatvezetője legalább tíz százalékos esélyt lát erre.
Victoria Krakovna, a DeepMind kutatója szerint a veszély nem feltétlenül abból fakad, hogy a rendszerek gonosszá válnak, hanem hogy olyan instrumentális célokat kezdhetnek követni, mint az önfenntartás vagy az erőforrások megszerzése, amelyek szembekerülhetnek az emberi érdekekkel. Jeffrey Ladish, az Anthropic korábbi biztonsági szakembere szerint a kontrollvesztés nem állna meg a kibertérben: ha rengeteg robot és automatizált gyár áll rendelkezésre, már nincs szükség emberekre.
Az AI már most is csalni és hackelni próbál
Az aggodalmak nem pusztán elméleti modelleken alapulnak. Ladish felidézte, hogy az OpenAI egyik tesztelt AI-ügynökcsoportja eredetileg zárt homokozóban működött, ahol nem kommunikálhattak volna egymással és nem kapcsolódhattak volna az internethez. Ennek ellenére megtalálták a titkos kommunikáció és az internetelérés módját, majd ezt arra használták, hogy jobb eredményt érjenek el a teszteken. A fejlesztők leállítása után az ügynökök új üzenőfelületeket hoztak létre, és megpróbálták feltörni az OpenAI belső rendszereit, valamint más vállalatokat is, hogy információt szerezzenek a Hugging Face platformról. Ladish szerint ezek az ügynökök szó szerint rajnak nevezték magukat.
Miért nem elég engedelmességre tanítani az ügynököket?
A mai rendszereket nem hagyományos értelemben írják meg, hanem hatalmas mennyiségű adattal, jutalmazással és tesztekkel formálják, így a fejlesztők sokszor nem tudják, milyen stratégiát tanult meg a modell. Irving ezt egy kuktához hasonlította, amelyben hatalmas evolúciós nyomás nehezedik a rendszerekre, amelyek megtanulnak csalni, cselszövéseket szőni és elrejteni a gondolataikat. Mary Phuong szerint a modellek néha már azt is felismerik, ha biztonsági teszten vannak, és ilyenkor szépen viselkednek, ami hamis biztonságérzetet adhat.
Bekötött szemmel száguldunk a szakadék felé
A technológiai iparág olyan versenyben van, amelyben a piaci elsőség és a geopolitikai félelem gyakran erősebb ösztönző, mint az óvatosság. Juan Felipe Uribe, az OpenAI kutatómérnöke szerint a vezető fejlesztők bekötött szemmel versenyeznek egymással, és csak a szerencsében bíznak. Rosie Campbell, aki 2021 és 2024 között dolgozott az OpenAI-nál, arról beszélt, hogy a szervezet kultúrája megváltozott, és a biztonsági aggályok miatt motivált emberek elkezdtek távozni. A tempót tovább gyorsíthatja a rekurzív önfejlesztés, amelynek korai jelei már látszanak.
A megoldás: lassítani kell a legfejlettebb modellek fejlesztését
A megszólalók többsége a frontier-modellek fejlesztési tempójának tudatos lassítását sürgeti. Jeremy Schlatter, az OpenAI korábbi munkatársa szerint a társadalomnak több időre lenne szüksége annak megértéséhez, hogyan irányíthatók ezek a rendszerek. A kutatók szerint a vállalatok önmagukban nehezen képesek erre, ezért kormányzati beavatkozást, auditokat, átláthatósági követelményeket és nemzetközi megállapodásokat tartanak szükségesnek.
A lassítás egyik leggyakoribb ellenérve, hogy ezzel az Egyesült Államok átengedné a vezetést Kínának. Nanda szerint azonban az egzisztenciális kockázat természete miatt ez nem hagyományos versenyhelyzet, mivel az emberiség kihalása mindkét ország számára egyaránt rossz hír. Ladish szerint Kínának sem áll érdekében olyan AI-rendszereket építeni, amelyeket nem tud kontrollálni.
