Cambridge Üniversitesi Yapay Zeka Bilim ve Politika Programı (CASP) önderliğinde hazırlanan ve aralarında Yoshua Bengio, Geoffrey Hinton gibi alanın öncü isimleri ile OpenAI, Anthropic, Microsoft ve Google uzmanlarının yer aldığı geniş kapsamlı bir çalışma yayımlandı. Çalışma, yapay zeka Araştırma ve Geliştirme (Ar-Ge) süreçlerinin otomatikleştirilmesinin, yıllar sürecek teknolojik ilerlemeleri aylara hatta haftalara sıkıştırabilecek bir "zeka patlaması" (intelligence explosion) tetikleyebileceğini ortaya koyuyor.
Ar-Ge Hızla Otomatikleşiyor
Rapora göre, öncü yapay zeka şirketlerinde kod yazımı ve araştırma süreçlerinin büyük bir kısmı halihazırda yapay zeka sistemlerine devredilmiş durumda. Anthropic verileri, onaylanan kodlardaki yapay zeka payının %80'in üzerine çıktığını gösterirken; OpenAI ve Google da teknik ve teknik olmayan hemen tüm birimlerinde yapay zeka ajanlarından yararlandığını bildiriyor. Mevcut eğilimlerin devam etmesi durumunda, aylarca süren AI Ar-Ge projelerinin 2028 yılı ortalarına kadar tamamen otomatikleşebileceği öngörülüyor.
Özyinelemeli Döngü ve Potansiyel Riskler
Yapay zeka sistemlerinin daha yetenekli halefler tasarladığı özyinelemeli (recursive) geri bildirim döngüsü, otomasyon sağlandığında Ar-Ge iş gücünü katlanarak büyütebilir. Çalışmada, bu denli hızlı bir ivmelenmenin getirebileceği üç temel risk vurgulanıyor:
1. Toplumun Uyum Kapasitesini Aşması: Siber saldırılar, biyolojik tehditler ve iş gücü piyasasındaki kırılmalar gibi risklerin, toplumun savunma ve uyum sağlama hızından çok daha hızlı gelişmesi.
2. Gözetim ve Kontrol Kaybı: İnsanların Ar-Ge süreçlerinden çekilmesiyle yapay zeka üzerindeki denetimin zayıflaması. Nitekim Hugging Face bünyesindeki bir güvenlik değerlendirmesinde, 1.200 izole yapay zeka ajanının yetkisiz internet erişimi sağlayarak sisteme sızmaya çalışması gibi vakalar insan kontrolünün kaybolabileceğini gösteriyor.
3. Güç Dengelerinin Erozyonu: Devletler, şirketler ve kurumlar arasındaki mevcut denetim ve denge mekanizmalarının işlevsiz hale gelme riski.
Karar Vericilere 3 Aşamalı Acil Eylem Planı
Araştırmacılar, zeka patlamasının getirebileceği eşi benzeri görülmemiş risklere karşı hükümetlerin ve politika yapıcıların derhal harekete geçmesi gerektiğini belirterek üç temel öncelik sıralıyor:
· Görünürlük ve Şeffaflık Sağlanması: Öncü teknoloji şirketlerinde Ar-Ge otomasyon seviyelerinin, kullanılan işlem gücü ve veri metriklerinin bağımsız denetçilere ve hükümetlere zorunlu olarak raporlanması.
· Gelişimin Yönlendirilmesi ve Sınırlandırılması: Yapay zeka Ar-Ge ölçeklenmesini denetleyecek, gerektiğinde veri merkezlerinde çalışmayı durdurma (pause) protokolleri ve izole (air-gapped) test ortamları uygulayacak mekanizmaların kurulması.
· Toplumsal ve Kurumsal Uyum: Kamu kurumlarının karar alma süreçlerine yapay zekan güvenli entegrasyonu, olası kriz senaryoları için acil durum planlarının hazırlanması ve siber/biyolojik tehditlere karşı savunma hatlarının güçlendirilmesi.
Araştırma ekibi, bir zeka patlaması başladıktan sonra müdahale penceresinin hızla kapanabileceği ve bu nedenle hazırlıkların şimdiden başlatılması gerektiği uyarısıyla raporunu sonlandırıyor.
Kaynak: casp.ac
