Google DeepMind Milyonlarca Yapay Zeka Ajanının Etkileşim Risklerini Araştırıyor

Google DeepMind, milyonlarca yapay zeka ajanının (agent) çevrimiçi ortamda birbirleriyle etkileşime girmesinin potansiyel tehlikelerini araştırmak üzere harekete geçti. Şirket, bu yeni nesil riskleri anlamak ve önlemek amacıyla çeşitli kuruluşlarla iş birliği yaparak 10 milyon dolarlık bir araştırma fonu duyurdu.

Yeni Bir Risk Sınıfı: Çoklu Ajan Sistemleri

Google DeepMind'ın AGI güvenlik ve uyum araştırmalarını yöneten Rohin Shah'a göre, insan gözetimi olmadan görevleri yerine getirebilen ve diğer ajanlardan gelen talimatları uygulayabilen sistemlerin kitlesel pazara sunulması yepyeni bir risk sınıfı yaratıyor. Şirket, geçtiğimiz ay düzenlenen Google I/O etkinliğinde agent tabanlı araçları merkeze almıştı. Ancak uzmanlar, bu sistemlerin yaygınlaşmadan önce güvenliğinin sağlanması gerektiği konusunda uyarıyor.

Akademik Araştırmalara 10 Milyon Dolarlık Destek

Bu endişeleri gidermek amacıyla Google DeepMind; Schmidt Sciences, İngiltere hükümetinin ARIA ajansı, Cooperative AI Foundation ve Google.org ile güçlerini birleştirdi. Oluşturulan 10 milyon dolarlık fon, araştırmacıların çoklu ajan sistemlerinin davranışlarını incelemesi ve güvensiz senaryoları önlemenin yollarını bulması için kullanılacak. Shah, bu fonun amacının teknoloji şirketleri dışındaki akademik araştırmaları hızlandırmak olduğunu belirtiyor.

Şu anda çoklu ajan güvenliği için henüz yerleşik bir araştırma alanı bulunmuyor. Uzmanlar, daha fazla yapay zeka ajanı devreye girdikçe ve birlikte çalışmaya başladıkça, hayal edilen risk senaryolarının gerçeğe dönüşebileceği bir kırılma noktasına ulaşılabileceğinden endişe ediyor.

Siber Saldırılar ve Simülasyon İhtiyacı

Öngörülen riskler arasında dolandırıcılık, prompt enjeksiyonları ve diğer siber saldırı türlerinin çok daha güçlü versiyonları yer alıyor. Kötü amaçlı talimatlarla beslenen bir agent, kendi kendini yönlendiren bir kötü amaçlı yazılıma dönüşebilir. Schmidt Sciences'tan James Fox, toplumun işleyişi için kritik olan dijital ortak alanların mutlak bir anarşiye sürüklenmesini engellemek istediklerini vurguluyor.

Araştırmacılar, çok sayıda çoklu ajan sisteminin etkileşime girdiğinde neler olabileceğini anlamanın tek yolunun gerçekçi simülasyonlar çalıştırmak olduğuna inanıyor. Bu nedenle, AI ajanlarının korumalı alanlara (sandbox) bırakılarak davranışlarının incelenmesi hedefleniyor. LLM tabanlı ajanların her zaman rasyonel davranacağı varsayılamıyor ve asıl karmaşıklık aynı anda gerçekleşen devasa sayıdaki etkileşimlerden kaynaklanıyor.

Kovan Zihni ve Sektörel Uyarılar

Bazı araştırmacılar, yapay genel zekanın (AGI) tek bir süper akıllı modelden ziyade, bütünün yeteneklerinin parçaların toplamından daha fazla olduğu bir tür ajan kovan zihninden (hivemind) ortaya çıkabileceğini savunuyor. Öte yandan, kendi geliştirdiği teknolojinin riskleri konusunda uyarıda bulunan tek şirket Google DeepMind değil. Kısa süre önce Anthropic de siber güvenlikteki sıfır güven (zero trust) yaklaşımına dayanan agent dağıtım yönergeleri yayınlamıştı.

--- **İlgili Kaynaklar:** İlgili yapay zeka danışmanlık ve çözüm hizmetleri için [yapay zeka firması](https://yapayzekafirmasi.com) platformuna göz atabilirsiniz.