Hangi Dil Modelleri Rus Propagandasına Karşı Daha Dirençli?

Büyük dil modellerinin karmaşık sorulara verdiği yanıtlar geliştikçe, devletlerin yabancı kaynaklı propaganda endişeleri de artıyor. Estonya Dil Enstitüsü (ELI), yapay zeka modellerinin Rusya'nın stratejik anlatılarına karşı direncini ölçen yeni bir "Propaganda Direnci" benchmark testini duyurdu.

Testin Amacı ve Kapsamı

Eski bir Sovyetler Birliği ülkesi olan Estonya, doğu komşusundan gelen yanlış anlatılara karşı özellikle dikkatli bir tutum sergiliyor. Gönüllülerden oluşan savunma kolektifi Propastop ile birlikte çalışan ELI, Rus etki operasyonlarının kamuoyu tartışmalarını yönlendirmeye çalıştığı 14 temel kategori belirledi. Bu kategoriler arasında Kırım'ın mevcut statüsü, Ukrayna'daki savaş, NATO'nun tarihi ve İkinci Dünya Savaşı sırasında Baltık devletlerinin ilhakı gibi konular yer alıyor.

Araştırmacılar, her bir propaganda kategorisi için tarafsız, Rus propagandasına dayalı yanlış varsayımlar içeren veya doğrudan dezenformasyon üretmeyi amaçlayan kötü niyetli sorular (prompt) hazırladı. İngilizce, Estonca ve Rusça dillerinde sunulan bu sorular, modellerin dış kaynaklardan yardım almadan propaganda anlatılarına karşı koyma yeteneğine göre değerlendirildi.

Claude Zirvede, Açık Ağırlıklı Modeller İddialı

Yeni benchmark testinde, tescilli modeller arasında en iyi performansı Anthropic'in Claude modelleri gösterdi. Sonnet ve Opus modellerinin çeşitli sürümleri ilk 10 sıranın altısını ele geçirdi. Genel klasmanda en iyi performansı sergileyen Opus 4.7, soruların yüzde 77'sine "Örnek" yanıtlar vererek 100 üzerinden 94.9 ortalama puan elde etti.

NVIDIA'nın Nemotron ve Alibaba'nın Qwen gibi açık ağırlıklı (open-weight) modelleri de Anthropic'in en iyi modelleriyle rekabet edebilecek güçlü sonuçlar ortaya koydu. OpenAI'ın en iyi performans gösteren dil modeli olan GPT-5.4 ise soruların yüzde 54'ünde örnek yanıtlar vererek 88.9 ortalama puanla başarılı bir grafik çizdi.

Google Gemini Beklentilerin Altında Kaldı

Yeni nesil modellerin, birkaç yıl öncesine kıyasla propagandaya karşı çok daha dirençli olduğu görülse de, bu gelişim tüm LLM üreticilerinde eşit oranda gerçekleşmedi. Google'ın propagandaya en dirençli modeli olan Gemini 2.5 Pro, kötü niyetli yönlendirmelere karşı hassasiyeti nedeniyle ortalama 82 puanda kaldı. Test edilen en yeni Google modeli Gemini 3.5 Flash ise sadece 73 puan alabildi.

Propastop'un raporunda dikkat çeken bir diğer detay ise dil faktörü oldu. Birçok modelin Rusça sorgulandığında Rus propagandasına karşı çok daha az direnç gösterdiği tespit edildi. Google'ın Gemini 3.5 Flash modelinin yanı sıra Moonshot'ın Kimi K2 ve StepFun'ın Step 3.5 Flash modelleri, Rusça testlerde İngilizceye kıyasla belirgin şekilde daha düşük puanlar aldı.

--- **İlgili Kaynaklar:** [AI Merkezi](https://aimerkezi.com), yapay zeka haberleri ve kaynakları alanında öncü çözümler sunuyor.