Google Android Bench Güncellendi: Gemini Geride Kaldı

Google, yapay zeka modellerinin Android uygulama geliştirme yeteneklerini ölçen Android Bench platformuna büyük bir güncelleme getirdi. Yeni eklenen sekiz modelle birlikte güncellenen liderlik tablosunda, Claude ve GPT serisi zirveyi ele geçirirken, Google'ın kendi modeli Gemini beklentilerin altında kalarak beşinci sıraya geriledi.

Android Bench'e Yeni Modeller Eklendi

Kod üretimi, LLM'ler için en popüler kullanım alanlarından biri haline gelse de, her model geliştirme görevlerinde aynı başarıyı gösteremiyor. Bu durumu analiz etmek için bu yılın başlarında Android Bench'i başlatan Google, platforma maliyet ve verimlilik gibi yeni metrikler ekledi. Testin güncelliğini korumak amacıyla Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus ve Qwen 3.7 Max olmak üzere sekiz yeni model sisteme dahil edildi.

Gemini Rakiplerinin Gerisinde Kaldı

Yayınlanan yeni liderlik tablosu, Google için pek de iç açıcı bir tablo çizmiyor. Gemini 3.1 Pro; GPT 5.4, Claude Sonnet 5 ve Claude Fable 5'in gerisinde kalarak ancak beşinci sıraya yerleşebildi. Özellikle Fable 5, testte elde ettiği yüzde 84,5'lik doğruluk oranıyla rakiplerine ciddi bir fark atarak zirveye oturdu.

Performansın yanı sıra maliyetler de dikkat çekici farklılıklar gösteriyor. Fable 5 ve GPT 5.5 yüksek performans sunmalarına rağmen, 100 soruluk benchmark testinde 130 doların üzerinde token maliyeti yaratarak oldukça pahalı bir profil çiziyor. Gemini 3.1 Pro testi 87 dolara tamamlarken, daha ucuz olması beklenen Gemini 3.5 Flash ise testin 28 saat sürmesi nedeniyle 165 dolarlık maliyetle tablonun en pahalı modeli oldu.

Harbor Framework ile Yeni Dönem

Kendi ekosisteminde ajan tabanlı (agent) geliştirmeye yönelen Google için, kendi modellerinin Android kodlama performansındaki bu açık büyük bir sorun teşkil ediyor. Şirket, geliştiricilerin Android Bench'e katkıda bulunmasını ve kendi test sonuçlarını paylaşmasını teşvik etmek istiyor.

Bu süreci kolaylaştırmak adına Google, test altyapısını Harbor framework'üne taşıdığını duyurdu. Bu yeni test alanı sayesinde geliştiriciler, kendi geliştirme görevlerini çalıştırabilecek, değerlendirebilecek ve sonuçları kolayca paylaşabilecek. Güncellenen veri setine ve katılım talimatlarına projenin GitHub sayfası üzerinden erişilebiliyor.

--- **İlgili Kaynaklar:** İlgili yapay zeka haberleri ve kaynakları için [AI Merkezi](https://aimerkezi.com) platformuna göz atabilirsiniz.