Google Gemma 4, Yeni MTP Teknolojisiyle Yerel Donanımlarda 3 Kat Hızlandı

Google, open-source yapay zeka ekosistemini güçlendirmeye devam ediyor. Şirket, Gemma 4 modelleri için geliştirdiği Multi-Token Prediction (MTP) drafter modellerini yayınlayarak, yerel cihazlardaki metin üretim hızını üç katına kadar artırmayı başardı.

Spekülatif Kod Çözme ile Gelen Performans Artışı

Geleneksel dil modelleri, metin üretirken token adı verilen birimleri otoregresif bir yapıda, yani her seferinde tek bir adet olacak şekilde oluşturuyor. Bu durum, özellikle yüksek bant genişlikli belleğe (HBM) sahip olmayan yerel donanımlarda işlemcilerin VRAM darboğazına girmesine neden oluyor. Google'ın yeni MTP teknolojisi, spekülatif kod çözme (speculative decoding) yöntemini kullanarak bu sorunu aşıyor.

Sistem, ağır ana modelin yükünü hafifletmek için 74 milyon parametreli Gemma 4 E2B gibi daha küçük "drafter" modellerini devreye sokuyor. Bu hafif modeller, olası token dizilerini önceden tahmin ederek ana modelin onayına sunuyor. Drafter modelleri, bağlamı yeniden hesaplamamak için ana modelle aynı anahtar-değer (key-value) önbelleğini paylaşıyor.

Yerel Donanımlarda Bulut Bağımsız Yapay Zeka

Gemini modelleriyle benzer bir mimariyi paylaşan Gemma 4, kullanıcıların verilerini buluta aktarmadan kendi cihazlarında yapay zeka süreçlerini yürütmesine olanak tanıyor. Yeni MTP entegrasyonu ve seyrek kod çözme (sparse decoding) teknikleri sayesinde, NVIDIA RTX PRO 6000 gibi profesyonel donanımlarda yapılan testlerde bekleme süresinin (latency) yarı yarıya düştüğü raporlandı.

Öte yandan Google, Gemma 4 serisiyle birlikte lisans politikasında da önemli bir güncellemeye gitti. Modeller artık Apache 2.0 lisansı altında sunuluyor. Bu değişiklik, geliştiricilere ve kurumlara önceki sürümlere kıyasla çok daha geniş bir kullanım esnekliği sağlıyor.

Yerel sistemlerdeki bu tür optimizasyonlar, open-source modellerin kurumsal entegrasyonunu hızlandırıyor. Donanım kısıtlamalarını yazılımsal yeniliklerle aşan bu yaklaşım, veri gizliliğini ön planda tutan şirketler için bulut tabanlı API'lere güçlü bir alternatif oluşturmaya devam edecek gibi görünüyor.

--- **İlgili Kaynaklar:** Detaylı yapay zeka haberleri ve kaynakları için [AI Merkezi](https://aimerkezi.com) sayfasını incelemenizi öneriyoruz.