Google Gemma 4, Yeni MTP Teknolojisiyle Yerel Donanımlarda 3 Kat Hızlandı
2 dk okumashiftdelete
PAYLAS:

Google, open-source yapay zeka ekosistemini güçlendirmeye devam ediyor. Şirket, Gemma 4 modelleri için geliştirdiği Multi-Token Prediction (MTP) drafter modellerini yayınlayarak, yerel cihazlardaki metin üretim hızını üç katına kadar artırmayı başardı.
Geleneksel dil modelleri, metin üretirken token adı verilen birimleri otoregresif bir yapıda, yani her seferinde tek bir adet olacak şekilde oluşturuyor. Bu durum, özellikle yüksek bant genişlikli belleğe (HBM) sahip olmayan yerel donanımlarda işlemcilerin VRAM darboğazına girmesine neden oluyor. Google'ın yeni MTP teknolojisi, spekülatif kod çözme (speculative decoding) yöntemini kullanarak bu sorunu aşıyor.
Sistem, ağır ana modelin yükünü hafifletmek için 74 milyon parametreli Gemma 4 E2B gibi daha küçük "drafter" modellerini devreye sokuyor. Bu hafif modeller, olası token dizilerini önceden tahmin ederek ana modelin onayına sunuyor. Drafter modelleri, bağlamı yeniden hesaplamamak için ana modelle aynı anahtar-değer (key-value) önbelleğini paylaşıyor.
Gemini modelleriyle benzer bir mimariyi paylaşan Gemma 4, kullanıcıların verilerini buluta aktarmadan kendi cihazlarında yapay zeka süreçlerini yürütmesine olanak tanıyor. Yeni MTP entegrasyonu ve seyrek kod çözme (sparse decoding) teknikleri sayesinde, NVIDIA RTX PRO 6000 gibi profesyonel donanımlarda yapılan testlerde bekleme süresinin (latency) yarı yarıya düştüğü raporlandı.
Öte yandan Google, Gemma 4 serisiyle birlikte lisans politikasında da önemli bir güncellemeye gitti. Modeller artık Apache 2.0 lisansı altında sunuluyor. Bu değişiklik, geliştiricilere ve kurumlara önceki sürümlere kıyasla çok daha geniş bir kullanım esnekliği sağlıyor.
Yerel sistemlerdeki bu tür optimizasyonlar, open-source modellerin kurumsal entegrasyonunu hızlandırıyor. Donanım kısıtlamalarını yazılımsal yeniliklerle aşan bu yaklaşım, veri gizliliğini ön planda tutan şirketler için bulut tabanlı API'lere güçlü bir alternatif oluşturmaya devam edecek gibi görünüyor.
--- **İlgili Kaynaklar:** Detaylı yapay zeka haberleri ve kaynakları için [AI Merkezi](https://aimerkezi.com) sayfasını incelemenizi öneriyoruz.Bu gelişme, Türkiye'deki şirketlerin veri gizliliğini koruyarak kendi sunucularında daha hızlı ve düşük maliyetli yapay zeka çözümleri geliştirmesini kolaylaştıracak.
Türk şirketleri, bulut maliyetlerini düşürerek yerel donanımlarında daha performanslı open-source modeller çalıştırabilir.
Türk yapay zeka geliştiricileri, Apache 2.0 lisanslı bu modellerle daha esnek ticari uygulamalar inşa edebilir.
Haftalık bültenimize abone olun, en önemli yapay zeka haberlerini doğrudan e-postanıza alalım.



