NVIDIA, Yerel Yapay Zeka Ajanları İçin Nemotron 3.5 Lightning Modelini Duyurdu

NVIDIA, açık kaynak ekosistemini desteklemek amacıyla yerel yapay zeka geliştiricileri için yeni araçlar ve modeller tanıttı. Şirket, her zaman aktif olan (always-on) ajanlar için tasarlanan 30 milyar parametreli Nemotron 3.5 Lightning modelini ve maliyet optimizasyonu sağlayan NeMo Switchyard kütüphanesini duyurdu.

Nemotron 3.5 Lightning ile Yüksek Performans

NVIDIA'nın yeni Nemotron 3.5 Lightning modeli, 30 milyar parametreli bir mixture-of-experts (MoE) mimarisine sahip. Sınıfındaki diğer open-source modellere kıyasla dört kata kadar daha hızlı token üretimi ve %30 daha hızlı görev tamamlama süresi sunuyor. Açık ağırlıklı (open weights) yapısı sayesinde, geliştiriciler modeli kendi özel görevleri ve iş akışları için fine-tuning işleminden geçirebiliyor.

Bu özelleştirilebilir yapı, e-posta ve takvim yöneten asistanlardan, akıllı ev sistemlerini kontrol eden ajanlara ve yerel kod tabanlarında çalışan programlama asistanlarına kadar çok çeşitli kişiselleştirilmiş yapay zeka deneyimlerine olanak tanıyor. NVIDIA, modelin yerel cihazlarda en iyi şekilde çalışması için vLLM, Ollama, llama.cpp ve LM Studio gibi popüler araçlarla iş birliği yaparak NVFP4 ve GGUF formatlarında destek sunuyor.

Geniş Donanım Desteği ve Maliyet Optimizasyonu

Yeni model, NVIDIA RTX bilgisayarlar ve NVIDIA Jetson platformlarında yerel olarak çalışabiliyor. Aynı zamanda RTX PRO iş istasyonları, NVIDIA DGX sistemleri ve veri merkezlerine kadar ölçeklenebiliyor. Kullanıcılar, ASUS, Dell, HP ve Lenovo gibi üreticilerin sunduğu Blackwell tabanlı sistemler de dahil olmak üzere geniş bir donanım yelpazesinden faydalanabiliyor.

Artan token maliyetlerini kontrol altına almak isteyen kurumsal kullanıcılar için ise NeMo Switchyard tanıtıldı. Bu açık kaynaklı yönlendirme kütüphanesi, bir agent iş akışındaki her adımı doğruluk, hız ve maliyet kriterlerine göre en uygun modele otomatik olarak yönlendiriyor. Şirket içi benchmark testlerine göre bu sistem, üst düzey görev tamamlama başarısını korurken maliyetleri Opus 4.8 modelinin tek başına kullanımına kıyasla yaklaşık üçte birine düşürüyor.

Geliştiriciler, NeMo Switchyard'a GitHub üzerinden erişebilirken, Nemotron 3.5 Lightning modelini OpenRouter, NVIDIA NIM mikro hizmeti ve çeşitli bulut platformları üzerinden kullanmaya başlayabiliyor.

--- **İlgili Kaynaklar:** Bu alanda profesyonel destek için [yapay zeka firması](https://yapayzekafirmasi.com) sayfasını inceleyebilirsiniz.