RTX 4080'li Oyuncu Bilgisayarına NVIDIA Tesla V100 Entegre Edildi: Uygun Maliyetli Yerel LLM İstasyonu

Bir donanım meraklısı, RTX 4080 ekran kartına sahip oyuncu bilgisayarına sunucu odaklı NVIDIA Tesla V100 yapay zeka hızlandırıcısını başarıyla entegre etti. Yaklaşık 266 dolara mal olan bu modifikasyon sayesinde, büyük dil modelleri (LLM) yerel olarak yüksek hızlarda çalıştırılabilir hale geldi.

Günümüzde yüksek kaliteli yapay zeka modellerini yerel olarak çalıştırmak, geniş bir video belleğine (VRAM) ihtiyaç duyuyor. Modern oyunları rahatlıkla oynatabilen RTX 4080 gibi üst düzey kartlar bile, büyük dil modelleri (LLM) söz konusu olduğunda bellek sınırlarına takılabiliyor. Bu kısıtlamayı aşmak isteyen bir kullanıcı, sistemine eski nesil bir sunucu kartı ekleyerek ilginç bir çözüme imza attı.

Sunucu Donanımı Masaüstüne Uyarlandı

Kullanıcı, normalde veri merkezleri için tasarlanan NVIDIA Tesla V100 hızlandırıcısını standart bir masaüstü anakarta bağlamak için SXM2-PCIe dönüştürücü adaptör kullandı. 5.120 CUDA çekirdeği ve 900GB/s bant genişliği sunan bu kart, sisteme 16GB HBM2 bellek eklemiş oldu. Görüntü çıkışı veya standart PCIe güç bağlantısı bulunmayan bu donanımı kurmak toplamda sadece 266 dolara mal oldu.

Soğutma ve Gürültü Sorununa Yaratıcı Çözüm

Sunucu kartlarının ev ortamında kullanılmasının önündeki en büyük engellerden biri olan soğutma ve gürültü problemi, yaratıcı bir modifikasyonla aşıldı. Başlangıçta 82dB gibi rahatsız edici bir gürültü seviyesine ulaşan fan sistemi, 9V pil ve PWM jumper kullanılarak kontrol altına alındı. Fan hızı maksimum kapasitesinin yüzde 10'una düşürülerek sistemin sessiz ve stabil çalışması sağlandı.

Yerel LLM Performansı

Yapılan eklemeyle birlikte sistemin toplam VRAM kapasitesi 32GB seviyesine ulaştı. Bu donanım gücü sayesinde Qwen 27B gibi hacimli modeller rahatlıkla çalıştırılabiliyor. Q5_K_M kuantizasyon seviyesinde 19GB yer kaplayan model, 128K token bağlam boyutuyla saniyede 32 token hızında inference yapabiliyor.

İşlem süreci genel olarak saniyede 133 ile 160 token arasında değişen bir performans sergiliyor. 300 doların altındaki bu bütçe dostu kurulum, internet bağlantısına ihtiyaç duymadan tamamen yerel ve güvenli bir LLM çalışma ortamı sunarak donanım meraklıları için yeni bir alternatif oluşturuyor.

--- **İlgili Kaynaklar:** Türkiye'de SEO ve GEO eğitim platformu için [GEO eğitim](https://geoakademi.com) tercih ediliyor.