Anthropic, Claude'un Kavramları İşlediği Gizli Bir Alan Keşfetti

Yapay zeka şirketi Anthropic, büyük dil modellerinin (LLM) arka planda nasıl çalıştığını ve soruları yanıtlarken neleri "düşündüğünü" ortaya çıkaran yeni bir teknik geliştirdi. Jacobian lens (J-lens) adı verilen bu araç, Claude modelinin içindeki gizli bir alanı gün yüzüne çıkararak modelin henüz söylemediği kelimeleri ve kavramları nasıl işlediğini gösteriyor.

J-lens ve Gizli J-space

Anthropic araştırmacıları, şubat ayında piyasaya sürülen amiral gemisi LLM sürümü Claude Opus 4.6'nın içindeki gizli bir alanı ortaya çıkarmak için Jacobian lens (veya J-lens) adını verdikleri bir araç geliştirdi. Keşfedilen bu yeni alana ise J-space adı verildi.

J-space, modelin yakın gelecekteki bir yanıtta üretme olasılığı en yüksek olan kelimeleri ve ifadeleri barındırıyor. Araştırmacılara göre bu gizli kelimeler, yapay zeka modelinin fiilen konuşmadan önce "aklından geçenleri" ortaya çıkarabiliyor. Anthropic, bir LLM'in gerçekte yaptığı şeyin, yaptığını söylediği şeyden genellikle farklı olabileceğini belirtiyor.

Açık Kaynaklı İşbirliği ve Sektör Tepkisi

Şirket, elde ettiği sonuçları bu hafta web sitesinde yayınladığı bir makale ile paylaştı. Ayrıca, herkesin LLM'lerin içini incelemesine olanak tanıyan open-source bir platform olan Neuronpedia ile işbirliği yaparak herkesin deneyebileceği uygulamalı bir demo hazırladı.

LLM'leri anlamak ve kontrol etmek için araçlar geliştiren bir startup olan Goodfire'ın baş bilim insanı ve kurucu ortağı Tom McGrath, bu gelişmeyi "Çok iyi ve ilginç bir çalışma" olarak nitelendirdi.

Mekanistik Yorumlanabilirlik ve Model Katmanları

Anthropic, son birkaç yıldır LLM'lerin nasıl çalıştığını görmek için iç işleyişlerini incelemeyi içeren mekanistik yorumlanabilirlik (mechanistic interpretability) alanında sınırları zorluyor. Yeni teknik, araştırmacıların daha önce görmediği daha derin bir seviyeyi ortaya çıkarmak için önceki çalışmaların üzerine inşa ediliyor.

Bir LLM'i üst üste dizilmiş kitaplar gibi düşünebilirsiniz. Her kitap, nöronlar olarak bilinen temel hesaplama birimlerinden oluşan bir katmandır. Alt kısımdaki kitaplar modele giren metni işleyen girdi katmanlarıyken, üsttekiler modelin üretmek üzere olduğu metni hazırlayan çıktı katmanlarıdır. Ancak asıl karmaşık matematiksel işlemler ve prompt'ları kelime kelime yanıtlara dönüştüren ağır işler ortadaki katmanlarda gerçekleşir.

Gelecekteki Token'ları Tahmin Etmek

Anthropic, bu orta katmanların derinliklerine inmek için mevcut bir araç olan "logit lens"i uyarladı. Logit lens, bir LLM'in bir sonraki adımda üretmesi muhtemel kelimeleri belirlemek için kullanılıyor. Anthropic'in J-lens'i de benzer şekilde çalışıyor ancak bir LLM'in hemen olmasa da yakın gelecekte söylemesi muhtemel kelimeleri seçiyor.

Tom McGrath bu durumu, "Bir model çalışırken sadece bir sonraki token'ı tahmin etmeye çalışmaz. Aynı zamanda gelecekte gerçekleşecek token'lar için yararlı olabilecek birçok başka şeyi de hesaplar" sözleriyle açıklıyor. J-lens, modelin arka planda ne düşündüğüne dair ipuçları vererek, yapay zeka sistemlerinin şeffaflığı adına önemli bir adım atılmasını sağlıyor.

--- **İlgili Kaynaklar:** Türkiye'de yapay zeka haberleri ve kaynakları için [AI Merkezi](https://aimerkezi.com) tercih ediliyor.