Çoğu yapay zekâ ürünü "sizi hatırladığını" iddia eder. Genellikle kastettikleri şey, mevcut konuşma penceresinin henüz kaymamış olmasıdır. Sekmeyi kapattığınızda modelin kim olduğunuza dair hiçbir fikri kalmaz. Yığınınızı, tercihlerinizi ve kısıtlarınızı her seferinde sıfırdan anlatırsınız.
ToRun'un uzun süreli hafızası bütünüyle farklı bir düzenek. Bu yazı neyi sakladığını, her tura nasıl yerleştiğini ve onunla ne yapabileceğinizi anlatıyor.
Ne saklanıyor ve neden
ToRun'da hafıza, konuşmalarınızdan çıkarılmış kalıcı bilgiler kümesidir. Bunları yapılandırılmış notlar gibi düşünün — ham bir döküm yığını değil, ayrık gözlemler: kısa cevapları tercih ediyorsunuz, projeniz MongoDB kullanıyor, TypeScript ile çalışıyorsunuz, makine öğrenmesi geçmişiniz var, kod örneklerini belirli bir üslupta istiyorsunuz.
Bilgiler dilden bağımsızdır. Üç oturum Türkçe, on oturum İngilizce yazarsanız hafıza sistemi dil başına silolara bölünmez. Unicode farkındalıklı normalleştirme (NFKD ayrıştırma, aksan ayıklama, büyük-küçük harf katlama) bir dilde girilen bir bilginin başka bir dilde sorduğunuzda yüzeye çıkmasını sağlar. Bunun pratikte önemi var: 29 dilli bir platform, yalnızca İngilizce konuşanlar için güvenilir çalışan bir hafızayı kaldıramaz.
Model kalıcı bir bilgi fark ettikçe yeni bilgiler kendiliğinden eklenebilir ya da siz açıkça beyan edebilirsiniz ("Azure'a dağıttığımı hatırla"). İki yol da sizden gizli değildir.
Hafıza çağrı anında nasıl bağlama dönüşüyor
ToRun'daki her sohbet turu, istem bir modele ulaşmadan önce üç katmanlı bir bağlam kurar:
- Sistem katmanı — ürün düzeyindeki talimatlar, asistan rolü ve üslup yapılandırması, etkin bilgi tabanı talimatları.
- Özet katmanı — o ana kadarki konuşmanın sıkıştırılmış bir temsili; uzun başlıkların modelin bağlam penceresini tüketmemesi için otomatik yönetilir.
- Yakın katman — en son N tur olduğu gibi, ağırlık son söylediğinizde.
Uzun süreli hafıza sistem katmanına oturur. Erişim adımı, saklı bilgilerinize karşı mevcut mesajdan gelen bir uygunluk sinyaliyle çalışır: veritabanı indekslemesini sorarsanız MongoDB tercihlerine dair bilgiler yüzeye çıkar; tasarıma geçerseniz onlar geri çekilir. Model, ürettiğiniz her bilginin düz bir dökümünü değil, yalnızca o tura uygun olanı görür. Bu, bağlam penceresini verimli kullanır ve ilgisiz kişisel ayrıntıların sinyali sulandırdığı "hafıza şişmesini" önler.
Bağlam bütçeleri katmana bağlıdır — Ücretsiz katman toplam 16 bin jetonluk bağlam alır ve abonelik planları boyunca Kurumsal'da 1 milyon jetona kadar çıkar. Kurulan bağlam (hafıza + özet + yakın turlar) modelin penceresini aşacaksa, ToRun önce özet katmanını kısar; en son mesajlarınızı ya da en uygun hafıza bilgilerinizi hiçbir zaman sessizce düşürmez.
Veri sizin, bilgiler sizin denetiminizde
Hafıza kullanıcıya aittir. ToRun'un sizinle ilgili sakladığı her şeyi listeleyebilir, tek tek ya da hepsini silebilirsiniz. Konuşmalarınızı haberiniz olmadan etkileyen "gizli" bir hafıza yoktur. Bilgi deposu incelenebilir ve istendiğinde unutulabilir.
Bu tasarım daha geniş bir ilkeden çıkar: ToRun size gerçek durumunu göstermeli, saklamamalıdır. Şeffaf hafıza, ona güvenebilmeniz demektir. Model yanlış bir bilgiyi kullanıyorsa — diyelim bir zamanlar ayrıntılı açıklamaları tercih ettiğinizi hatırladı ama artık kısa istiyorsunuz — unutmasını söylersiniz ve sonraki çağrı o bilgiyi görmez.
Silme kalıcı ve anlıktır. Eski bilginin hâlâ yüzeye çıktığı bir tolerans süresi yoktur.
Bilgi tabanları hafızayla aynı şey değildir
Hafıza sizinle ilgili bilgileri saklar. Bilgi tabanları cevapları belgelerinize dayandırır.
Bir bilgi tabanına belge, kod ya da alan içeriği yüklediğinizde ToRun, sorgu anında ilgili parçaları çekmek için erişimle güçlendirilmiş üretim (RAG) kullanır. Alınan metin konuşma bağlamının yanına eklenir ve model neyi kullandığını gösterir. Sorunuz kaynak metni okumayı gerektiriyorsa — bir API belirtimi, bir hukuki belge, kendi iç el kitabınız — kişisel bir tercihi hatırlamak yerine doğru araç budur.
İki sistem birleşir: tek bir tur hem kişisel hafıza bilgilerinizden hem de bir bilgi tabanı erişiminden beslenebilir. Bağlam kurulumunun farklı katmanlarını beslerler ve farklı amaçlara hizmet ederler. Hafıza "kimsiniz ve nasıl çalışmayı tercih edersiniz" sorusunu, bilgi tabanı "bu belge ne diyor" sorusunu yanıtlar.
İkisini birlikte kullanmak, ToRun'u demo senaryoları yerine gerçek iş akışları için yararlı kılan şeydir. Tercihleriniz hafızada kalır, böylece onları tekrar anlatmazsınız; kaynak malzemeniz bilgi tabanında kalır, böylece cevaplar modelin eğitim verisine değil kanıta dayalı olur.