Većina proizvoda umjetne inteligencije tvrdi da vas „pamti". Obično misle da trenutačni prozor razgovora još nije otklizao izvan dosega. Čim zatvorite karticu, model nema pojma tko ste. Svaki put iznova objašnjavate svoj stog, svoje sklonosti i svoja ograničenja od nule.
Dugotrajno pamćenje ToRuna posve je drugi mehanizam. Ovaj tekst opisuje što ono pohranjuje, kako se slaže u svakom potezu i što s njim možete raditi.
Što se pohranjuje i zašto
Pamćenje u ToRunu skup je trajnih činjenica izvučenih iz vaših razgovora. Zamislite ih kao strukturirane bilješke — ne ispis prijepisa, nego zasebna zapažanja: više volite sažete odgovore, vaš projekt koristi MongoDB, radite u TypeScriptu, imate podlogu u strojnom učenju, želite primjere koda u određenom stilu.
Činjenice su neovisne o jeziku. Pišete li tri sesije na turskom i deset na engleskom, sustav pamćenja ne raspada se u jezične otoke. Normalizacija svjesna Unicodea (rastav NFKD, uklanjanje dijakritika, izjednačavanje veličine slova) osigurava da činjenica unesena na jednom jeziku ispliva kad upitate na drugom. Praktički je to važno: platforma na 29 jezika ne može si priuštiti pamćenje koje dobro radi samo za one koji govore engleski.
Nove činjenice mogu se dodati automatski, kad model prepozna trajnu obavijest, ili ih možete izričito navesti („zapamti da postavljam na Azure"). Nijedan od tih puteva nije skriven od vas.
Kako pamćenje postaje kontekst pri pozivu
Svaki potez razgovora u ToRunu slaže tri sloja konteksta prije nego upit stigne do modela:
- Sustavni sloj — upute na razini proizvoda, uloga i stil pomoćnika, aktivne upute baze znanja.
- Sloj sažetka — sabijen prikaz razgovora do te točke, vođen automatski da dugačke niti ne iscrpe kontekstni prozor modela.
- Nedavni sloj — posljednjih N poteza doslovno, uz veću težinu onoga što ste upravo rekli.
Dugotrajno pamćenje uklapa se u sustavni sloj. Korak dohvata izvodi se nad vašim pohranjenim činjenicama koristeći signal važnosti iz trenutačne poruke: pitate li o indeksiranju baza podataka, isplivaju činjenice o sklonostima prema MongoDB-u; prijeđete li na oblikovanje, povlače se. Model vidi samo ono što je važno za trenutačni potez, a ne plosnat ispis svake činjenice koju ste ikad stvorili. Tako se kontekstni prozor koristi učinkovito i izbjegava se „napuhavanje pamćenja", gdje nevažne osobne pojedinosti razrjeđuju signal.
Proračuni konteksta ovise o razini — besplatna razina dobiva 16 tisuća tokena ukupnog konteksta, uz rast kroz planove pretplate do milijun tokena u Enterpriseu. Premaši li složeni kontekst (pamćenje + sažetak + nedavni potezi) prozor modela, ToRun najprije obrezuje sloj sažetka i nikad tiho ne odbacuje vaše najsvježije poruke ni najvažnije činjenice pamćenja.
Činjenice su vaše, vi ih nadzirete
Pamćenje pripada onome tko ga koristi. Možete popisati sve što je ToRun o vama pohranio i obrisati pojedine stavke ili sve. Ne postoji „tajno" pamćenje koje utječe na vaše razgovore bez vašeg znanja. Spremište činjenica može se pregledati i zaboraviti na zahtjev.
Taj izbor slijedi iz šireg načela: ToRun vam treba pokazivati svoje stvarno stanje, a ne ga skrivati. Prozirno pamćenje znači da mu možete vjerovati. Postupa li model po pogrešnoj činjenici — recimo da je nekoć zabilježio da volite opširna objašnjenja, a sad ih želite sažeta — kažete mu da zaboravi i sljedeći poziv tu činjenicu više neće vidjeti.
Brisanje je trajno i trenutačno. Nema razdoblja počeka u kojem bi se stara činjenica i dalje pojavljivala.
Baze znanja nisu pamćenje
Pamćenje pohranjuje činjenice o vama. Baze znanja utemeljuju odgovore u vašim dokumentima.
Kad u bazu znanja učitate dokumentaciju, kod ili strukovni sadržaj, ToRun koristi stvaranje potpomognuto dohvatom (RAG) da u trenutku upita izvuče važne odlomke. Dohvaćeni tekst umeće se uz kontekst razgovora, a model navodi što je upotrijebio. To je pravi alat kad vaše pitanje traži čitanje izvornog gradiva — specifikacije API-ja, pravnog dokumenta, vašeg internog priručnika — umjesto prisjećanja osobne sklonosti.
Oba se sustava spajaju: jedan potez može crpiti i iz vaših osobnih činjenica pamćenja i iz dohvata u bazi znanja. Napajaju različite slojeve slaganja konteksta i služe različitim svrhama. Pamćenje odgovara na „tko ste i kako najradije radite"; baza znanja odgovara na „što kaže ovaj dokument".
Korištenje obojega zajedno ono je što ToRun čini korisnim za stvaran rad, a ne samo za prikaze. Vaše sklonosti ostaju u pamćenju da ih ne ponavljate; vaše izvorno gradivo ostaje u bazi znanja da odgovori počivaju na dokazima, a ne na podacima za obuku modela.