A legtöbb MI-termék azt állítja, hogy „emlékszik Önre". Rendszerint azt értik ezen, hogy a jelenlegi beszélgetési ablak még nem gördült ki a hatókörből. Amint bezárja a lapot, a modellnek fogalma sincs, ki Ön. Minden alkalommal nulláról magyarázza el a technológiai készletét, a kívánságait és a megkötéseit.
A ToRun hosszú távú emlékezete egészen más gépezet. Ez a szöveg leírja, mit tárol, hogyan áll össze minden lépésben, és mit tehet vele.
Mit tárol és miért
Az emlékezet a ToRunban tartós tények halmaza, amelyeket a beszélgetéseiből vontak ki. Gondoljon rájuk szerkezetes jegyzetekként — nem az átirat kiöntése, hanem különálló megfigyelések: a tömör válaszokat kedveli, a projektje MongoDB-t használ, TypeScriptben dolgozik, gépi tanulási háttere van, adott stílusú kódpéldákat szeretne.
A tények nyelvfüggetlenek. Ha három munkameneten át törökül és tízen át angolul ír, az emlékezetrendszer nem esik szét nyelvi szigetekre. A Unicode-tudatos egységesítés (NFKD-felbontás, ékezetek eltávolítása, kisbetűsítés) gondoskodik arról, hogy az egyik nyelven bevitt tény felszínre kerüljön, amikor másikon kérdez. Ez a gyakorlatban számít: egy 29 nyelvű platform nem engedheti meg magának, hogy az emlékezete csak az angolul beszélőknek működjön jól.
Új tények hozzáadódhatnak automatikusan, amikor a modell tartós információt észlel, vagy kifejezetten megadhatja őket („jegyezd meg, hogy Azure-ra telepítek"). Egyik út sincs elrejtve Ön elől.
Hogyan válik az emlékezet környezetté a híváskor
Minden beszélgetési lépés a ToRunban három környezeti réteget állít össze, mielőtt a kérés modellhez érne:
- Rendszerréteg — terméki szintű utasítások, az asszisztens szerepe és stílusa, aktív tudásbázis-utasítások.
- Összefoglaló réteg — a beszélgetés eddigi tömörített ábrázolása, automatikusan kezelve, hogy a hosszú szálak ne merítsék ki a modell környezeti ablakát.
- Friss réteg — az utolsó N lépés szó szerint, nagyobb súllyal azon, amit épp mondott.
A hosszú távú emlékezet a rendszerrétegbe illeszkedik. A visszakeresési lépés a tárolt tényein fut, a jelenlegi üzenetből vett fontossági jelzés alapján: ha adatbázis-indexelésről kérdez, felszínre kerülnek a MongoDB-kívánságokról szóló tények; ha tervezésre vált, visszahúzódnak. A modell csak azt látja, ami a jelenlegi lépéshez fontos, nem minden valaha keletkezett tény lapos kiöntését. Így a környezeti ablak hatékonyan használódik, és elkerülhető az „emlékezetfelfúvódás", ahol lényegtelen személyes részletek hígítják a jelet.
A környezeti keret a szinttől függ — az ingyenes szint 16 ezer token összes környezetet kap, az előfizetési csomagokon át emelkedve az Enterprise 1 millió tokenjéig. Ha az összeállított környezet (emlékezet + összefoglaló + friss lépések) meghaladja a modell ablakát, a ToRun először az összefoglaló réteget nyesi, és soha nem dobja el csendben a legfrissebb üzeneteit vagy a legfontosabb emlékezeti tényeit.
A tények az Önéi, Ön felügyeli őket
Az emlékezet azé, aki használja. Kilistázhatja mindazt, amit a ToRun Önről tárolt, és törölhet egyes tételeket vagy mindent. Nincs „titkos" emlékezet, amely a tudta nélkül befolyásolná a beszélgetéseit. A ténytár átnézhető és kérésre elfelejthető.
Ez a választás tágabb elvből következik: a ToRunnak a valódi állapotát kell mutatnia Önnek, nem elrejtenie. Az átlátható emlékezet azt jelenti, hogy megbízhat benne. Ha a modell hibás tény alapján jár el — mondjuk egykor rögzítette, hogy a terjedelmes magyarázatokat kedveli, most viszont tömöreket akar —, szól neki, hogy felejtse el, és a következő hívás ezt a tényt már nem látja.
A törlés végleges és azonnali. Nincs türelmi időszak, amelyben a régi tény továbbra is felbukkanna.
A tudásbázisok nem az emlékezet
Az emlékezet tényeket tárol Önről. A tudásbázisok a válaszokat az Ön dokumentumaiban alapozzák meg.
Amikor dokumentációt, kódot vagy szakterületi tartalmat tölt egy tudásbázisba, a ToRun visszakereséssel bővített generálást (RAG) használ, hogy a kérdés pillanatában előhozza a fontos részleteket. A visszakeresett szöveg a beszélgetési környezet mellé illeszkedik, és a modell megnevezi, mit használt. Ez a helyes eszköz, ha a kérdése forrásanyag elolvasását kívánja — API-leírás, jogi dokumentum, belső kézikönyv —, nem pedig személyes kívánság felidézését.
A két rendszer összeáll: egyetlen lépés meríthet a személyes emlékezeti tényeiből is és tudásbázisbeli visszakeresésből is. A környezetösszeállítás különböző rétegeit táplálják, és különböző célt szolgálnak. Az emlékezet arra válaszol: „ki Ön, és hogyan dolgozik legszívesebben"; a tudásbázis arra: „mit mond ez a dokumentum".
A kettő együttes használata teszi a ToRunt valódi munkára használhatóvá, nem csak bemutatókra. A kívánságai az emlékezetben maradnak, hogy ne kelljen ismételnie őket; a forrásanyaga a tudásbázisban marad, hogy a válaszok bizonyítékon álljanak, ne a modell tanítóadatain.