Večina izdelkov umetne inteligence trdi, da se vas »spominja«. Običajno mislijo, da trenutno okno pogovora še ni odplavalo iz dosega. Takoj ko zaprete zavihek, model nima pojma, kdo ste. Vsakič znova razlagate svoj sklad, svoje želje in svoje omejitve od nule.
Dolgoročni spomin ToRuna je povsem drug mehanizem. To besedilo opisuje, kaj shranjuje, kako se sestavlja v vsaki potezi in kaj lahko z njim počnete.
Kaj se shranjuje in zakaj
Spomin v ToRunu je zbirka trajnih dejstev, izvlečenih iz vaših pogovorov. Predstavljajte si jih kot strukturirane zapiske — ne izpis prepisa, temveč posamezna opažanja: raje imate jedrnate odgovore, vaš projekt uporablja MongoDB, delate v TypeScriptu, imate podlago v strojnem učenju, želite primere kode v določenem slogu.
Dejstva so neodvisna od jezika. Če tri seje pišete turško in deset angleško, spominski sistem ne razpade na jezikovne otoke. Normalizacija, ki se zaveda Unicoda (razstavljanje NFKD, odstranjevanje ločevalnih znamenj, poenotenje velikosti črk), poskrbi, da dejstvo, vneseno v enem jeziku, izplava, ko poizvedujete v drugem. Praktično je to pomembno: platforma v 29 jezikih si ne more privoščiti spomina, ki dobro deluje le za tiste, ki govorijo angleško.
Nova dejstva se lahko dodajo samodejno, ko model zazna trajno obvestilo, ali pa jih izrecno navedete (»zapomni si, da nameščam na Azure«). Nobena od teh poti pred vami ni skrita.
Kako spomin ob klicu postane kontekst
Vsaka poteza klepeta v ToRunu sestavi tri plasti konteksta, preden poziv doseže model:
- Sistemska plast — navodila na ravni izdelka, vloga in slog pomočnika, dejavna navodila baze znanja.
- Povzetkovna plast — stisnjen prikaz pogovora do te točke, voden samodejno, da dolge niti ne izčrpajo kontekstnega okna modela.
- Nedavna plast — zadnjih N potez dobesedno, z večjo težo tistega, kar ste pravkar rekli.
Dolgoročni spomin se umesti v sistemsko plast. Korak priklica teče nad vašimi shranjenimi dejstvi z uporabo signala pomembnosti iz trenutnega sporočila: če vprašate o indeksiranju baz podatkov, izplavajo dejstva o naklonjenosti MongoDB-ju; če preidete na oblikovanje, se umaknejo. Model vidi le tisto, kar je za trenutno potezo pomembno, ne ploskega izpisa vsakega dejstva, ki ste ga kdaj ustvarili. Tako se kontekstno okno uporablja učinkovito in se izogne »napihovanju spomina«, kjer nepomembne osebne podrobnosti redčijo signal.
Kontekstni proračuni so odvisni od ravni — brezplačna raven dobi 16 tisoč žetonov skupnega konteksta, z rastjo skozi naročniške pakete do milijona žetonov v Enterprisu. Če sestavljeni kontekst (spomin + povzetek + nedavne poteze) preseže okno modela, ToRun najprej obreže povzetkovno plast in nikoli tiho ne zavrže vaših najsvežejših sporočil ali najpomembnejših spominskih dejstev.
Dejstva so vaša, vi jih nadzirate
Spomin pripada tistemu, ki ga uporablja. Lahko izpišete vse, kar je ToRun o vas shranil, in izbrišete posamezne postavke ali vse. Ne obstaja »skrit« spomin, ki bi vplival na vaše pogovore brez vaše vednosti. Shrambo dejstev je mogoče pregledati in na zahtevo pozabiti.
Ta izbira izhaja iz širšega načela: ToRun naj vam kaže svoje resnično stanje, ne skriva ga. Pregleden spomin pomeni, da mu lahko zaupate. Če model ravna po napačnem dejstvu — recimo, da je nekoč zabeležil, da imate radi obsežne razlage, zdaj pa jih želite jedrnate — mu rečete, naj pozabi, in naslednji klic tega dejstva ne bo več videl.
Brisanje je trajno in takojšnje. Ni obdobja odloga, v katerem bi se staro dejstvo še naprej pojavljalo.
Baze znanja niso spomin
Spomin hrani dejstva o vas. Baze znanja utemeljujejo odgovore v vaših dokumentih.
Ko v bazo znanja naložite dokumentacijo, kodo ali strokovno vsebino, ToRun uporabi ustvarjanje, podprto s priklicem (RAG), da ob poizvedbi izvleče pomembne odlomke. Priklicano besedilo se vstavi ob kontekst pogovora, model pa navede, kaj je uporabil. To je pravo orodje, kadar vaše vprašanje zahteva branje izvornega gradiva — specifikacije API-ja, pravnega dokumenta, vašega notranjega priročnika — namesto priklica osebne želje.
Sistema se združujeta: ena poteza lahko črpa tako iz vaših osebnih spominskih dejstev kot iz priklica v bazi znanja. Napajata različni plasti sestavljanja konteksta in služita različnim namenom. Spomin odgovarja na »kdo ste in kako najraje delate«; baza znanja odgovarja na »kaj pravi ta dokument«.
Uporaba obojega skupaj je tisto, kar ToRun naredi uporaben za resnično delo, ne le za prikaze. Vaše želje ostanejo v spominu, da jih ne ponavljate; vaše izvorno gradivo ostane v bazi znanja, da odgovori stojijo na dokazih, ne na učnih podatkih modela.