Useimmat tekoälytuotteet väittävät »muistavansa sinut«. Yleensä ne tarkoittavat, ettei nykyinen keskusteluikkuna ole vielä liukunut ulottuvilta. Heti kun suljet välilehden, mallilla ei ole aavistustakaan siitä, kuka olet. Selität pinosi, mieltymyksesi ja rajoitteesi joka kerta alusta.
ToRunin pitkäkestoinen muisti on aivan toisenlainen koneisto. Tämä teksti kuvaa, mitä se säilyttää, miten se kootaan joka vuorolla ja mitä voit sillä tehdä.
Mitä säilytetään ja miksi
Muisti ToRunissa on joukko pysyviä tietoja, jotka on poimittu keskusteluistasi. Ajattele niitä jäsenneltyinä muistiinpanoina — ei litteroinnin kaatona vaan erillisinä havaintoina: pidät tiiviistä vastauksista, projektisi käyttää MongoDB:tä, työskentelet TypeScriptillä, sinulla on koneoppimisen tausta, haluat koodiesimerkkejä tietyllä tyylillä.
Tiedot ovat kielestä riippumattomia. Jos kirjoitat kolme istuntoa turkiksi ja kymmenen englanniksi, muistijärjestelmä ei hajoa kielisaarekkeiksi. Unicode-tietoinen normalisointi (NFKD-hajotus, tarkkeiden poisto, kirjainkoon yhtenäistäminen) huolehtii siitä, että yhdellä kielellä syötetty tieto nousee esiin, kun kysyt toisella. Käytännössä tämä merkitsee: 29 kielen alustalla ei ole varaa muistiin, joka toimii hyvin vain englantia puhuville.
Uusia tietoja voidaan lisätä automaattisesti, kun malli havaitsee pysyvän tiedon, tai voit ilmaista ne nimenomaisesti (»muista, että julkaisen Azureen«). Kumpaakaan näistä poluista ei piiloteta sinulta.
Miten muistista tulee asiayhteys kutsuhetkellä
Jokainen keskusteluvuoro ToRunissa kokoaa kolme asiayhteyskerrosta ennen kuin kehote saapuu mallille:
- Järjestelmäkerros — tuotetason ohjeet, avustajan rooli ja tyyli, aktiiviset tietopohjan ohjeet.
- Tiivistelmäkerros — tiivistetty esitys keskustelusta siihen pisteeseen asti, hallittuna automaattisesti, jotta pitkät ketjut eivät kuluta mallin asiayhteysikkunaa loppuun.
- Tuore kerros — viimeiset N vuoroa sanatarkasti, painottaen enemmän sitä, mitä juuri sanoit.
Pitkäkestoinen muisti asettuu järjestelmäkerrokseen. Hakuvaihe ajetaan tallennettujen tietojesi yli käyttäen osuvuussignaalia nykyisestä viestistä: jos kysyt tietokantojen indeksoinnista, MongoDB-mieltymyksiä koskevat tiedot nousevat esiin; jos siirryt suunnitteluun, ne vetäytyvät. Malli näkee vain sen, mikä on nykyisen vuoron kannalta osuvaa, ei litteää kaatoa jokaisesta koskaan tuottamastasi tiedosta. Näin asiayhteysikkunaa käytetään tehokkaasti ja vältetään »muistin turpoaminen«, jossa epäolennaiset henkilökohtaiset yksityiskohdat laimentavat signaalia.
Asiayhteysbudjetit riippuvat tasosta — ilmaistaso saa 16 tuhatta merkkiä asiayhteyttä yhteensä, nousten tilaustasojen läpi miljoonaan merkkiin Enterprisessa. Kun koottu asiayhteys (muisti + tiivistelmä + tuoreet vuorot) ylittää mallin ikkunan, ToRun karsii ensin tiivistelmäkerrosta eikä koskaan hylkää hiljaa tuoreimpia viestejäsi tai osuvimpia muistitietojasi.
Tiedot ovat sinun, sinä hallitset niitä
Muisti kuuluu sille, joka sitä käyttää. Voit luetella kaiken, mitä ToRun on sinusta tallentanut, ja poistaa yksittäisiä kohtia tai kaiken. Ei ole olemassa »salaista« muistia, joka vaikuttaisi keskusteluihisi tietämättäsi. Tietovarasto on tarkasteltavissa ja unohdettavissa pyynnöstä.
Tämä valinta seuraa laajemmasta periaatteesta: ToRunin tulee näyttää sinulle todellinen tilansa, ei kätkeä sitä. Läpinäkyvä muisti tarkoittaa, että voit luottaa siihen. Jos malli toimii väärän tiedon varassa — sanotaan että se kerran merkitsi, että pidät laajoista selityksistä, ja nyt haluat tiiviitä — sanot sen unohtaa, eikä seuraava kutsu enää näe tuota tietoa.
Poisto on pysyvä ja välitön. Ei ole armonaikaa, jonka aikana vanha tieto yhä nousisi esiin.
Tietopohjat eivät ole muisti
Muisti säilyttää tietoja sinusta. Tietopohjat perustavat vastaukset asiakirjoihisi.
Kun lataat dokumentaatiota, koodia tai alakohtaista sisältöä tietopohjaan, ToRun käyttää haulla täydennettyä tuottamista (RAG) nostaakseen osuvat kohdat esiin kyselyhetkellä. Haettu teksti sijoitetaan keskustelun asiayhteyden viereen, ja malli viittaa siihen, mitä se käytti. Tämä on oikea työkalu, kun kysymyksesi vaatii lähdeaineiston lukemista — API-määrittelyä, oikeudellista asiakirjaa, sisäistä käsikirjaasi — henkilökohtaisen mieltymyksen muistamisen sijaan.
Nämä kaksi järjestelmää yhdistyvät: yksi vuoro voi ammentaa sekä henkilökohtaisista muistitiedoistasi että tietopohjan hausta. Ne ruokkivat asiayhteyden kokoamisen eri kerroksia ja palvelevat eri tarkoituksia. Muisti vastaa kysymykseen »kuka olet ja miten mieluiten työskentelet«; tietopohja vastaa kysymykseen »mitä tämä asiakirja sanoo«.
Molempien käyttäminen yhdessä tekee ToRunista hyödyllisen todelliseen työhön, ei vain esittelyihin. Mieltymyksesi jäävät muistiin, jottet toistaisi niitä; lähdeaineistosi jää tietopohjaan, jotta vastaukset nojaisivat todisteisiin eivätkä mallin opetusaineistoon.