Tietokannat ja RAG

Yleiskatsaus

Tietämyskanta antaa sinun tarjota tekoälylle omat asiakirjasi sen vastausten perustaksi. ToRun ottaa asiakirjat sisään, jakaa ne osiin (chunks), indeksoi ne ja noutaa kyselyhetkellä osuvimmat osat käyttäen vektoripohjaisen (semanttisen) ja leksikaalisen (avainsana-) haun yhdistelmää — tämä on Retrieval-Augmented Generation (RAG).

Miten se on rakennettu

• Tietämyskanta — projektin tiedostojen hakemisto; se on sinun.
• Tietoasiakirja — jokainen tiedosto tai lähde, jonka lisäät kantaan.
• Tieto-osa (chunk) — indeksoidut palat, joihin asiakirja jaetaan; nouto tapahtuu osatasolla.

Tietämyskannat ovat käyttäjäkohtaisia — kantasi ja sen sisältö kuuluvat sinulle.

Kannan luominen ja täyttäminen

1. Avaa projekti tai luo uusi — siihen lisäämäsi tiedostot muodostavat sen tietämyskannan.
2. Lisää asiakirjoja. ToRun ottaa jokaisen asiakirjan sisään, jakaa sen osiin ja rakentaa upotukset (embeddings) semanttista hakua varten.
3. Indeksoinnin jälkeen kanta on käytettävissä vastausten perustaksi.

Miten nouto toimii

Kun esität kysymyksen kannalle, ToRun suorittaa:

1. Vektorihaku — upottaa kyselysi ja löytää semanttisesti samankaltaiset osat.
2. Leksikaalinen haku — täsmää avainsanoihin suoraan ja tavoittaa tarkat termit, jotka vektorihaku voi ohittaa.
3. Yhdistetyt parhaat tulokset välitetään mallille perustakontekstina, ja vastaus muodostetaan niistä.

Tämä hybridilähestymistapa tavoittaa sekä "tarkoittaa samaa" -osumat että "sisältää juuri tämän termin" -osumat.

Kustannus

Asiakirjojen upottaminen sisäänoton aikana ja perustettujen kysymysten vastaaminen ovat tekoälykutsuja, joten kukin tuottaa BillingRecord-merkinnän hinnoittelutilannekuvalla. Sisäänoton kustannus on suunnilleen suhteessa asiakirjojen määrään; kyselyn kustannus on kysymyskohtainen.

Vinkkejä

• Lisää siistejä, hyvin jäsenneltyjä asiakirjoja — sotkuinen teksti indeksoituu huonosti ja noutuu huonosti.
• Pidä kanta keskittyneenä yhteen aiheeseen tai projektiin; yksi jättimäinen sekoitettu kanta noutaa kohinaisempia tuloksia.
• Lisää tai päivitä asiakirjat uudelleen, kun taustamateriaali muuttuu — nouto tuntee vain sen, mikä on indeksoitu.