Tudásbázisok és RAG

Áttekintés

Egy tudásbázis lehetővé teszi, hogy a saját dokumentumaiddal lásd el az MI-t, hogy azokra alapozza válaszait. A ToRun beolvassa a dokumentumokat, darabokra (chunkokra) bontja, indexeli őket, és a lekérdezés idején a legrelevánsabb darabokat vektoros (szemantikus) és lexikális (kulcsszavas) keresés hibrid kombinációjával kéri le — ez a Retrieval-Augmented Generation (RAG).

Hogyan épül fel

• Tudásbázis — egy projekt fájljainak indexe; a tiéd.
• Tudásdokumentum — minden fájl vagy forrás, amelyet egy bázishoz adsz.
• Tudásdarab (chunk) — az indexelt darabok, amelyekre egy dokumentum fel van bontva; a lekérés a darabok szintjén történik.

A tudásbázisok felhasználói hatókörűek — a bázisod és annak tartalma a tiéd.

Bázis létrehozása és feltöltése

1. Nyiss meg egy projektet, vagy hozz létre egyet — a hozzáadott fájlok alkotják a tudásbázisát.
2. Adj hozzá dokumentumokat. A ToRun beolvas minden dokumentumot, darabokra bontja, és beágyazásokat (embeddingeket) épít a szemantikus kereséshez.
3. Az indexelés után a bázis elérhető a válaszok megalapozásához.

Hogyan működik a lekérés

Amikor kérdést teszel fel egy bázisnak, a ToRun a következőt futtatja:

1. Vektoros keresés — beágyazza a lekérdezésedet, és szemantikailag hasonló darabokat talál.
2. Lexikális keresés — közvetlenül illeszti a kulcsszavakat, megfogva a pontos kifejezéseket, amelyeket a vektoros keresés elmulaszthat.
3. A kombinált legjobb találatok megalapozó kontextusként kerülnek a modellhez, és a válasz ezekből generálódik.

Ez a hibrid megközelítés mind az „ugyanazt jelenti", mind a „pontosan ezt a kifejezést tartalmazza" típusú találatokat megfogja.

Költség

A dokumentumok beágyazása a beolvasás során és a megalapozott kérdések megválaszolása MI-hívások, így mindegyik egy BillingRecord rekordot hoz létre árazási pillanatfelvétellel. A beolvasás költsége nagyjából arányos a dokumentumok mennyiségével; a lekérdezés költsége kérdésenkénti.

Tippek

• Adj hozzá tiszta, jól strukturált dokumentumokat — a torz szöveg rosszul indexelődik és rosszul kérhető le.
• Tartsd egy bázist egyetlen témára vagy projektre összpontosítva; egyetlen óriási vegyes bázis zajosabb eredményeket ad vissza.
• Add hozzá újra vagy frissítsd a dokumentumokat, ha az alapanyag megváltozik — a lekérés csak azt ismeri, ami indexelve van.