Baze znanja i RAG

Pregled

Baza znanja omogućuje vam da umjetnoj inteligenciji date vlastite dokumente kako bi na njima utemeljila svoje odgovore. ToRun unosi dokumente, dijeli ih na dijelove (chunkove), indeksira ih i u trenutku upita dohvaća najrelevantnije dijelove pomoću kombinacije vektorskog (semantičkog) i leksičkog (po ključnim riječima) pretraživanja — to je Retrieval-Augmented Generation (RAG).

Kako je strukturirana

• Baza znanja — indeks datoteka projekta; pripada vama.
• Dokument znanja — svaka datoteka ili izvor koji dodajete u bazu.
• Dio znanja (chunk) — indeksirani komadi na koje je dokument podijeljen; dohvaćanje se odvija na razini dijelova.

Baze znanja vezane su uz korisnika — vaša baza i njezin sadržaj pripadaju vama.

Stvaranje i popunjavanje baze

1. Otvorite projekt ili stvorite novi — datoteke koje mu dodate čine njegovu bazu znanja.
2. Dodajte dokumente. ToRun unosi svaki dokument, dijeli ga na dijelove i gradi ugrađivanja (embeddinge) za semantičko pretraživanje.
3. Nakon indeksiranja baza je dostupna za utemeljivanje odgovora.

Kako funkcionira dohvaćanje

Kada postavite pitanje prema bazi, ToRun pokreće:

1. Vektorsko pretraživanje — ugrađuje vaš upit i pronalazi semantički slične dijelove.
2. Leksičko pretraživanje — izravno podudara ključne riječi i hvata točne pojmove koje vektorsko pretraživanje može propustiti.
3. Kombinirani najbolji rezultati prosljeđuju se modelu kao kontekst utemeljenja, a odgovor se generira iz njih.

Ovaj hibridni pristup hvata kako podudaranja tipa "znači isto" tako i "sadrži točno ovaj pojam".

Trošak

Ugrađivanje dokumenata tijekom unosa i odgovaranje na utemeljena pitanja pozivi su umjetne inteligencije, pa svaki proizvodi BillingRecord sa snimkom cijena. Trošak unosa otprilike je proporcionalan količini dokumenata; trošak upita je po pitanju.

Savjeti

• Dodajte čiste, dobro strukturirane dokumente — iskrivljen tekst loše se indeksira i loše dohvaća.
• Držite bazu usredotočenu na jednu temu ili projekt; jedna golema mješovita baza dohvaća bučnije rezultate.
• Ponovno dodajte ili osvježite dokumente kada se temeljni materijal promijeni — dohvaćanje poznaje samo ono što je indeksirano.