知識庫與 RAG

概述

知識庫讓你能夠將自己的文件提供給 AI，作為其回答的依據。ToRun 會擷取文件，將其拆分為區塊（chunk），建立索引，並在查詢時使用向量（語義）檢索與詞彙（關鍵字）檢索的混合方式檢索最相關的區塊——這就是 Retrieval-Augmented Generation（RAG）。

結構組成

• 知識庫 — 一個專案的檔案索引，歸你所有。
• 知識文件 — 你新增到知識庫中的每個檔案或來源。
• 知識區塊（chunk） — 文件被拆分成的已索引片段；檢索在區塊層級進行。

知識庫的範圍為使用者——你的知識庫及其內容歸你所有。

建立並填充知識庫

1. 開啟一個專案，或新建一個——你加入其中的檔案就構成它的知識庫。
2. 新增文件。ToRun 會擷取每個文件，將其拆分為區塊，並為語義檢索建立嵌入（embedding）。
3. 一旦完成索引，知識庫即可用於為回答提供依據。

檢索的運作方式

當你針對某個知識庫提問時，ToRun 會執行：

1. 向量檢索 — 將你的查詢嵌入，並找出語義相似的區塊。
2. 詞彙檢索 — 直接比對關鍵字，捕捉向量檢索可能遺漏的精確術語。
3. 合併後的最佳結果作為依據情境傳遞給模型，並據此產生回答。

這種混合方式既能捕捉「含義相同」的比對，也能捕捉「包含此精確術語」的比對。

成本

在擷取期間嵌入文件以及回答有依據的問題都是 AI 呼叫，因此每次都會產生一筆帶有定價快照的 BillingRecord。擷取成本大致與文件量成正比；查詢成本按每個問題計算。

提示

• 新增乾淨、結構良好的文件——雜亂的文字索引效果差、檢索效果也差。
• 讓一個知識庫專注於一個主題或專案；單一龐大的混合知識庫檢索出的結果雜訊更多。
• 當底層材料發生變化時，重新新增或重新整理文件——檢索只知道已索引的內容。