Базы знаний и RAG

Обзор

База знаний позволяет передать ИИ ваши собственные документы для обоснования его ответов. ToRun принимает документы, разбивает их на фрагменты (chunks), индексирует их и во время запроса извлекает наиболее релевантные фрагменты, используя гибрид векторного (семантического) и лексического (по ключевым словам) поиска — это Retrieval-Augmented Generation (RAG).

Как она устроена

• База знаний — индекс файлов проекта; она принадлежит вам.
• Документ знаний — каждый файл или источник, который вы добавляете в базу.
• Фрагмент знаний — индексируемые части, на которые разбивается документ; извлечение происходит на уровне фрагмента.

Базы знаний привязаны к пользователю — ваша база и её содержимое принадлежат вам.

Создание и наполнение базы

1. Откройте проект или создайте новый — добавленные в него файлы и составляют его базу знаний.
2. Добавьте документы. ToRun принимает каждый документ, разбивает его на фрагменты и строит эмбеддинги для семантического поиска.
3. После индексации база становится доступной для обоснования ответов.

Как работает извлечение

Когда вы задаёте вопрос к базе, ToRun выполняет:

1. Векторный поиск — создаёт эмбеддинг вашего запроса и находит семантически похожие фрагменты.
2. Лексический поиск — напрямую сопоставляет ключевые слова, улавливая точные термины, которые может пропустить векторный поиск.
3. Объединённые лучшие результаты передаются модели как контекст обоснования, и ответ генерируется на их основе.

Этот гибридный подход улавливает как совпадения вида «означает то же самое», так и «содержит именно этот термин».

Стоимость

Создание эмбеддингов документов во время приёма и ответы на обоснованные вопросы — это вызовы ИИ, поэтому каждый из них создаёт BillingRecord со снимком цен. Стоимость приёма примерно пропорциональна объёму документов; стоимость запроса — за вопрос.

Советы

• Добавляйте чистые, хорошо структурированные документы — искажённый текст плохо индексируется и плохо извлекается.
• Держите базу сфокусированной на одной теме или проекте; одна гигантская смешанная база извлекает более «зашумлённые» результаты.
• Повторно добавляйте или обновляйте документы при изменении исходного материала — извлечение знает только то, что проиндексировано.