← Все статьи
Блог

Документ есть в базе, но RAG его не находит: как проверить поиск отдельно от ответа

Загруженный документ ещё не означает найденный ответ. Разбираем, как проверить индекс, чанкинг и результаты поиска до генерации — и понять, на каком этапе теряется нужное правило.

Леон Сокиркин10 мин чтения
Хам ищет светящийся фрагмент правила среди разрозненных страниц, соединяя библиотеку документов с рабочим столом помощника.
Документ в библиотеке и достаточное основание в контексте помощника — не одно и то же.
Содержание
  1. 1. Разделите поиск и ответ: где исчезло основание
  2. 2. Начните с документа в индексе, а не с настроек модели
  3. 3. Проверьте чанкинг: сохранилось ли правило целиком
  4. Смотрите на фрагмент глазами сотрудника
  5. 4. Подготовьте контрольные запросы, а не один удачный вопрос
  6. 5. Оцените найденные результаты до генерации
  7. Что измерять и как понимать top-k
  8. 6. Исправляйте по одному участку и проверяйте повторно
  9. 7. Сделайте проверку частью управления базой знаний

Сотрудник спрашивает ИИ-помощника об условиях возврата, а тот отвечает: «В базе знаний такой информации нет». Руководитель открывает регламент: нужный пункт на месте. Возникает соблазн заменить модель или усилить инструкцию: «Внимательно изучай документы». Но сначала стоит выяснить, что именно помощник получил из поиска. Нужный текст мог не попасть в индекс, потерять смысл при разбиении или оказаться за пределами переданного контекста. А мог дойти до модели целиком — и быть неверно использован. Это разные неисправности, и исправлять их одним промптом не стоит.

1. Разделите поиск и ответ: где исчезло основание

Технология RAG соединяет извлечение информации с генерацией ответа. Для диагностики полезно мысленно остановить процесс перед генерацией и посмотреть не на красивую реплику помощника, а на переданный ему материал. Есть ли там основание, необходимое для ответа на конкретный вопрос?

В классическом RAG-паттерне, описанном для Azure AI Search, приложение отправляет поисковый запрос, получает результаты и отдельно передаёт их языковой модели. В агентном поиске вопрос может сначала раскладываться на подзапросы. Поэтому универсальная проверка — не «посмотреть единственный запрос», а восстановить фактически выполненный поиск и итоговый набор оснований. Конкретные доступные журналы зависят от реализации.

Предлагаемая граница диагностики проста:

  • нужного фрагмента нет среди поисковых кандидатов — проверяем подготовку данных, запрос, ограничения и извлечение;
  • фрагмент найден, но не дошёл до модели — проверяем отбор, переранжирование и сборку контекста;
  • достаточный фрагмент передан модели, но ответ ему противоречит — разбираем использование контекста и генерацию.

Последний вывод требует осторожности. Совпадение названия документа недостаточно: в контексте должно быть само правило вместе с существенными условиями. Если найдено только общее положение без исключения, нельзя уверенно утверждать, что поиск выполнил задачу.

Для рабочего разбора заведите карточку случая: вопрос, ожидаемое основание, пользовательская роль, версия базы и фактический контекст. Такая карточка полезнее скриншота с жалобой «бот опять ошибся»: она позволяет повторить ситуацию, а затем проверить, помогло ли изменение.

Проверка основания в поисковых кандидатах, в контексте модели и в готовом ответе помогает разделить причины ошибки.
Проверяйте не только наличие документа, но и сохранность достаточного основания на каждом переходе.

2. Начните с документа в индексе, а не с настроек модели

Дальше используем условный пример интернет-магазина. В его учебной базе есть регламент возвратов. Один раздел посвящён стандартным товарам, другой — изделиям с индивидуальными параметрами. Сотрудник спрашивает: «Можно ли вернуть вещь, которую изготовили по моим размерам?» Помощник не находит специальное условие. Это вымышленная ситуация, а не история клиента.

Первый вопрос: что означает статус «документ загружен» именно в вашей системе? Для проверки не считайте его доказательством успешного извлечения текста и появления поисковых записей. Найдите документ по внутреннему идентификатору и проследите путь до индекса.

Попросите ответственного за интеграцию показать:

  • какой файл и какая редакция поступили в обработку;
  • какой текст получился после извлечения;
  • какие фрагменты созданы и с каким документом связаны;
  • в какой поисковый индекс они записаны;
  • какие метаданные и ограничения доступа получили.

Это не требование к конкретному интерфейсу: подтверждения можно собрать из доступных журналов, служебных выгрузок и записей индекса. Важно получить проверяемый результат каждого этапа, а не только сообщение об успешном запуске задания.

В условном регламенте проверьте сам абзац об индивидуальных параметрах. Если он отсутствует уже в извлечённом тексте, настройка ранжирования не вернёт потерянное содержание. Если текст сохранён, но поисковой записи нет, разбор нужно продолжить на участке создания и загрузки фрагментов.

Отдельно сопоставьте среду проверки со средой помощника. Запишите используемый индекс, подключение и редакцию документа. Иначе легко сравнить ручной поиск по обновлённой базе с ответом приложения, которое обращается к другой версии.

Не обходите права доступа ради удачного результата. Если правило недоступно данной роли по утверждённой политике, отсутствие выдачи может быть корректным. Проверять нужно соответствие политике, а не доступность всех документов каждому сотруднику.

3. Проверьте чанкинг: сохранилось ли правило целиком

Чанкинг — разбиение документа на фрагменты, которые можно искать независимо. Для диагностики важно не только наличие нужных слов. Посмотрите, сохранилась ли смысловая связка: к чему относится правило, при каких условиях действует и какие у него исключения.

В нашем условном регламенте заголовок «Изделия с индивидуальными параметрами» может оказаться в одном фрагменте, а ограничение возврата — в другом. Найденный абзац без заголовка будет трудно правильно истолковать. Обратная ситуация тоже требует проверки: фрагмент содержит заголовок, но обрывается перед существенным условием.

Смотрите на фрагмент глазами сотрудника

Откройте поисковую запись без исходного файла и попробуйте ответить на вопрос только по ней. Понятно ли, о каком товаре идёт речь? Сохранены ли отрицание, оговорка и отсылка к соседнему пункту? Можно ли отличить обязательное правило от примера? Если нет, отметьте, какая часть контекста необходима дополнительно.

Для таблицы проверьте связь значения с названием столбца и строки. Для списка — общий вводный абзац. Для приложения — принадлежность к основному документу. Не считайте любое присутствие ключевых слов достаточным основанием для ответа.

Не начинайте с универсального размера чанка: сначала сформулируйте наблюдаемую проблему. Например, «условие отделено от категории товара». Затем сравните варианты подготовки: разбиение по структуре, сохранение заголовка, добавление необходимого соседнего текста. Это варианты для эксперимента, а не обещание одинакового результата на любой базе.

Заранее определите, что будет считаться улучшением. В условном примере полезный результат — найденный материал позволяет установить категорию изделия и применимое условие возврата. Более длинный фрагмент сам по себе не является успехом. После изменения заново проверьте и этот запрос, и вопросы к соседним разделам.

4. Подготовьте контрольные запросы, а не один удачный вопрос

Если команда проверяет только фразу из заголовка, она проверяет узнавание заголовка, а не весь пользовательский сценарий. Соберите небольшой набор контрольных запросов с разными формулировками одной задачи. Источником могут стать обезличенные рабочие вопросы; придуманные варианты явно помечайте как учебные.

Для условной базы возвратов набор может выглядеть так:

  • точная терминология: «Условия возврата изделий с индивидуальными параметрами»;
  • бытовая формулировка: «Можно вернуть вещь, сделанную по моим размерам?»;
  • уточнение категории: «Это правило относится к стандартному товару или к индивидуальному заказу?»;
  • вопрос с несколькими условиями: «Заказ изготовлен по моим размерам, но ещё не получен. Какой раздел регламента проверить?»;
  • запрос без основания в базе: «Как оформить возврат по программе, которой нет в документах?»

Для каждого вопроса заранее отметьте ожидаемые основания. Иногда нужен один фрагмент, иногда — правило и исключение, иногда корректный результат проверки заключается в отсутствии подтверждения. Последний случай помогает не принять любой тематически похожий текст за ответ.

Полезно хранить отдельно вопрос пользователя и фактический запрос поиска. Если приложение переформулирует вопрос, фиксируйте обе версии. Если агент выполняет несколько поисков, сохраняйте их связь с исходной задачей. Так можно проверить, не потерялось ли слово «индивидуальный» ещё до обращения к индексу.

Сравнивайте результаты при одинаковой роли и одинаковой версии базы. Не смешивайте изменение формулировки с изменением доступа или обновлением документов. Иначе будет трудно понять причину различий.

Наконец, оставьте часть контрольных вопросов вне текущей настройки. После исправления прогоните их отдельно: команда должна проверить не только фразу, под которую только что подбирала параметры, но и соседние пользовательские намерения.

5. Оцените найденные результаты до генерации

Откройте выдачу и сопоставьте её с ожидаемыми основаниями. Название файла в результатах не доказывает, что найден релевантный фрагмент. Для нашего примера раздел о стандартном возврате тематически близок, но не заменяет условие об индивидуальном изготовлении.

В диагностической выгрузке полезно сохранять идентификаторы документа и фрагмента, текст, позицию, метаданные и доступную оценку поискового этапа. Рассматривайте оценку как сигнал конкретной реализации, а не как универсальную вероятность правильности ответа.

Что наблюдаемЧто нужно различитьСледующая проверка
Документ отсутствует даже при поиске по характерной фразеПотерю текста, запись не в тот индекс, влияние ограниченийСопоставить исходный текст, поисковые записи, среду и фильтры
По точной фразе нужный фрагмент есть, по обычному вопросу — нетПроблему соответствия пользовательской формулировки документуСравнить фактические запросы и доступные способы поиска
Нужный фрагмент есть среди кандидатов, но исключён позжеСбой извлечения и последствия последующего отбораСравнить наборы до и после переранжирования и фильтрации
Найдено правило без существенного исключенияТематическую близость и достаточность основанияПроверить границы фрагментов и получение связанного текста
Основание вошло в контекст, но ответ неверенОшибку поиска и ошибку использования найденногоПроверить переданный контекст, инструкции и генерацию
Результат различается между ролямиОжидаемое ограничение доступа и ошибку политикиСопоставить выдачу с утверждёнными правами

Что измерять и как понимать top-k

Для внутреннего теста определите полноту поиска как долю заранее отмеченных релевантных единиц, которые удалось найти. Договоритесь, что является единицей: документ, самостоятельное правило или конкретный фрагмент. Не смешивайте эти варианты в одном отчёте. После изменения чанкинга идентификаторы фрагментов могут измениться, поэтому основания удобно связывать ещё и с содержанием правила.

Отдельно отмечайте достаточность набора: можно ли ответить на вопрос с учётом всех существенных условий. Это не то же самое, что найти хотя бы один подходящий абзац.

Обозначение top-k требует уточнения. В разных реализациях лимит может относиться к кандидатам векторного поиска, итоговой выдаче или другому этапу. Запишите, какой именно набор ограничивает ваш параметр. Увеличение числа кандидатов и расширение контекста модели — разные изменения; оценивать их нужно раздельно.

6. Исправляйте по одному участку и проверяйте повторно

Когда место потери найдено, выбирайте изменение под наблюдение. Если терминология запроса не совпадает с документом, можно сравнить доступные варианты лексического, векторного или гибридного поиска. Гибридный поиск объединяет поиск по словам и по векторам; это повод для проверяемого эксперимента, а не основание обещать успех на любом запросе.

Если нужный фрагмент извлечён, но отсекается позже, начните с последующего отбора. Если теряется исключение, вернитесь к структуре фрагментов и сборке связанных оснований. Замена генеративной модели не проверяет эти гипотезы напрямую.

Практический алгоритм разбора:

  1. Зафиксируйте случай. Сохраните вопрос, роль, версию базы, ожидаемое правило и полученный ответ.
  2. Подтвердите наличие основания. Найдите нужный текст после извлечения и в поисковых записях.
  3. Повторите фактический поиск. Используйте те же запросы, ограничения и доступную конфигурацию, что и приложение.
  4. Сравните этапы. Установите, где основание исчезло: среди кандидатов, после отбора или при сборке контекста.
  5. Измените одну проверяемую причину. Запишите гипотезу и ожидаемый результат до запуска теста.
  6. Повторите контрольный набор. Проверьте исправленный случай, соседние вопросы и соблюдение прав доступа.
Последовательность диагностики: зафиксировать случай, найти основание, сравнить этапы, изменить причину и повторить тесты.
Меняйте одну проверяемую причину за раз и возвращайтесь ко всему контрольному набору, а не только к исправленному вопросу.

Для дополнительного разделения ошибок можно провести изолированный тест генерации: вручную передать модели проверенное достаточное основание при сопоставимых инструкциях. Если ответ остаётся неверным, это повод исследовать генерацию. Если становится правильным, возвращайтесь к реальному пути доставки контекста. Такой тест не доказывает качество всей системы — он проверяет конкретную гипотезу.

Не завершайте работу формулировкой «теперь отвечает». Сохраните, что изменено, где проверено и какие случаи остались открытыми. Это позволит отличить исправление причины от случайно удачного ответа.

7. Сделайте проверку частью управления базой знаний

Разовый разбор помогает исправить один вопрос. Для повторяемой работы нужен общий контекст: какой документ используется, кому доступен, как обработан и какое основание дошло до помощника. Иначе владелец регламента видит файл, интегратор — успешную загрузку, а руководитель сервиса — неверную реплику. Каждый проверяет свой участок, но общую цепочку никто не подтверждает.

Назначьте владельцев содержания и технического пути. Первый подтверждает актуальность правила и достаточность основания. Второй — прохождение текста через обработку, индекс и поиск. Вместе они согласуют контрольные запросы и признаки корректного результата. Для небольшой команды это могут быть те же люди, но сами обязанности полезно разделить.

Отсюда возникает практический смысл единой агентной ИИ-платформы: не просто собрать помощников в одном интерфейсе, а согласовать контекст, права, интеграции и контроль. При выборе решения проверяйте возможность связать запрос с источником и результатами поиска, воспроизвести случай в нужной роли и понять, какая конфигурация использовалась. Это требования к управляемости, а не обещание функций любого продукта.

При этом единство не означает общий доступ ко всему. Финансовые документы, сервисные инструкции и публичные ответы могут требовать разных ограничений. Общим должен быть способ управления и проверки, а не бесконтрольная выдача данных всем агентам.

Начните с одного проблемного документа и небольшого набора вопросов. Найдите точку, где исчезает нужное основание, исправьте её и сохраните проверку для следующих обновлений. Такой шаг полезнее поспешной смены модели: вместо общего ощущения «RAG не работает» у команды появится конкретная причина, ответственный участок и воспроизводимый способ проверить результат.

Основатель и генеральный директор AiHummer. Больше десяти лет в разработке. Строит платформу ИИ-сотрудников: архитектура, инфраструктура и граница, за которой ответ агента остаётся на человеке.

  • Агентные системы
  • Инфраструктура
  • Поддержка и продажи
  • Приёмка решений

Подписка на статьи

Получайте новые статьи AiHummer по электронной почте.

Комментарии

Загружаем комментарии…