← Все статьи
Блог

На пилоте быстро, под нагрузкой медленно: где агент ждёт данные

Если ИИ-агент замедляется при одновременной работе пользователей, не спешите менять модель. Разбираем, как составить карту задержек, разделить обращения к данным и генерацию и выбрать следующий проверяемый эксперимент.

Леон Сокиркин11 мин чтения
Хам изучает световой поток, задержавшийся в узком проходе между абстрактным хранилищем данных и сферой агента.
Прежде чем менять модель, стоит найти участок, на котором обращение действительно ждёт.
Содержание
  1. 1. Сначала определите, что именно считается медленной работой
  2. 2. Разделите путь запроса на измеримые участки
  3. Четыре таймера для первого прогона
  4. 3. Подготовьте воспроизводимую нагрузку
  5. 4. Соберите карту задержек, а не один красивый показатель
  6. 5. Сформулируйте гипотезу, которую можно опровергнуть
  7. Карточка следующего эксперимента
  8. 6. Проверьте, чем оплачено ускорение
  9. 7. Закончите тест решением, а не набором графиков

На демонстрации агент быстро находит заказ, уточняет доставку и готовит ответ. После подключения отдела продаж тот же сценарий начинает зависать. Первое объяснение звучит убедительно: «Модель не справляется». Но пользователь видит только общее ожидание. По нему нельзя определить, занят ли агент генерацией, ждёт ли подключения к базе или повторяет обращение к внешнему сервису.

Разберём условный корпоративный сценарий, а не историю реального клиента. Агент помогает менеджеру ответить покупателю: читает заказ, получает сведения о доставке и формулирует сообщение. Ниже — предлагаемый рабочий протокол диагностики, а не отчёт об испытаниях или универсальная методика с гарантированным результатом. Его цель — собрать карту задержек и выбрать следующий эксперимент до замены модели или сервера.

1. Сначала определите, что именно считается медленной работой

Фраза «агент тормозит» не задаёт проверяемую цель. Менеджеру нужен готовый ответ покупателю. Разработчик может смотреть на завершение обращения к API. В интерфейсе отдельно заметен момент появления первого текста. Для нашего испытания это будут разные границы измерения, а не взаимозаменяемые показатели.

Основную операцию определим так: от отправки вопроса до готового ответа с корректным статусом заказа и доставки. Дополнительно запишем время до первого видимого фрагмента. Приветствие или сообщение «проверяю» не будем считать завершением задачи: нужных сведений в нём ещё нет.

До запуска команда должна согласовать допустимое ожидание, требуемую интенсивность обращений и ограничения на ошибки. Здесь нет предложенной «нормы для ИИ»: критерии следует вывести из рабочего процесса. Если менеджеру приходится отвечать в разговоре с покупателем, требования будут другими, чем для фоновой подготовки сводки.

В паспорт теста включим:

  • границы операции и признак её успешного завершения;
  • набор вопросов и соотношение разных сценариев;
  • объём входного контекста и требования к полноте ответа;
  • роли пользователей и доступные им данные;
  • допустимые ошибки, отмены и незавершённые задачи;
  • условия остановки испытания и ответственного за решение.

Отдельно запишем, что нельзя менять ради скорости. Например, в условном сценарии ответ без проверки доставки не засчитывается как успешный. Так команда заранее исключит спор: стало ли быстрее выполнение задачи или просто сократился её объём.

Полезно также назначить владельца результата. Инженер отвечает за измерения, но решение о приемлемом ожидании должен принимать человек, понимающий рабочую задачу. Иначе технически аккуратный отчёт может не ответить на главный вопрос бизнеса: можно ли пользоваться агентом в выбранном процессе?

2. Разделите путь запроса на измеримые участки

Нагрузочное тестирование API агента начнём с карты одного обращения. Сначала перечислим реальные действия между входом и выходом, затем зададим точки измерения. Не будем заранее считать доступ к данным главным ограничением: это одна из проверяемых гипотез.

В условной схеме агент принимает вопрос, выбирает инструменты, читает заказ из базы, обращается к службе доставки и формирует ответ. Если фактическая реализация устроена иначе, карту потребуется изменить. Например, отдельно отметить подготовку контекста, очередь приложения или дополнительный вызов модели для выбора инструмента.

Четыре таймера для первого прогона

Ожидание соединения с базой. Предлагаем измерять интервал от обращения к пулу до получения соединения либо отказа. Если используемый клиент не позволяет выделить этот интервал, отметим пробел в наблюдаемости, а не назовём общий замер временем ожидания.

Выполнение запроса к базе. Зададим границы от отправки запроса через полученное соединение до получения результата. Обработку результата в приложении вынесем отдельно, если она существенна для исследуемого маршрута.

Обращение к внешнему API. Запишем начало и завершение каждой попытки, её результат и паузу перед повтором. В отчёте задержка API будет показана как для отдельной попытки, так и для всей операции получения доставки.

Вызов модели. Отметим отправку подготовленного контекста, получение первого фрагмента и завершение ответа. При нескольких вызовах сохраним отдельные интервалы: выбор инструмента и финальное сообщение не будем объединять без пояснения.

Условный маршрут обращения: вход, ожидание соединения, запрос к базе, внешний API и вызов модели.
Для условного последовательного маршрута. В реальной трассе сохраняйте порядок и перекрытия операций, связывая их общим идентификатором.

Свяжем участки общим идентификатором обращения. В этом протоколе трассировка запросов нужна для разбора конкретного случая: что происходило до задержки, во время неё и после. Для журнала заранее выберем технические атрибуты; тексты заказов, персональные данные и секреты без необходимости сохранять не будем.

На временной карте обозначим порядок и перекрытия операций. Если обращения идут параллельно, не станем представлять сумму их длительностей как время ожидания пользователя. Для итогового интервала оставим собственные начальную и конечную отметки. Неразмеченные промежутки покажем явно: это задачи для дополнительного измерения, а не доказательство «накладных расходов модели».

3. Подготовьте воспроизводимую нагрузку

Для условного теста составим набор обращений: простой статус заказа, заказ с несколькими позициями, отсутствие доставки, отказ в доступе и недоступность внешнего сервиса. Для каждого заранее опишем ожидаемый результат. Включим не только удобные вопросы, но и ситуации, в которых агент должен корректно остановиться.

Сохраним версию сценария, настройки модели и тестовые данные. Запишем условия кеширования: какие результаты разрешено переиспользовать и как будет проверяться их актуальность. Прогрев и запуск без прогретого кеша оформим как разные условия, чтобы не смешивать их в одном сравнении.

Способ подачи нагрузки тоже внесём в паспорт. Укажем, отправляется ли новое обращение по расписанию или после завершения предыдущего. Не будем выводить интенсивность только из числа виртуальных пользователей: в отчёте отдельно зафиксируем запланированные и фактически отправленные обращения, завершения и оставшиеся задачи.

Практический порядок испытания:

  1. Проверить одиночное обращение. Сверить полезный результат, границы таймеров и полноту трассы.
  2. Записать базовый прогон. Получить исходную картину при небольшой стабильной нагрузке.
  3. Повышать интенсивность ступенями. Заранее согласовать длительность наблюдения и условия остановки каждой ступени.
  4. Проверить устойчивый режим. Посмотреть, сохраняются ли выбранные показатели и что происходит с незавершёнными задачами.
  5. Снять нагрузку. Проверить завершение оставшихся операций и состояние очередей после испытания.
  6. Повторить сопоставимый запуск. Не принимать единичное улучшение за достаточное основание для изменения рабочей конфигурации.

Испытание следует проводить в согласованном контуре. Для внешнего сервиса установим разрешённую интенсивность и бюджет обращений. Если вместо него используется заглушка, укажем это в названии прогона. Результат такого эксперимента будем относить только к проверенной конфигурации, не распространяя его на реального поставщика.

Отдельно проверим сам генератор нагрузки: отправил ли он запланированные обращения, сохранил ли ошибки, не потерял ли часть результатов. Если фактическая подача отличается от плана, сначала разберём это расхождение. Иначе сравнение двух запусков начнётся с разных исходных условий.

4. Соберите карту задержек, а не один красивый показатель

В отчёт включим длительности, ошибки и количество завершённых операций. Пропускная способность в рамках нашего протокола будет означать число завершений за выбранную единицу времени. Успешные полезные завершения покажем отдельно от всех ответов сервера: быстрый отказ не засчитаем как выполненную задачу менеджера.

Не будем ограничиваться средним временем. Сохраним распределение длительностей и примеры отдельных трасс. Если команда использует перцентиль p95, зафиксируем способ расчёта в выбранном инструменте, окно измерения и состав выборки. В этой статье не задаём его техническое определение и не предлагаем универсальный порог: для сравнения важны заранее согласованные правила отчёта.

Тайм-ауты, отмены и незавершённые обращения вынесем в самостоятельные строки. Для каждого показателя подпишем, какие операции в него вошли. Так читатель отчёта сможет отличить ускорение успешных ответов от изменения состава выборки.

Следующая таблица — не диагностический справочник. Это список направлений проверки для нашего условного сценария. Наблюдение в первой колонке ещё не доказывает объяснение во второй.

Наблюдение в сопоставимых прогонахПроверяемая гипотезаСледующий эксперимент или замерПреждевременный вывод
Удлинилось ожидание соединения, время запроса почти не изменилосьПроверить выдачу и удержание соединенийСопоставить время владения соединением с этапами обращения«Нужен более мощный сервер базы»
Соединение получено быстро, участок запроса удлинилсяИсследовать выполнение запроса в базеСобрать сведения о плане, ожиданиях и блокировках для этих обращений«Достаточно увеличить пул»
Удлинилась операция доставки, появились дополнительные попыткиПроверить внешний вызов и повторыСравнить попытки, причины повторов и паузы между ними«Медленно генерирует модель»
Данные уже получены, удлинился участок моделиПроверить условия вызова моделиСопоставить объём входа, требования к выходу и результаты вызовов«Нужно менять базу данных»
Размеченные этапы стабильны, общее время вырослоВ карте остался неучтённый интервалДобавить измерение между последней и следующей известными отметками«Причина уже найдена»

Для каждого направления назначим ответственного. Разработчик интеграции проверит границы внешнего вызова, специалист по базе — выбранные обращения к данным, владелец агента — маршрут и контекст. Задача общей карты — объединить эти проверки вокруг одного пользовательского обращения.

5. Сформулируйте гипотезу, которую можно опровергнуть

Вернёмся к условному агенту. Допустим, измерения показали увеличение ожидания соединения, а длительность самого запроса осталась близкой к базовому прогону. Это повод исследовать пул соединений, но не готовое основание менять его размер.

Сформулируем конкретное объяснение: приложение получает соединение, читает заказ, затем удерживает его во время обращения к службе доставки. Пока это гипотеза. Для проверки добавим отметки получения и освобождения соединения и сопоставим их с внешним вызовом в одной трассе.

Если такая последовательность действительно обнаружится, предложим отдельный эксперимент: освобождать соединение после необходимой работы с базой. Изменение допустимо только после проверки границ транзакции и требований к согласованности. Не будем жертвовать корректностью заказа ради более короткого внутреннего интервала.

Заранее запишем ожидаемый результат: при сопоставимой нагрузке должны сократиться время владения соединением и ожидание его получения. Одновременно проверим итоговое время задачи, правильность статуса и успешные завершения. Если внутренний таймер улучшился, а пользовательский результат — нет, отметим это как частичный результат, а не завершённую оптимизацию.

Порядок проверки: наблюдение, опровержимая гипотеза, одно изменение, повторный прогон и решение.
Предлагаемый порядок эксперимента: заранее определить ожидаемый результат и проверить не только скорость, но и корректность.

Менять одно существенное условие за эксперимент — выбранный здесь способ сохранить понятное сравнение. В разборе разработки агентной обвязки Anthropic описан близкий исследовательский переход: после радикального упрощения автору стало трудно определить вклад компонентов, и он перешёл к удалению одного компонента за раз с оценкой результата. Это наблюдение из конкретной работы, а не доказательство нашей нагрузочной методики.

В том же разборе сбросы контекста в конфигурации с Claude Sonnet 4.5 помогали решать проблемы длительных задач, но добавляли сложность оркестрации, токенные затраты и задержку. Авторы отдельно описывают другую конфигурацию с Opus 4.5, где от сбросов отказались. Поэтому переносить устройство одной обвязки на все модели нельзя. В нашем испытании будем учитывать только те переходы и вызовы, которые действительно присутствуют в проверяемом маршруте.

Карточка следующего эксперимента

Запишем симптом, гипотезу, единственное изменение и неизменяемые условия. Добавим ожидаемый сдвиг показателей, признаки опровержения и способ возврата к предыдущей конфигурации. Например: если время владения соединением сократилось, но ожидание его получения осталось прежним, объяснение нельзя считать достаточным. Нужно сохранить результат и выбрать следующую проверку.

6. Проверьте, чем оплачено ускорение

После удачного эксперимента повторим проверки полезного результата. В критерии приёмки включим соблюдение прав доступа, актуальность сведений и поведение после отмены пользователем. Быстроту не будем принимать отдельно от этих условий.

Если эксперимент связан с кешированием, опишем допустимый состав кеша, границы переиспользования между ролями и порядок обновления. Если меняются повторы, проверим повторное выполнение действий. Если сокращается контекст, сверим, сохранились ли существенные условия заказа. Это отдельные проверки, а не предположение, что любая оптимизация безопасна.

Увеличение пула также оформим как эксперимент. Сравним не только ожидание соединения, но и выполнение запросов, ошибки и итоговое время задачи. Одного улучшившегося графика для приёмки не предусмотрим.

Здесь возникает практическая потребность в единой агентной платформе. Для общего расследования нужны согласованные идентификаторы запусков, версии сценариев, правила работы с контекстом, реестр интеграций и политики доступа. Если эти сведения распределены между отдельными агентами и журналами, команде придётся сначала собрать их в общую картину.

Поэтому платформу разумно оценивать по проверяемым требованиям: можно ли проследить обращение, увидеть версию сценария, определить использованные подключения и проверить права? Можно ли сопоставить изменение с результатом и вернуться к предыдущему состоянию?

Единая платформа в этой логике — не обещание автоматически ускорить любую операцию. Это общая основа для управления контекстом, правами, интеграциями и контролем. Её полезность для диагностики следует проверять на собственном сценарии, а не выводить из слова «агентная» в описании продукта.

7. Закончите тест решением, а не набором графиков

Итогом испытания может стать и неподтверждённая инфраструктурная гипотеза. В условном сценарии ожидание соединения может оказаться небольшим, обращения к данным — стабильными, а дальнейшего исследования потребует участок модели. Такой результат не следует переписывать под первоначальное предположение.

Соберём итог на одной странице: условия прогона, фактическая нагрузка, успешные завершения, ошибки и карта задержек. Приложим характерные трассы: обычную, медленную и завершившуюся отказом. Затем укажем, какие объяснения поддерживаются наблюдениями, какие не подтвердились и где измерений пока недостаточно.

Отделим измеренное от предполагаемого. «Увеличился интервал получения соединения» — наблюдение. «Соединение удерживается во время внешнего вызова» — объяснение, требующее проверки. «Нужна новая база» — возможное решение, для которого этих сведений ещё недостаточно.

Начать можно с одного важного сценария: определить полезный результат, провести сквозную трассу и раздельно измерить доступ к базе, внешний API и генерацию. Затем выбрать одну гипотезу и запланировать сопоставимый повтор. Так следующий шаг будет вытекать из наблюдений: исследовать запрос, проверить освобождение соединений, разобраться с внешним вызовом или условиями генерации. Менять модель и сервер разумнее после этой проверки, а не вместо неё.

Основатель и генеральный директор AiHummer. Больше десяти лет в разработке. Строит платформу ИИ-сотрудников: архитектура, инфраструктура и граница, за которой ответ агента остаётся на человеке.

  • Агентные системы
  • Инфраструктура
  • Поддержка и продажи
  • Приёмка решений

Подписка на статьи

Получайте новые статьи AiHummer по электронной почте.

Комментарии

Загружаем комментарии…