← Все статьи
Блог

Агент исправил форму: как принять интерфейс по поведению, а не по отчёту

Сообщение «готово» не доказывает, что форма работает. Разбираем приёмку после правки агента: ошибочный ввод, повторную отправку, восстановление после отказа и сохранность данных.

Леон Сокиркин10 мин чтенияОбновлено:
Хам нажимает светящийся переключатель и проверяет результат
Хам проверяет, к какому результату приводит действие в интерфейсе.
Содержание
  1. Почему «исправлено» — ещё не «принято»
  2. Сначала договоритесь, что именно должна делать форма
  3. Критерии приёмки: действие, результат, доказательство
  4. Матрица сценариев: проверяем не только удачную отправку
  5. Повторная отправка и отказ: где нужна особая осторожность
  6. Отказ и неизвестный результат — разные состояния
  7. Практический прогон: от чистого состояния до решения
  8. Как читать отчёт агента и не пропустить регрессию
  9. От разовой проверки к управляемой работе агентов

Агент сообщил, что исправил форму заявки: добавил проверку полей, поправил отправку, убрал ошибку. На скриншоте всё аккуратно. Но что произойдёт, если посетитель ошибётся в адресе, дважды нажмёт кнопку или потеряет соединение после отправки? В условной ситуации, которую разберём ниже, задача руководителя — не перечитать убедительный отчёт, а получить наблюдаемые доказательства. Приёмочное тестирование начинается с простого вопроса: сможет ли человек завершить свой сценарий и понять результат, в том числе когда что-то пошло не так?

Почему «исправлено» — ещё не «принято»

Представим условную форму записи на консультацию. Посетитель вводит имя, рабочую почту и описание задачи. Раньше при ошибке отправки описание исчезало. Агент изменил обработку ответа и сообщил, что теперь данные сохраняются. Это полезная информация о проделанной работе, но пока не подтверждение результата.

Разделите три уровня доказательств:

  • Самоотчёт агента: что он, по его словам, изменил и проверил.
  • Наблюдение в браузере: что произошло при конкретных действиях на конкретной сборке.
  • Критерий принятия: какое поведение заранее признано правильным и чем оно подтверждается.

Фраза «добавлена обработка ошибок» относится к первому уровню. Запись «после отказа сервера описание осталось в поле, появилось понятное сообщение, повторная попытка доступна» — ко второму. А правило «после подтверждённого отказа пользователь может повторить отправку без повторного ввода несекретных данных» задаёт третий.

В материале Anthropic об инструментах для агентов предлагается связывать каждую оценочную задачу с проверяемым ответом или результатом. Для приёмки формы это полезный принцип: проверять не уверенность исполнителя, а заранее определённый исход.

Приёмочное тестирование UAT здесь означает проверку пригодности сценария для пользователя и бизнеса. Оно не заменяет ревью кода, проверку безопасности или нагрузочные испытания. Красивое сообщение об успехе не доказывает доставку заявки, а корректное сохранение заявки не делает непонятный интерфейс приемлемым. Эти стороны результата нужно проверить отдельно.

Сначала договоритесь, что именно должна делать форма

До запуска браузера опишите границы задачи. Иначе агент и принимающий будут оценивать разные вещи: один — отсутствие исключения в коде, другой — возможность отправить заявку, третий — появление записи в CRM.

Для нашей условной формы договоримся: успешная отправка означает, что сервер подтвердил создание заявки, пользователь увидел подтверждение, а в согласованном месте проверки появилась запись с введёнными значениями. Если интеграция с CRM выполняется позже, интерфейс не должен обещать её завершение раньше подтверждения. В таком случае приёмку сохранения заявки и доставки в CRM разделяют.

Критерии приёмки: действие, результат, доказательство

Удобная формула: исходное состояние → действие → ожидаемое поведение → способ проверки. Например: форма заполнена, сервер возвращает подтверждённый отказ, посетитель нажимает «Отправить» — описание сохраняется, успех не показывается, доступен понятный следующий шаг. Доказательство — наблюдение состояния полей и сообщения, сопоставленное с результатом тестового запроса.

Отдельно согласуйте спорные решения:

  • какие поля обязательны и какие форматы допустимы;
  • что сохраняется после ошибки и что намеренно очищается;
  • можно ли менять поля, пока отправка не завершена;
  • что пользователь увидит при неизвестном результате операции;
  • какие события блокируют выпуск, а какие допускают отдельную доработку.

Не требуйте безусловного сохранения любых значений. Для секретов и чувствительных данных нужна отдельная политика. Сохранить текст обращения в текущем окне после ошибки — не то же самое, что записывать его в постоянное хранилище браузера. Аналогично восстановление после перезагрузки — самостоятельное требование, а не подразумеваемая часть исправления.

Зафиксируйте сборку, окружение, тестовую роль и способ подтверждения результата. Проверка старой страницы или другой конфигурации не даёт оснований принять новую правку.

Цепочка приёмки: согласовать результат, выполнить сценарий, собрать наблюдения и сопоставить их с критерием.
Самоотчёт описывает работу. Основание для приёмки — наблюдаемый результат, сопоставленный с заранее согласованным критерием.

Матрица сценариев: проверяем не только удачную отправку

Начните с обычного пути, чтобы убедиться: тестовое окружение вообще позволяет завершить операцию. Затем переходите к отклонениям. Каждый негативный сценарий должен отвечать на конкретный вопрос, а не просто создавать ошибку ради ошибки.

СценарийЧто делает проверяющийОжидаемое поведениеЧем подтверждать
Обычная отправкаЗаполняет форму допустимыми значениямиПонятное подтверждение после принятия заявкиСостояние интерфейса и сохранённая тестовая запись
Ошибочный вводОставляет обязательное поле пустым или вводит недопустимое значениеПонятная подсказка, остальные данные не теряютсяСообщение, значения полей, возможность исправления
Повторное действиеПовторно нажимает отправку во время ожиданияПоведение соответствует согласованной защите от повторовСостояние кнопки, журнал запросов и итоговые записи
Подтверждённый отказВызывает согласованный отказ тестового сервисаНет ложного успеха, данные сохранены по правиламОтвет сервиса и состояние формы
Ответ потерянМоделирует отсутствие ответа после возможной обработкиНет необоснованного обещания успеха или отсутствия заявкиИнтерфейс и независимая проверка результата операции
Повтор после отказаВосстанавливает сервис и отправляет форму сноваСценарий завершается без ненужного повторного вводаИтоговая запись и её содержимое
Соседний сценарийПроверяет связанный путь, например отправку с клавиатурыРанее согласованное поведение не нарушеноВоспроизводимый проход на той же сборке

Эта таблица — заготовка, а не универсальный стандарт. Для заявки на обратный звонок и платёжной формы последствия повторной операции различаются. Состав проверок должен учитывать цену ошибки.

Проверяйте не только наличие сообщения, но и его смысл. «Ошибка» не объясняет, что делать дальше. «Заявка точно не отправлена» нельзя показывать лишь на основании отсутствующего ответа, если фактический результат ещё неизвестен. Оценка текста здесь не косметика: он влияет на следующее действие человека.

Отдельный прогон полезно пройти с клавиатуры: добраться до полей, исправить ошибку, отправить форму, обнаружить результат. Автоматический сценарий с прямым обращением к элементам не стоит считать исчерпывающим подтверждением удобства такого пути.

Повторная отправка и отказ: где нужна особая осторожность

Самая обманчивая проверка выглядит так: проверяющий нажал кнопку, увидел индикатор ожидания и решил, что повторная отправка исключена. Но критерий бизнеса — не состояние кнопки само по себе, а согласованное число итоговых операций.

В условном сценарии стоит проверить быстрый повторный клик, отправку клавишей Enter и повторную попытку после завершения ожидания. Не обязательно запрещать все действия одинаково. Важно заранее определить, какие повторные обращения система должна распознавать как продолжение одной операции, а какие — как новую заявку.

Отказ и неизвестный результат — разные состояния

Разведите два теста. В первом сервис явно отказал в создании заявки. Во втором проверяющий не получил ответ, но заявка могла быть создана. Во втором случае нельзя автоматически считать, что ничего не произошло. Для приёмки нужен предусмотренный проектом способ уточнить результат: например, проверить статус операции или найти запись в тестовой системе.

Если такого способа нет, зафиксируйте ограничение. Не подменяйте неизвестность зелёной отметкой. Для формы с существенными последствиями это повод пересмотреть сценарий восстановления до выпуска.

Браузерное наблюдение показывает, что видит пользователь. Оно само по себе не доказывает отсутствие дублей в хранилище. Поэтому результат повторной отправки сопоставляют с серверной стороной: записями, идентификаторами операций или другим согласованным свидетельством. Количество сетевых запросов тоже не всегда равно количеству созданных заявок — проверять нужно именно бизнес-результат.

После восстановления сервиса проверьте весь путь до конца. Сохранился ли текст? Осталась ли старая ошибка после успешной попытки? Совпадают ли значения в итоговой заявке с последней отправленной версией? Если пользователь мог редактировать поля во время ожидания, отдельно выясните, какой набор данных был отправлен и что именно подтверждает экран успеха.

Практический прогон: от чистого состояния до решения

Браузерный агент может быть исполнителем проверок, но право объявить собственную работу принятой лучше не делать единственным механизмом контроля. Другой агент тоже не становится независимым проверяющим автоматически: ему нужны отдельные критерии и доступ к наблюдаемым результатам.

Если в команде используется Playwright, оформляйте повторяемые проверки в поддерживаемом ею наборе тестов. Это инструмент исполнения сценариев, а не источник требований. Выбор библиотеки не отвечает на вопрос, какой результат бизнес готов принять.

Практический порядок работы:

  1. Подготовьте безопасное окружение. Используйте синтетические данные и тестовые подключения. Убедитесь, что отправка не создаст реальное обращение, оплату или уведомление клиенту.
  2. Зафиксируйте исходное состояние. Укажите сборку, роль, браузер и значимые настройки. Очистите следы предыдущего прогона либо опишите, почему они необходимы сценарию.
  3. Пройдите обычный путь. Сопоставьте введённые значения, экран подтверждения и сохранённую запись. Это контроль работоспособности самого стенда.
  4. Проверьте ошибочный ввод. Меняйте по одному существенному условию. Убедитесь, что ошибка исправляется без потери остальных допустимых значений.
  5. Воспроизведите повтор и отказ. Используйте управляемые условия, а не случайное отключение сети без понимания момента сбоя. Запишите, какой именно отказ моделировали.
  6. Завершите восстановление. Верните сервис в рабочее состояние, повторите действие и проверьте итог. Не останавливайтесь на появлении сообщения об ошибке.
  7. Проверьте соседние пути и вынесите решение. Пройдите связанные сценарии, приложите доказательства, перечислите ограничения. Непроверенный пункт оставьте непроверенным.

Для каждого шага сохраняйте достаточно сведений, чтобы другой специалист мог повторить проверку. Нужны действие, ожидаемый и фактический результат, окружение и доступное свидетельство. Запись экрана полезна для последовательности событий, но не заменяет проверку серверного результата.

Если ответ сервиса подменялся тестовой заглушкой, явно укажите это в протоколе. Такой прогон подтверждает реакцию интерфейса на заданный ответ, но не работоспособность реальной интеграции. Аналогично проверка в одном согласованном браузере не означает, что проверены все остальные.

Сравнение границ доказательств: отчёт агента, браузер, заглушка сервиса и проверка итоговой записи.
Не расширяйте вывод за пределы проверки: реакция на заглушку не подтверждает реальную интеграцию, а экран успеха — сохранение заявки.

Как читать отчёт агента и не пропустить регрессию

Хороший отчёт начинается не с «всё работает», а с границ проверки. Какая сборка открыта? Какие сценарии выполнены? Где использовалась заглушка? Какие результаты подтверждены независимо от текста агента?

В материале Anthropic отдельно рекомендуется просматривать исходные записи взаимодействий, включая вызовы инструментов и их ответы: в них можно увидеть поведение, не описанное в объяснениях агента. Для приёмки интерфейса отсюда следует практическое правило: итоговое резюме должно вести к проверяемым событиям, а не заменять их.

Сравните формулировки:

  • Недостаточно: «Валидация исправлена, ошибок нет».
  • Содержательно: «При пустом обязательном поле отправка не завершилась, рядом появилась подсказка, описание задачи сохранилось. После заполнения поля тестовая заявка создана с ожидаемыми значениями».
  • Честное ограничение: «Обработку отказа проверили с заглушкой; восстановление реального подключения не проверяли».

Регрессия интерфейса — отдельный предмет проверки. Исправление сохранности текста не должно незаметно изменить согласованные правила обязательности полей, сброс формы или отправку с клавиатуры. Выбирайте соседние сценарии по затронутому поведению: если меняли общий обработчик отправки, одной проверкой текста ошибки ограничиваться не стоит.

Расхождение между ожиданием и фактом оформляйте как воспроизводимый дефект. Укажите исходные данные, действие, ожидаемое и фактическое поведение. Если причина пока неизвестна, не приписывайте её агенту, сети или интеграции без проверки. Для принятия решения достаточно установленного нарушения критерия; диагностика причины — следующий шаг.

Полезно разделять статусы «пройдено», «не пройдено» и «не проверено». Отсутствие доступа к тестовой записи не превращает красивый экран успеха в доказательство сохранения. Выпуск с известным ограничением возможен только как явное решение ответственного, а не как молчаливое округление результата до успеха.

От разовой проверки к управляемой работе агентов

Пока правка одна, критерии и результаты можно удержать в задаче. Когда один агент меняет интерфейс, другой проверяет, а третий готовит выпуск, возникает вопрос общего контекста. Все ли работают с одной сборкой? Видят ли одинаковые требования? Кто вправе менять критерии и кто подтверждает исключения?

Здесь появляется содержательная причина для единой агентной платформы: не собрать максимум помощников, а организовать общий контур работы. Требования к нему стоит выводить из приёмки:

  • Общий контекст: связать задачу, версию требований, сборку и результаты прогонов.
  • Разделённые права: выдать проверяющему только нужные тестовые доступы, отдельно контролировать выпуск.
  • Интеграции: сопоставлять браузерное наблюдение с результатом в системе, где создаётся заявка.
  • Контроль: сохранять свидетельства, ограничения и решение ответственного.

Единая платформа не отменяет независимую проверку и не должна превращать самоотчёт в автоматическое разрешение на публикацию. Важнее, чтобы участники не теряли контекст и чтобы полномочия соответствовали их роли. Права нужно обеспечивать настройками доступа, а не одной просьбой агенту «ничего не менять».

Необязательно начинать с перестройки всей инфраструктуры. Возьмите одну форму и составьте для неё короткую матрицу: успешная отправка, ошибочный ввод, повтор, отказ, восстановление. Рядом с каждым пунктом укажите ожидаемый результат и способ его подтвердить. Если на какой-то строке доказательством остаётся только «агент сказал», именно там стоит начать следующую проверку.

Основатель и генеральный директор AiHummer. Больше десяти лет в разработке. Строит платформу ИИ-сотрудников: архитектура, инфраструктура и граница, за которой ответ агента остаётся на человеке.

  • Агентные системы
  • Инфраструктура
  • Поддержка и продажи
  • Приёмка решений

Подписка на статьи

Получайте новые статьи AiHummer по электронной почте.

Комментарии

Загружаем комментарии…