Проверьте бота на реальных вопросах клиентов до того, как откроете к нему доступ на сайте. Для этого соберите обращения из чатов, звонков и почты, подготовьте примеры простых и неоднозначных запросов, а затем оцените точность ответов и поведение бота, когда ему не хватает информации. Такой тест покажет, какие сведения нужно добавить, на какие вопросы бот пока не отвечает и когда он должен передать разговор сотруднику.
Какие вопросы включить в тест?
Начните с обращений, которые уже поступали в компанию. Посмотрите переписку, записи звонков и заметки менеджеров. Выпишите формулировки клиентов, а не только темы: человек может спросить «Сколько ждать заказ?» или «Можно забрать сегодня?», хотя в справочнике компании эти вопросы названы «срок доставки» и «самовывоз».
Включите в список повторяющиеся вопросы о товарах и услугах, оплате, сроках, записи и порядке заказа. Добавьте запросы, где клиент не указал важную деталь: например, не назвал услугу или не уточнил город доставки. Если бот уверенно отвечает без нужной информации, тест выявит проблему до запуска.
Чтобы не пропустить частые темы, можно сверить список обращений с вопросами, которые стоит вынести в FAQ. Для теста оставьте разные формулировки одной темы: люди редко говорят одинаковыми словами.
Как составить сценарии проверки?
Сценарий — это вопрос клиента и критерии хорошего ответа. Запишите, какую информацию бот должен сообщить, какие условия уточнить и что сделать, если ответить точно нельзя. Не оценивайте только похожесть текста на справочник: бот может звучать гладко и при этом дать неправильный срок или предложить несуществующую услугу.
Для каждой темы подготовьте несколько вариантов запроса:
- прямой вопрос: «Какие услуги вы оказываете?»;
- разговорная формулировка: «А с этим поможете?»;
- неполный запрос: «Сколько стоит?»;
- два вопроса в одном сообщении;
- вопрос, ответа на который нет в материалах компании.
Заранее решите, какой ответ подходит в каждом случае. Например, на неполный запрос бот должен задать уточняющий вопрос, а на неизвестный — честно сообщить, что не может подтвердить информацию, и предложить связаться с сотрудником. Такой сценарий проверяет не только знания, но и границы автоматизации.
Как оценивать ответы бота?
Проверьте каждую пару «вопрос — ответ» по одинаковым критериям. Так проще сравнить результаты и передать разработчику конкретные замечания, а не общее впечатление. Подойдёт таблица:
| Критерий | Что проверить | Признак проблемы |
|---|---|---|
| Точность | Совпадает ли ответ с актуальной информацией компании | Бот добавляет условие или услугу, которых нет в исходных данных |
| Полнота | Получил ли клиент нужные сведения для следующего действия | Ответ уходит от вопроса или пропускает важное уточнение |
| Понятность | Сможет ли человек понять ответ без внутренних терминов | Фраза расплывчата или перегружена профессиональными словами |
| Поведение при нехватке данных | Уточняет ли бот вопрос или передаёт его сотруднику | Бот угадывает ответ и подаёт догадку как факт |
Фиксируйте результат рядом с каждым сценарием: «подходит», «нужно уточнить» или «не подходит». В комментарии укажите конкретную ошибку и нужное исправление. Например: «Для вопроса о сроке бот не уточняет способ получения». Это полезнее, чем пометка «ответ неправильный».
Какие ошибки мешают тестированию?
Тест будет мало полезен, если проверять только удобные для бота вопросы. Обратите внимание на типичные ошибки:
- Проверять ответы только по формулировкам из справки, хотя клиенты пишут иначе.
- Использовать устаревшие цены, условия или описание услуг как эталон.
- Считать вежливый тон признаком правильного ответа.
- Не включать вопросы без готового ответа и неполные запросы.
- Не проверять, как клиент перейдёт к сотруднику, если бот не справился.
Перед тестом назначьте человека, который сверит ответы с актуальными материалами бизнеса. Если данные в справочнике расходятся с тем, что сообщают менеджеры, сначала согласуйте единую версию. Иначе проверка не покажет, где заканчивается ошибка бота и начинается путаница в исходной информации.
Полезно также проверить ответы бота на типичных вопросах до запуска по отдельным примерам и сверить их с собственными сценариями: проверка ответов чат-бота на вопросах клиентов.
Для первой проверки достаточно собрать обращения из нескольких каналов, выбрать самые частые темы и отметить, каким должен быть хороший ответ. Затем передайте список человеку, который знает актуальные условия компании, и попросите проверить ответы бота по критериям точности, полноты и поведения при нехватке данных. После исправлений повторите те же сценарии: так будет видно, улучшились ли ответы.
