«Позови человека». Как мы помогаем сделать из хорошего чат-бота – идеальный

Заказчик исследования — один из лидеров в производстве систем нагревания табака. У него есть чат-бот, который чаще всего помогает решить проблему без оператора, но все-таки справляется не всегда. А любой неудобный шаг в сервисе — это как препятствие на дороге к магазину, где у вас хотят что-то купить. В Markswebb сделали аудит чат-бота (и на сайте, и в Telegram) и рассказали команде заказчика, какие сценарии доработать и у кого подсмотреть фишки, полезные для бизнеса.

Результат — готовая карта улучшений + чек-листы

• Рекомендации по улучшению 12 сценариев (из 18 имеющихся).

• Чек-лист по функциям, которые стоит доработать + 24 примера реализаций у конкурентов и на смежных рынках.

Развернутый отчет по результатам аудита составил 400+ слайдов.

Фишка проекта — быстрое погружение с адаптированной системой

Опыт Markswebb начинался с банковской сферы, но методологии оценки в агентстве изначально строятся так, чтобы их можно было масштабировать на любой рынок. Поэтому мы быстро «зашли» в проект с адаптированной системой Chatbot Rank 2022, — и получили много сведений о чат-боте заказчика.

Если строить критерии оценки с нуля или, наоборот, пользоваться менее гибкой методологией (например, стандартным чек-листом), добыть столько сведений в сжатые сроки не получится.

Триггер аудита — желание улучшить инструмент, который хорошо себя показал

Чат-бот уже на момент начала сотрудничества снимал с операторов большую нагрузку. Заказчик захотел понять, с чем бот еще не умеет справляться, делает ли он при общении какие-то типичные ошибки, а главное, какие идеи можно подсмотреть на рынке (в том числе за рубежом).

Задача — создание карты развития сервиса

Ключевые задачи аудита чат-бота

Ход работы — изучение бота с четырех сторон

Исследование сценариев

Нетипичные сценарии, конечно, чаще дают сбой — но при этом сами нетипичные сценарии выполняются гораздо реже. Большие проблемы доставляют как раз повседневные задачи в сервисах: каждая типичная ошибка там повторяется тысячами пользователей ежедневно. Именно здесь бизнес теряет больше всего денег.

Поэтому мы не стали изобретать интересные и редкие сценарии. Вместо этого мы изучили отзывы и вопросы пользователей и смоделировали 18 типичных запросов для сферы заказчика:

• оформить заказ устройства;

• найти ближайший магазин;

• узнать, что делать, если устройство не заряжается, и т. д.

Можно подумать, что с такими частыми и типичными запросами бот справляется хорошо. Технически — да, они действительно предусмотрены. Но реальным людям оказалось сложно взаимодействовать с ботом — в частности, находить нужный ответ в реплаях.

Например, адреса магазинов скрывались за кнопкой «Узнать больше о [название продукта]». Пользователи были уверены, что там инструкции, реклама или описания вкусов — но только не магазины. Поэтому многие вводили запрос вручную, а некоторые пробовали все варианты развития диалога, чтобы найти магазины методом перебора.

Один респондент в итоге так и не смог получить информацию — это равно потерянному заказу.

С другими сценариями тоже обнаружились сложности: человек, который захотел купить устройство онлайн, должен был догадаться, что ему нужно в раздел «Специальные предложения».

Сейчас, чтобы купить устройство с помощью бота, нужно проявить недюжинную смекалку

А после исправления магазины перестанут «прятаться» от пользователя за кнопками с непонятными названиями

Пользователь всегда думает простыми категориями: «купить онлайн», «купить в магазине», «найти магазин», «пожаловаться», «узнать, почему не работает...», а у нужных элементов типа корзины хочет видеть привычную пиктограмму и расположение. И кнопки в чате тоже должны создаваться с учетом логики клиента и того, как он формирует свои потребности.

В итоге из 18 «простых» сценариев чат-бота только 6 показали себя хорошо. Для остальных мы составили рекомендации по доработке.

Глубинные интервью с пользователями

Запросы вроде «Хотелось бы обсудить с ботом цвет устройства, которое я заказываю» или «Почему бот сам не подтягивает номер телефона?» — это фактически готовые правки к сценариям. Они толковые, и их можно передавать сразу в разработку. Но этого недостаточно, и часто нужно глубинное интервью — на них пользователи говорят о своих желаниях и ощущениях вне всяких сценариев:

• «Бот не понимает смену темы»;

• «Бот не понимает запросы, введенные вручную»;

• «Это просто бот, и бот сухой, как все остальные».

Наша задача как UX-исследователей — «выловить» как можно больше таких справедливых недовольств и сформулировать шаги по их исправлению. Глубинные интервью помогают бизнесу услышать реальное мнение пользователя, узнать о его впечатлениях — это очень сложно сделать «изнутри» бизнеса.

Всего мы получили 23 ценные идеи — и их, как и сценарные ошибки, упаковали в конкретные шаги для исправления и улучшения.

Специалисты «фильтруют» идеи и пожелания пользователей, выбирают самые толковые, формируют из них задачи и добавляют в бэклог

Кабинетное обследование

Если пользователи умолчали о каких-то недостатках, это не значит, что все хорошо. Иногда у людей просто нет «идеального» цифрового опыта — а значит, они не представляют, что можно иначе, и готовы терпеть неудобства.

Специалисты, которые делают кабинетное обследование, помогают дополнить обратную связь от пользователей и сказать, что в сервисе не так — но уже не по ощущениям, а по науке UX.

Conversational user interface, сокращенно CUI — диалоговый пользовательский интерфейс, жизненно важная часть каждого бота. В Markswebb есть базовая методология по CUI, которую мы используем для аудита чат-ботов — но каждый раз она адаптируется под конкретную сферу со специфическими для нее пользовательскими запросами.

В отчетах, кстати, мы прописываем не только оценку – но и приоритетность:

Эти 7 принципов CUI сформулировали в Markswebb – по базовому списку проверяется каждый чат-бот, пришедший на аудит

По каждому пункту заказчик получил от Markswebb рекомендации — чему и зачем стоит научить бота:

• Просить пользователя сделать запрос чуть иначе. Иногда бот не понимает его, хотя фактически он мог бы помочь. Переформулировать вопрос и получить ответ для пользователя будет быстрее, чем ждать оператора.

• Предлагать другие решения задач, о которых человек может не знать. Например, после вопроса о чистке устройства бот должен предложить эту услугу от профессионалов (кстати, такой скилл помогает боту делать допродажи).

• Распознавать несколько вопросов в рамках одного сообщения. Да, даже некоторые люди грешат ответом только на последний вопрос в сообщении, что уж говорить — но если у бота не будет таких изъянов, его будут предпочитать живому оператору.

Всего мы дали 20+ таких рекомендаций в блоке по CUI. Даже когда выполнена будет только часть, лояльность к боту и компании уже вырастет, а нагрузка на человеческие ресурсы, наоборот, снизится.

Поиск интересных практик на локальном и зарубежных рынках

В UX уже несколько лет есть тренд на «жидкие ожидания». Это история о том, что у людей формируются запросы на основании всех сервисов, которыми они пользуются — причем неважно, в какой сфере.

Поэтому мы ищем лучшие практики, не ограничиваясь одной сферой.

Интересные практики мы нашли у приложений «ЕАПТЕКА» и «М.Видео». Их боты понимают опечатки, позволяют вернуться на шаг назад и распознают тип обращения — например, отличают «хочу отменить заказ» от «не получается отменить заказ». В первом случае пользователю показывают нужный раздел, во втором переключают на оператора. Очень удобно — и заказчик взял это на заметку.

В общей сложности специалисты Markswebb собрали 24 примера реализаций по тем функциям, которые стоит доработать. Бонусом в отчете пошли практики зарубежного рынка — фишек и алгоритмов, которых пока нет ни у заказчика, ни у его конкурентов.

Например, виджет Bank of America предлагает удобный сценарий разрешения спорных ситуаций:

• пользователь получает быстрые ответы для запроса;

• выбирает операцию, которую собирается оспорить;

• по клику на операцию видит ее детали.

Одна из практик зарубежного рынка, которую может применить заказчик

Эту практику, как и другие, можно брать на вооружение (в отчете для клиента сценарий описан более подробно).

Перспектива — внедрение улучшений

В отчетах мы всегда даем полную карту внедрения рекомендаций, по сути — готовый бэклог. При этом UX-специалисты, которые делают исследование, консультируют продуктовую команду по ходу работ. А если релиз затянулся или вскрылись ограничения технического или продуктового характера, то помогают менять что-то на ходу — и при этом не проигрывать в качестве этих изменений.

Исследуйте свой сервис

Мы находим точки роста и лучшие практики рынка, которые помогут усилить цифровой продукт

Подробнее