Трудно быть ботом. Что улучшить в чат-боте, чтобы с ним было удобнее общаться

Чат-бот QIWI Кошелька Квик развивается, как полноценный канал клиентской поддержки, ежедневно принимающий обращения по 70 пользовательским сценариям. За последнее время количество и разнообразие запросов в чат выросли кратно, и команде бота потребовалось выяснить, насколько качественно канал масштабируется и обрабатывает новые юзкейсы, соответствует ли современному уровню коммуникаций и как можно улучшить пользовательский опыт. С этой задачей продуктовая команда QIWI обратилась в Markswebb.

Мы провели аудит чат-бота, оценили возможности роботизированного сервиса по числу решаемых задач и по качеству самой коммуникации, сформулировали 18 направлений для роста и предложили для них механики, улучшающие пользовательский опыт и увеличивающие активность пользователей.

Как оценивали чат-бота QIWI

Чтобы оценить функциональность и качество коммуникаций, использовали модифицированную методику Chatbot Rank 2022. Бенчмарк исследования фокусируется на принципах эффективной коммуникации в диалоговом интерфейсе (CUI — conversational user interface), он рассматривает речевое поведение чат-бота, как максимально комфортные для пользователя речевые действия, и дает объективную оценку общения вне зависимости от предметной области цифрового сервиса.

Принципы CUI и их влияние на успешность коммуникации в текстовом канале.

Также важно было оценить и функциональность чат-бота — способен ли он решать конкретные задачи клиентов. Для этого изначальный список запросов (интентов) Chatbot Rank 2022 увеличили почти в два раза за счет обращений, характерных для пользовательских сценариев в цифровом кошельке — всего 96 интентов. Исследователи добавили еще четыре запроса, связанных с управлением продуктом, доведя число проверяемых запросов до 100.

Интенты в периметре аудита затрагивали 6 блоков пользовательских задач: получить помощь в навигации, получить общий информационный ответ, получить ответ, связанный с личными данными клиента, выполнить действие, отправить жалобу и подобрать продукт.

Примеры интентов для Квика

В результате проекта была получена метрика, позволяющая объективно оценить два важных качества QIWI Квика — насколько полноценно и эмпатично он разговаривает с людьми (по принципам и правилам CUI) и способен ли он выполнять поставленные задачи (число решенных интентов). Обе метрики показывают текущий уровень развития бота и позволяют поставить для продуктовой команды целевой показатель и отследить его достижение.

Оценка показала высокий уровень QIWI Квика

Изучали чат-бота кабинетно. Сначала исследователи создавали кошельки в QIWI, пополняли баланс, совершали различные платежи, опираясь на целевые сценарии. Это помогло сформировать реалистичную рабочую среду: историю операций, нужный набор услуг и данные для работы чат-бота.

Затем начали тестировать чат-бота по интентам, моделируя формулировки, которые используют конкретные клиенты сервиса. В этом исследователям помогли примеры портретов пользователей QIWI, которые заранее предоставила команда продукта. Портреты позволили более точно представлять профили клиентов, какие продукты подключены, как они могут себя вести в текстовом канале.

Примеры портретов пользователей QIWI

В результате исследования определили, что Квик придерживается большинства принципов построения диалогового интерфейса. Он опережает средний по финтех-рынку уровень соответствия CUI и формирует комфортную среду общения в текстовом канале.

Бот Квик придерживается принципа вежливости: присылает сообщение о том, что запрос клиента выполнен; убеждается, что клиент получил именно то, что ему было необходимо. Также создает прозрачную коммуникацию, например, заранее информирует клиента о том, что диалог ведется с роботом, и формирует правильное ожидание.

Результаты оценки чат-бота QIWI

Точки роста обозначились в принципах функциональности и удобства: например, пользователь не имел возможности возвращаться на предыдущие шаги разговора или вернуться к отложенному диалогу. Иногда бот в отдельных сценариях давал один и тот же ответ в рамках диалога.

В обработке интентов QIWI Квик показал еще более высокие результаты. Бот идеально справляется с 58 запросами из 100: полностью берет на себя вопросы, связанные с наиболее критичными задачами — непосредственная работа с кошельком, предоставление информации об условиях и продуктах. На высоком уровне справляется с жалобами и претензиями, помогает клиенту решить проблемы платежей. В остальных интентах Квик уточняет данные и подготавливает пользователя к разговору с оператором поддержки, что также формирует высокое качество клиентского опыта.

Как лучше адаптировать чат-бота к запросам клиентов

Всего исследователи описали для QIWI 18 зон роста, к каждой подобрали от 2 до 5 рекомендаций по улучшению UX. Решений выбирали среди практик чат-ботов из финтех-приложений и e-commerce сферы — всего более 40 реализаций для соответствия каждому принципу CUI.

Как рекомендации выглядели для команды QIWI, покажем на примере разбора принципа «Адаптироваться под запрос клиента». Он описывает правила создания естественной среды общения, в которой клиенту не нужно подстраивать свои запросы под особенности канала. В идеале бот должен быстро распознать тип запроса и соответственно отреагировать: дать информацию, предложить действие или совершить его сам.

При запросе функции бот может подсказывать навигацию к разделу, где она выполняется, дать гиперссылку на раздел или даже вывести кнопку в поле чата. Если нужно выполнить действие, то он фиксирует его на себе: уточняет детали, предлагает варианты решения.

Ориентир можно найти в практиках чат-бота из приложения еАптека: текстовый ассистент распознает тип запроса, видит, что клиенту нужна функция, и указывает к ней путь.

Чат еАптеки

Когда нужно ответить на вопрос, бот должен дать полноценный информационный ответ, подробно рассказывая о нужной функции или объясняя навигацию. Пользователь чувствует, что бот решает его конкретную задачу, а не отвечает типовыми фразами.

Адаптация под запрос клиента выражается не только в том, что бот способен адекватно понимать запрос или тексты с ошибками, но и в удобстве управления самой беседой, наличии быстрых ответов или возможности вернуться на нужный шаг. Поэтому мы рекомендовали команде Квика несколько практик для облегчения навигации в диалоге.

Например, в чате приложения М.Видео есть кнопка «Назад», по которой которой клиент может вернуться к предыдущему уточняющему вопросу и снова просмотреть варианты действий. Так появляется возможность пойти вторым путем, не задавая вопрос повторно и не прекращая текущий диалог.

Чат-бот М.Видео

Того же эффекта можно достичь, если оставлять быстрые ответы всегда доступными и активными в логе беседы, чтобы можно было отмотать диалог на нужный этап и выбрать другой вариант. Это облегчает беседу, формирует ощущение свободы в текстовом канале.

Важным фактором, формирующим положительный пользовательский опыт, выступает возможность вернуться в диалог даже после длительного перерыва. Для этого нужно расширить интервал таймаута беседы от 20 минут до нескольких часов, что сэкономит усилия вернувшегося в чат клиента.

Например, в чате приложения Tele2 пользователь может вернуться в диалог после длинной паузы, чат-бот возобновит диалог с того места, на котором он прервался.

Чат-бот Tele2

Что получила команда чат-бота

Результаты исследования, оценку и рекомендации по развитию презентовали команде QIWI Квика в конце 2022 года. Основной итог проекта для заказчика — появилась возможность объективно оценить качество текстового канала в сравнении со всем цифровым рынком, а также понять, в какие направления необходимо вкладываться, чтобы постоянно поднимать уровень сервиса.

Бэклог пополнился конкретными задачами, 26 из них перешло в реализацию уже в начале февраля — в первую очередь в работу взяли рекомендации, прямо влияющие на результативность ответов Квика (метрика FCR, First Call Resolution), а также на те качества, которые формируют лояльность (CSI). Улучшили распознавание в тех классах интентов, в которых обнаружились точки роста, увеличили таймаут ожидания ответа, что сократило количество повторных обращений к боту.

Все это стало для команды чат-бота важным плацдармом для нового витка развития, а для самого QIWI Квика — шагом к еще большей «человечности» в общении.

Закажите UX-аудит

Узнайте, как Markswebb помогает улучшать цифровые каналы, находит, приоритезирует и помогает решить проблемы пользовательского опыта.

Подробнее