Проблемы цифрового общения: почему ошибаются чат-боты, и можно ли это исправить?

Даже самые продвинутые чат-боты иногда допускают ошибки при общении с человеком. Это плохо влияет на пользовательский опыт: решение задачи затягивается, лояльность клиента падает, а к процессу все равно подключается оператор-человек — в итоге падает показатель успешности решенных задач и экономическая эффективность чат-бота.

В ходе исследования Chatbot Rank 2021 мы выделили несколько основных проблем, которые возникают при общении с чат-ботами в разных цифровых сервисах. В этот материал попали самые явные и критичные для клиентского опыта ошибки. Для каждого случая мы нашли пример решения, которое позволит улучшить клиентский опыт, а разработчики платформ мультифункциональных цифровых ассистентов iPavlov, подсказали, как избежать этих проблем при проектировании интеллектуальных помощников.

1. Чат-бот не понимает контекст сообщений

Люди общаются в мессенджерах весьма специфично: не разделяют мысли знаками препинания, разбивают вопрос на несколько сообщений, ссылаются на предыдущие фразы и так далее. Бот часто не может справиться с потоком фраз и мыслей, даже если его обучали работать с подобными запросами — и вместо быстрого решения задачи, клиент долго подбирает правильное обращение к боту, чтобы он понял вопрос.

С подобной ситуацией мы столкнулись, тестируя сценарий блокировки карты в чате Тинькофф Банка. Бот не распознал контекст нескольких сообщений и позвал оператора, но даже его появление не упростило решение задачи — человек заблокировал не ту карту.

С точки зрения инструкций банка менеджер поступил правильно: риск потерять средства клиента более значим, чем риск вызвать недовольство блокировкой. Но ошибка бота все же привела к лишним действиям: клиенту пришлось по телефону подтверждать разблокировку карты.

Как улучшить клиентский опыт? Проблема понимания контекста письменной речи возникает у каждого исследованного нами бота, когда пользователь общается слишком неструктурированно для машинного восприятия. В этой ситуации система должна вернуть клиента в русло однозначных сообщений. Частично добиться этого можно с помощью быстрых ответов, которые предложит сам чат-бот. Пример такой практики можно увидеть там же — в чате Тинькофф Банка.

Один из плюсов быстрых ответов — клиенту помогают ускорить процесс с помощью уже готовых сообщений, которые не надо вводить вручную. Но это не снимает проблему полностью: варианты быстрых ответов могут не соответствовать запросу, и в итоге без помощи оператора задача не решится.

iPavlov.ai: что делать разработчикам? Понимание контекста зависит от того, какие инструменты машинного обучения используются для обработки естественного языка. Наилучший результат дает сочетание трех методов разработки цифровых ассистентов — простых алгоритмических ботов (rule-based assistants), ботов с обработкой естественного языка (NLP assistants) и ассистентов на сложных нейросетевых архитектурах (humanoid assistants). Так можно достичь максимальной гибкости в понимании запросов клиента.

В удержании контекста диалога большое значение имеет работа редакторов, которые заранее моделируют полезные ответы для цифровых ассистентов на всевозможные запросы пользователей. Работа редакторов в комбинации с разными моделями машинного обучения может дать хороший результат. Так, например, разработана Алиса от Яндекса, которая использует язык редакторских шаблонов для генерации ответов.

2. Чат-бот неправильно понимает задачу пользователя

Цифровому ассистенту важно не только распознать сообщение человека, но и правильно определить, что именно нужно сделать, чтобы удовлетворить запрос. Ошибки на этом этапе в лучшем случае приводят к переформулировке запроса или вызову оператора, а в худшем — запуск не тех функций, которые создадут дополнительные проблемы для пользователя.

Вот пара примеров, что может случиться, когда чат-бот не понял задачу. В случае с мобильным банком ВТБ клиенту пришлось долго подбирать фразы, чтобы бот понял запрос, а ассистент Tele2 отключил подписки, хотя клиент желал обратного.

Как улучшить клиентский опыт? Проблема вновь связана с тем, что клиент формулирует запросы слишком неформально для бота. Решить ее можно, если забрать у пользователя возможность импровизировать и свести общение к четким ответам на конкретные вопросы.

Если пользователь обращается к функции, которую ассистент не поддерживает, следует заранее предупредить об этом, посоветовать способ решения или пригласить в чат оператора. Показательные примеры обработки таких запросов можно найти у Альфа-Банка и Райффайзенбанка. Чат-бот Альфа-Банка, распознав обращение как жалобу, сразу подключает к диалогу оператора. А ассистент Райффайзенбанка сообщает, что не умеет работать с определенными обращениями и подсказывает контактный номер для решения задачи.

iPavlov.ai: что делать разработчикам? Чтобы лучше понимать задачу клиента, можно использовать несколько подходов: rule-based methods, semantic similarity, intent recognition и другие. Все они основаны на том, что в цифрового ассистента заранее заложен набор пользовательских сценариев, в процессе общения он пытается подобрать наиболее релевантный вариант и запустить его. Выбор конкретной модели зависит от имеющихся данных, ограничений по серверным мощностям, производительности системы в целом и других параметров.

Чаще всего в этой задаче используется модель машинного обучения для классификации намерений пользователя (intent recognition). Определяется вероятность соответствия запроса каждому из сценариев, а потом происходит сравнение полученных значений с заранее заданным числом — порогом вероятности. Если вероятность соответствия преодолевает порог для одного из сценариев, бот запускает этот сценарий. Если порог пройден сразу для нескольких сценариев, с помощью модели ранжирования можно предложить пользователю их все — в виде вариантов быстрых ответов.

Если все сценарии окажутся ниже порога вероятности, цифровой ассистент тоже должен что-то ответить и сохранить целостность опыта клиента. Например, предложить варианты альтернативных действий, попросить переформулировать запрос или позвать оператора. Модуль, который запускает такой сценарий, называется fallback policy.

3. Чат-бот не пускает к оператору

Чтобы разгрузить менеджеров поддержки и минимизировать обращения по задачам, которые клиент может решить самостоятельно, боты всячески стараются удержать клиента от обращения к оператору. Это не уместно, например, когда бот не может решить запрос или пользователь принципиально не хочет общаться с цифровым ассистентом и сразу просит перевести на человека.

Если бот не может выполнить конкретный запрос клиента и никак не переключает его на человека, реакция будет негативной. Так ведет себя ассистент в чате мобильного банка Сбербанка: бот несколько раз обещал вызвать оператора, но каждый раз возвращался к беседе.

Как улучшить клиентский опыт? В любом сценарии цифровой ассистент должен немедленно выполнить запрос на доступ к оператору-человеку. Опросы продуктовых команд чат-ботов, проведенные в рамках Chatbot Rank 2021, показали, что часть пользователей испытывает психологический дискомфорт при общении с ботами. Эту особенность важно учитывать: определять таких клиентов с помощью анализа логов и сразу переводить на оператора-человека.

iPavlov.ai: что делать разработчикам? Перевод к менеджеру-человеку происходит двумя способами: прямой командой по кнопке или фразой, контекст которой будет связан с задачей перевода на специалиста поддержки. В первом случае проблем с переводом на оператора быть не должно: кнопки срабатывают мгновенно и запускают цепочку алгоритмических действий, которые при нормальной работе системы точно приведут к нужному результату.

Во втором случае необходимо использовать машинное обучение, например, named entity recognition, чтобы чат-бот мог понять, что от него хочет пользователь. Но модели обучения пока несовершенны, потому случаются ошибки.

Простые действия лучше всего выполнять алгоритмически — по нажатию кнопки, которая всегда должна быть доступна пользователю. Это понятный и проверенный способ, который не подведет.

4. Чат-бот закрывает беседу раньше времени

Одна из метрик эффективности ботов — число успешно завершенных диалогов, когда цифровой ассистент справился с обращением клиента. Но иногда боты неправильно интерпретируют долгое молчание или закрытое приложение и заканчивают беседу.

Когда клиент возвращается в чат и видит вместо ответа просьбу оценить качество поддержки, он ставит низкую оценку и теряет желание использовать этот канал для решения своих проблем. Особенно плохо на клиентский опыт влияет потеря данных из заполненной формы (например, на кредит), когда клиент сворачивает чат — случайно или чтобы найти какую-то информацию.

В приведенных примерах чат-боты Утконоса и Ситимобила прерывают общение, фактически не дожидаясь реакции клиента на ответ — и в обоих случаях пользователю придется начать новый диалог, чтобы добиться решения задачи.

Как улучшить клиентский опыт? Необходимо пересмотреть алгоритм закрытия сессии диалога. Если пользователь свернул приложение или долго не отвечает, можно проактивно задать вопрос или предложить варианты быстрых ответов.

Примеры практик можно найти в чатах Ozon и ВТБ. Если клиент поблагодарил бота за ответ, можно уточнить, нет ли других вопросов или предложить рассказать о функциях цифрового сервиса.

iPavlov.ai: что делать разработчику? Параметры, по которым закрывается диалоговая сессия, — часть настройки бизнес-логики чат-бота. Не стоит делать сессию слишком короткой — набор сообщения может занимать больше минуты. И держать сессию постоянно открытой тоже нельзя: в этом случае бот будет находиться в том контекстном состоянии, в котором пользователь его оставит. Когда клиент вернется с новой задачей, цифровой ассистент запутается.

Инсайты для оптимальной настройки закрытия сессии может подсказать UX-тестирование разных способов — по таймеру или по триггеру. Подойдут стандартные A/B тесты или любые другие инструменты маркетинговых исследований.

5. Чат-бот неуместно шутит

Команды чат-ботов пытаются научить их непосредственной манере общения, чтобы цифровой ассистент больше походил на человека в диалоге. Но уместный юмор — пока еще недостижимая высота для нейросетей.

Неудачные шутки в лучшем случае будут просто не поняты, а в худшем — помешают выполнению задачи. Как, например, в диалоге с чат-ботом Тинькофф Банка, который вместо решения задачи начал шутить.

Даже если большинству клиентов нравится неформальная манера общения, то ради меньшинства, испытывающего негатив, лучше от нее воздержаться. Пока чат-бот не научился вести диалог с учетом индивидуальных особенностей пользователя, лучше избегать двусмысленных ситуаций.

Как улучшить клиентский опыт? Можно интегрировать юмор в типовые ответы, что одновременно поможет создать неформальную атмосферу и не испортить опыт клиента. Пример можно найти в чате ВТБ: цифровой ассистент начинает диалог с игры слов. Такой юмор ненавязчивый, пользователь его может даже не заметить и сразу перейти к типовым ответам.

iPavlov.ai: что делать разработчику? Чтобы цифровой ассистент мог разговаривать с человеком на одном языке, модели обработки естественного языка обучают на больших массивах данных. Датасеты для обучения берут в интернете: в комментариях к постам, на форумах и в других открытых источниках. Разумеется, далеко не всегда в этих каналах разговор идет в вежливом тоне, цифровой ассистент это улавливает и использует.

Продуктовой команде следует тщательно проверять обучающие выборки для моделей машинного обучения, чтобы в них не попадала нецензурная лексика и негативно окрашенные предложения. Для этого можно использовать модели insult detection и sentiment analysis, что позволяет автоматизировать очистку данных от нежелательных выражений.

***

По мере того, как разработчики интеллектуальных решений будут накапливать опыт, а нейросети обучаться, недопонимания между людьми и цифровыми ассистентами будет все меньше. В рамках исследования Chatbot Rank 2021 мы сформируем стандарт качества клиентского опыта при общении с чат-ботами, найдем инсайты для их развития и оценим решения крупнейших компаний. Подпишитесь на наш дайджест, чтобы не пропустить приглашение на презентацию.

Виктория Нагорнова
Тимлид Markswebb

Материал подготовлен для rb.ru.
Благодарим команду iPavlov.ai в лице генерального директора
Лорана Акопяна за сотрудничество с Markswebb.