Хочу поделиться кейсом!
Ваша компания использует генеративный AI в продуктах, проектах и бизнес-процессах? Смело рассказывайте о своем опыте на страницах проекта Generation AI!
Правила отбора
Правила отбора
Нажимая кнопку «Отправить», я даю свое согласие на обработку файлов cookie в соответствии с Политикой обработки персональных данных.
У вас есть вопросы и предложения? Напишите нам!
Нажимая кнопку «Отправить», я даю свое согласие на обработку файлов cookie в соответствии с Политикой обработки персональных данных.
Хотите такой же кейс, но не знаете, с чего начать?
Запишитесь на консультацию, и наш эксперт ответит на ваши вопросы о генеративном AI!
Нажимая кнопку «Отправить», я даю свое согласие на обработку файлов cookie в соответствии с Политикой обработки персональных данных.
Хотите внедрить GenAI в свои бизнес-процессы, но не знаете, с чего начать?
Запишитесь на консультацию, и наш эксперт ответит на ваши вопросы о генеративном AI!
Нажимая кнопку «Отправить», я даю свое согласие на обработку файлов cookie в соответствии с Политикой обработки персональных данных.
Как в Банке Точка развивают полноценного AI-ассистента, внедряя LLM в поисковый сервис
Компания
Точка — банк для предпринимателей и предприятий. На сегодняшний день экосистемой пользуются 600 000 предпринимателей, и каждый день их становится больше на 1000. По опросам NPS, 74% клиентов рекомендуют Точку своим друзьям — это самый высокий индекс лояльности среди банков во всем мире.
Июль 2024
Клиентское обслуживание
Задача
В начале 2023 года в Точке провели UI-реформу: два интерфейса для разных целевых аудиторий объединили в один клиентский интерфейс. А с новым интерфейсом появилась большая потребность в удобном поиске по всем сервисам банка (а их насчитывается более 60), по платежам, контрагентам – чтобы пользователям было легче ориентироваться в новой среде.
Поиск сразу же стал востребованным сервисом внутри банка: после запуска удалось добиться 150K запросов и 40K пользователей в неделю, со средним временем ответа не более 1 секунды. Эти результаты хотелось поддерживать и улучшать. Однако с продуктовой точки зрения поиск — это просто карта сайта, система взаимодействия клиента с информацией банка. Но на самом деле задача пользователя – не найти справочную информацию, а решить конкретную задачу.
Поэтому в Точке решили пойти дальше и сделать поиск универсальным текстовым интерфейсом банка, в котором можно получать ответы на любые вопросы и совершать действия, решая задачу напрямую в поиске.
Поиск сразу же стал востребованным сервисом внутри банка: после запуска удалось добиться 150K запросов и 40K пользователей в неделю, со средним временем ответа не более 1 секунды. Эти результаты хотелось поддерживать и улучшать. Однако с продуктовой точки зрения поиск — это просто карта сайта, система взаимодействия клиента с информацией банка. Но на самом деле задача пользователя – не найти справочную информацию, а решить конкретную задачу.
Поэтому в Точке решили пойти дальше и сделать поиск универсальным текстовым интерфейсом банка, в котором можно получать ответы на любые вопросы и совершать действия, решая задачу напрямую в поиске.
Инструменты
ChatGPT
Когда пользователь вводит в поиск простой запрос вроде «Как выставить товар на OZON», обычный поиск (реализованный на методе синонимов и tf-idf, поиск по частотному словарю) не дает прямого ответа, потому что вопрос задан слишком размыто. А в Точке считают, что клиенту нужно дать либо ответ на вопрос, либо точку входа.
Тут решением стала технология Informational Retrieval (метод поиска по смыслу) — способ доставать смысл из текстовых данных и сопоставлять его с запросом пользователя.
Так поиск Точки научился отвечать на подобные вопросы: если он не мог дать прямого ответа, то предлагал подходящие по смыслу сервисы и справочную информацию, например, статьи из Wiki и т.д. Но этого было недостаточно, к тому же на рынок пришел ChatGPT.
Тут решением стала технология Informational Retrieval (метод поиска по смыслу) — способ доставать смысл из текстовых данных и сопоставлять его с запросом пользователя.
Так поиск Точки научился отвечать на подобные вопросы: если он не мог дать прямого ответа, то предлагал подходящие по смыслу сервисы и справочную информацию, например, статьи из Wiki и т.д. Но этого было недостаточно, к тому же на рынок пришел ChatGPT.
Решение в пять шагов
Улучшенный информационный поиск
В Точке хотели научиться отвечать на большинство вопросов клиента, связанных с бизнесом, даже если в системе нет протегированных сервисов и подходящих статей. Реализовать эту идею можно было с помощью LLM.
Эксперимент с ChatGPT
Чтобы понять, как будут вести себя пользователи и какие произвольные вопросы они будут задавать, в Точке открыли доступ в ChatGPT прямо из поиска.
Пришлось решать целый ряд сопутствующих проблем: согласовывать проект с юристами (какую информацию можно выдавать, а какую нельзя), делать дизайн интеграции в момент, когда на рынке еще не было оптимальных решений, обучать клиентов на тот момент новой технологии.
Релиз состоялся: пользователь переключался на специальный режим поиска с ChatGPT, получал подсказки, чтобы корректно составить запрос (промпт), и получал текстовый результат от ИИ. А банк собирал данные о взаимодействии пользователя с новой технологией.
Каждый раз Точка предупреждает клиентов, что им отвечает ИИ, и ответ может быть неточным или неполным. А ещё показывает дисклеймер о том, что данные отправляются в СhatGPT.
Релиз состоялся: пользователь переключался на специальный режим поиска с ChatGPT, получал подсказки, чтобы корректно составить запрос (промпт), и получал текстовый результат от ИИ. А банк собирал данные о взаимодействии пользователя с новой технологией.
Каждый раз Точка предупреждает клиентов, что им отвечает ИИ, и ответ может быть неточным или неполным. А ещё показывает дисклеймер о том, что данные отправляются в СhatGPT.
В 2023 году ChatGPT был обучен на данных прошлых лет, и в нем полностью отсутствовал российский банковский контекст. В Точке решили, что раз всему можно обучить новых сотрудников, почему бы не добавить и ChatGPT знаний и контекста, чтобы он мог отвечать на вопросы по банковской тематике самостоятельно.
ChatGPT с контекстом
- Получили запрос от клиента
- Отправили запрос в поиск по статьям (Retrieval)
- Из запроса и найденных статей формируем промпт
- Отправляем в ChatGPT (используя его как метод переформулировки в персональный ответ для клиента)
- Получаем ответ со ссылками на источники
Механика выглядела так:
Так ChatGPT научился отвечать на сложные вопросы клиентов, связанные с сервисами Точки, российским банкингом – например, «Как подключить возможность оплату по QR-коду».
Эксперимент с ChatGPT-сервисом принес около 2К запросов и 1К клиентов в неделю, дал понять, что пользователи готовы спрашивать у бота, и тем самым помог отстроить дальнейшую стратегию работы с LLM.
Но в Точке хотели, чтобы кроме произвольных вопросов клиенты совершали действия прямо в поиске: чтобы интерфейс позволял отправить платеж, скачать выписку, открыть депозит, найти платеж. Такие действия являются многошаговыми, и существующая система поиска под них не была заточена.
Диалоговая система с действиями
Действия внутри поиска
Чтобы решать сложные конечные банковские задачи в поиске, нужна система взаимодействия и сохранения контекста, а не вопрос-ответ; полноценная диалоговая система, а не просто чат-бот с единичными запросами. Требовался полноценный текстовый интерфейс, как в ChatGPT. При этом, конечно, нужно было контролировать, что пользователь вводит, какие ответы получает и как идет по сценарию. Решением стала система сценариев, которая работает в связке с LLM.
Например, пользователь хочет открыть депозит и пишет об этом в диалоге с ассистентом. Бот выдает ответы согласно сценарию, предлагает подсказки, причем можно выбирать подсказки или писать текстом, комбинируя запрограммированный сценарий с произвольными запросами. Это решение уже максимально близко к персональному ассистенту для каждого клиента, который помогает решать задачи в банке и отвечает на любые вопросы.
У AI-ассистента в Точке есть существенное ограничение — это персональные данные. Банк не позволит, чтобы персональные данные клиента передавались в сторонний ChatGPT. Даже если клиент введет чувствительные данные в диалоговое окно, сервис проведет валидацию и замаскирует данные.
Поэтому в ассистенте пока нельзя реализовать клиентские сценарии, которые завязаны на персональных данных.
Решить эту проблему позволит своя LLM, над которой банк активно работает. Она позволит уйти от ChatGPT, реализовать больше сценариев и в конечном итоге превратит ассистента в поиске в одно большое окно для решения всех вопросов клиентов.
Поэтому в ассистенте пока нельзя реализовать клиентские сценарии, которые завязаны на персональных данных.
Решить эту проблему позволит своя LLM, над которой банк активно работает. Она позволит уйти от ChatGPT, реализовать больше сценариев и в конечном итоге превратит ассистента в поиске в одно большое окно для решения всех вопросов клиентов.