Маркетинг

Компания

Ozon – мультикатегорийный маркетплейс с развитой логистической сетью. Компания закрывает самые разные потребности клиентов – от товаров для дома, красоты и здоровья до электроники, одежды и мебели. Продавцы получают не только доступ к многомиллионной базе покупателей, но и инструменты для развития бизнеса. Лучше всего о компании говорят цифры: 370 млн товаров в 20+ категориях, 49 млн активных покупателей, а развивают платформу 5500 IT-специалистов.

Продажи

Июль 2024

Клиентская поддержка

Задача

Chatbots and NLP Team в Ozon работает с подходом AI-driven-development. К любой задаче здесь подходят с позиции, можно ли ее решить с помощью AI. По словам руководителя команды, Дмитрия Васильева, основная фича LLM – это оптимизация и автоматизация рутинных задач.

В Ozon применяется процесс Proof-of-Concept, в рамках которого любой внутренний заказчик может прийти со своей идеей и попросить ее реализовать. Особенность подхода заключается в том, что на ресерч по задаче должно уйти не более 10 рабочих дней. Именно такой подход позволил Chatbots and NLP Team за несколько месяцев протестировать несколько гипотез и внедрить готовые решения в реальные бизнес-процессы.

Инструменты

Своя LLM на базе Mixtral8x7b

Longformer

tf-idf + Cosine Similarity

ruT5

T5Large

BERT

Первые два пункта представляют собой неструктурированные данные, которые довольно сложно анализировать даже человеку: диалог пользователь+бот/пользователь+предыдущий оператор, вычитка инструкций, подготовка ответа.

На первом этапе в Ozon решили саммаризировать диалог до уровня проблемы клиента, а на втором – готовить шаблон ответа пользователю. В обоих случаях была задействована языковая модель.

Кстати, оказалось, что оператор берет ответы на стандартные вопросы не только из инструкций – опытные операторы записывают свои избранные шаблоны ответов в блокнот, так как считают, что персональный подход хорошо влияет на уровень удовлетворенности пользователя.

Так как работа операторов связана с обработкой персональных данных, Ozon не может использовать облачные решения – иначе пришлось бы усложнить процесс согласования такого сервиса, и он все равно не был бы безопасным для пользователя. Поэтому в Ozon используют опенсорс-модели, которые разворачивают на собственном железе. После тщательного анализа выбрали несколько моделей: для саммаризации – ruT5, для подсказок релевантных шаблонов обработанные генеративными моделями текста пропускаются через модели Longformer, tf-idf + Cosine Similarity.

За счет внедрения LLM в работу операторов КЦ удалось сократить Average Handling Time (средняя скорость решения тикета) на 20%

Метрика, на которую в Ozon смотрят, – AHT (Average Handling Time, средняя скорость решения тикета). На текущий момент за счет LLM удалось сократить AHT на 20% при покрытии автоматизацией 50-70% в зависимости от направления (LLM-инструменты используются для поддержки покупателей и продавцов).

В планах на 2025 год снизить показатель AHT на 40-50%, при этом увеличить автоматизацию до 90-100%, а также масштабировать решения на другие службы поддержки: агентская поддержка ПВЗ, иностранные селлеры и др.

Для классификации важности сообщений в корпоративном мессенджере применяется модель BERT, а для генерации – T5Large. Для обучения использовались исторические тикеты за последние 3 года. По словам Дмитрия, таймлайн модель генерит отлично – дежурные даже не проверяют за ней, а вот с описанием справляется не совсем самостоятельно – иногда галлюцинирует, поэтому коллегам приходится перепроверять.

Основная проблема оказалась в том, чтобы сгенерить хорошее изображение, нужно написать правильный промпт, а писать правильный промпт нужно уметь. Тогда в Chatbots & NLP Team попросили свою LLM генерить промпт на базе запроса человека – результаты генераций стали ожидаемо хорошими, картинки пошли в прод. Далее в планах научить модель генерировать изображения в стилистике Ozon, а также увеличить размерную сетку.

А/Б-тесты показывают, что наличие качественного описания товара повышает конверсию по добавлению в корзину на 0,6%, а конверсия в покупку увеличивается на 0,5%. Это небольшие цифры, но на деле – очень хорошие показатели.

На Ozon продаются товары не только от селлеров, но и товары, которые компания сама закупает на склады. Как быть, если ежедневно у тебя появляются тысячи новых товаров, но специалистов по заполнению карточек всего 8 человек?


Задачу провели по процессу Proof-of-Concept. Оказалось, что собственная модель Ozon отлично генерит описания.

Сейчас описания товаров генерятся с помощью LLM, но сотрудники все еще проверяют за ней. В планах дать этот инструмент внешним селлерам, а также дообучить модель на данных Ozon, чтобы не было необходимости перепроверять результат.

Промпт: Ты должен написать продающее описание товара для интернет-магазина. Описание должно быть креативным, понятным и в несколько абзацев, чтобы человек захотел купить товар. Используй наиболее значимые характеристики товара в описании. Убедись, что твой ответ объективен и не основан на стереотипах.