КАК AI‑АГЕНТ СОЗДАЕТ СЦЕНАРИИ УМНОГО ДОМА СБЕР ЗА ПОЛЬЗОВАТЕЛЕЙ

Умный дом Сбер используют более 200 тысяч домохозяйств. Пользователи управляют светом, розетками, климатом и безопасностью дома тремя способами: голосовыми командами интеллектуальным устройствам Сбер, из мобильного приложения и с помощью сценариев.

Сценарий — это мини-программа, которую человек настраивает для своего дома. Он задает время или команду, а также нужные действия. Затем этот алгоритм воспроизводится автоматически. Например: «каждый день в 06:00 включать свет в спальне». Так дом упрощает ежедневную жизнь конкретного человека.

Статистика показывает, что пользователь, который освоил сценарии, покупает больше устройств и дольше пользуется продуктом. Поэтому SberDevices важно, чтобы пользователи активнее использовали сценарии в своей рутине.

Прежде чем начать работать над задачей, команда разобрала причины, по которым люди не пользуются сценариями:

Проверка интерфейсов других платформ умного дома показала похожую картину. Часть пользователей, сталкиваясь с интерфейсом мобильного приложения, до сценария просто не доходит. Ситуацию решили менять кардинально.

Первым решением напрашивался масштабный редизайн: сделать интерфейс понятным для новичков и гибким для опытных. Но задача была противоречивая и дорогая: нужно много UX-исследований, ресурсов дизайнеров, разработки под разные платформы. А вот голосовое управление таких ограничений не имеет. Поэтому стали проверять другие гипотезы.

На старте было две ключевые метрики: сколько новых сценариев создается через агента и какая доля пользователей умного дома активно использует сценарии.

Для голосовых интерфейсов скорость — ключевая метрика, ведь ответа ассистента ждут практически мгновенно. Например, 1,5 секунды — хорошее время от голосовой команды до включенной лампочки. В этот тайминг входит весь пайплайн: убедиться, что человек закончил говорить; превратить речь в текст; понять, к какому из сервисов колонки относится команда; определить устройство; довести до него команду и дождаться выполнения. Проблема в том, чтобы незаметно вставить сюда обращение к LLM: доступные модели либо быстрые, но недостаточно умные, либо умные, но долгие.

Чтобы решить проблему с задержкой, все пользовательский кейсы классифицировали по сложности:

• Элементарные («включи свет») работают без LLM быстро и надежно.
• Сложные диалоги ведет LLM целиком: только она способна осознать все, что сказал пользователь, и правильно продолжить беседу.
• Промежуточные закрывает модальный диалог: агент берет инициативу и ведет пользователя закрытыми вопросами, на которые достаточно отвечать «да» и «нет».

Так выглядит простейший модальный диалог, когда человек уходит из дома, а сценария у него еще нет:

— Салют, я ухожу.
— До скорого. Выключить свет везде?
— Да.
— Выключить кондиционер?
— Нет.
— Выключить теплый пол?
— Да.
— Хорошо, сохраняю сценарий «Я не дома». Его можно изменить в приложении.

Заметная задержка в этом диалоге одна. В начале интеллектуальная колонка обращается к большой модели, получает подходящий сценарий и сразу выстраивает цепочку вопросов на несколько шагов вперед. Дальше закрытые вопросы обрабатываются без LLM, мгновенно. Диалог стал медленнее на один шаг, зато LLM по его итогам сама создала пользователю сценарий. Время создания сценария сократилось с 5 минут до 60 секунд.

Умный дом взаимодействует с устройствами в реальном мире, и цена ошибки здесь существенно выше, чем у чат-бота, который просто дает информацию. Качеством генерации управляли с двух сторон: через промпт и слои защиты.

Промпт агента подготовили на основе анализа примерно 150 тысяч сценариев. Дальше его нужно было итеративно улучшать. Здесь традиционные подходы к тестированию не сработали. Каждый диалог уникален и зависит от поведения пользователя, каждая реплика генерируется на лету и недетерминирована, поэтому жесткого условия для автопроверки нет. Вдобавок небольшое изменение промпта может серьезно менять UX, и каждую версию приходится проверять на большом объеме данных. 

Решением стал подход LLM-as-a-Judge: один AI-агент имитирует пользователя и пытается через помощника создать сценарий, второй выступает судьей и ставит диалогу оценку. Так удалось смоделировать и оценить больше 2000 диалогов, чтобы быстро сравнивать версии промпта между собой.

При этом хороший промпт не исключает галлюцинации, поэтому в продукте работают три слоя безопасности:

• Фильтры уровня LLM, встроенные в саму модель.
• Алгоритмическая проверка каждого сгенерированного действия: это способ убедиться, что команду можно выполнить именно в этом умном доме, она не приведет к ошибке.
• Подтверждение пользователя: агент проговаривает, что собирается сохранить, и ждет согласия. 

Первую версию продукта команда анонсировала стандартными средствами маркетинга: рассылки, посты, пуши, баннеры. Посыл «у нас есть новый простой способ создать сценарий» не зашел: пользователи, которые не понимают, что такое сценарий, не реагируют и на обещание упростить его создание.

Сработали две ставки:

1. Проактивный диалог. Агент по контексту разговора сам формирует сценарий целиком, человеку остаются только ответы «да» и «нет». Конверсия таких предложений в создание сценария составила 50%.

2. Голосовые подсказки. В разговорах не про умный дом ассистент иногда подсказывает, с какими еще задачами к нему можно обратиться. Подсказка описывает пользу, слово «сценарий» в ней не звучит. Конверсия подсказок в использование агента составила 40%.

Новые сценарии начали появляться, но осталось сомнение: пользуются ли ими люди. Первая статистика встревожила. Если похожий по логике сценарий пользователи собирают руками в приложении, на 30-й день им пользуются 5%, а сценарием, созданным через агента, — 3,1%. Глядя на эти цифры, можно было решить: зачем все это, если без помощи агента человек делает сценарий и живет с ним дольше?

Объяснение нашлось в эффекте IKEA: вещь, собранную своими руками, человек ценит выше. В исследованиях люди были готовы заплатить за самостоятельно собранный стул больше, чем за точно такой же, собранный профессионалом.

Тогда сравнили две другие группы: пользователей, чей первый сценарий создан через помощника, и тех, кто так и остался без сценария. Ретеншн умного дома на 52-й день составил 57,1% против 49,4%, причем прирост виден во всем продукте за пределами конкретного сценария. Агент вовлекает аудиторию, которая раньше оставалась за бортом: теперь эти люди тоже могут сделать себе сценарий и ощутить его преимущества.

Сработало:

Диалог без схем

Раньше под каждый диалог рисовали схему, и даже для небольшого продуктового кейса она получалась большой и громоздкой. Схему дорого создавать, каждый в команде должен ее осознать, и еще дороже поддерживать ее в актуальном состоянии. С агентом достаточно компактного промпта: диалог идет естественно и гибко, следует подсказкам по tone of voice. Агент выдерживает даже вопросы, которые изначально никто не предусматривал: например, какие сценарии в принципе можно создать, какие устройства для этого нужны.

Простая приоритизация

На старте агент поддерживает не все возможности, зато выясняет пользовательскую потребность и фиксирует неудачи: задачи, которые пока не решены в полной мере. Так сразу видно, что делать следующим.

Пока не сработало:

Видимость результата для пользователя

На старте, когда доверия к агенту еще мало, людям критично видеть результат своими глазами, а разговорный интерфейс его не показывает. Поэтому в конце диалога агент отправляет пуш: один клик, и человек оказывается на экране только что созданного сценария. Вдобавок после диалога из нескольких шагов агент делает резюме и явно просит подтвердить: то ли это, что пользователь хотел? Контроль остается за человеком, и это база для доверия.

Неявные вызовы агента

Типовые ситуации агент распознает по контексту разговора: человек засыпает, проснулся, пришел, ушел. Ситуаций, в которых агент мог бы предложить свои услуги, намного больше, но для их быстрой и дешевой классификации нужны новые подходы и модели. Первые эксперименты в эту сторону не сработали, работа продолжается.

Доля агентских сценариев продолжает расти. Умный дом Сбер становится доступнее: пользователи собирают более персональные сценарии, получают больше пользы от устройств и дольше остаются клиентами. За решением уже приходят смежные команды, чтобы повторить его в своих продуктах.

Пока продукт ждет большого редизайна, пользователи, которым интерфейс показался сложным, остаются за барьером. Функция формально есть, но до нее доходит меньшинство. Единственный сигнал проблемы — пользователи, которые так и не добрались до ключевой возможности и ушли раньше остальных.