Как принять AI-перемены

Дмитрий Васильев
Head of Chatbots and NLP в Ozon
Как помочь сотрудникам оценить преимущества LLM?
Наши LLM на продакшене встретили как негативные, так и позитивные реакции.
60% операторов отмечают, что модель саммаризации помогает им решать тикет быстрее, но остальные 40% говорят, что не готовы использовать этот инструмент.
Основная причина сопротивления сотрудников —
они не доверяют LLM, так как встречались с кейсами галлюцинирования и выдумывания моделью каких-то фактов.
Операторы делились, что иногда они перечитывают диалог,
чтобы убедиться в корректности работы модели. Что касается подсказок шаблонов, то в ходе эксперимента коллеги отметили, что им нравятся результаты генерации (даже сохранили шаблоны себе). И все же пока инструмент не стал массово применяется, так как сотрудники не готовы менять пайплайн своей работы.
Для того, чтобы инструменты использовались активно,
мы регулярно дообучаем, оцениваем качество работы наших моделей и делимся результатами этих улучшений с операторами, чтобы они видели, как инструмент развивается с учетом их фидбэка. А еще проводим кастдев-интервью, чтобы в полях узнать, как мы можем помочь коллегам в их задачах с помощью LLM.

Другие материалы