Хочу поделиться кейсом!
Ваша компания использует генеративный AI в продуктах, проектах и бизнес-процессах? Смело рассказывайте о своем опыте на страницах проекта Generation AI!
Правила отбора
Правила отбора
Нажимая кнопку «Отправить», я даю свое согласие на обработку файлов cookie в соответствии с Политикой обработки персональных данных.
У вас есть вопросы и предложения? Напишите нам!
Нажимая кнопку «Отправить», я даю свое согласие на обработку файлов cookie в соответствии с Политикой обработки персональных данных.
Хотите такой же кейс, но не знаете, с чего начать?
Запишитесь на консультацию, и наш эксперт ответит на ваши вопросы о генеративном AI!
Нажимая кнопку «Отправить», я даю свое согласие на обработку файлов cookie в соответствии с Политикой обработки персональных данных.
Хотите внедрить GenAI в свои бизнес-процессы, но не знаете, с чего начать?
Запишитесь на консультацию, и наш эксперт ответит на ваши вопросы о генеративном AI!
Нажимая кнопку «Отправить», я даю свое согласие на обработку файлов cookie в соответствии с Политикой обработки персональных данных.
Январь 2026
Александр Громов
CBDO, Data Light
CBDO, Data Light
Топ-5 мифов о разметке для языковых моделей (и что с ними не так)
Вместе с экспертами зимней конференции Conversations 2025 развеиваем заблуждения и мифы. Думаете, аннотация для LLM и SLM — это очередная задачка для инхаус-разметки? Но именно такой подход может испортить все: от стиля ответов модели до ее безопасности для пользователей.
Ребята из Data Light за несколько лет реализовали 120+ проектов для языковых моделей, поэтому собаку съели на разметке и знают о ней очень многое. Александр Громов, CBDO в Data Light, делится опытом и развенчивает самые популярные мифы об экспертной разметке.
Ребята из Data Light за несколько лет реализовали 120+ проектов для языковых моделей, поэтому собаку съели на разметке и знают о ней очень многое. Александр Громов, CBDO в Data Light, делится опытом и развенчивает самые популярные мифы об экспертной разметке.
- Миф первый«Разметка для LLM и SLM ничем не отличается от любой другой»
- РеальностьВы можете иметь огромный опыт в CV, транскрибации, но это не гарантирует успеха с языковыми моделями. Именно поэтому, когда мы несколько лет назад зашли в LLM-проекты, мы… провалили семь пилотов подряд!
После чего полностью сменили подход и начали с найма:- Ищем специалистов с образованием: копирайтеров, журналистов, редакторов
- Жёсткий отбор: три этапа, до работы доходят всего 5–10% лучших исполнителей
- С наставником каждый проходит три этапа обучения с корнер-кейсами
- Новый редактор выходит на таргетные показатели уже за неделю
- Миф второй«Можно обойтись и без экспертной разметки для обучения языковой модели»
- РеальностьТогда зачем OpenAI нанял финансистов за $ 150/час; а Grok увеличил штат экспертной разметки в 10 раз?
Разметка — это 70% качества модели, с LLM и SLM от нее зависят:- стиль и формат ответа
- корректность фактов
- юридическая чистота
- экспертные знания в каждой области
- способность модели работать в реальных сценариях
- Миф третий«Аннотацию для языковых моделей выполняют такие же разметчики»
- РеальностьРазметить людей bounding box или подготовить естественные, грамотные реплики для чат-бота — совершенно разные задачи. Хорошему AI-редактору нужно:
- проводить тщательную проверку фактов и обеспечивать безопасность контента
- обладать критическим мышлением
- ориентироваться на высокие стандарты качества
- гибко адаптироваться к быстро меняющимся задачам и требованиям
- Миф четвертый«Разметку для языковых моделей можно организовать и инхаус»
- РеальностьИнхаус-команды часто работают для классических задач — но LLM- и SLM -разметка требует:
- многоступенчатый отбор
- методологов, способных писать инструкции на 10–40 страниц
- команду экспертов: например, редакторов и юристов
- специальные процессы валидации
- Миф пятый«С Red Teaming справится любой — просто задаёшь модели каверзные вопросы»
- РеальностьС языковыми моделями любая ошибка может стоить дорого, а на кону часто стоит репутация компании.
Например, недавно мы проверяли поведение LLM/SLM, RAG-систем и AI-агентов на соответствие законодательству РФ и внутренней политике компании.- Для каждого промта важно было учесть 40 (!) типологий.
- За 2 месяца пришлось обработать 20 000 кейсов.
Поэтому эффективный Red Teaming невозможен без опыта и методологии.
Остались вопросы? Александр Громов будет рад ответить — вот его телеграм @allgrom