Yandex Crowd Solutions

В начале 2024 года мы в Yandex Crowd Solutions поставили себе цель: автоматизировать каждую пятую разметку. Мы её достигли

Но, чтобы получить сопоставимое с человеческим качество, потребовалось провести серию экспериментов и протестировать несколько подходов.

О ключевых этапах и результатах проекта руководитель службы Crowd ML Дарья Шатько рассказала на конференции для разработчиков высоконагруженных систем HighLoad++2025.

Зачем нужна авторазметка и почему её внедрение — это вызов

Большую часть задач по разметке данных в Yandex Crowd Solutions решают 160 тысяч удалённых исполнителей. Они собирают датасеты, проверяют релевантность поисковой выдачи, оценивают работу алгоритмов.

Ручная разметка обеспечивает эталонное качество и остаётся незаменимой для самых сложных задач. Но её масштабирование сопряжено со значительными затратами на организацию процессов — от обучения исполнителей до многоступенчатого контроля качества.

Разметка с помощью AI — хорошая альтернатива. Но есть нюансы, как отметила Дарья в своём докладе. Под каждую задачу надо определить:

какую модель использовать
как оценивать качество разметки
как обеспечить регулярное дообучение моделей для сохранения качества

В марте 2024 года мы начали искать ответы на эти вопросы.

Первая попытка: что не получилось?

Первоначальная гипотеза заключалась в следующем:

Возьмём самые популярные сценарии разметки
Соберём исторические данные о том, как размечали люди
Обучим модель на этих данных

К октябрю 2024 года мы пришли к выводу, что эта стратегия не позволяет достичь требуемого качества. Исторические данные быстро теряли актуальность, а ни одна из опробованных моделей не давала точности, хотя бы близкой к ручной разметке.

Как поменяли подход: тренируем оперативную память

Проведя работу над ошибками, мы выделили сегменты, в которых с большой вероятностью применимы LLM или VLM. Вместо их обучения стали работать над промптом. Для проверки результата использовали уже не исторические, а актуальные проверочные задания — их выполняют наши исполнители на всех проектах.

Результат стал лучше, но незначительно уступал ручной разметке. Например, точность сопоставления пар товаров на Яндекс Маркете:

у человека — 92%

у VLM — 86%

у LLM — 78%

Напомним, мы сопоставляем пары товаров, чтобы выявить дублирующиеся карточки. Это нужно, чтобы покупатель быстрее находил на Маркете нужный товар. Подробнее об этом кейсе мы рассказывали в отдельной статье

Как мы улучшили качество до человеческих показателей

Действовали по трём направлениям.

«Подсказки» в промпте. Мы стали добавлять в само задание несколько примеров с эталонными ответами. Этот метод позволяет быстро обучить модель, сформировав у неё краткосрочную память для конкретной задачи.
Коллективный разум. Настроили модель на выдачу нескольких вариантов ответа на одно и то же задание, имитируя работу нескольких независимых разметчиков.
Проверка на «уверенность». Принимали только те ответы, в которых модель была наиболее уверена, и отбрасывали сомнительные.

Итог: качество разметки выросло до 91%, что практически сопоставимо с показателями опытных исполнителей

Что дальше: оптимизация конвейера обработки данных

Сейчас у нас две основные задачи: оптимизировать расходы на вычислительные мощности и сделать путь пользователя авторазметки проще.

Справиться с первой задачей помогает каскадный подход. Его принцип заключается в следующем: простые и типовые задачи решают быстрые и дешёвые модели на первом этапе. То, с чем они не справились, передаём на следующий уровень — более мощным (и дорогим) нейросетям. И только самые сложные и неоднозначные случаи, где требуется человеческая логика и опыт, попадают к людям-разметчикам.

Подробнее про каскадную разметку мы рассказывали в одной из прошлых публикаций.

Вернуться к новостям

Кейсы и новости по теме