Yandex Crowd Solutions

Yandex Crowd Solutions оценивает цвета такси для Яндекс Go

Проект выполняется на платформе Яндекс Задания в рамках дистанционного контроля качества.

Система контроля качества

Настроили проверку так, чтобы вердикты выносили только исполнители с высокими показателями качества

20К

автомобилей ежедневно проверяем вручную на платформе Яндекс Задания

95%

средний показатель точности и качества проверок

Задача классификации объектов

Оценка цвета такси — один из этапов проверки качества работы партнёров. Раз в десять дней водители присылают снимки своей машины на фотоконтроль. Процедура позволяет удостовериться, что водитель выходит на линию именно на том автомобиле, параметры которого отражены в карточке приложения Яндекс Go.

У цвета автомобиля есть заводское наименование, описание из документов регистрации транспортного средства, и наименование, которое представитель таксопарка указывает при оформлении машины в таксопарк. У всех этих названий цветов большая вариативность.

В приложении Яндекс Go доступны 13 наименований для описания цвета машины. Эти наименования необходимо соотнести с данными из документов на автомобиль и фактическим цветом авто. Например, в карточке транспортного средства из таксопарка может быть указан серебристо-голубой цвет, но в приложении нужно использовать либо «голубой», либо «серый».

Чтобы провести оценку цвета, данные из карточки авто сопоставляют с актуальными фото машины, которые присылают водители. Большую часть данных автоматически обрабатывают ML‑алгоритмы Яндекс Go.

Однако сложные случаи требуют ручной разметки. Материалы, которые не могут обработать ML‑модели, команда Яндекс Go передаёт команде Yandex Crowd Solutions через API.

Решение

От заказчика к менеджерам Yandex Crowd Solutions поступают фото и информация о цвете авто. Менеджеры выстраивают схему работы с этими материалами и находят исполнителей.

Работа с исполнителями проходит на платформе Яндекс Задания:

На платформе создают проект для разметки данных — классификации изображений. Принципы и методику разметки проверяют в песочнице — тестовой среде Яндекс Заданий.
После тестирования запускают разметку. За страницу задания назначают цену в рублях. С помощью фильтров платформы настраивают подбор исполнителей, навыки которых подходят под задачу. Платформа также позволяет добавить в проект разметки обучающие задания. Обучение помогает привлекать к проекту исполнителей с хорошими показателями. Решая учебные задачи, исполнитель тренирует нужные навыки, а авторы проекта могут оценить качество работы и решить, допускать ли этого исполнителя к реальным задачам.
Исполнители Яндекс Заданий приступают к работе: теперь они видят задачи из пула для разметки в своём интерфейсе, могут выбирать и выполнять их. За сделанные задания исполнители получают оплату. Процессы оплаты и вывода средств автоматизированы и требуют минимального участия от авторов проекта разметки.
После того как исполнители завершают обработку заданий, размеченные данные можно скачать, проверить и дополнительно обработать, если это требуется.

На этом проекте исполнители работают с фото машин и данными об их цвете из карточек. Для разметки нужно проверить, соотносится ли цвет автомобиля на фото с оттенками, которые отображаются на контрольной палитре в интерфейсе.

Полученные в результате разметки данные Yandex Crowd Solutions передаёт Яндекс Go.

Результат

Yandex Crowd Solutions работает с оценкой цвета такси с 2020 года. Средний показатель точности и качества проверок — 95%. Он близок к максимальному с учётом того, что на проверку попадают фотографии машин, определить цвет на которых нельзя из-за низкого качества снимка.

Высокое качество разметки достигается в том числе благодаря выделенному архитектору краудсорсинговых решений со стороны Yandex Crowd Solutions. Специалист максимально погружён в бизнес-процессы и продуктовую составляющую проекта.

Детали проекта

Перекрытие: проверка вердиктов

В настройках разметки можно отрегулировать такой параметр, как перекрытие. Он отражает количество исполнителей, которые должны выполнить каждую задачу. Этот параметр необходимо регулировать, чтобы получать более точные данные. Например, если один исполнитель вынесет спорный вердикт, то результаты разметки, которую параллельно делают другие исполнители, помогут прийти к реальным значениям.

В случае с оценкой цвета, каждую машину проверяют три исполнителя. Если их вердикты по цвету авто совпадают — проверка пройдена. Если нет — задачу отправляют на дополнительную оценку (увеличивают количество оценивающих цвет).

Контроль качества работы исполнителей

Чтобы проверять, насколько качественно исполнители работают с данными, мы используем ханипоты. Это контрольные задания, ответы на которые уже известны заказчику.

Чтобы сформировать контрольные задания, их нужно предварительно отобрать из числа реальных задач и разметить. Поэтому для разметки ханипотов формируется отдельная группа исполнителей, а также закладывается бюджет на оплату их работы.

Ханипоты должны соответствовать определённым критериям. В вариантах ответа не должно быть ключевых шкал, значения в которые исполнители вводят вручную. Нельзя использовать вопросы, на которые исполнитель может ответить субъективно.

В Яндекс Задания встроены инструменты, которые позволяют добавлять контрольные задания к настоящим. Ханипоты регулярно обновляют, чтобы они не запоминались исполнителями и помогали проверять качество разметки.

Вернуться к клиентским кейсам

Кейсы и новости по теме