Как мы проверяем экипировку доставщиков для Яндекс Еды

Оценка внешнего вида брендированной одежды и термосумок доставщиков партнеров Яндекс Еды — один из этапов внутреннего контроля качества Яндекс Еды. Сервис доставки заинтересован, чтобы доставщики приезжали к клиентам в одежде с логотипом сервиса, чтобы еда перевозилась в термосумках и чтобы экипировка была в хорошем состоянии. Если курьеру выдавался велотранспорт, его состояние и принадлежность также необходимо мониторить.

По установленному графику доставщики присылают Яндекс Еде на контроль фотографии своей брендированной одежды и сумок. Первичная проверка выполняется автоматически на стороне сервиса с помощью ML‑алгоритмов. Так отсеиваются очевидные попытки фрода. Материалы, которые не могут обработать ML‑модели, команда Яндекс Еды передаёт команде Yandex Crowd Solutions для ручной разметки.

Информация поступает к нам от Яндекс Еды в автоматическом режиме, через API. Процедура проверки выполняется на платформах Yandex Crowd Solutions в режиме 24/7.

Для каждого объекта проверки — сумки, брендированной одежды или велосипеда — менеджеры Yandex Crowd Solutions совместно с менеджерами Яндекс Еды определили конкретный список критериев для разметки. Для исполнителя разметки на платформе эти критерии прорастают как конкретные пункты в чек‑листе задания. Кроме оценки внешнего состояния вещей, в Yandex Crowd Solutions сверяют уникальный номер сумки и велотранспорта с теми, что были выданы доставщику.

Для объективности оценок исполнителей (например, что именно с такого порога сумка считается повреждённой и нуждающейся в замене), мы в Yandex Crowd Solutions составляем для исполнителей подробные инструкции с примерами. Перед выполнением заданий все исполнители проходят обучение и экзамен, по итогам которого они допускаются или не допускаются к разметке.

Ещё одна мера для объективности вердиктов — динамическое перекрытие. Сначала каждое фото оценивают два исполнителя, если их вердикт не совпадает, то фото показывается третьему. Выбирается вердикт, который выбрали большинство, то есть два из трёх исполнителей.

Размеченные данные отправляются к команде Яндекс Еды также автоматически, через API. Решение о допуске или недопуске курьера к заказам принимается на стороне сервиса.

Yandex Crowd Solutions работает с оценкой внешнего вида доставщиков с 2023 года. Средний показатель точности и качества проверок — 93%.

Сейчас мы проверяем для Еды:

Контроль качества

Для оценки качества работы исполнителей мы используем ханипоты — контрольные задания с заранее известными нам ответами. Для исполнителя эти задания выглядят как обычные, но их результаты позволяют проверить добросовестность исполнителя. По итогам контрольных заданий исполнителю автоматически выставляется навык качества. Если исполнитель переходит допустимый порог ошибок, он теряет доступ к заданиям.

Ханипоты добавляются в поток реальных заданий благодаря возможностям платформ Yandex Crowd Solutions. Мы регулярно обновляем задания, чтобы исполнители не могли их запомнить.

Дополнительные возможности

По запросу заказчика в рамках проверки возможно отслеживать и другие сигналы. Например, скорость замещения термосумок с дизайном старого образца на новые или наличие светоотражающих элементов. Для этого нам достаточно добавить нужный пункт в чек‑лист проверок в задание для исполнителей.

Обновление обучений

Требования Яндекс Еды к разметке меняются: могут добавляться новые критерии для проверки, может меняться дизайн сумок и т. д. Поэтому мы регулярно обновляем инструкции для исполнителей и организуем процессы обучения. Таким образом мы актуализируем знания уже занятых в проекте исполнителей, а также привлекаем новых при наличии бизнес‑потребности.

В редких случаях инструкции также могут обновляться по итогам перепроверки. Она осуществляется по запросу исполнителя или в том случае, если мы подозреваем систематические ошибки. Как правило, при перепроверке исходный вердикт подтверждается. Но если нет, то мы обновляем инструкцию и предупреждаем исполнителей. Перепроверка касается сложных случаев, которые можно оценить по‑разному.

Поделиться