Учим автомобили Яндекса ездить без водителя

С 2017 года Яндекс создаёт и оттачивает технологию автопилота для машин. Компания хочет таким образом сделать дорожный трафик более безопасным и эффективным. В перспективе автономный транспорт должен стать основой флота такси и каршеринга. А пока нужно довести решение до совершенства.

Автономный транспорт Яндекса отличается от обычных машин прежде всего оснащением. У него есть:

Процесс обучения автономного транспорта упрощённо выглядит так:

Качественно размеченные данные нужны сразу на нескольких этапах обучения. Например, нужно показать модели, где на видео машины, знаки, пешеходы и другие объекты, — чтобы она правильно их узнавала. Это называется разметкой восприятия.

Есть ещё разметки для обучения и тестирования планера. Это система, которая отвечает за планирование траектории движения автомобиля. Планеру нужно показывать записи реальных проездов и объяснять, какие манёвры выполнял водитель, какие задачи он решал и в каких условиях. «Объяснением» для машины служит именно разметка. А ещё она помогает заранее обнаружить неудачные решения и ошибки водителей, чтобы эти фрагменты не попали в датасет для обучения моделей.

Наконец, кто‑то должен оценивать то, какие решения принимает планер. Если траектория планера сильно отличается от траектории водителя, это может указывать на ошибки или недостатки в алгоритмах.

На разметку одного часа поездки могут уйти десятки или даже сотни часов работы людей. Поэтому команда автономного транспорта Яндекса обратилась к нам в Yandex Crowd Solutions. Ведь у нас есть ресурсы для такой масштабной задачи.

Команда разработки автономного транспорта Яндекса много лет самостоятельно запускает разметки через краудсорсинговую платформу Yandex Crowd Solutions — Яндекс Задания. Тысячи пользователей платформы анализируют снимки или видеозаписи с автономных автомобилей и отмечают на изображениях препятствия и светофоры, определяют дорожные знаки, сопоставляют снимки с разных камер.

Пример другой задачи на разметку восприятия: создать для каждого объекта на изображении «коробку» (параллелепипед), добавить туда точки и указать, что находится внутри.

Разметку самых сложных и ответственных заданий с конца 2024 года в Yandex Crowd Solutions организуют силами квалифицированных разметчиков через внутреннюю платформу компании.

Например, исполнители размечают 10‑минутые сцены реальных проездов автомобилей с человеком за рулём. Также они видят 3D‑сцену, которая строится по сенсорам автомобиля (отрисовка выполняется командой разработки заказчика). На видео разметчики отмечают действия водителя (пропуск пешеходов, перестроение и т. п.), начало и конец манёвра. Это нужно для обучения планера.

Они также отсматривают симуляцию проезда автомобиля от планера и оценивают, насколько предложенная моделью траектория движения соответствует ПДД и отвечает соображениям безопасности.

Здесь же исполнители сравнивают вариант планера с тем, как этот же отрезок проехал реальный водитель. Если их траектории расходятся, разметчики выбирают, чьё решение было более удачным.

Качество разметки контролируем с помощью ханипотов — заданий с заранее известным ответом. Их цель — проверить внимательность и точность разметчиков.

Команду из 1000+ квалифицированных разметчиков набрали и обучили за три месяца. Это позволило оперативно удовлетворить растущие потребности Яндекса в размеченных данных.

Теперь мы обрабатываем:

Разметку видео с классификацией дорожной инфраструктуры (полосы, наличие ремонтных работ, проблемы с проездом и т. д.) мы делаем с помощью автоматизации. Видео делится на кадры, которые затем анализирует мультимодальная модель. Разметку нейросети обязательно валидируют исполнители.

Такая схема позволяет без потери качества сделать разметку в 3,5 раза быстрее по сравнению с ручным способом. Это ускорение экономит заказчику в среднем 470 000 рублей в месяц. Yandex Crowd Solutions заинтересован в оптимизации разметки, чтобы снизить затраты, повысить качество и сократить сроки.

Поделиться