Yandex Crowd Solutions

Yandex Crowd Solutions подготовил датасет, который упростил взаимодействие с Алисой для людей с нарушениями речи

300+

участников с особенностями речи

на 20%

сократился разрыв между точностью распознавания обычной речи и с искажениями

900

часов аудиоматериалов собрали и разметили

Задача Алисы — понимать каждого

Алиса — виртуальный ассистент, которому ежемесячно поступает более 7 млрд запросов (по собственным данным команды Алисы за декабрь 2024). Алиса может общаться почти как человек, включать музыку, заказывать продукты и управлять умным домом. В основе работы помощника — нейронная сеть YandexGPT.

Среди своих прочих возможностей Алиса помогает людям с особенностями здоровья. Виртуальный ассистент уже помогает слабовидящим и незрячим пользователям делать заказы в Яндекс Лавке, слушать аудиокниги, вызывать такси и узнавать погоду. Пользователи с особенностями опорно-двигательного аппарата могут управлять системой умного дома через голосовой интерфейс.

Ещё одна цель Алисы — лучше понимать людей с особенностями речи. В России множество людей с особенностями произношения: люди с заиканием, с деменцией, с ДЦП, перенёсшие инсульт. У многих бывают временные особенности произношения — например, после анестезии у стоматолога. До проекта Алиса почти не понимала голосовые запросы от пользователей с тяжелыми нарушениями речи.

Перед командой Yandex Crowd Solutions стояла задача подготовить датасет для дообучения Алисы, чтобы та смогла лучше распознавать команды людей с особенностями речи. Для этого требовалось: найти носителей речевых особенностей, собрать, классифицировать и разметить голосовые данные.

Решение: сбор и обработка голосовых данных

Сначала предстояло найти людей с нарушениями речи, чтобы записать аудиофрагменты, классифицировать и разметить материалы. Для решения специфических задач Yandex Crowd Solutions привлекает экспертов. В этом проекте мы пригласили дефектологов, которые разработали классификацию речевых особенностей. Искать исполнителей с нарушениями речи решили через внутреннюю платформу Yandex Crowd Solutions. Но, проанализировав первые аудиозаписи, мы поняли, что собранных материалов и количества участников недостаточно. Требовалось собрать более разнообразный пул голосовых запросов, в том числе от людей с тяжелыми нарушениями речи.
Совместно с командой инклюзии Яндекса мы обратились в некоммерческие организации, чтобы привлечь к участию в проекте больше людей с особенностями речи. К проекту присоединились НКО «Центр лечебной педагогики», «Живи сейчас», «Жизненный путь», «Весна», «Перспектива», «Лучшие друзья» и другие. Нам удалось собрать свыше 1700 заявок. Эксперты отобрали более 300 человек и пригласили их в проект.
Участники записали более 900 часов аудиоматериалов — скороговорок и фрагментов обычной речи.
Первичную разметку аудиозаписей помогли осуществить верифицированные исполнители Yandex Crowd Solutions, а затем дефектологи из МГПУ классифицировали записи по типам нарушений речи.

В Yandex Crowd Solutions мы соблюдаем NDA и бережно относимся к персональным данным. Заказчику не требуется погружаться в специфические юридические вопросы, которые часто есть на подобных проектах

Пайплайн проекта в Yandex Crowd Solutions

Результаты: улучшение на 20%

В ходе проекта, который длился 450 дней, мы собрали и разметили 900 часов аудиоматериалов, предоставив команде Алисы готовый датасет для дообучения голосового помощника.

После дообучения разрыв между точностью распознавания обычной речи и с искажениями сократился в среднем на 20% (по внутренним замерам команды Алисы, учитываются степени искажения от легкой до тяжелой). Качество распознавания оценивали по метрике Word Error Rate (WER): она позволяет определить долю неправильно понятых слов.

Алиса, что дальше? Работа продолжается

Результаты проекта были представлены в июле 2024 года, но Алиса постоянно обучается. Её команда работает над повышением качества распознавания голосовых запросов пользователей, в том числе с теми нарушениями речи, которые встречаются реже самых распространенных.

Развитие цифровой доступности — важная долгосрочная цель Яндекса. Для незрячих пользователей адаптировано уже 16 сервисов, среди которых — Поиск, Кинопоиск, Яндекс Go, Яндекс Браузер, Яндекс Книги, Яндекс Музыка и другие. Подробнее обо всех проектах можно узнать на сайте «Инклюзия в Яндексе».

Социальные проекты и инициативы требуют подключения экспертов, юридической поддержки и нестандартного подхода. Команда Yandex Crowd Solutions готова взять на себя все организационные задачи, чтобы собрать и разметить необходимые данные.
Свяжитесь с нами, и мы подскажем, какие решения будут эффективными для реализации ваших задач.

Вернуться к клиентским кейсам

Кейсы и новости по теме