Как улучшить рекомендательную систему на сайте

hh.ru — крупнейший сайт по поиску работы в России, который объединяет более 80 млн резюме и 1,2 млн активных вакансий.

75% откликов внутри сервиса совершаются из рекомендательных подборок, что делает их релевантность важным аспектом привлекательности платформы для аудитории. Но пользователи hh.ru иногда указывали на нерелевантность предлагаемых вакансий их резюме, особенно в медицинском сегменте.

Команда hh.ru выяснила, что частичная нерелевантность может быть связана с качеством данных в обучающей выборке для DSSM, на которой базируются рекомендательные алгоритмы платформы. Пользователи не всегда откликаются на вакансии, релевантные их резюме, что негативно влияет на работу DSSM и точность рекомендаций.

В подобной ситуации у бизнеса есть несколько способов обработки данных для дообучения нейросети:

hh.ru решил обратиться в Yandex Crowd Solutions, поскольку наш опыт работы со специалистами по разметке, технические ресурсы для подготовки данных для обучения DSSM и политика в отношении персональных данных позволяют решить указанные задачи, минимизируя риски. В нашей базе — 160 тысяч верифицированных и квалифицированных исполнителей. 400+ клиентов доверяют нам свои данные, 80+ продуктов и сервисов Яндекса используют наши решения. В работе мы опираемся на 20-летний отраслевой опыт и научные исследования.

Многоэтапный контроль качества разметки и возможности для масштабирования проекта отвечали приоритетам hh.ru, как и комплексный подход: в Yandex Crowd Solutions мы смогли предоставить решение полного цикла — не только подбор квалифицированных исполнителей, тестовый запуск и разметку, но также аналитику размеченных данных и адаптацию решений под дальнейшие задачи.

Мы выполнили для hh.ru ручную разметку пар «резюме — вакансия», чтобы проанализировать, как исполнители оценивают релевантность рекомендательных алгоритмов сервиса.

Запуск проекта занял неделю. Затем 190 квалифицированных исполнителей, подписавших NDA, сделали разметку 107 384 пар «резюме — вакансия» (с учётом тестовых запусков и экспериментов с перекрытием). Чистое время разметки на внутренней платформе Yandex Crowd Solutions без учёта подготовки и анализа данных составило 60 часов.

Работа строилась поэтапно, что позволяло вносить корректировки для повышения качества разметки. При подготовке заданий для исполнителей требовалось учитывать специфику вакансий и резюме врачебной сферы. Инструкции корректировались так, чтобы разметчики, не обладавшие медицинскими знаниями, могли верно определить, релевантно ли конкретное резюме именно этой вакансии для врачей. Для этого использовались не только подробные разъяснения, но и примеры по вариантам ответов.

Для проверки качества разметки и согласованности ответов исполнителей использовалось тройное перекрытие (задания из пула размечали по три исполнителя, чтобы получить совпадающие вердикты и снизить вероятность ошибок).

Таким образом, на внутренней платформе Yandex Crowd Solutions исполнителям показывали медицинские резюме и вакансии и просили отдельно оценить релевантность названий, релевантность опыта и требований, образования и требований, а затем дать финальное решение.

В ходе разметки оптимальные совпадения по всем полям в выбранном врачебном сегменте отмечены лишь в 50% случаев, а доля нерелевантных рекомендаций составила 19%.

В отчёте мы предоставили не только аналитику по каждой паре «резюме — вакансия», но также размеченные пары с оценкой уровня релевантности по названию вакансии, опыту, образованию, сертификатам. Опираясь на эти данные, DSSM может по-разному создавать итоговую рекомендацию для пользователей сервиса. Наши данные показали, что для этого важно сопоставлять не только заголовки вакансий с названиями должностей в резюме, но также описание вакансий и опыта работы соискателя.

В проекте hh.ru нам предстояло разметить большой объем данных, и здесь, как и в случае с другими подобными проектами, конфиденциальность была обеспечена за счёт нескольких защитных мер:

Полученную в ходе разметки аналитику hh.ru планирует использовать для дообучения DSSM, улучшения алгоритма рекомендаций и расширения выборки вакансий. Готовое решение также подходит для работы с другими сегментами профессий. Сейчас наше сотрудничество с hh.ru продолжается в формате автоматической разметки резюме для оценки грейдов IT‑специалистов (джуниор, мидл или сеньор).

Но это лишь часть возможного применения подобных решений. Они результативны и масштабируемы для любых видов B2C-бизнеса с системами рекомендаций: e-com, онлайн-сервисы, агрегаторы (например, агрегаторы для туристов и автолюбителей, продажа недвижимости и др.).

Если вам необходимо улучшить работу сервисов и приложений, функционирующих на базе нейросетей, мы поможем обработать обучающие данные. Чтобы обсудить особенности ваших задач и варианты их решения, свяжитесь с нами в удобном формате.

Поделиться