Yandex Crowd Solutions

ИИ помогает учёным анализировать поведение мышей: Яндекс автоматизировал разметку видео для ИЦиГ СО РАН

Cервисы Яндекса — Yandex Crowd Solutions и Yandex Cloud — объединились, чтобы помочь учёным быстрее и эффективнее решить важную задачу. А именно — изучить влияние длительного стресса на здоровье и поведение. В итоге получился инструмент, который пригодится в медицинских и когнитивных исследованиях.

В 10 раз

ускорили анализ видеозаписей научных экспериментов

8 часов

видео с лабораторными экспериментами разметили с точностью до миллисекунд

500 часов

рутинного труда сэкономили учёным

Какую задачу мы решаем

Учёные Института цитологии и генетики (ИЦиГ) СО РАН из новосибирского Академгородка изучают, как развивается патологическая агрессия. Они хотят понять, как на этот процесс влияют хронический стресс и иммунная система.

Клинические данные показывают: у людей, которые проявляли патологическую агрессию, наблюдается нейровоспаление — это когда иммунные молекулы проникают через барьер, который изолирует мозг от остальных систем организма. Как такое воспаление поддерживает развитие патологии, наука пока не знает.

Для изучения этих процессов специалисты проводят поведенческие эксперименты с мышами. Все исследования в лаборатории записывают на видео.

Анализ этих записей — трудозатратная задача: учёные пересматривают ролики в специальной программе и вручную отмечают, какие действия совершала мышь. Мыши быстрые, поэтому видео нужно анализировать на замедленной в 2‑3 раза скорости. Но даже так многие отрезки приходится пересматривать несколько раз.

В итоге на ручную разметку 10 минут видео уходит около часа рабочего времени исследователя

Только для текущего исследования учёным нужно проанализировать минимум 90 часов видеозаписей. При таких объёмах специалисты ИЦиГ вынуждены ограничивать количество поведенческих тестов в экспериментах из-за жёстких дедлайнов гранта на работу. Проще говоря, рутина съедает значительную часть ресурса учёных — в ущерб более важным задачам. Например, новым экспериментам или написанию научных статей.

Какое есть решение

Ключевая цель, над которой работали несколько команд Яндекса, — создать инструмент, который будет автоматически анализировать видео, распознавать поведение мышей и выдавать структурированные нужным образом данные. Это снимет с исследователей нагрузку и позволит им сосредоточиться на гипотезах и выводах

Для создания и проверки такого алгоритма потребовался датасет с размеченными видео.

Yandex Crowd Solutions предстояло:

провести ручную разметку видео — определить ключевые действия мышей, среди которых: груминг (когда животное умывается), подъём на задние лапы, перемещения между зонами тестовой установки
обеспечить скорость и воспроизводимость разметки
гарантировать высокую детализацию разметки, отмечая начало и конец каждого поведенческого паттерна с точностью до миллисекунд

Как прошли путь от имитации труда учёных до кастомного инструмента

Изначально процесс пытались воспроизвести так, как его выполняли научные сотрудники: разметчики открывали видео в плеере и параллельно вели записи в Excel, фиксируя время смены действий или положения мыши. Но быстро стало ясно, что без оптимизации такой процесс окажется слишком долгим или потребует участия большого числа разметчиков.

Поэтому мы адаптировали другой внутренний проект, который ранее использовали для расстановки тегов на видео в рекламных кампаниях. В итоге получился кастомный интерфейс на внутренней платформе Yandex Crowd Solutions, заточенный специально под анализ поведения мышей.

Решение значительно упростило и ускорило процесс разметки — в 3‑4 раза

Разметчик запускает видео, выбирает нужный тег поведения (например, «груминг» или «периферическая зона») и нажимает «Начало». Когда действие заканчивается, он убирает курсор с видео — система автоматически ставит запись на паузу и фиксирует конец действия. Она же сама проставляет время, так что тайминг не нужно записывать вручную.

Разметкой занимались пять специалистов, у которых был опыт научной работы и даже экспериментов с мышами. Это позволило запустить проект без долгого инструктажа — за 1 день.

На выходе для каждого видео получается структурированная таблица с временными интервалами и типами поведения мыши.

Как датасет становится ИТ‑решением для науки

Разработчики Yandex Cloud использовали размеченные данные, чтобы создать архитектуру автоматизации аналитики видео.

Техническое решение команды состоит из двух основных компонентов:

опенсорс-модель компьютерного зрения DeepLabCut обнаруживает ключевые точки на теле мыши
ML-модель собственной разработки, обученная на размеченных данных от Yandex Crowd Solutions, определяет по этим точкам целевое действие (поведение) мыши

Ручная разметка также нужна для проверки того, как модель и алгоритмы справляются с задачей. Сравнивая выходные данные с эталонной ручной разметкой, ML‑специалисты оценивают успешность работы системы. В среднем точность составила более 89%. Это допустимая точность для исследователей.

Результат и значение проекта

Готовая система кардинально сокращает время анализа видеозаписей. Если раньше учёным требовался час для разметки 10-минутного видео, то теперь автоматическая обработка займёт всего несколько минут. А только для текущего исследования учёным предстоит проанализировать более 90 часов видеозаписей. То есть мы сэкономили более 500 часов рутинного труда.

При этом авторазметка фиксирует события с точностью до кадра, устраняя человеческий фактор и делая данные гораздо более надёжными.

Решение Яндекса помогло приблизить специалистов ИЦиГ СО РАН к главной цели — найти способ помочь человеку справиться с агрессией, воздействуя на иммунную систему мозга.

Это даёт надежду пациентам, например, с шизофренией или биполярным расстройством, которым не помогает стандартное лечение антидепрессантами и психотерапией.

Значение созданного в Яндексе инструмента выходит далеко за рамки одной научной работы. В биомедицинских исследованиях по всему миру учёные используют около 20 млн животных, около 85–90% всех объектов исследований на животных составляют мыши и крысы. Это означает огромный потенциал для масштабирования решения на другие лаборатории и типы экспериментов.

Лабораторные мыши используются для биомедицинских исследований, поскольку они во многом схожи с людьми: у нас с ними примерно по 30 000 генов, из которых около 95% — общие. Поэтому результаты исследований на мышах помогают учёным лучше понять механизмы человеческих заболеваний и подобрать эффективную терапию.

Например, благодаря экспериментам на мышах:

специалисты из Испании, Великобритании и Китая нашли ключ к лечению болезни Альцгеймера
австрийские и австралийские исследователи вывели новый вид окситоцина, который облегчает хроническую кишечную боль
американские медики смогли предотвратить развитие диабета первого типа у мышей
израильские учёные выяснили, что хронический стресс портит слух

Во всех исследованиях, включая российские, учитывают этический аспект: есть правила, которые помогают минимизировать страдания животных и обеспечить им гуманное отношение. Учёные используют анестезию и соблюдают высокие стандарты содержания животных. Перед каждым экспериментом они проходят этические комиссии и объясняют, зачем им нужны лабораторные животные.

Комментарии участников проекта

Разметка поведенческих тестов при помощи автоматической модели значительно ускорит нашу работу, позволив перераспределить самый ценный ресурс — человеческое время — на молекулярно-генетические задачи исследования. Кроме того, мы сможем проводить больше поведенческих тестов, а также в целом «усложнять» исследования»‎

Ксения Айриянц

Младший научный сотрудник ИЦиГ СО РАН

Это нетипичный, даже несколько авантюрный для нас проект, потому что представители научного сообщества редко обращаются к нам с запросом на разметку данных, поэтому мы с коллегами из Яндекса сами предложили им свои мощности. Здорово, что удалось не просто разово помочь, а создать эффективный инструмент. Этот опыт показал, что мы строим надёжные конвейеры разметки даже для сложных и специфичных массивов видео. Давайте ускорим и ваш проект! Опишите задачу, а мы предложим решение»‎

Екатерина Шибанова

Архитектор краудсорсинговых решений Yandex Crowd Solutions

Наш сервис автоматической разметки видео позволит качественно поменять подход к экспериментам: учёные смогут проводить в разы больше тестов за меньшее время. Наше решение может использоваться и для других научных задач в области когнитивных исследований. Если вы тоже проводите подобные эксперименты и хотите автоматизировать разметку видео, подайте заявку в Центр технологий для общества Yandex Cloud. Мы вместе придумаем, как адаптировать наше решение под ваши задачи и условия»‎

Юлия Бусыгина

Менеджер проектов Yandex Cloud

Детали проекта

Над технической частью проекта работали в том числе студенты. Это пример того, как компания привлекает талантливую молодёжь к решению реальных, сложных и общественно значимых научных задач.
Для хранения видеоданных проект использует Yandex Object Storage. Это обеспечивает удобный доступ для всех участников: и разметчиков Yandex Crowd Solutions, и учёных, и разработчиков. Готовый сервис развёрнут с помощью виртуальных машин Yandex Cloud и Yandex DataSphere для создания веб-приложения, которым смогут пользоваться исследователи.
Яндекс планирует по согласованию с учёными выложить все наработки на GitHub в открытый доступ для других научных групп. Цель — показать методологию, которую другие лаборатории смогут адаптировать под свои задачи.