Ученые разработали модель ИИ, которая считывает поведение животных как язык

Фото из открытых источников

Животные не могут объяснить, что они делают и почему. На протяжении десятилетий ученые, изучающие поведение мышей, просматривали длинные видеозаписи и вручную, кадр за кадром, обозначали каждое действие. Работа идёт медленно и в значительной степени опирается на человеческое суждение.

Группа исследователей из Южной Кореи хотела создать машину, которая могла бы делать больше, чем просто сортировать клипы по контейнерам. Они задались вопросом, может ли программное обеспечение действительно считывать поведение, подобно тому, как читатель извлекает смысл из предложения. Результаты исследования опубликованы в International Journal of Computer Vision 

Исследователи из Корейского института передовых наук и технологий (KAIST) создали модель искусственного интеллекта, которая рассматривает движения мыши как форму языка. Они назвали эту модель BehaVERT. На первый взгляд, это сравнение кажется странным. Однако движение, как и речь, обычно происходит в определенной последовательности, и эта последовательность несет в себе смысл.

«Проект начался с простого вопроса: могут ли движения животных содержать структуру, подобную языку?» — объяснил соавтор исследования Сынчжэ Шин.

Команда отслеживала ключевые точки на каждой мыши, включая нос, уши, позвоночник, конечности и хвост. Каждый кадр этого движения скелета становился своего рода маркером, играющим примерно ту же роль, что и слово в тексте.

Эти токены были переданы в трансформер — то же самое обширное семейство моделей, которое лежит в основе многих современных языковых систем. Вместо того чтобы предсказывать следующее слово, BehaVERT научился заполнять скрытые положения тела, используя окружающие их рамки.

Это заставило модель учитывать контекст во времени. Одна-единственная поза сама по себе мало что говорит, подобно тому, как одно слово имеет мало значения вне предложения. Одна из самых сложных частей исследования поведения — это само обозначение. Кто-то должен пометить, что считается грумингом, обнюхиванием или преследованием, прежде чем модель сможет научиться.

BehaVERT обошла многие из этих ограничений. Сначала она тренировалась на основе чистых движений, самостоятельно изучая форму нормальных движений, прежде чем кто-либо присвоил ей поведенческие метки.

Команда также преодолела практическую проблему. Многие программы для аннотирования требуют навыков программирования или дорогостоящих лицензий, что отпугивает многие лаборатории. Поэтому они выпустили веб-инструменты, работающие в браузере и не требующие программирования. Цель состоит в том, чтобы позволить большему количеству лабораторий создавать и обмениваться наборами данных о поведении без технических знаний.

Исследователи не ограничились одним набором данных. Они протестировали BehaVERT на пяти различных поведенческих тестах, которые уже используются лабораториями по всему миру. В совокупности эти темы охватывали социальное взаимодействие, группы животных, трехмерное движение и поведение, связанное с аутизмом.

BehaVERT превзошла предыдущие лучшие результаты по всем пяти показателям, часто работая с исходными ключевыми точками, а не с функциями, созданными вручную.

Наиболее показательный эксперимент был проведен на мышах с нокаутированным геном Shank3B, хорошо изученной моделью аутизма. Команда исследователей задалась вопросом, может ли эта модель отличить этих мышей от здоровых, используя только движение. Модель справилась с задачей. И когда исследователи отследили, на что она обращала внимание, одно поведение выделилось среди остальных.

Модель постоянно фокусировалась на орально-оральном контакте, тесном социальном поведении, когда нос к носу. Эта направленность соответствовала тому, что биологи уже обнаружили у этих животных.

Мыши с аутизмом, как правило, нормально подходят к другим мышам, но терпят неудачу при подлинном взаимном контакте. BehaVERT самостоятельно выявил это различие, и никто не указал ему на причину. Проще говоря, это позволило заново обнаружить известный биологический признак, просто изучив движения животных.

Многие системы искусственного интеллекта выдают ответ, скрывая шаги, стоящие за ним. BehaVERT был разработан для работы в обратном направлении.

Команда могла видеть, какие факторы и модели поведения определяли каждое решение. Они также могли наблюдать, как модель упорядочивает модели поведения в структурированную внутреннюю карту, распределяя такие характеристики, как мобильность, внимание и социальное взаимодействие, по четким областям.

Такая структура указывает на нечто интересное. Поведение может иметь свою собственную глубинную структуру, подобно тому, как смысл организуется в языке. Сравнение языков не было для команды просто условной метафорой. Они проверили это на практике.

Когда порядок кадров изменился, модель показала худшие результаты, что свидетельствует о её зависимости от последовательности, а не просто от набора поз. Его внутренняя карта также демонстрировала устойчивые взаимосвязи между моделями поведения, повторяя закономерности, давно наблюдаемые в векторных представлениях слов.

Группа также проверила, могут ли полученные моделью знания передаваться между видами. Вместо этого была разработана версия, обученная на поведении крыс, которая была запущена на поведении мышей. Несмотря на явные различия в форме тела и повадках двух животных, это хорошо подтвердилось. Это указывает на общую основу для распознавания движения у разных видов, а не только внутри одного.

Предыстория здесь несколько необычна. Первый автор и несколько его коллег по команде получили образование в основном в области биологии, а не информатики.

Они самостоятельно изучили архитектуры трансформеров и методы глубокого обучения, а затем разработали модели, адаптированные под конкретное поведение, вместо того чтобы использовать готовые инструменты.

Лаборатория имеет богатый опыт в этой области: ранее она разработала AVATAR — систему, воссоздающую поведение грызунов в виртуальной среде, что привело к созданию компании Actnova.

Исследователи рассматривают BehaVERT не просто как инструмент сортировки. Они описывают его как первый шаг к созданию широких поведенческих моделей, которые могут быть полезны во многих областях.

«BehaVERT выходит за рамки классификации поведения и позволяет интерпретировать его смысл», — сказал соавтор исследования профессор Дэ-Су Ким. «Мы ожидаем, что он станет ключевым исследовательским инструментом для получения новых знаний в области разработки лекарств, психических расстройств, поведенческой генетики и многих других областях биологических наук».

В исследованиях наркотиков, психиатрии и генетике крайне важно замечать даже незначительные изменения в поведении животных. Именно такие изменения могут остаться незамеченными для уставшего человеческого глаза.

Модель, которая анализирует эти изменения и демонстрирует свою логику на каждом этапе, могла бы ускорить процесс выявления подобных закономерностей. Если у поведения действительно есть своя грамматика, то подобные инструменты могут стать тем самым способом, с помощью которого мы наконец начнем его понимать.