Искусственный интеллект помог расшифровать кадры фильма из мозга мыши

 

Ученые использовали искусственный интеллект (ИИ) для декодирования сигналов мозга мыши во время просмотра фильма и точного воспроизведения просмотренного ею клипа. Группа исследователей из Федеральной политехнической школы Лозанны (EPFL) разработала инструмент искусственного интеллекта, который может интерпретировать сигналы мозга грызуна в режиме реального времени и затем восстанавливать видео, которое смотрит мышь.

 

Алгоритм машинного обучения, названный учеными "CEBRA", был обучен сопоставлять нейронную активность с конкретными кадрами в видео. Затем алгоритм смог предсказать и реконструировать видеоролик, который смотрит мышь. В видеоролике, предоставленном EPFL, ученые рассказывают, как мыши был показан черно-белый видеоклип 1960-х годов, в котором человек бежит к машине и открывает багажник.

 

На отдельном экране показано, на что, по мнению CEBRA, смотрит мышь, и восстановленные ИИ кадры практически идентичны - хотя видео периодически глючит.

 

В исследовании, опубликованном сегодня в журнале Nature, ученые рассказали, что они измеряли и записывали активность мозга грызунов с помощью электродов, вставленных в область зрительной коры головного мозга, а также оптических датчиков у мышей, которые были генетически модифицированы таким образом, что нейроны в их мозге светились зеленым цветом при возбуждении и передаче информации.

 

Исследователи натренировали CEBRA, используя фильмы, которые смотрели мыши, и данные об их мозговой активности в реальном времени. Используя эти данные, CEBRA узнала, какие сигналы мозга связаны с кадрами конкретного фильма.

 

Затем алгоритму машинного обучения была предоставлена новая активность мозга, с которой он раньше не сталкивался, от мыши, которая смотрела немного другой пример киноклипа. На основе этого CEBRA смогла предсказать, какой кадр смотрела мышь в режиме реального времени, и исследователи превратили эти данные в собственный фильм.