Новый ИИ-декодер может переводить мозговые волны в текст

 

Ученые разработали систему, которая может читать мысли человека и воспроизводить мозговую активность в виде текстового потока, частично опираясь на трансформаторную модель, подобную тем, которые используются в ChatGPT от Open AI и Bard от Google.

 

Это важный шаг на пути к разработке интерфейсов мозг-компьютер, которые могут декодировать язык в непрерывном режиме с помощью неинвазивных записей мыслей.

 

Результаты были опубликованы в недавнем исследовании в рецензируемом журнале Nature Neuroscience под руководством Джерри Танга, докторанта компьютерных наук, и Алекса Хута, доцента неврологии и компьютерных наук в UT Austin.

 

 

Семантический декодер Танга и Хута не имплантируется непосредственно в мозг; вместо этого для измерения активности мозга используется аппарат фМРТ. В рамках исследования участники эксперимента слушали подкасты, а ИИ пытался расшифровать их мысли в текст. 

 

"Для неинвазивного метода это настоящий скачок вперед по сравнению с тем, что делалось раньше, а это, как правило, отдельные слова или короткие предложения", - говорит Алекс Хут. "Мы создаем модель для декодирования непрерывного языка в течение длительных периодов времени со сложно структурированными мыслями".

 

Подобные системы могут быть особенно полезны людям, которые физически не могут говорить, например, тем, кто перенес инсульт, и позволят им общаться более эффективно. 

 

По словам Танга и Хута, результаты исследования демонстрируют жизнеспособность неинвазивных языковых интерфейсов мозг-компьютер. Они отмечают, что семантический декодер еще нуждается в доработке и может дать только основную "суть" того, о чем человек думает. ИИ-дешифратор выдавал текст, который точно соответствовал мыслям испытуемого, только в половине случаев.

 

В исследовании приводятся некоторые примеры работы дешифратора. В одном случае испытуемый услышал и, соответственно, подумал предложение "... Я не знал, что делать: кричать или убегать, вместо этого я сказал: "Оставьте меня в покое, мне не нужна ваша помощь", и Адам исчез".

 

Дешифратор воспроизвел эту часть предложения как "... начала кричать и плакать, а потом просто сказала, что я сказала тебе оставить меня в покое, ты больше не можешь причинить мне боль, мне жаль, а потом он убежал". 

 

Исследователи также добавили, что аспект психической конфиденциальности вызывает у них определенную озабоченность. "Мы очень серьезно относимся к опасениям, что это может быть использовано в плохих целях, и постарались этого избежать", - сказал Джерри Танг. "Мы хотим убедиться, что люди используют подобные технологии только тогда, когда они этого хотят, и что это им действительно необходимо".

 

По этой причине они также проверили, требует ли успешное декодирование сотрудничества с человеком, которого декодируют, и обнаружили, что сотрудничество абсолютно необходимо для работы декодера.

 

Хут и Танг считают, что в будущем их система может быть адаптирована для работы с портативными системами визуализации мозга, такими как функциональная спектроскопия в ближней инфракрасной области (fNIRS).

 

"fNIRS измеряет, где в мозге больше или меньше кровотока в разные моменты времени, что, как оказалось, является точно таким же сигналом, который измеряет фМРТ", - заключает Хут. "Таким образом, наш точный подход должен быть применим и к fNIRS".