Новый ИИ-декодер может переводить мозговые волны в текст
Это важный шаг на пути к разработке интерфейсов, способных декодировать язык в непрерывном режиме с помощью неинвазивной записи мыслей. Чтение мозговой активности вскоре может стать возможным благодаря ИИ-декодерам.
Ученые разработали систему, которая может читать мысли человека и воспроизводить мозговую активность в виде текстового потока, частично опираясь на трансформаторную модель, подобную тем, которые используются в ChatGPT от Open AI и Bard от Google.
Это важный шаг на пути к разработке интерфейсов мозг-компьютер, которые могут декодировать язык в непрерывном режиме с помощью неинвазивных записей мыслей.
Результаты были опубликованы в недавнем исследовании в рецензируемом журнале Nature Neuroscience под руководством Джерри Танга, докторанта компьютерных наук, и Алекса Хута, доцента неврологии и компьютерных наук в UT Austin.
Неинвазивный метод
Семантический декодер Танга и Хута не имплантируется непосредственно в мозг; вместо этого для измерения активности мозга используется аппарат фМРТ. В рамках исследования участники эксперимента слушали подкасты, а ИИ пытался расшифровать их мысли в текст.
"Для неинвазивного метода это настоящий скачок вперед по сравнению с тем, что делалось раньше, а это, как правило, отдельные слова или короткие предложения", - говорит Алекс Хут. "Мы создаем модель для декодирования непрерывного языка в течение длительных периодов времени со сложно структурированными мыслями".
Подобные системы могут быть особенно полезны людям, которые физически не могут говорить, например, тем, кто перенес инсульт, и позволят им общаться более эффективно.
По словам Танга и Хута, результаты исследования демонстрируют жизнеспособность неинвазивных языковых интерфейсов мозг-компьютер. Они отмечают, что семантический декодер еще нуждается в доработке и может дать только основную "суть" того, о чем человек думает. ИИ-дешифратор выдавал текст, который точно соответствовал мыслям испытуемого, только в половине случаев.
В исследовании приводятся некоторые примеры работы дешифратора. В одном случае испытуемый услышал и, соответственно, подумал предложение "... Я не знал, что делать: кричать или убегать, вместо этого я сказал: "Оставьте меня в покое, мне не нужна ваша помощь", и Адам исчез".
Дешифратор воспроизвел эту часть предложения как "... начала кричать и плакать, а потом просто сказала, что я сказала тебе оставить меня в покое, ты больше не можешь причинить мне боль, мне жаль, а потом он убежал".
Исследователи также добавили, что аспект психической конфиденциальности вызывает у них определенную озабоченность. "Мы очень серьезно относимся к опасениям, что это может быть использовано в плохих целях, и постарались этого избежать", - сказал Джерри Танг. "Мы хотим убедиться, что люди используют подобные технологии только тогда, когда они этого хотят, и что это им действительно необходимо".
По этой причине они также проверили, требует ли успешное декодирование сотрудничества с человеком, которого декодируют, и обнаружили, что сотрудничество абсолютно необходимо для работы декодера.
Хут и Танг считают, что в будущем их система может быть адаптирована для работы с портативными системами визуализации мозга, такими как функциональная спектроскопия в ближней инфракрасной области (fNIRS).
"fNIRS измеряет, где в мозге больше или меньше кровотока в разные моменты времени, что, как оказалось, является точно таким же сигналом, который измеряет фМРТ", - заключает Хут. "Таким образом, наш точный подход должен быть применим и к fNIRS".
Источник: jpost.com
414
2023.05.03 10:10:03