Ученые из Техасского университета в Остине разработали неинвазивную ИИ-систему, которая преобразует активности мозга человека в поток текста. Результаты исследования опубликованы в журнале Nature Neuroscience.
Для сбора данных активности мозга участников поместили в аппарат фМРТ и дали прослушать несколько часов подкастов. Затем исследователи создали алгоритм-декодер, работающий по принципу чат-ботов ChatGPT или Bard.
В итоге обученная ИИ-система смогла генерировать поток текста, когда участник слушает записи или воображает, что рассказывает новую историю.
Полученный текст не является точной стенограммой. По словам исследователей, алгоритм скорее фиксирует общие мысли и идеи.
Согласно пресс-релизу, обученная система выдает текст, который близко или точно соответствует предполагаемому значению исходных слов участника примерно в половине случаев.
Например, когда участница во время эксперимента услышала слова «у меня еще нет водительских прав», мысли трансформировались в «она еще даже не начала учиться водить».
«Для неинвазивного метода это настоящий скачок вперед по сравнению с тем, что делалось раньше, когда обычно использовались отдельные слова или короткие предложения», — сказал один из руководителей исследования Александр Хут.
По его словам, модель декодирования способна проводить длительные по времени сеансы и работать со сложными идеями.
Участников эксперимента также попросили просмотреть четыре видео без звука во время нахождения в сканере. В итоге ИИ-система смогла точно распознать «определенные события» из роликов, заявили исследователи.
Декодер мозговой активности нельзя использовать за пределами лаборатории, поскольку он требует наличия сканера фМРТ. Но исследователи считают, что алгоритм пригодится в будущем, когда появятся более портативные системы визуализации мозга.
Также разработчики уверены, что технология принесет пользу пациентам, утратившим способность физически общаться после перенесенного инсульта, паралича или других дегенеративных заболеваний.
Ведущие авторы исследования намерены запатентовать технологию.
Напомним, в марте японские исследователи научили ИИ воссоздавать изображения по данным мозговой активности человека с помощью Stable Diffusion.
