Ученые из Техасского университета в Остине добились того, что большая языковая модель (GPT), изучая фМРТ мозга испытуемых людей, смогла пересказывать подкаст, который они слушали, или видео, которое они смотрели.
Это выглядит так: нейросеть получает данные из мозга и выдает текстовый пересказ сюжета подкаста, фразу за фразой. Человек мог даже рассказывать историю мысленно, нейросеть и в этом случае была способна пересказать историю по активности мозга. В том же исследовании людям показывали короткие видео без звука, и та же модель по данным фМРТ затем описывала происходящее на экране.
«Любая достаточно развитая технология неотличима от магии», гласит третий закон Артура Кларка. Здесь магия заключается в том, что нейросеть не пыталась угадывать слова или предметы, которые слышит и видит человек, а просто извлекала из его мозга смысл речи и суть событий. Это стало возможно благодаря генеративному ИИ: он не «расшифровывает» отдельные фонемы или образы, как это делали в других похожих экспериментах, а пробует сочинить фразу или сюжет, которые наиболее точно соответствуют активности мозга.
На основе записей фМРТ модель создает свою историю, и она оказывается близкой по смыслу к реальной истории, услышанной, увиденной или придуманной человеком. Иногда вплоть до совпадения фраз. В этом сила генеративных моделей — они способны сами порождать данные. Правильнее назвать это не расшифровкой, а реконструкцией мыслей человека. И это работает.
Статистика голосований по странам
Статистика голосований пользователей
Чтобы оставить комментарии, необходимо авторизоваться. За оскорбления и спам - бан.
14 комментариев, показывать
сначала новые
сначала новыесначала старыесначала лучшиеновые - список
просто перепечатка новости - за это минус, а так - да, любопытно
добавлю:
Очевидный недостаток изобретения — это его громоздкость: декодер не может функционировать без аппарата фМРТ. По замыслу учёных, их разработка должна помогать людям с неврологическими заболеваниями, влияющими на речь, общаться с внешним миром. Сейчас есть предположение, что следующие версии устройства можно будет адаптировать к более удобным и мобильным платформам, таким как датчики спектроскопии ближнего инфракрасного диапазона (fNIRS), которые можно крепить к голове пациента.
Разработчики отдают себе отчёт, что по мере совершенствования их декодер может применяться для не совсем этичных целей, например, слежки за людьми и шпионажа. Поэтому они особо подчёркивают, что «интерфейсы мозг-компьютер должны уважать ментальную конфиденциальность».
+0–
ответить
Пиздеж. Похожим образом мы в 1 классе пересказывали научно-популярные статьи.
"А ложка состояла из атомов, и она каааак взорвется! Атомы же!"
+0–
ответить
Пиздёж... ChatGPT - это всего лишь по сути зафокстроченное автозаполнение. Никто там из мозга смысл речи и суть событий не извлекает.
+3–
ответить
У Стругацких в Обитаемом острове было, в принципе технически здесь ничего невозможного. А если обучить нейросеть на миллионах пользователей она и сны вполне может в фильмы преобразовывать, ведь видео создавать уже умеет.
+0–
ответить
так, если обобщить на человеческом языке - чтение мыслей через МРТ путем расшифровки через ИИ? То есть взяли тысячи человек, заставили их смотреть один фильм, а потом прокручивать его в сознании, снимая при этом с них МРТ?
Ну круто, чо
+0–
ответить