Ученые научились извлекать кино из мыслей человека

Исследователи из Калифорнийского университета в Беркли показывали испытуемым разные ролики с YouTube (фрагменты кинолент, трейлеры и т.п.), параллельно отслеживая активность клеток в различных частях зрительной коры при помощи магнитно-резонансного томографа. По этой информации учёные сумели реконструировать просмотренные кадры в цвете и динамике.

Как сообщает MedicalXpress, ученые сами выступили в роли подопытных, поскольку им приходилось проводить внутри томографа по многу часов за раз.

Для начала исследователи записали картину мозговой активности при просмотре ряда трейлеров голливудских фильмов. Биологи построили трёхмерную компьютерную модель мозга с группами клеток (вокселями) и записали, как каждый воксель реагирует на изменение форм и движение предметов на экране. Так им удалось получить грубое соответствие визуальной информации и процесса её обработки в коре мозга.

Для тестирования и доводки алгоритма учёные скормили ему тысячи часов от миллионов случайно взятых с YouTube роликов, получив на выходе обратный результат — смоделированную активность мозга, которая наблюдалась бы, если человек просматривал бы эти ролики.

При просмотре людьми в томографе тестового видео компьютер подбирал из базы 100 роликов, которые с наибольшей вероятностью должны были вызвать именно такую картину активности клеток. Далее секунда за секундой программа смешивала кадры из этих роликов, получая размытое результирующее кино, неплохо совпадавшее с тем, что человек наблюдал в реальности.

«Мы открыли окно в кино, идущее в нашем сознании», — говорит один из авторов работы Джек Галлант (Jack Gallant). Подробное описание опыта исследователей опубликовано в журнале Current Biology.

Распознавание мыслей при помощи магнитной томографии трудно реализовать, поскольку сканер регистрирует изменения в кровотоке через кору, а они происходят гораздо медленнее, чем меняются нервные сигналы. Именно поэтому ранее такой трюк удавался лишь со статичными картинками. «Мы решили эту проблему, создав двухступенчатую модель, которая описывает отдельно нервные клетки и сигналы кровотока», — говорит Синдзи Нисимото (Shinji Nishimoto), ведущий автор исследования.

До практического применения новой технологии может пройти десятилетие, но тдаже в таком сыром виде она способна помочь нейрофизиологам лучше разобраться, что происходит в голове человека.