Исследователи из Института Вейцмана разработали модель искусственного интеллекта Brain-IT, способную восстанавливать изображения, которые человек видел, используя только данные функциональной магнитно-резонансной томографии (fMRI).
Технология не пытается буквально «читать мысли». Она анализирует изменения активности мозга, возникающие во время восприятия изображения, и по этим сигналам восстанавливает его визуальное содержание. Получившийся результат затем формируется с помощью генеративной модели.
Как Brain-IT превращает сигналы мозга в изображение
Основой системы является специальная архитектура Brain Interaction Transformer (BIT). Она работает с группами функционально связанных участков мозга, объединяя информацию из множества отдельных вокселей fMRI.
Исследователи использовали общий набор функциональных кластеров, который позволяет модели работать с данными разных людей. Это особенно важно, поскольку мозг каждого человека имеет индивидуальные особенности, а обучение отдельной модели с нуля для каждого испытуемого потребовало бы огромного количества данных.
Brain-IT извлекает из активности мозга два типа информации.
- Семантические признаки помогают определить, что именно изображено на картинке и какие объекты находятся в сцене.
- Структурные признаки описывают расположение объектов, форму и общую композицию изображения.
Затем эти данные используются для управления процессом генерации изображения. В результате система стремится восстановить не просто картинку, похожую по общему смыслу, а максимально приблизить её к тому изображению, которое действительно видел испытуемый.
Главное преимущество: гораздо меньше данных
Одна из наиболее интересных особенностей Brain-IT связана с адаптацией модели к новому человеку. Исследователи сообщают, что всего одного часа fMRI-записей для нового испытуемого достаточно, чтобы получить результаты, сопоставимые с существующими методами, которым требовалось около 40 часов данных.
В демонстрациях исследователи также показывают осмысленные реконструкции после примерно 15 минут записи fMRI. При этом качество постепенно улучшается по мере увеличения количества доступных данных.
Brain-IT превзошла предыдущие методы
В экспериментах на данных Natural Scenes Dataset (NSD) Brain-IT сравнивали с несколькими современными подходами к реконструкции изображений по активности мозга.
Авторы сообщают, что система показала лучшие результаты по 7 из 8 количественных метрик, использовавшихся для оценки реконструкций. Особенно важным оказался баланс между сохранением смысла изображения и его визуальной структуры.
При ограниченном количестве данных преимущество становится ещё заметнее: модель способна использовать знания, полученные на других испытуемых, и быстро адаптироваться к новому человеку.
Почему это важно
Реконструкция изображений по fMRI остаётся одной из наиболее интересных задач на пересечении искусственного интеллекта, компьютерного зрения и нейронауки. Современные генеративные модели уже умеют создавать изображения по тексту, но Brain-IT решает обратную задачу: получает информацию непосредственно из активности мозга и пытается восстановить соответствующий визуальный опыт.
Такие технологии потенциально могут использоваться для изучения того, как мозг представляет визуальную информацию, а в дальнейшем могут найти применение в нейроинтерфейсах и системах взаимодействия человека с компьютером.
Но до настоящего «чтения мыслей» ещё далеко
Несмотря на эффектные демонстрации, возможности Brain-IT не стоит преувеличивать. Система работает с визуальными стимулами и требует fMRI-сканирования. Она не превращает мозг в открытую книгу и не позволяет дистанционно узнать, о чём человек думает.
Кроме того, реконструкция является результатом работы вероятностной генеративной системы. Поэтому восстановленное изображение может сохранять правильный смысл и композицию, но отличаться от исходной картинки в деталях.
От эксперимента к нейроинтерфейсам
Работа Brain-IT показывает важный сдвиг в развитии подобных систем: исследователям постепенно удаётся уменьшать объём индивидуальных данных, необходимых для восстановления визуальной информации из активности мозга.
Именно этот аспект может оказаться не менее важным, чем само качество получаемых изображений. Чем быстрее нейросеть адаптируется к конкретному человеку, тем ближе подобные технологии становятся к практическим нейроинтерфейсам.
Источник исследования
Работа «Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer» авторов Roman Beliy, Amit Zalcher, Jonathan Kogman, Navve Wasserman и Michal Irani опубликована в рамках конференции ICLR 2026. Исследование выполнено в Институте Вейцмана.
Ключевой вывод
Brain-IT не читает мысли в привычном смысле, но показывает, что активность человеческого мозга уже можно использовать как источник данных для восстановления увиденных изображений. И по мере того как для работы модели требуется всё меньше индивидуальных данных, граница между нейронаукой и генеративным ИИ становится всё менее заметной.
Обсуждение (0)