ИИ научили воссоздавать видео по сигналам мозга мышей

Ученые из Университетского колледжа Лондона обучили искусственный интеллект реконструировать видеоролики на основе активности мозга мышей. Используя данные о работе отдельных клеток зрительной коры, исследователи с высокой точностью воссоздали то, что видели животные. Метод открывает новые возможности для изучения механизмов зрительного восприятия. Об этом сообщает портал TechInsider.

Технологии чтения мыслей развиваются стремительно. В подобных исследованиях на людях ученые декодируют не только видео, но и внутреннюю речь. Это помогает парализованным пациентам общаться. Синтез данных активности мозга и нейросетей в будущем позволит создать зрительные протезы для слепых, транслируя видео с камер прямо в кору.

В последние годы исследователи активно изучают, как мозг расшифровывает сигналы от органов зрения. Ранее эксперименты проводились на людях с использованием функциональной МРТ, которая декодировала визуальную информацию. Новая работа британских специалистов вывела исследования на иной уровень благодаря фиксации активности отдельных клеток. Вместо общих изменений кровотока ученые применили микроскопическую визуализацию, отслеживая уровень кальция в клетках зрительной коры мышей.

Для анализа данных адаптировали динамическую нейросетевую модель. Алгоритм учитывал не только видеоряд, но и движения грызунов, а также изменения диаметра зрачков. Сопоставляя реальную активность нейронов с прогнозируемой, ИИ начинал с пустого экрана и постепенно корректировал изображение. В итоге система научилась генерировать высококачественное видео на основе сигналов мозга. Работа опубликована в журнале eLife.

Успешное обучение модели позволило воссоздавать десятисекундные ролики, которые мыши смотрели впервые. Точность реконструкции зависела от количества задействованных нейронов. Сравнение оригинальных кадров и результата показало минимальные временные задержки и высокую степень соответствия. Теперь исследователи планируют изучать различия между объективной реальностью и ее восприятием. Ведущий автор доктор Джоэль Бауэр отметил: «В наших головах нет идеального представления о мире. Процесс обработки визуальной информации искажает восприятие. Это отклонение — не ошибка, а особенность того, как разум интерпретирует сенсорную информацию».