Создан алгоритм для обучения ИИ на фотонных и нейроморфных чипах
Российские исследователи разработали алгоритм, который позволяет обучать гибридные нейросети с использованием фотонных, нейроморфных и аналоговых вычислительных устройств. Об этом сообщили в Институте искусственного интеллекта AIRI.
Такие системы предполагают совместную работу классических цифровых процессоров и специализированных ускорителей. Последние могут выполнять отдельные часто повторяющиеся операции, тогда как основная часть вычислений остается за традиционной электроникой.
Сейчас фотонные и нейроморфные чипы пока не способны полностью заменить обычные процессоры при обучении крупных моделей. Однако их можно использовать как отдельные компоненты гибридной системы, чтобы ускорять наиболее ресурсоемкие вычисления.
Специалисты AIRI, Центра квантовых технологий Сбербанка и «Сколтеха» предложили подход, который позволяет обучать такие нейросети даже без полного доступа к внутреннему устройству сопроцессора.
Исследователи проверили алгоритм на шести цифровых моделях фотонных вычислительных слоев и схем, а также на трех типах задач. Расчеты показали, что для успешного обучения не требуется точно знать процессы, происходящие внутри каждого компонента.
Для настройки нейросети оказалось достаточно наблюдать, как устройство реагирует на случайные изменения, и использовать приближенную модель его работы. В результате качество оказалось близким к показателям полностью цифровых систем.
Научный руководитель Центра квантовых технологий Сбербанка Станислав Страупе отметил, что такой подход позволяет объединять специализированные устройства различной физической природы с цифровой электроникой без заметной потери качества.
В перспективе подобные гибридные системы могут использоваться в крупных центрах обработки данных для обучения больших моделей ИИ, а также в устройствах, где особенно важны скорость работы и низкое энергопотребление.
