Междисциплинарная группа, состоящая из исследователей из Центра познания и социальности и Группы науки о данных Института фундаментальных наук (IBS), выявила поразительное сходство между обработкой памяти моделей искусственного интеллекта (ИИ) и гиппокампом человеческого мозга. Это новое открытие открывает новый взгляд на консолидацию памяти — процесс, который преобразует краткосрочные воспоминания в долгосрочные в системах искусственного интеллекта.
В гонке за разработку общего искусственного интеллекта (AGI), возглавляемой такими влиятельными организациями, как OpenAI и Google DeepMind, понимание и воспроизведение человеческого интеллекта стало важным исследовательским интересом. Центральное место в этих технологических достижениях занимает модель Трансформатора, фундаментальные принципы которой сейчас исследуются с новой глубиной.
Ключом к созданию мощных систем искусственного интеллекта является понимание того, как они изучают и запоминают информацию. Команда применила принципы обучения человеческого мозга, уделив особое внимание консолидации памяти через рецептор NMDA в гиппокампе к моделям искусственного интеллекта.
NMDA-рецептор подобен умной двери в вашем мозгу, которая облегчает обучение и формирование памяти. Когда присутствует химическое вещество мозга, называемое глутаматом, нервная клетка подвергается возбуждению. С другой стороны, ион магния действует как маленький привратник, блокирующий дверь. Только когда этот ионный привратник отходит в сторону, вещества могут поступать в клетку. Это процесс, который позволяет мозгу создавать и сохранять воспоминания, и роль привратника (иона магния) во всем этом процессе весьма специфична.
Команда сделала потрясающее открытие: модель Трансформера, похоже, использует процесс контроля, аналогичный NMDA-рецептору мозга. Это открытие побудило исследователей выяснить, можно ли контролировать консолидацию памяти Трансформатора с помощью механизма, аналогичного процессу пропускания рецептора NMDA.
Известно, что в мозгу животных низкий уровень магния ослабляет функцию памяти. Исследователи обнаружили, что долговременную память Трансформера можно улучшить, имитируя рецептор NMDA.
Точно так же, как в мозге, где изменение уровня магния влияет на силу памяти, настройка параметров Трансформера, чтобы отразить управляющее действие рецептора NMDA, привела к улучшению памяти в модели ИИ. Это революционное открытие предполагает, что то, как обучаются модели ИИ, можно объяснить с помощью устоявшихся знаний в области нейробиологии.
К. Джастин Ли, директор института по нейробиологии, сказал: «Это исследование делает решающий шаг в развитии искусственного интеллекта и нейробиологии». Это позволяет нам глубже вникать в принципы работы мозга и разрабатывать более совершенные системы искусственного интеллекта на основе этих знаний».
ЧА Миёнг, специалист по данным в команде и в KAIST, отмечает: «Человеческий мозг уникален тем, что он работает с минимальными затратами энергии, в отличие от крупных моделей искусственного интеллекта, которым требуются огромные ресурсы. Наша работа открывает новые возможности для недорогих и высокопроизводительных систем искусственного интеллекта, которые изучают и запоминают информацию, как люди».
Что отличает это исследование от других, так это его инициатива по включению нелинейности, вдохновленной мозгом, в конструкцию ИИ, что означает значительный прогресс в моделировании консолидации памяти, подобной человеческой. Конвергенция когнитивных механизмов человека и конструкции ИИ не только обещает создание недорогих и высокопроизводительных систем ИИ, но и дает ценную информацию о работе мозга с помощью моделей ИИ.
Теги: ИИ
