Математикам удалось довести информационную емкость нейросети до теоретически возможного предела, научив ее избавляться от лишней информации, как это делает живой мозг во время сна

Трое итальянских математиков снабдили искусственную нейронную сеть способностью к сну. За основу была взята нейронная сеть Хопфилда, которую считают приближением принципов работы мозга. «По образцу механизмов сна и сновидений в мозге млекопитающих мы предложили развитие этой модели, в котором чередуются стандартный обучающий механизм онлайн (то есть бодрствование), позволяющий накапливать и хранить внешнюю информацию, и механизм консолидации памяти офлайн», — пишут авторы в своей статье.

По современным представлениям, основное назначение сна у млекопитающих — восстановление так называемого «синаптического гомеостаза»: ненужные связи между нейронами, образующиеся при запоминании информации в течение дня, уничтожаются, а те немногие, что кодируют действительно важную информацию, напротив, укрепляются. С помощью этого механизма мы способны каждый день запоминать что-то новое, хотя при этом общее число и рисунок связей между нейронами практически не меняется. Возможно, что с отделением важных воспоминаний от незначительных связано также явление сновидений.

Стандартная нейронная сеть Хопфилда — а по существу это просто компьютерная программа — конечно, сама по себе не обладает способностью переходить от бодрствования ко сну и обратно. Она может обучаться и сохранять информационные «паттерны», однако ее емкость ограничена. Авторы работы видоизменили алгоритм, добавив в него аналог суточного цикла: фазу бодрствования сменяла фаза сна. При этом сам сон, как это происходит и у млекопитающих, подразделялся на фазы «медленного сна» (это глубокий сон без сновидения, когда, как думают, в мозгу происходит консолидация памяти) и «быстрого сна» (в этой фазе, как некоторые считают, мозг избавляется от ненужной информации).

Результат оказался весьма примечательным. В первоначальном виде емкость сети Хопфилда — показатель ее эффективности, измеряющийся в битах на синапс — составлял всего 0,14. Однако при добавлении цикла этот показатель достиг теоретически возможного максимума для симметричной нейронной сети — единицы. Результат был подтвержден многочисленными симуляциями: если разрешить нейронной сети время от времени спать, ее эффективность заметно возрастает. «Мы полагаем, что хотя в процессах мышления центральную роль играют обучение и извлечение информации, сон также является их неотъемлемой частью, что так же верно для искусственного интеллекта, как и для биологического», — говорит соавтор работы, Адриано Барра из университета Саленто.

Работа итальянских математиков носит скорее теоретический характер и вряд ли может быть немедленно использована для решения практических задач. Тем не менее, она служит примером того, как в разработке концепции искусственного интеллекта может помочь копирование механизмов работы живого мозга, причем даже в тех случаях, когда до полного понимания этих механизмов еще очень далеко.

Источник: forbes.ru