Импульсная нейронная сеть

Импульсная нейронная сеть (ИмНС, англ. Pulsed neural networks, PNN) или Спайковая нейронная сеть (СНН, англ. Spiking neural network, SNN) — третье поколение искусственных нейронных сетей (ИНС), которое отличается от бинарных (первое поколение) и частотных/скоростных (второе поколение) ИНС тем, что в нем нейроны обмениваются короткими (у биологических нейронов — около 1—2 мс) импульсами одинаковой амплитуды (у биологических нейронов — около 100 мВ). Является самой реалистичной, с точки зрения физиологии, моделью ИНС.
История
Истоки
Первая научная модель импульсной нейронной сети была предложена Аланом Ходжкином и Эндрю Хаксли в 1952 году. Эта модель описывала как потенциалы действия возникают и распространяются. Импульсы, однако, как правило, не передаются непосредственно между нейронами. Связь требует обмена химическими веществами, которые называются нейротрансмиттерами, в синаптической щели.
С точки зрения теории информации, проблема заключается в отсутствии модели, которая бы объясняла, как кодируется информация и декодируются серии последовательностей импульсов, то есть потенциалы действия. Для нейробиологии всё еще открытым является вопрос: нейроны связываются с помощью частотного или временного кодирования? С помощью временного кодирования один импульсный нейрон может заменять сотни скрытых элементов частотной нейронной сети.
Современные исследования
В настоящее время существует два направления исследования ИмНС:
Устройство
Принцип работы
Сеть получает на входы серию импульсов и выдаёт импульсы на выходе. В каждое мгновение каждый нейрон имеет некоторое значение (аналог электрического потенциала у биологических нейронов) и, если это значение превышает пороговое, то нейрон посылает одиночный импульс, после чего его собственное значение падает до уровня ниже среднего значения (аналог процесса реабилитации у биологических нейронов, так называемый рефрактерный период) на 2-30 мс. При выведении из состояния равновесия потенциал нейрона начинает плавно стремиться к среднему значению. Существует всего два параметра весовых связей импульсного нейрона — время задержки и величина веса.
Модели нейронов
Способы моделирования нейронов ИмНС можно разделить на две группы:
- модели проводимости — подобны процессу работы ионных каналов;
- модели порогового значения — порождают импульс при определенном уровне напряжения.
Представление информации
В частотных ИНС используется сигнал, который принимает значение, зависящее от частоты порождения импульсов определенной группой нейронов (веса нейронов, собственно, и являются формой представления этой частоты). Тем не менее, средняя частота импульсов в последовательности является довольно плохим вариантом представления информации, так как различные виды стимуляции могут приводить к одинаковой средней частоте импульсов.
Для избавления от этого недостатка в импульсных ИНС используются следующие виды представления информации:
Помимо этого, существуют виды представления информации, являющиеся смешанной формой нескольких простых видов представления информации, например:
Устройство
Архитектуры ИмНС можно разделить на следующие группы:
Методы обучения
Методы обучения ИмНС делятся на три группы:
- Обучение без учителя:
- Обучение с учителем:
- Обучение с подкреплением:
Качественные характеристики
Преимущества
Импульсные ИНС имеют ряд преимуществ над нейросетями предыдущих поколений:
Недостатки
Реализации
Программные
Программное обеспечение, которое используется, в основном, для имитации импульсных нейронных сетей и используемые биологами для изучения их работы, свойств и характеристик. Позволяет моделировать с высоким уровнем детализации и точности, но требуют большого времени моделирования.
- GENESIS;
- Neuron;
- Brian;
- NEST.
Программное обеспечение, которое может использоваться для решения реальных, а не теоретических задач. Моделирование в них проходит очень быстро, но не позволяет моделировать сложные, то есть биологически реалистичные, модели нейронов.
- SpikeNET.
Программное обеспечение, которое работает достаточно эффективно для того, чтобы моделирование проходило быстро, иногда даже в режиме реального времени, но, в то же время, оно способно использовать нейронные модели, которые подробно описаны и биологически правдоподобным. Все это очень удобно для задач обработки информации.
- EDLUT.
Аппаратные
Использующее существующую архитектуру пользователя:
- Neurogrid;
- SpiNNaker.
Использующее свою, специализированную, архитектуру:
- TrueNorth;
- Akida
Применение
Протезирование
Зрительные и слуховые нейропротезы, использующие последовательности импульсов для подачи сигналов в зрительную кору, и возвращающие больным возможность ориентироваться в пространстве, существуют уже сейчас, а работа над механическими двигательными протезами активно ведется. Также, импульсные последовательности могут подаваться в мозг через вживленные в него электроды и, тем самым, устранять симптомы болезни Паркинсона, дистонии, хронических болей, МДП и шизофрении.
Робототехника
Brain Corporation из Сан-Диего разрабатывает роботов, использующих ИмНС, а SyNAPSE создает нейроморфические системы и процессоры.
Компьютерное зрение
Существуют перспективы применения ИмНС в компьютерном зрении (автоматическом анализе видеоинформации). Цифровой нейрочип IBM TrueNorth включает в себя миллион программируемых нейронов и 256 миллионов программируемых синапсов, что позволяет симулировать работу нейронов зрительной коры. Данный нейрочип состоит из 4096 ядер, содержит 5.4 миллиарда транзисторов, но при этом обладает серьезной энергоэффективностью — всего лишь 70 милливатт.
Телекоммуникации
Qualcomm занимается исследованием возможности применения ИмНС в телекоммуникационных устройствах.