Введение в ИНС | Набор 4 (Сетевые архитектуры)

Предварительные требования: Введение в ИНС | Комплект-1, Комплект-2, Комплект-3

Искусственная нейронная сеть (ИНС) - это парадигма обработки информации, вдохновленная мозгом. ИНС, как и люди, учатся на примерах. ИНС настраивается для конкретного приложения, такого как распознавание образов или классификация данных, в процессе обучения. Обучение в значительной степени включает в себя корректировку синаптических связей, существующих между нейронами.

Модель искусственной нейронной сети, которая может быть задана тремя сущностями:

• Взаимосвязи
• Функции активации
• Правила обучения

Взаимосвязи:

Взаимосвязь можно определить как способ соединения обрабатывающих элементов (Neuron) в ИНС друг с другом. Следовательно, расположение этих обрабатывающих элементов и геометрия взаимосвязей очень важны в ИНС.
Эти устройства всегда имеют два уровня, которые являются общими для всех сетевых архитектур: входной уровень и выходной уровень, где входной уровень буферизует входной сигнал, а выходной уровень генерирует выходной сигнал сети. Третий слой - это скрытый слой, в котором нейроны не хранятся ни во входном, ни в выходном слое. Эти нейроны скрыты от людей, которые взаимодействуют с системой, и действуют для них как черный ящик. При увеличении скрытых слоев с нейронами вычислительная и вычислительная мощность системы может быть увеличена, но в то же время процесс обучения системы становится более сложным.

Существует пять основных типов архитектуры нейронных соединений:

1. Однослойная сеть прямого распространения
2. Многослойная сеть с прямой связью
3. Единый узел с собственной обратной связью
4. Однослойная рекуррентная сеть
5. Многослойная рекуррентная сеть

1. Однослойная сеть прямого распространения

   
   В этом типе сети у нас есть только два слоя: входной слой и выходной слой, но входной уровень не учитывается, потому что в этом слое не выполняются вычисления. Выходной слой формируется, когда к входным узлам применяются разные веса и берется совокупный эффект для каждого узла. После этого нейроны вместе дают выходному слою вычислять выходные сигналы.

2. Многослойная сеть с прямой связью

   
   Этот слой также имеет скрытый слой, который является внутренним по отношению к сети и не имеет прямого контакта с внешним слоем. Наличие одного или нескольких скрытых слоев позволяет сети быть более сильной в вычислительном отношении, сетью с прямой связью, поскольку информация проходит через входную функцию и промежуточные вычисления, используемые для определения выхода Z. Нет никаких обратных связей, в которых выходы модель возвращается в себя.

3. Единый узел с собственной обратной связью
   
   

   Единый узел с собственной обратной связью
   

   
   Когда выходные данные могут быть направлены обратно как входы на тот же уровень или на узлы предыдущего уровня, это приводит к сетям обратной связи. Рекуррентные сети - это сети обратной связи с замкнутым контуром. На рисунке выше показана одна рекуррентная сеть с одним нейроном с обратной связью с самим собой.
4. Однослойная рекуррентная сеть

   
   Вышеупомянутая сеть представляет собой однослойную сеть с подключением обратной связи, в которой выход обрабатывающего элемента может быть направлен обратно на себя или на другой обрабатывающий элемент, или на оба. Рекуррентная нейронная сеть - это класс искусственной нейронной сети, в которой соединения между узлами образуют ориентированный граф вдоль последовательности. Это позволяет ему демонстрировать динамическое временное поведение для временной последовательности. В отличие от нейронных сетей прямого распространения, RNN могут использовать свое внутреннее состояние (память) для обработки последовательностей входных данных.

5. Многослойная рекуррентная сеть
   
   В этом типе сети выходные данные обрабатывающего элемента могут быть направлены на обрабатывающий элемент на том же уровне и на предыдущем уровне, формируя многослойную рекуррентную сеть. Они выполняют одну и ту же задачу для каждого элемента последовательности, при этом результат зависит от предыдущих вычислений. Входные данные не нужны на каждом временном шаге. Основной особенностью рекуррентной нейронной сети является ее скрытое состояние, которое фиксирует некоторую информацию о последовательности.