Эволюция Ламарка и эффект Болдуина в эволюционной

Теория ламаркианской эволюции:

Теория Ламарка утверждает, что характерные черты личности, приобретенные в течение своей жизни, передают их своим детям. Эта теория названа в честь французского биолога Жана Батиста Ламарка. Согласно теории Ламарка, обучение является важной частью эволюции видов (или для нашей цели в эволюционном алгоритме). Эта теория дискредитирована в биологическом контексте, но может использоваться в генетических алгоритмах машинного обучения.

Эффект Болдуина :

Болдуин предположил, что индивидуальное обучение может объяснить эволюционные явления, которые, по-видимому, требуют наследования приобретенных характеристик по Ламарку. Способность людей учиться может направлять эволюционный процесс. Фактически, обучение сглаживает фитнес-ландшафт, тем самым способствуя эволюции.

Эффект Болдуина впервые продемонстрирован Хинтоном и Ноланом в контексте машинного обучения в 1987 году. Они используют простые нейронные сети (НС). В одном эксперименте они берут НС фиксированного веса, в то время как другие НС настроены на обучаемость. Они пришли к выводу, что:

• Когда нет индивидуального обучения, популяция (набор NN) не улучшалась с течением времени.
• Когда обучение применяется на ранних стадиях, в популяции есть много людей с большим количеством тренируемых весов, но на более поздних стадиях она достигла высокой физической формы, и количество тренируемых весов у людей уменьшается.

Алгоритм G-prop:

G-Prop - это эволюционный гибридный алгоритм. Это гибрид обратного распространения (BP) и многослойного перцептрона (MLP). Ниже представлен алгоритм G-Prop.

• Сгенерируйте исходную модель со случайными значениями веса и размерами скрытых слоев, равномерно распределенными от 2 до максимального заданного значения.
• Для поколений G:
  • Оцените новых людей: тренируйте их, используя обучающий набор, и получите их физическую форму в соответствии с количеством правильных классификаций в проверочном наборе и размером скрытого слоя.
  • Выберите n лучших индивидуумов в популяции на основе функции соответствия ценности и объедините их, используя мутацию, кроссовер, сложение, исключение и замену скрытых нейронов.
  • Замените n худших особей новыми особями.
• Используйте лучших людей на тестовой выборке, чтобы получить ошибку тестирования.

Функция фитнеса: функция фитнеса определяется как способность классифицировать / приближать набор проверки для выделения лучшего человека во время тренировки для каждого поколения. В случае двух человек, имеющих одну и ту же функцию фитнеса, человек с наименьшим параметром скрытого слоя считает лучше, потому что количество параметров пропорционально скорости обучения.

• Подход Ламарка не использует специальной функции приспособленности, вместо этого он использует локальный поисковый генетический оператор (аналогичный быстрому распространению), который предназначен для улучшения индивидуумов, сохраняя индивидуальные тренированные веса обратно в популяцию.
• Для эффекта Болдуина процесс использования фитнес-функции выполняется следующим образом:
  • На первом этапе мы вычисляем классификационную / аппроксимирующую способность человека на проверочном наборе перед обучением.
  • Затем он обучается, и его способности рассчитываются по следующим критериям:
    • Лучший индивидуум (MLP / ANN) - это тот, у кого после обучения более высокая способность классификации / аппроксимации.
    • Если оба MLP показывают одинаковую точность. Тогда лучше всего тот, чья способность классификации / аппроксимации перед обучением выше, это потому, что интуиция подсказывает, что MLP с большей вероятностью будет иметь высокую точность при повторном обучении.
    • Если оба MLP имеют одинаковую точность до и после обучения, тогда лучшая модель будет меньше (модель с меньшим количеством обучаемых параметров).

Результаты и заключение :

Результаты по набору данных Glass1a

Сравнение ошибок и размеров ч / б Эффект Ламарка и Болдуина при изучении в течение 300 поколений

• Автор пришел к выводу, что стратегия Ламарка находит подходящего человека (MLP) в ранних поколениях, который остается лучшим на протяжении всего моделирования, поэтому эволюция останавливается. Хотя эффект Болдуина может быть лучше, чем подход Ламарка, но он требует большего количества поколений.
• Из вышеприведенного вывода также следует, что нейронные сети, генерируемые стратегией Ламарка, малы, поэтому требуется меньше времени на обучение, прогнозирование и проектирование.
• Другой важный результат состоит в том, что оператор Ламарка улучшает функцию приспособленности в ранних поколениях. Это связано с элитарным алгоритмом, в котором некоторая часть наиболее приспособленного человека копируется следующему поколению. Индивиды (на которых скопированы наиболее приспособленные индивидуальные данные) могут получить преимущество по сравнению с остальными членами популяции и останутся лучшими индивидами среди популяции до конца моделирования.

Рекомендации:

• Эволюция Ламарка и эффект Болдуина в эволюционных нейронных сетях
• Как обучение может направлять эволюцию