Плохая изученность принципов функционирования человеческого мозга заставляет ученых выходить за пределы современных биологических знаний в поисках структур , способных выполнять полезные функции . Поэтому очень слаба связь с биологией , ИНС продолжают сравнивать с мозгом т.к. их функционирование напоминает человеческое познание .

Человеческий мозг состоит из огромного числа нейронов ,связанных и взаимодействующих между собой . С развитием науки и техники , ученым удалось создать математические модели мозга , что показало не только их способность повторять функции мозга , но и способность выполнять функции , имеющие свою собственную ценность. То есть появились два направления нейронного моделирования :

1. понять механизмы функционирования нервной системы человека на уровне физиологии и психологии .

2. создать ВС , выполняющие функции сходные с функциями мозга

Д. Хэбба в 1949 г. предложил закон обучения искусственных нейронных сетей (ИНС). 50-60 гг. первые искусственные нейронные сети . Минский , Розенблатт , Уидроу и др. разработали сети состоящие из одного слоя нейронов (персептроны) . Они были использованы для широкого класса задач ( предсказание погоды , анализ ЭКГ) . Далее не велись работы два десятилетия после доказательства Минского о неспособности однослойных сетей решать многие простые задачи .

В 80-90 гг. возобновились разработки ИНС ,которые показали , что Минский был слишком пессимистичен.

Нервная система человека имеет 100000000000 нейронов участвующих примерно в 1000000000000000 передающих связях . Способность нейрона - обработка и передача электрохимических сигналов по нервным путям , которые образуют коммуникационную систему мозга. Дендриты идут от тела клетки к другим нейронам , где они принимают сигналы в точках соединения , называемых 'синапсами '. Принятые сигналы суммируют и подходят к телу нейрона , когда их сумма превышает некоторый порог , нейрон возбуждается и передает сигнал другим нейронам .

Искусственный нейрон.

X={x1,x2, ... , xn} - множество входных сигналов ( соответствует сигналам , приходящим в синапсы биологического нейрона).

W={w1,w2, ... , wn} - вес который соответствует 'силе' одной биологи ческой синаптической связи .

- блок суммирования , соответствующий телу биологического элемента.

NET - выход блока суммирования.

F - активационная функция , преобразующая сигнал NET . Если блок F сужает диапазон изменения OUT так , что при любых значениях NET , значения OUT принадлежат некоторому конечному интервалу , то F называется 'сжимающей ' функцией . В качестве примера показана наиболее часто используемая логистическая или ' сигмоидальная ' (S - образная) функция .

По аналогии с электронными системами активационную функцию можно считать нелинейной усилительной характеристикой искусственного нейрона . Коэффициент усиления это отношение приращения OUT к приращению NET , он выражается наклоном кривой. Центральная область логистической функции , имеющая большой коэффициент усиления решает проблему обработки слабых сигналов , в то время как , области с падающим усилением на положительном и отрицательных концах подходят для больших возбуждений.

Вывод : нейрон функционирует с большим усилением в широком диапазоне уровня входного сигнала.

Другой широко используемой исходной по форме с ней функцией является гиперболический тангенс . Она часто используется биоло гами в качестве математической модели активации нервной клетки. OUT = th( x ) - является S - образной функцией

Свойства :

1. не принимают во внимание задержки во времени ко торые воздействуют на динамику системы . Входные сигналы сразу же порождают выходные.

2. не учитывать воздействий функций частотной модуля ции или синхронизирующей функции биологического нейрона , что является очень важным свойством для построения ИНС.

W - матрица весов , она имеет m - строк ( число входов) и n - столбцов (число нейронов)

w32 - это вес , связывающий третий вход со вторым нейроном N={y1 , y2 , ... , yn} - сигналы на выходе

N = X*W

1. нелинейная активационная функция

N = ( XW1) W2 = {т.к. умножение матриц ассоциативно} = X(W1W2) Это показывает, что двухслойная линейная сеть эквивалентна одному слою с весовой матрицей, равной произведению двух весовых матриц То есть многослойные ИНС с нелинейной активационной функцией между слоями не приводят к увеличению вычислительной мощности по сравнению с однослойной.

2. сети с обратными связями

Сети более общего вида , имеющие соединения от выхода к входам, называются сетями с обратными связями . У сетей без обратных связей нет памяти , их выход полностью определяется текущими входами и значениями весов .В некоторых конфигурациях сетей с обратными связями предыдущие значения выходов возвращаются на входы . Выход ,следовательно , определяется как текущим входом , так и предыдущими выходами . По этой причине сети с обратными связями могут обладать свойствами , сходными с кратковременной человеческой памятью , сетевые выходы частично зависят от предыдущих входов.

Самое важное свойство ИНС - это их способность к обучению , которое сильно напоминает процесс интеллектуального развития человеческой личности .Конечно пока возможности обучения сетей ограничены но уже есть некоторые достижения как например ' говорящая сеть ' Сейновского .

цель обучения :

Сеть обучается ,чтобы для некоторого множества входов давать желаемое множество выходов. Обучение осуществляется путем последовательного предъявления входных векторов с одновременной подстройкой весов в соответствии с определенной процедурой . В процессе обучения веса сети постепенно становятся такими , чтобы каждый входной вектор вырабатывал выходной вектор .

Различают алгоритмы обучения с учителем и без учителя.

обучение с учителем :

Для каждого входного вектора существует целевой вектор , представляющий собой требуемый выход ( обучающая пара ). Выход сети сравнивают с целевым вектором и разность ( ошибка ) с помощью обратной связи подается в сеть и веса изменяются в соответствии с алгоритмом минимизации ошибки .

обучение без учителя :

Это более правдоподобная для биологической системы модель обучения ,развитая Кохоненом и другими. Обучающее множество состоит лишь из входных векторов . Обучающий алгоритм подстраиваетвеса сети так , чтобы получались согласованные выходные векторы , т.е. чтобы предъявление достаточно близких входных векторов давало одинаковые выходы. Процесс обучения ,следовательно, выделяет статистические свойства обучающего множества и группирует сходные векторы в классы .

алгоритмы обучения :

Большинство современных алгоритмов обучения выросло из концеп ций Хэбба .Им предложена модель обучения без учителя , в которой синаптическая сила (вес) возрастает ,если активированы оба нейрона, источник и приемник . Таким образом часто используемые пути в сети усиливаются и феномен привычки и обучения через повторение получает объяснение . ИНС ,использующей обучение по Хэббу ,наращивание весов определяется произведением уровней возбуждения передающего и принимающего нейронов . Это можно записать как

wij( n+1 ) = wij(n) + alpha*OUTi*OUTj

wij(n) - значение веса то нейрона i к нейрону j до подстройки

wij( n+1 ) - значение веса то нейрона i к нейрону j после подстройки

alpha - коэффициент скорости обучения

OUTi - выход нейрона i и вход нейрона j

OUTj - выход нейрона j

Сети ,использующие обучение по Хэббу ,конструктивно развивались, однако за последние 20 лет были развиты более эффективные алгоритмы обучения например алгоритмы : Гроссберга , Уидроу-Хоффа.