Активационная функция нейронной сети. Представление знаний нейронными сетями. Как выбрать функцию активации
Воля - это способность человека управлять своим поведением, мобилизовать свои силы на преодоление трудностей, стоящих на пути к цели. Не любые действия человека являются волевыми. Действия, не связанные с сознательной постановкой цели и преодолением трудностей (например, поворот головы на резкий или неожиданный звук), являются непроизвольными. Произвольные действия всегда предполагают осознание цели, представление тех операций, с помощью которых она может быть достигнута. Это сознательные действия, направленные на определенную цель и связанные с преодолением трудностей, стоящих перед человеком на пути к цели.
В психической деятельности человека воля выполняет две взаимосвязанные функции - активизирующую и тормозящую. Активизирующая функция проявляется в том, что воля позволяет человеку мобилизовать свои внутренние силы и направить их на активную деятельность по достижению сознательно поставленной цели. Воля обеспечивает переход от познания и переживаний человека к практической деятельности в соответствии со своими потребностями, намерениями, интересами. В то же время с помощью волевых усилий человек регулирует свое поведение, тормозит возникновение таких побуждений и осуществление таких действий, которые не соответствуют его идеалам, убеждениям, предъявляемым требованиям. В этом находит свое выражение функция торможения, контроля, регулирования поведения.
Физиологические основы воли составляет взаимодействие первой и второй сигнальных систем коры головного мозга. С помощью, главным образом, первой сигнальной системы осуществляется непосредственное отражение окружающей обстановки, условий деятельности человека. Постановка же цели, обдумывание путей ее достижения, сознательные усилия, преодоление трудностей, управление собой основываются на активности второй сигнальной системы. В единстве и взаимодействии этих двух систем ведущую роль играет вторая сигнальная система. "Человек, - говорил И.П. Павлов, - прежде всего, воспринимает действительность через первую сигнальную систему, затем он становится хозяином действительности через вторую сигнальную систему (слово, речь, научное мышление)".
Когда совершается волевое действие, в коре головного мозга возникают сложные процессы возбуждения и торможения. Возбуждение позволяет активизировать, торможение - задержать слова и движения. Сила и уравновешенность нервных процессов коры головного мозга (первой и второй сигнальных систем) основа регулирования человеком поведения.
Волевой процесс тесно связан со всеми другими сторонами психики человека: вниманием, мышлением, воображением, памятью, чувствами, темпераментом, способностями, характером. "Воля, - писал И.М. Сеченов, - не есть какой-то безличный агент, распоряжающийся только движением, - это деятельная сторона разума и морального чувства".
Человек преодолевает препятствие не только благодаря воле и под влиянием своих потребностей, чувств, опыта, знаний, привычек. Поэтому нельзя считать единственным критерием воли преодоление трудностей. Специфика волевого психического процесса состоит в сознательном усилий, направленном на активизацию всех возможностей для достижения цели.
Каждое волевое действие имеет определенную внутреннюю структуру. В простом волевом действии четко выделяются два звена - постановка цели и исполнение. Действие, направленное на достижение цели, осуществляется немедленно, как только возникло соответствующее побуждение. Промежуточные звенья здесь отсутствуют.
Сложное волевое действие включает в себя: осознание цели, ее важности; определение путей достижения цели, наиболее подходящих способов действий; принятие решения; исполнение принятого решения, выполнение поставленной задачи; оценка сделанного.
Всякое волевое действие предполагает наличие цели, которая возникает перед человеком. Иначе говоря, человек осознает то, чего он хочет добиться путем тех или иных действий - изменить свое положение в коллективе, удовлетворить какие-то потребности и т.д. Цель у человека возникает либо в результате актуализации внутренних побуждений (мотивов), либо осознания задачи, поставленной руководителем, командиром. Важной психологической проблемой здесь является глубокое осознание человеком необходимости выполнения данной задачи, превращение его во внутренне принятую цель, появление желания достичь ее.
Следующее звено волевого действия - обдумывание того, как достичь поставленной цели, каковы должны быть пути к ее достижению, какие виды действий к ней ведут. При этом обдумывании иногда взвешивается целесообразность того или иного пути, выбор тех средств, которые делают реальным достижение цели. Все это связано с интеллектуальной деятельностью человека. Нередко затрагивается и мотивационная сфера личности, возникает борьба мотивов, т.е. столкновение противостоящих, несовпадающих побуждений, между которыми предстоит сделать выбор. И уже здесь человеку приходится проявить волевое усилие, чтобы преодолеть борьбу противоречивых побуждении.
Существенным звеном волевого действия выступает принятие решения осуществить данное действие, с помощью которого достичь поставленной цели. Для принятия решения требуется не только максимальная осознанность, но и решительность, ответственность личности. С принятием решения, как правило, наступает разрядка, ослабевает напряжение, сопровождающее борьбу мотивов. Человек испытывает полное облегчение, чувство удовлетворения, снимаются все колебания и внутреннее напряжение, если принятое решение соответствует его желаниям, помыслам. Но облегчение наступает и тогда, когда принимаемое решение не полностью согласуется с желаниями и чаяниями человека. Напряжение снижает сам факт состоявшегося решения.
Исполнения решения - самая главная часть волевого действия. Оно всегда сопряжено с преодолением внешних и внутренних трудностей. Внешние, объективные трудности не зависят от самого человека. Это - затруднения в работе, сложность выполняемых операций, требующих больших физических усилий, сопротивление других людей, погодные и климатические условия и т.д. Внутренние, субъективные трудности зависят от физического и психического состояния человека. К ним относятся отсутствие знаний, опыта, противоречие между прежними привычками и новыми требованиями и др. В большинстве случаев внешние и внутренние трудности проявляются в единстве.
Для преодоления этих трудностей требуется волевое усилие, которое характеризуется количеством энергии, затраченной человеком на выполнение целенаправленного действия или удержание от него. Волевое усилие пронизывает все звенья волевого акта - осознание цели, определение путей ее достижения, принятие решения. Но особенно проявляется оно в процессе исполнения принятого решения, в борьбе с трудностями. По способности человека проявить волевые усилия судят об особенностях его воли.
Важное место в психологической структуре волевого действия занимает оценка сделанного. Еще в процессе деятельности человек контролирует и корректирует свои действия. В каждый момент он сличает получаемый результат с идеальным образом цели (или ее части), который был создан заранее. На завершающем этапе деятельности оценка ее результатов, анализ процесса достижения цели приобретают самостоятельное значение. Это необходимо, чтобы выявить и учесть в дальнейшем как положительное, так и недостатки в действиях человека.
Особо значимое волевое действие (героический поступок, подвиг) совершается как порыв в предельно короткое время при мобилизации всех сил личности. В таких условиях все звенья волевого действия как бы сливаются воедино, взаимо пронизывают друг друга. Осознание цели, принятие решения, программы действий, определение способов достижения цели здесь вплетается в непосредственные практические действия человека. Чаще всего это бывает в чрезвычайных обстоятельствах: в боевой обстановке, при спасении жизни людей, при стихийных действиях, авариях, катастрофах и т.д.
Функция активации (активационная функция, функция возбуждения) – функция, вычисляющая выходной сигнал искусственного нейрона. В качестве аргумента принимает сигнал , получаемый на выходе входного сумматора . Результатом будет являться выходной сигнал нейрона . Ниже приведен наиболее общий список функций активации.
1 Единичный скачок или жесткая пороговая функция
Простая кусочно-линейная функция. Если входное значение меньше порогового, то значение функции активации равно минимальному допустимому, иначе – максимально допустимому (рисунок 7.2).
|
Единичная |
| |||
|
Знаковая (биполярная) |
| |||
|
Единичная |
Знаковая (биполярная) |
|||
|
|
|
|||
|
Рисунок 7.2 – Единичный скачок или жесткая пороговая функция |
||||
2 Линейная пороговая функция
Несложная кусочно-линейная функция. Имеет два линейных участка, где функция активации тождественно равна минимально допустимому и максимально допустимому значению и есть участок, на котором функция строго монотонно возрастает (рисунок 7.3).
|
Линейная | ||||
|
Линейная с насыщением |
| |||
|
Полулинейная |
| |||
|
Полулинейная с насыщением |
| |||
|
Треугольная |
| |||
|
Линейная |
Линейная с насыщением |
|||
|
|
|
|||
|
Полулинейная |
Полулинейная с насыщением |
|||
|
|
|
|||
|
Треугольная |
||||
|
|
||||
|
Рисунок 7.3 – Линейная пороговая функция |
||||
3 Сигмоидальная функция или сигмоид
Монотонно возрастающая всюду дифференцируемая -образная нелинейная функция с насыщением. Сигмоид позволяет усиливать слабые сигналы и не насыщаться от сильных сигналов. Гроссберг (1973 год) обнаружил, что подобная нелинейная функция активации решает поставленную им дилемму шумового насыщения.
Слабые сигналы нуждаются в большом сетевом усилении, чтобы дать пригодный к использованию выходной сигнал. Однако усилительные каскады с большими коэффициентами усиления могут привести к насыщению выхода шумами усилителей, которые присутствуют в любой физически реализованной сети. Сильные входные сигналы в свою очередь также будут приводить к насыщению усилительных каскадов, исключая возможность полезного использования выхода (рисунок 7.4).
где – параметр наклона сигмоидальной функции активации. Изменяя этот параметр, можно построить функции с различной крутизной.
4 Радиально-базисная функция
Этот тип функций принимает в качестве аргумента расстояние между входным значением и некоторым наперед заданным центром активационной функции. Значение этой функции тем выше, чем ближе входной вектор к центру (рис 7.5).
где – параметр определяет скорость спадания функции при удалении вектора от центра и называетсяшириной окна; – параметр определяет сдвиг активационной функции по оси абсцисс.
В заключение отметим, что функции активации типа единичного скачка и линейного порога встречаются очень редко и, как правило, используются на учебных примерах. В практических задачах почти всегда применяется сигмоидальная функция активации.
OUT = K (NET),
где К - постоянная, пороговой функцией
OUT = 1, если NET > T, OUT = 0 в остальных случаях,
где Т - некоторая постоянная пороговая величина, или же функцией, более точно моделирующей нелинейную передаточную характеристику биологического нейрона и представляющей нейронной сети большие возможности.
Рис. 3.
На рис. 3 блок, обозначенный F, принимает сигнал NET и выдает сигнал OUT. Если блок F сужает диапазон изменения величины NET так, что при любых значениях NET значения OUT принадлежат некоторому конечному интервалу, то F называется «сжимающей» функцией. В качестве «сжимающей» функции часто используется логистическая или «сигмоидальная» (S-образная) функция, показанная на рис.4а. Эта функция математически выражается как
F(x) = 1/(1 + е -x).
Таким образом,
По аналогии с электронными системами активационную функцию можно считать нелинейной усилительной характеристикой искусственного нейрона. Коэффициент усиления вычисляется как отношение приращения величины OUT к вызвавшему его небольшому приращению величины NET. Он выражается наклоном кривой при определенном уровне возбуждения и изменяется от малых значений при больших отрицательных возбуждениях (кривая почти горизонтальна) до максимального значения при нулевом возбуждении и снова уменьшается, когда возбуждение становится большим положительным. Гроссберг (1973) обнаружил, что подобная нелинейная характеристика решает поставленную им дилемму шумового насыщения. Каким образом одна и та же сеть может обрабатывать как слабые, так и сильные сигналы? Слабые сигналы нуждаются в большом сетевом усилении, чтобы дать пригодный к использованию выходной сигнал. Однако усилительные каскады с большими коэффициентами усиления могут привести к насыщению выхода шумами усилителей (случайными флуктуациями), которые присутствуют в любой физически реализованной сети. Сильные входные сигналы в свою очередь также будут приводить к насыщению усилительных каскадов, исключая возможность полезного использования выхода. Центральная область логистической функции, имеющая большой коэффициент усиления, решает проблему обработки слабых сигналов, в то время как области с падающим усилением на положительном и отрицательном концах подходят для больших возбуждений. Таким образом, нейрон функционирует с большим усилением в широком диапазоне уровня входного сигнала.
Рис.
Другой широко используемой активационной функцией является гиперболический тангенс. По форме она сходна с логистической функцией и часто используется биологами в качестве математической модели активации нервной клетки. В качестве активационной функции искусственной нейронной сети она записывается следующим образом:
Рис.
Подобно логистической функции гиперболический тангенс является S-образной функцией, но он симметричен относительно начала координат, и в точке NET = 0 значение выходного сигнала OUT равно нулю (см. рис. 4б). В отличие от логистической функции гиперболический тангенс принимает значения различных знаков, что оказывается выгодным для ряда сетей.
Рассмотренная простая модель искусственного нейрона игнорирует многие свойства своего биологического двойника.
Например, она не принимает во внимание задержки во времени, которые воздействуют на динамику системы. Входные сигналы сразу же порождают выходной сигнал. И, что более важно, она не учитывает воздействий функции частотной модуляции или синхронизирующей функции биологического нейрона, которые ряд исследователей считают решающими.
Несмотря на эти ограничения, сети, построенные из этих нейронов, обнаруживают свойства, сильно напоминающие биологическую систему. Только время и исследования смогут ответить на вопрос, являются ли подобные совпадения случайными или следствием того, что в модели верно схвачены важнейшие черты биологического нейрона.
Одной из наиболее распространенных функций активации является нелинейная функция активации с насыщением, так называемая логистическая функция или сигмоид (функция S-бразного вида):
При уменьшении а сигмоид становится более пологим, в пределе при а = 0 вырождаясь в горизонтальную линию на уровне 0,5, при увеличении а сигмоид приближается к виду функции единичного скачка с порогом Т. Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне (0, 1). Одно из ценных свойств сигмоидальной функции - простое выражение для ее производной:
Следует отметить, что сигмоидальная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того, она обладает свойством усиливать слабые сигналы лучше, чем большие, и предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон.
Таблица 7.1 Функции активации нейронов
| Название | Формула | Область значений |
| Линейная | f (s ) = k s | (-∞, ∞) |
| Полулинейная |  | (0, ∞) |
| Логистическая (сигмоидальная) | (0, 1) | |
| Гиперболический тангенс (сигмоидальная) |  | (-1, 1) |
| Экспоненциальная | (0, ∞) | |
| Синусоидальная | (-1, 1) | |
| Сигмоидальная (рациональная) | (-1, 1) | |
| Шаговая (линейная с насыщением) |  | (-1, 1) |
| Пороговая |  | (0, 1) |
| Модульная | (0, ∞) | |
| Знаковая (сигнатурная) |  | (-1, 1) |
| Квадратичная | (0, ∞) |
Рис. 7.2. Примеры активационных функций:
а - функция единичного скачка; б - линейный порог (гистерезис);
в - сигмоид (логистическая функция);
г - сигмоид (гиперболический тангенс)
Тип функции активации выбирается с учетом конкретной задачи, решаемой с применением нейронных сетей. Например, в задачах аппроксимации и классификации предпочтение отдают логистической (сигмоидальной) кривой.
Чтобы построить ИНС для решения конкретной задачи, нужно выбрать тип соединения нейронов, определить вид передаточных функций элементов и подобрать весовые коэффициенты межнейронных связей.
При всем многообразии возможных конфигураций ИНС на практике получили распространение лишь некоторые из них. Классические модели нейронных сетей рассмотрены ниже.
Классификация нейронных сетей и их свойства
Нейронная сеть представляет собой совокупность нейроподобных элементов, определенным образом соединенных друг с другом и с внешней средой с помощью связей, определяемых весовыми коэффициентами. В зависимости от функций, выполняемых нейронами в сети, можно выделить три их типа:
входные нейроны , на которые подается вектор, кодирующий входное воздействие или образ внешней среды, в них обычно не осуществляется вычислительных процедур, а информация передается с входа на выход путем изменения их активации;
выходные нейроны , выходные значения которых представляют выходы нейронной сети; преобразования в них осуществляются по выражениям (7.1). Несут важную функцию приведения значения выхода сети в требуемый промежуток (осуществляется это с помощью функции активации);
промежуточные нейроны , составляющие основу нейронных сетей, преобразования в которых выполняются также по выражениям (7.1).
В большинстве нейронных моделей тип нейрона связан с его расположением в сети. Если нейрон имеет только выходные связи, то это входной нейрон, если наоборот – выходной нейрон. Однако возможен случай, когда выход топологически внутреннего нейрона рассматривается как часть выхода сети. В процессе функционирования сети осуществляется преобразование входного вектора в выходной, некоторая переработка информации. Конкретный вид выполняемого сетью преобразования данных обусловливается не только характеристиками нейроподобных элементов, но и особенностями ее архитектуры, а именно топологией межнейронных связей, выбором определенных подмножеств нейроподобных элементов для ввода и вывода информации, способами обучения сети, наличием или отсутствием конкуренции между нейронами, направлением и способами управления и синхронизации передачи информации между нейронами.
С точки зрения топологии можно выделить три основных типа нейронных сетей:
Полносвязные (рис.7.3, а);
Многослойные или слоистые (рис. 7.3, б);
Слабосвязные (с локальными связями) (рис. 7.3, в).
Рис. 7.3. Архитектуры нейронных сетей:
а - полносвязная сеть, б - многослойная сеть с последовательными
связями, в - слабосвязные сети
В полносвязных нейронных сетях каждый нейрон передает свой выходной сигнал остальным нейронам, в том числе и самому себе. Все входные сигналы подаются всем нейронам. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети.
В многослойных нейронных сетях нейроны объединяются в слои. Слой содержит совокупность нейронов с едиными входными сигналами. Число нейронов в слое может быть любым и не зависит от количества нейронов в других слоях. В общем случае сеть состоит из Q слоев, пронумерованных слева направо. Внешние входные сигналы подаются на входы нейронов входного слоя (его часто нумеруют как нулевой), а выходами сети являются выходные сигналы последнего слоя. Кроме входного и выходного слоев в многослойной нейронной сети есть один или несколько скрытых слоев. Связи от выходов нейронов некоторого слоя q к входам нейронов следующего слоя (q +1) называются последовательными. Внутри одного слоя используется одна и та же функция активации.
Вид функции активации во многом определяет функциональные возможности нейронной сети. В таблице приведены некоторые виды функций активации, применяемые при конструировании нейронных сетей.
| № п/п | Название | Формула | Область применения |
| линейная | (-∞; +∞) | ||
| полулинейная |  | (0; +∞) | |
| логистическая (сигмоидальная) |  | (0; 1) | |
| гиперболический тангенс |   | (-1; 1) | |
| экспоненциальная | (0; +∞) | ||
| пороговая |   | (-1; 1) | |
| линейная с насыщением |   | (-1; 1) |
Классификация нейронных сетей
Классификация нейронных сетей по виду топологии (по виду распространения сигнала в процессе функционирования НС):
Под топологией нейронной сети понимается графическая иллюстрация соединения нейронов между собой в этой сети.
| Однослойная НС (персептрон) | Многослойная НС | |
| НС с прямыми связями |  |  |
| НС с перекрёстными связями. | NONE |  |
| НС с обратными связями (рекуррентные). |  |  |
| НС с латеральными связями (с латеральным торможением) | NONE |  |
В нейронных сетях с перекрёстными связями обеспечивается более тонкое влияние каждого из слоёв на выход сети. Структура является более оптимальной (минимизированной) по сравнению с НС с последовательными связями, что увеличивает скорость работы сети.
Рекуррентные нейронные сети используются для моделирования динамических процессов.
Классификация нейронных сетей по типу связи:
1. Полносвязные нейронные сети:
2. Нейронные сети с последовательными связями:
3. Слабосвязанные структуры:
а) прямоугольная б) гексагональная???
Классификация нейронных сетей по способу решения задачи:
1. Формируемые сети: проектируются для формализуемых задач, имеющих чётко сформулированный в нейросетевом базисе алгоритм решения конкретной задачи.
2. Сети с формируемой матрицей связей: применяются для трудно формализуемых задач. Как правило, имеют одинаковую структуру и различаются лишь матрицей связей (сеть Хопфилда). Достоинство: наглядность в работе.
3. Обучаемые сети: используются для решения неформализуемых задач. В процессе обучения сети автоматически изменяются такие её параметры, как коэффициенты синаптической связи, а в некоторых случаях и топология. Недостаток: большое время обучения сети.
4. Комбинированные (смешанные) сети: сочетают в себе признаки двух, а то и трёх видов. Как правило, сети многослойные, каждый слой которых представляется различной топологией и обучается по определённому алгоритму. Получают наибольшее распространение, так как дают широкие возможности разработчику.