1

А.Д. Гольцев Нейронные сети с ансамблевой организацией

2

NATIONAL ACADEMY OF SCIENCES OF UKRAINE MINISTRY OF EDUCATION AND SCIENCE OF UKRAINE INTERNATIONAL RESEARCH AND TRAINING CENTER OF INFORMATIONAL TECHNOLOGIES AND SYSTEMS Goltsev A.D. NEURAL NETWORKS WITH THE ASSEMBLY ORGANIZATION KIEV NAUKOVA DUMKA 2005

3

НАЦИОНАЛЬНАЯ АКАДЕМИЯ НАУК УКРАИНЫ МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ УКРАИНЫ МЕЖДУНАРОДНЫЙ НАУЧНО-УЧЕБНЫЙ ЦЕНТР ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И СИСТЕМ А.Д. Гольцев НЕЙРОННЫЕ СЕТИ С АНСАМБЛЕВОЙ ОРГАНИЗАЦИЕЙ КИЕВ НАУКОВА ДУМКА 2005

4

УДК 681.322 Монография посвящена исследованию свойств и возможностей ансамблевой нейронной сети в процессе распознавания изображений. В основе сети лежит гипотеза Хебба о нейронных ансамблях. Ансамблевая сеть имеет структурную предорганизацию в виде разделения на несколько подсетей, каждая из которых предназначена только для одного распознаваемого класса. Описан процесс формирования нейронных ансамблей в ходе первичного обучения сети, механизмы вторичного обучения (дифференциации) и различные алгоритмы распознавания. Исследование ансамблевой сети проведено на задачах распознавания рукописных букв украинского алфавита, рукописных цифр базы MNIST и сегментации текстурных изображений. Представлена модель распознавания символьных последовательностей (слов), состоящая из совокупности ансамблевой сети с персептроном.

Для научных работников, аспирантов и студентов, интересующихся механизмами функционирования искусственных нейронных сетей. Монографія присвячена дослідженню якостей та можливостей ансамблевої нейронної сітки у процесі розпізнавання зображень. В основі сітки лежить гіпотеза Хебба про нейроні ансамблі. Ансамблева сітка має структурну передорганізацію у вигляді розділення на декілька підсіток, кожна з яких призначена тільки для одного розпізнаваного класу. Описано процес формування нейронних ансамблів у ході первинного навчання сітки, механізми вторинного навчання (диференціації) та різноманітні алгоритми розпізнавання. Дослідження ансамблевої сітки проведено на задачах розпізнавання рукописних літер української абетки, розпізнавання рукописних цифр бази MNIST та сегментації текстурних зображень. Представлена модель розпізнавання символьних послідовностей (слів), що складається з скупчення ансамблевої сітки з персептроном.

Для наукових робітників, аспірантів та студентів, що цікавляться механізмами функціонування штучних нейронних сіток. The monograph is devoted to investigation of properties and possibilities of the assembly neural network in the process of recognition of visual images. Hebb’s hypothesis about cell assemblies underlies the network. The assembly network is partitioned into several sub-networks so that one sub-network represents one recognized class. The monograph describes formation of neural assemblies during the primary learning procedure, mechanisms of secondary learning (differentiation) of the network, and different algorithms of recognition. The study of the assembly network is conducted on such tasks as recognition of handwritten letters of Ukrainian alphabet, recognition of handwritten digits of MNIST database, and segmentation (recognition) of texture images. Also, a model of recognition of symbolic sequences (words) is presented in the monograph.

For researchers, graduate students, and students who are interested in mechanisms of functioning of artificial neural networks. Утверждено к печати ученым советом Международного научно-учебного центра информационных технологий и систем НАН Украины и Министерства образования и науки Украины. Рецензенты: доктор Д. Гусек (Чешская Республика); доктор технических наук Э.М. Куссуль; доктор технических наук А.М. Резник Редакция физико-математической литературы 1910000000 - 033 Г---------------------------------- 2005 ISBN 966-00-0520-2 © А.Д.Гольцев, 2005

5

ВСТУПИТЕЛЬНОЕ СЛОВО В настоящее время в области компьютерных технологий проявляется большой интерес к искусственным нейронным сетям. Опубликовано множество исследовательских, обзорных работ и учебников, детально описывающих различные парадигмы нейрон-ных сетей. Одна из современных тенденций состоит в том, что для построения иерархической нейронной сети, одна большая сеть разделяется на относительно независимые блоки, имеющие высокую внутреннюю насыщенность межнейронными связями и сравнительно небольшое количество внешних связей. Среди различных версий таких сетей особенно интересны аттракторные нейронные сети, базирующиеся на обучающем правиле Хебба, вследствие их простой и универсальной архитектуры, не зависящей от решаемой задачи. В таких сетях процесс обучения заключается в распределенном кодировании некоторого выбранного стабильного состояния нейронной активности в синаптические веса. Тем не менее, парадигма, основанная на гипотезе Хебба о нейронных ансамблях, оставалась сравнительно мало исследованной в плане как теоретического развития, так и экспериментальной проверки. В ряде книг и статей в зарубежной и отечественной литературе в основном на нейрофизиологических данных дискутируется возможность существования ансамблевой организации в нейронных сетях живых организмов. Однако до сих пор не было книг, которые содержали бы систематические исследования такого рода нейронных сетей в процессе решения ими практических задач. Монография А.Д. Гольцева восполняет этот пробел.

Представляемая работа базируется на материалах статей, большинство из которых опубликовано в престижных, международных, тщательно рецензируемых научных изданиях и,

6

поэтому практически не нуждается в дополнительном рецензировании.

Целью представляемой монографии является исследование свойств и возможностей ансамблевых нейронных сетей на задачах, относящихся к проблеме распознавания образов. В работе рассматриваются вопросы формирования нейронных ансамблей в процессе обучения и функционирования сформированных нейронных структур в режиме распознавания. Предлагаемые вниманию читателя ансамблевые сети имеют такую отличительную особенность, как разделение целой сети на подсети, каждая из которых предназначена только для одного класса. Разделение сети на подсети, специализированные по классам, позволяют избежать образования в сети ложных нейронных структур, которые являются пересечением обучающих образцов разных классов. Наоборот, нейронные структуры, сформированные внутри подсетей и являющиеся пересечением обучающих образцов одного и того же класса, отражают действительную конфигурацию данного класса в пространстве признаков.

Эффективность работы ансамблевых сетей была проверена на различных задачах распознавания изображений, таких как распознавание отдельных рукописных букв украинского алфавита, распознавание отдельных рукописных арабских цифр из известной базы изображений MNIST и распознавание текстур. Во всех задачах была продемонстрирована эффективная работа предложенных алгоритмов.

Автор книги считает, что его книга предназначена только для узких специалистов в области искусственных нейронных сетей. Однако, по нашему мнению, книга будет полезной также для широкого круга студентов, аспирантов и всех читателей, интересующихся проблемами нейросетевых технологий и распознавания образов, поскольку в ней описываются новые эффективные алгоритмы, слабо освещенные в современной научной литературе. Профессор Института высшей нервной деятельности и нейрофизиологии РАН, Москва

А.А. Фролов

7

ПРЕДИСЛОВИЕ Это книга об искусственных нейронных сетях. Точнее, это книга об ансамблевых нейронных сетях, которые были названы ансамблевыми потому, что в их основе лежит гипотеза Хебба о нейронных (клеточных) ансамблях, образующихся (согласно этой гипотезе) в мозге человека и высших животных в процессе обучения.

Работа посвящена исследованию ансамблевой нейронной сети, разделенной на несколько отдельных подсетей в соответствии с количеством классов, которые сеть должна распознавать. Идея такого разделения нейронной сети на подсети была представлена автором в 1985 г. на семинаре "Биологическая и медицинская кибернетика", проведенном с участием академика Н.М. Амосова. Ансамблевая нейронная сеть работает в соответствии с простыми и ясными алгоритмами. Их изложение в книге совсем не отягощено сложной математикой. Книга написана очень простым языком и для ее понимания (включая сравнительно немногие формулы, не часто встречающиеся в тексте) не требуется никаких специальных знаний. Тем не менее, книга вряд ли сможет заинтересовать неподготовленного читателя потому, что не содержит широкого обзора области нейронных сетей, а ограничена описанием только их узкого подкласса и, поэтому, адресована, прежде всего, людям, профессионально занимающимся нейронными сетями и/или (в меньшей степени) распознаванием рукописных символов.

Монография имеет весьма скромную цель, которая заключается в том, чтобы собрать воедино, связно изложить и обобщить результаты исследований ансамблевых нейронных сетей, выполненных автором в течение многих лет. Основанием для публикации данной книги служит тот факт, что описания почти всех этих исследований разбросаны по различным англоязычным научным изданиям (см. список литературы). Необходимо уточнить, что хотя практически все главы книги (включая приложения) имеют аналоги в виде соответствующих публикаций, книга не является просто сборником статей, объединенных общей темой. В большинстве случаев, содержание ее глав претерпело существенные

8

изменения по сравнению с журнальными версиями. Цель этих изменений состояла в логически последовательном изложении результатов исследований. Кроме того, многие главы содержат материал, по разным причинам не включенный в ранее опубликованные работы.

В работе приведены только оригинальные исследования ансамблевых сетей и не рассматриваются другие типы нейронных сетей. Причина заключается в том, что в последние годы опубликованы обзоры, руководства, и учебники, которые прекрасно освещают все многообразие нейросетевых парадигм и современное состояние дел в области искусственных нейронных сетей (см., например, Горбань, Россиев, 1996; Ежов, Шумский, 1998; Галушкин, 2000а,б; Каллан, 2001; Головко, 2001; Duda et al., 2001; Бондарев, Аде, 2002; Терехов и др., 2002; Комарцова, Максимов, 2002; Круглов, Борисов, 2002; Осовский, 2002; Назаров, Лоскутов, 2003; Люгер, 2003; Arbib, 2003). В то же время в этих книгах совсем не описаны ансамблевые нейронные сети.

Монография состоит из предисловия, введения, двенадцати глав и двух приложений. Во введении затрагиваются вопросы взаимоотношений между такими научными дисциплинами, как искусственный интеллект и нейронные сети, биологические и искусственные, и кратко излагается история появления ансамблевых сетей. Первая глава содержит общее описание ансамблевых сетей, архитектуры, основных механизмов функционирования и задач, решаемых с помощью таких сетей. Вторая глава дает представление о предобработке, которой подвергаются входные данные, и о методе "поплавкового" кодирования, посредством которого входные данные превращаются в исходную активацию нейронов сети. В третьей главе рассматривается процесс первичного обучения ансамблевой сети. Четвертая глава посвящена описанию алгоритма распознавания в ансамблевой сети, который, для отличия от других алгоритмов, рассмотренных в книге, назван "динамическим". В пятой главе использование этого алгоритма иллюстрируется на примере задачи распознавания текстур и сегментации текстурных изображений. В шестой главе вводится дополнительный механизм повышения эффективности ансамблевой сети, разделенной на подсети, – это тормозные связи между подсетями ансамблевой сети. Проверка этого дополнительного механизма осуществляется на той же задаче распознавания текстур. В седьмой главе описан еще один, "статический" алгоритм распознавания в ансамблевой сети. В восьмой главе обсуждается архитектура ансамблевых сетей. В девятой главе представлено экспериментальное исследование и сравнение процессов обобщения, которые происходят как в ансамблевой сети, разделенной на подсети, так и в неразделенной ансамблевой сети. Это экспериментальное исследование проводится на примере задачи распознавания рукописных символов двух различных типов: отдельных рукописных букв украинского алфавита и отдельных рукописных арабских цифр базы MNIST. В десятой главе рассматривается процедура дифференциации, – процедура, которая значительно повышает

9

распознающую способность ансамблевой сети с аналоговыми весами связей. Тестирование процедуры дифференциации выполняется в той же задаче распознавания рукописных символов двух типов. Одиннадцатая глава посвящена модели распознавания рукописных слов, составленных из отдельных рукописных символов; модель содержит две нейронные сети: ансамблевую сеть, осуществляющую предварительное распознавание всех рукописных символов, и персептрон, в котором хранится информация о символьном составе слов. В заключительной двенадцатой главе подводятся итоги проведенных исследований ансамблевых сетей. В работу в качестве приложения А включено также описание алгоритма распознавания ансамблевой сети, основанного на методе ближайшего соседа. Тестирование ансамблевой сети с алгоритмом распознавания на основе метода ближайшего соседа выполняется в задаче сегментации текстур. Приложение Б содержит описание регулярной нейронной структуры, позволяющей распределить в сети огромное количество нейронных ансамблей.

В монографии детально описано функционирования трех различных алгоритмов распознавания, способных работать в ансамблевой сети. Работоспособность всех этих алгоритмов проверена на реальных задачах – либо на задаче текстурной сегментации, либо на задаче распознавания рукописных символов. Основанием для рассмотрения в книге разных алгоритмов распознавания являются следующие соображения. Предполагается, что структура нейронной сети с ансамблевой организацией может быть значительно усложнена в будущем, когда перед сетью будут поставлены более сложные задачи. Предполагается, что структура сети будет состоять из нескольких иерархических уровней обработки информации. В настоящее время неизвестно, какие свойства, алгоритмы и механизмы окажутся полезными в такой иерархической структуре. Может случиться так, что какие-то алгоритмы функционирования сети, хорошо показавшие себя в задаче распознавания изображений, не будут обладать необходимыми качествами для решения новых проблем. Поэтому в настоящей работе имело смысл рассмотреть все работоспособные алгоритмы функционирования ансамблевой сети, и даже такие, которые могут казаться малоэффективными при нынешней постановке задачи.

Был бы рад получить любые отклики от читателя по адресу <assembly_network@adg.kiev.ua>.

10

ВВЕДЕНИЕ Искусственные нейронные сети. Вначале, несколько слов о различиях в подходах таких научных дисциплин, как искусственный интеллект и искусственные нейронные сети применительно к проблеме распознавания зрительных образов.

В области искусственного интеллекта проблема распознавания образов рассматривается, прежде всего, с точки зрения физики и математики. Ставится задача: найти физические закономерности, присущие распределениям яркости на зрительных картинках. Найденные закономерности должны быть превращены в удобную для практического использования форму с помощью какого-либо набора математических операций.

В области же искусственных нейронных сетей основной целью исследований является объяснение (понимание) механизмов функционирования нейронных сетей и структур. В частности, для проблемы распознавания зрительных образов имеются в виду структуры, предназначенные для обработки зрительной информации и способные выделять объективно существующие в природе физические закономерности в распределении яркости пикселей на зрительных картинках. Конечно, при этом подразумевается, что в результате понимания механизмов функционирования таких сетей, на их основе будут построены особо эффективные распознающие устройства. Однако все же в области искусственных нейронных сетей на первом месте стоит задача понимания и разработки алгоритмов работы нейронных сетей и структур.

В настоящее время исследования искусственных нейронных сетей оформились в самостоятельную научную дисциплину. В мире существует множество исследовательских центров и

11

лабораторий, изучающих искусственные нейронные сети, издается много журналов, ежегодно проводятся десятки конференций и симпозиумов. Предложено большое количество различных моделей искусственных нейронных сетей. Показано, в частности, что устройства, построенные на основе искусственных нейронных сетей, решают некоторые задачи более эффективно, чем человек. Анализ существующих моделей искусственных нейронных сетей дал ценную информацию о возможностях и функциональных механизмах различных нейронных структур. В практическом плане исследования искусственных нейронных сетей позволили создать ряд устройств, эффективно работающих в различных областях техники и промышленности.

Однако несомненным является и тот факт, что ни одна из существующих моделей искусственных нейронных сетей, предназначенных для решения задач, относящихся к проблеме распознавания образов, не использует действительные механизмы биологических нейронных сетей. Несмотря на многолетние усилия многочисленных исследователей в области как нейрофизиологии, так и искусственных нейронных сетей, до сих пор остаются совершенно непонятными функциональные механизмы работы биологических нейронных сетей. Настоящая книга тоже ни в коей мере не претендует на то, что ансамблевые нейронные сети, описанные в ней, представляют собой модель мозга.

Современные исследования в области искусственных нейронных сетей можно разделить на два класса. Один класс составляют исследования функциональных возможностей разнообразных нейронных сетей и структур. Другой класс включает в себя исследования, имеющие своей целью детальное моделирование нейронных сетей различных функциональных образований, обнаруженных в мозге тех или иных живых организмов. Количество работ, связанных с точным моделированием биологических нейронных сетей, быстро увеличивается в последнее время. Вероятно, этот факт обусловлен некоторым разочарованием в результатах функционального моделирования искусственных нейронных сетей.

В условиях, когда отсутствует даже приблизительное представление о том, как построить действующую функциональную модель мозга, разумной стратегией является накопление знаний о всех возможных нейронных структурах, способах, механизмах и алгоритмах обработки информации в нейронных сетях. Предполагается, что в будущем, на основе

12

накопленных знаний о свойствах и возможностях различных нейронных структур, окажется возможным сконструировать из них эффективную модель, которая, в том случае, если она окажется на самом деле высокоэффективной, обязательно будет использовать действительные, функциональные механизмы мозга.

Нейронные сети и ансамблевые нейронные сети. В

литературе описано множество нейросетевых устройств, предназначенных для решения задач, относящихся к проблеме распознавания образов. Следует отметить, однако, что большинство нейронных сетей, лежащих в основе этих распознающих устройств, могут быть классифицированы, как сети персептронного типа (Розенблатт, 1965; Васильев, 1983; Van Ooyen, Nienhuis, 1992; Kussul et al., 1993; Fukushima et al., 1994; Куссуль и др., 1994; Lee, Song, 1997; Magoulas et al., 1997; Carpenter et al., 1998; Kussul et al., 2001; Kussul, Baidyk, 2003; Fukushima, 2003), включая сети, использующие радиальные базовые функции (Poggio, Girosi, 1990; Lee, Pan, 1996; Leonardis, Bischof, 1998).

Данная книга посвящена исследованию нейронных сетей с ансамблевой организацией (ансамблевых нейронных сетей). Ансамблевые нейронные сети имеют много общих черт с сетями, известными в современной англоязычной научной литературе под названием "ассоциативная память" (associative memory) (Palm, 1980; Willshaw, 1981; Anderson, Hinton, 1981; Hopfield, 1982; Kohonen, 1984; Фролов, Муравьев, 1987; Austin, Stonham, 1987; Amari, 1989; Turner, Austin, 1997; Vogel, 1998; Graham, Willshaw, 1999; Кириченко и др., 2001; Frolov et al., 2002).

Многочисленными нейрофизиологическими исследованиями достоверно установлен тот факт, что в мозгу млекопитающих зрительным объектам не соответствуют единичные нейроны-детекторы. Вместо этого каждый зрительный объект представляется активацией довольно большого количества нейронов, которые не располагаются отдельной компактной группой, а довольно широко распределены в зрительных областях мозга. Эти исследования позволили Хеббу сформулировать гипотезу о клеточных (нейронных) ансамблях (Hebb, 1949).

В соответствии с гипотезой Хебба, интеллектуальные функции высших животных и человека базируются на структурно-функциональной организации нейронных сетей в виде клеточных (нейронных) ансамблей (cell assemblies) (Hebb, 1949; Milner, 1957; Милнер, 1973). Нейронный ансамбль (по Хеббу) – это группа

13

нейронов, объединенная в функциональную единицу – нейронный ансамбль – взаимными возбуждающими связями, которые образуются в результате обучения сети. Таким образом, сущность обучения нейронной сети (по Хеббу) заключается в изменении (увеличении) весов связей, соединяющих нейроны сети друг с другом. В данной книге под термином "вес связи" понимает-ся ее проводимость, т.е. величина, обратная сопротивлению связи. Хебб предложил алгоритм изменения весов связей между нейронами, который применяется, в различных модификациях, в большинстве работ по обучаемым нейронным сетям. В несколько упрощенном виде этот алгоритм можно описать следующим образом. Между любыми двумя нейронами в сети могут прорастать взаимные связи. Рассмотрим два таких нейрона. Пусть в результате каких-либо внешних или внутренних воздействий на эти нейроны происходит активация сначала одного из них, а, затем, через короткий интервал времени, и второго. Если данное нейронное событие сопровождается положительным подкреплением, которое подается одновременно на всю сеть, то возрастает эффективность связи, направленной от первого нейрона ко второму. С функциональной точки зрения возрастание эффективности связи выражается в увеличении ее веса. Нейрофизиологическим субстратом увеличения веса связи являются биохимические изменения, происходящие в пре- и постсинаптических мембранах синапсов, отделяющих аксон первого нейрона от дендритов или тела второго нейрона. Современные нейрофизиологические исследования подтверждают тот факт, что, несмотря на существование множества различий между процессами обучения в разных отделах мозга и у разных животных, на функциональном уровне механизм долговременного обучения в биологических нейронных сетях в основном соответствует правилу Хебба.

В нейронной сети, в которой действует такой механизм изменения весов связей между нейронами, происходит образование нейронных ансамблей. В гипотезе Хебба подразумевается, что хотя каждый нейронный ансамбль состоит из большого числа нейронов это число не велико по сравнению с общим количеством нейронов, содержащихся в сети. При этом в любой момент времени только один из множества нейронных ансамблей, распределенных в сети, находится в активном состоянии. Таким образом, нейронная сеть Хебба представляет собой сеть с низким суммарным уровнем активности.

14

Целью формирования нейронных ансамблей в сети является совместная, взаимно поддерживаемая активация всех нейронов ансамбля, продолжающаяся в течение некоторого периода времени. Поскольку нейроны всех ансамблей сети имеют взаимные связи с другими ансамблями, то активация одного из ансамблей генерирует определенные входные воздействия на другие ансамбли сети. Эти входные воздействия создают благоприятные условия для активации нового ансамбля из состава ограниченной группы, заданной конкретным распределением межнейронных связей в сети. Таким образом, в соответствии с гипотезой Хебба, обработка информации в нейронной сети происходит в результате ассоциативного переключения активности между функциональ-ными единицами сети, в качестве которых выступают нейронные ансамбли.

Многочисленные возбуждающие связи, проторенные между нейронами в процессе формирования ансамблей, образуют в сети положительную обратную связь. Эта положительная обратная связь превращает сеть в систему, которая может находиться только в двух стабильных состояниях: с нулевым или максимальным уровнем активности. Чтобы создать возможность для ансамблевой сети находиться на промежуточных уровнях активности, Милнер ввел в сеть систему регулярных тормозных связей, адаптивно регулирующих и нейтрализующих излишнюю активацию нейронов (Milner, 1957; Милнер, 1973). Вместо системы внутрисетевых тормозных связей Милнера, Амосов и Куссуль предложили использовать центральный внесетевой регулятор нейронной активности – систему усиления-торможения (СУТ) (Амосов, 1965; Амосов, Куссуль, 1969; Амосов и др., 1991; Куссуль, 1992), реализующую некоторые функции внимания. СУТ измеряет суммарную активность нейронной сети и преобразует ее в тормозное воздействие, подаваемое одновременно на все нейроны сети. Благодаря СУТ возможности раздельной активации нейронных ансамблей в сети значительно расширяются. Для нейронных ансамблей становится допустимым иметь пересечения друг с другом, что значительно увеличивает количество ансамблей, которое может быть распределено в сети.

Следует отметить, что моделирование механизма внимания в нейронных сетях и его использование для решения задач зрительного распознавания является многообещающим направлением, которое успешно развивается в последние годы (Rybak et al., 1998; Шапошников и др., 2002; Гаврилей и др., 2002).

15

Регулятор нейронной активности, аналогичный СУТ, был предложен в работе (Braitenberg, 1978).

В настоящей книге исследуются нейронные сети с ансамблевой организацией. Необходимо особо подчеркнуть, что под терминами "нейронный ансамбль" и "ансамблевая организация" здесь понимается только клеточный ансамбль Хебба и, соответственно, нейронная организации, возникающая в сети в результате применения правила Хебба. Данное замечание связано с тем, что аналогичные термины также встречаются в литературе по нейронным сетям для обозначения нейронных структур других типов. В частности, в работах А.Б. Когана широко используются эти термины для описания локальных взаимоотношений между нейронами в коре головного мозга млекопитающих (см., например, Коган, 1974).

Нейронные сети с ансамблевой организацией. Нейронным

сетям с ансамблевой организацией посвящены разнообразные и довольно многочисленные работы (см., например, Hebb, 1949; Milner, 1957; Амосов, 1965; Амосов, Куссуль, 1969; Милнер, 1973; Гольцев, 1976; Braitenberg, 1978; Willshaw, 1981; Palm, 1982; Куссуль, Федосеева, 1987; Braitenberg, 1989; Амосов и др., 1989, 1991; Kaplan et al., 1991; Куссуль, Байдык, 1992; Куссуль, 1992; Hetherington, Shapiro, 1993; Amit, 1995; Vogel, Boos, 1997; Milner, 1999; Байдык, 2001; Rachkovskij, Kussul, 2001; Frégnac, 2003). В частности, проводилось изучение информационной емкости нейронных сетей с ансамблевой организацией (Frolov et al., 1995а, 1995б; Kartashov et al., 1997; Байдык, 2001; Frolov et al., 2002).

В конце 60-х – начале 70-х годов прошлого века в отделе биокибернетики, организованном академиком Н.М. Амосовым в Институте кибернетики АН УССР, начались работы по моделированию функциональных механизмов мозга. В настоящей книге описаны исследования, выполненные автором в рамках направления, которое в течение многих лет развивалось в отделе биокибернетики под руководством академика Н.М Амосова и профессора Э.М. Куссуля. Эти работы продолжаются и в настоящее время в отделе нейросетевой обработки информации Международного научно-учебного центра информационных технологий и систем. Они, как и раньше, проводятся в рамках такого направления исследований, основная идея которого может быть сформулирована следующим образом. Предполагается прийти к пониманию функциональных алгоритмов работы мозга

16

посредством их реконструкции, т.е. построения искусственных нейронных сетей, предназначенных для решения реальных задач – таких, например, как распознавание естественных изображений и человеческого языка, анализ и понимание текстов, управление движением автономных роботов и т.д. Конечно, такая реконструкция функциональных механизмов мозга должна проводиться с учетом всех известных механизмов работы биологических нейронных сетей. Таким образом, рассматриваемый подход требует совместного применения нейрофизиологических знаний с математическими, инженерными и компьютерными методами и технологиями для разработки моделей нейронных сетей. Формулировка задачи для рассматриваемого направления исследований включает в себя упоминание о том, что конструируемые нейронные сети должны решать именно реальные задачи. Это положение формулировки является весьма важным, поскольку, что, во-первых, только реальные задачи позволяют осуществлять объективную проверку построенных моделей, а, во-вторых, решение реальных задач имеет практический смысл, т.е. делает возможным использование искусственных нейронных сетей в технике и промышленности. Кроме того, имеется еще одно соображение. Если реконструированные функциональные механиз-мы искусственных нейронных сетей окажутся способными эффективно решать реальные задачи, то должна существовать высокая вероятность того, что они действительно являются теми механизмами, которые мозг использует для решения тех же задач.

Работы по моделированию функциональных механизмов мозга в отделе биокибернетики были начаты на основе гипотезы Амосова о функциональной организации человеческого мозга, о механизмах мышления и психики, описанной в работах (Амосов, 1965, 1969, 1972, 1979; Амосов и др., 1988). Согласно этой гипотезе, каждый образ или понятие внешнего мира представляется в нейронной сети посредством определенной нейронной структуры (нейронного ансамбля), которую автор первоначально называл "информационной моделью". Любая информация о внешнем мире запечатлевается в структурах межнейронных связей внутри и между "информационными моделями". Обработка информации в такой сети заключается в движении нейронной активности по "информационным моделям" (нейронным ансамблям), которое осуществляется под контролем центрального регулятора нейронной активности сети – СУТ. СУТ занимает важное место в рассматриваемой гипотезе, выполняя функцию внимания,

17

активируя наиболее возбужденную "информационную модель" в сети и подтормаживая, одновременно, все остальные "модели". Смысл этого действия заключается в следующем. Предполагается, что наиболее возбужденная "информационная модель" представляет наиболее значимую (ценную) информацию. Дополнительная активация этой "информационной модели" значительно увеличивает ее влияние на последующую обработку информации в сети. Таким образом, по идее, наиболее ценная информация приобретает доминирующее влияние в сети.

Гипотеза Амосова послужила основой для предложенных А.М. Касаткиным и Л.М. Касаткиной активных семантических сетей или "М-сетей" (Амосов и др., 1973; Касаткин, 1979, 1981). Основная идея активных семантических сетей заключается в том, что каждое понятие или объект внешнего мира представляется в семантической сети одним нейроподобным элементом. Между нейроподобными элементами семантической сети устанавливаются направленные связи с аналоговыми весами (ассоциации). Эти связи отражают семантические отношения между понятиями и объектами, содержащимися в семантической сети. Структура связей (ассоциаций) семантической сети формируется в результате обучения и становится, фактически, совокупностью знаний о моделируемом объекте, процессе или явлении. Однако обучение "М-сети" выполняется не посредством какой-либо алгоритмизиро-ванной процедуры, а с помощью некоторого набора эвристических правил, т.е., практически вручную. В результате этого программирование "М-сети" в значительной степени зависит от искусства и квалификации человека, выполняющего эту работу.

Обработка информации активной семантической сетью осуществляется по временным тактам и происходит следующим образом. Исходные данные задаются активацией специальных входных нейроподобных элементов сети. Обычно, в процессе функционирования семантической сети, выходные потенциалы всех ее нейроподобных элементов имеют различные уровни активности. В каждый временной такт активность всех нейроподобных элементов распространяется через аналоговые связи сети и формирует некоторое распределение воздействий на входах всех ее элементов для пересчета их уровней активности в следующий момент времени. На каждом временном такте СУТ выявляет самый возбужденный элемент семантической сети и добавляет к его уровню активности определенную добавку. Благодаря этой добавке выделенный нейроподобный элемент

18

оказывает более заметное влияние на процесс распространения активности по сети в следующий момент времени. В результате такого перераспределения активности по сети в течение ряда временных тактов активность со входных нейроподобных элементов "перетекает" (через несколько промежуточных этапов) на выходные элементы "М-сети".

Идея замены целого нейронного ансамбля одним нейроподоб-ным элементом, реализованная в "М-сети", кажется, на первый взгляд, очень привлекательной. Действительно, при такой замене полностью сохраняются внешние, семантические связи между понятиями, закодированные в весах связей сети, что позволяет отразить в структуре "М-сети" все требуемое многообразие ассоциаций между понятиями. Однако при замене нейронного ансамбля одним нейроподобным элементом в "М-сети" теряется внутренняя структура нейронного ансамбля и эффекты, возникающие вследствие пересечений между ансамблями. Возвращаясь к теме настоящей книги, следует отметить, что, в ней большое внимание уделено именно тем эффектам, которые появляются в ансамблевой сети в результате образования пересечений между нейронными ансамблями.

Ранние работы автора этой книги были посвящены анализу нейронных сетей с ансамблевой организацией, в которых нейронные ансамбли имели значительные пересечения друг с другом (см., например, Гольцев, 1976, 1979а, 1979б, 1980, 1981, 1984). Одна из целей этих работ заключалась в том, чтобы исследовать условия и разработать механизмы, позволяющие только одному нейронному ансамблю находиться в устойчивом активном состоянии в ансамблевой сети. Эта задача решалась с помощью СУТ. Другая цель заключалась в анализе процесса управляемого (под контролем СУТ) ассоциативного перехода нейронной активности между пересекающимися нейронными ансамблями при условии сохранения стабильности всей системы. Для решения этой задачи оказалось необходимым расширить свойства модели нейрона искусственной нейронной сети за счет введения дополнительного параметра "усталости", накапливаю-щейся в нейронах сети, длительное время находящихся в активном состоянии. Аналогично эта проблема решается в книге Палма (Palm, 1982).

Модели ансамблевых нейронных сетей с пересечениями между нейронными ансамблями исследовались в работах Э.М. Куссуля (Куссуль, 1981; Куссуль, Федосеева, 1987; Амосов и др., 1989;

19

Kussul, Rachkovskij, 1989; Куссуль, Байдык, 1990, 1992; Куссуль, 1992). В 80-х годах прошлого века для моделирования нейронных сетей на компьютерах с небольшим объемом оперативной памяти Э.М. Куссуль предложил экономный метод кодирования аналоговых весов межнейронных связей с помощью стохастического кодирования двоичных весов в пучках связей сети. Этот метод используется в моделях ансамблевых сетей, решающих задачу сегментации текстурных изображений, и описанных в данной книге. Метод стохастического кодирования двоичных весов связей кратко изложен в параграфе 3.3.

В приведенных выше публикациях Э.М. Куссуля описана также предложенная им ассоциативно-проективная структура для ансамблевых сетей. Основная идея организации ансамблевых сетей в формате ассоциативно-проективной архитектуры заключается в следующем. Сеть состоит из нескольких иерархических уровней, находящихся во взаимном соответствии друг с другом. Нейроны соседних иерархических уровней связаны друг с другом межуровневыми проективными связями. Нейронные ансамбли первого (самого нижнего) уровня возбуждаются непосредственно от признаков, выделенных из окружающей среды. Семейство ансамблей признаковых нейронов определенным образом трансформируется (редуцируется) в соответствующий нейронный ансамбль, расположенный на втором уровне иерархии. Аналогично семейство нейронных ансамблей второго уровня трансформируется (редуцируется) в соответствующий нейронный ансамбль, расположенный на третьем уровне иерархии. На каждом последующем уровне нейронные ансамбли формируются так, что каждый ансамбль верхнего уровня является представителем многих ансамблей нижнего (соседнего) иерархического уровня. Таким образом, благодаря ассоциативно-проективной архитектуре сети, на всех ее иерархических уровнях сохраняется редуцированное представительство признаков, выделенных из соответствующего объекта внешнего мира. Ансамблевая сеть, организованная в такую иерархическую систему, несомненно должна обладать намного более богатыми возможностями, чем ансамблевая сеть, состоящая из одного иерархического уровня. Однако до сих пор не было проведено развернутой эксперимен-тальной проверки ассоциативно-проективной ансамблевой сети на какой-либо практической задаче.

Предмет исследования настоящей монографии составляют ансамблевые нейронные сети, разделенные на подсети, каждая из

20

которых представляет один класс объектов, подлежащих распознаванию. Благодаря разделению ансамблевых нейронных сетей на подсети такие сети приобретают ряд свойств, которые позволяют считать их отдельным подклассом ансамблевых нейронных сетей. Ансамблевые нейронные сети, разделенные на подсети, описаны в следующих работах: Гольцев, 1991а, 1991б, 1992; Goltsev et al., 1994; Гольцев, 1996; Goltsev, 1996; Goltsev, Wunsch, 1998; Goltsev, 2001; Goltsev, Husek, 2002; Goltsev, 2004; Goltsev, Wunsch, 2004; Goltsev et al., 2004; Goltsev et al., 2005; Goltsev, Rachkovskij, 2005. Модели ансамблевых сетей, разделенных на подсети, были реализованы в виде компьютерных программ. В последующих главах книги описываются алгоритмы функционирования и исследования ансамблевых сетей, причем, проверка алгоритмов и все исследования проводятся на примере решения компьютерными моделями задач, имеющих некоторый практический смысл, таких, как текстурная сегментации природных ландшафтов и распознавание рукописных символов.

21

Глава 1 АНСАМБЛЕВАЯ НЕЙРОННАЯ СЕТЬ

Функционирование ансамблевых нейронных сетей осуществляется на основе признаков. Во многих обучающихся нейронных сетях признаки формируются параллельно самому процессу обучения сети и поэтому при описании работы таких сетей понятие признака явно не используется. Нейронные сети иного типа требуют применения определенного множества операций, с помощью которых некоторое число характерных параметров выделяется из исходных данных. Такая совокупность параметров, характеризу-ющих входные данные, называется набором признаков. Ансамблевые сети, рассматриваемые в настоящей книге, относятся к категории устройств, использующих предварительно заданные алгоритмы для выделения признаков из исходных данных.

Идея распознавания объектов с помощью признаков получила значительное развитие в 60-х годах прошлого века, когда начались интенсивные исследования в области распознавания образов и нейронных сетей. Эта идея основана на двух источниках. Первый источник – это интуитивные представления об алгоритмах человеческого распознавания. Действительно, интуитивно кажется очевидным, что практически из любого объекта внешнего мира можно выделить некоторую его простую характеристику (признак), которая может служить идентификатором данного объекта (или класса объектов), однозначно определяя его. Вторым источником рассматриваемой идеи являются нейрофизиологические исследова-ния Хьюбеля и Визеля (см., например, Хьюбел, Визель, 1982; Хьюбел, 1990). В их работах показано, что зрительная система млекопитающих начинает обработку зрительной картинки с того, что с помощью огромного количества нейронов-детекторов выделяет из изображения ориентированные участки контуров

22

объектов. Доказанное существование в нейронных сетях живых организмов нейронов-детекторов ориентированных краев является вероятным свидетельством наличия в таких сетях аналогичных нейронов-детекторов более сложных признаков. Интересно отметить, что, как утверждается в обзоре (Schwabe, Obermayer, 2003), функциональная структура биологических нейронных сетей, выполняющих задачу выделения ориентированных краев для нейронов-детекторов, открытых Хьюбелем и Визелем, остается неизвестной до сих пор.

В задаче распознавания зрительных изображений функциональный смысл применения признаков состоит в уменьшении размерности данных, используемых распознающим устройством в процессе обработки изображения, в повышении информативности обрабатываемых данных и в создании такого рабочего пространства (пространства признаков), в котором существуют условия для разделения распознаваемых классов. Признаки, характеризующие распознаваемые объекты, могут значительно различаться, как по типам, так и по способам их представления. В частности, признаки могут быть двоичными, аналоговыми, одномерными, многомерными и т.д.

Разные наборы признаков с различной степенью адекватности (эффективности) характеризуют классы распознаваемых объектов. Чем более адекватно набор признаков описывает классы объектов, тем выше процент распознавания этих объектов распознающим устройством. В области распознавания образов хорошо известно, что процент распознавания такого устройства, которое требует предварительного выделения признаков из исходных данных, зависит в большей степени от качества используемого набора признаков, чем от типа распознающего устройства.

Степень адекватности описания классов некоторым набором признаков (качество этого набора) зависит, прежде всего, от суммарного количества двусмысленных и ложных описаний, продуцируемых этим набором признаков. Чем меньше ложных описаний создает набор признаков, тем, очевидно, он лучше. Стоит, однако, отметить, что в практических задачах обычно невозможно подобрать идеальный набор признаков, однозначно определяющий все объекты распознаваемых классов. Для иллюстрации справедливости последнего утверждения рассмотрим следующий пример. В главах 9, 10 и 11 описаны эксперименты по распознаванию рукописных цифр ансамблевой сетью. В ходе этих экспериментов использовалась база данных MNIST (см. в списке

23

литературы адрес сайта MNIST в Интернете), которая содержит сильно искаженные образцы написания различных цифр. Причем, некоторые образцы цифр настолько искажены, что, например, цифра 5 может быть больше похожа на цифру 3 или 6. Очевидно, что любой набор признаков, выделенный из этих ложных и двусмысленных образцов, будет в той же мере ложным и двусмысленным.

Итак, для функционирования ансамблевой сети необходимо, чтобы некоторый набор признаков был выделен из изображения, поданного на вход сети.

Все выделенные из исходного изображения признаки представляются посредством активации определенных нейронов в ансамблевой сети. Ансамблевая сеть не имеет отдельной, выделенной входной части. Вместо этого, сигналы от системы выделения признаков поступают на входы всех нейронов сети. Иными словами, каждый нейрон ансамблевой сети является представителем некоторого признака, который может быть выделен из исходных данных. Таким образом, все нейроны ансамблевой сети могут быть названы признаковыми, поскольку, все они получают начальное возбуждающее воздействие от системы выделения признаков.

Предположим, что нейронная сеть содержит все связи, соединяющие все ее нейроны друг с другом. Это означает, что между двумя любыми нейронами сети изначально существуют две направленные связи, одна из которых направлена от первого нейрона ко второму, а другая – от второго нейрона к первому. Веса всех связей сети до начала процесса обучения равны нулю. Процедура обучения сети заключается в том, что некоторое множество нейронов одновременно активируется каким-либо внешним, по отношению к сети, стимулом. После этого, веса всех связей, соединяющих между собой все активированные нейроны, увеличиваются на определенную величину, т.е. проторяются. Таким образом, проторяются веса обеих направленных связей, соединяющих любую пару активированных нейронов.

Приведенное выше описание относится только к обучению возбуждающих связей, т.е. связей, передающих возбуждающие воздействия между нейронами. В сети могут присутствовать также и тормозные связи, которые передают тормозные воздействия между нейронами. Веса тормозных связей имеют отрицательные значения.

24

Нейронный ансамбль – это группа нейронов, связанных друг с другом взаимными возбуждающими связями. Один нейронный ансамбль образуется в результате обучения сети за счет увеличения весов всех связей между всеми теми нейронами сети, которые с помощью внешней стимуляции специально переводятся в активное состояние для этой процедуры обучения. На рис. 1 показан один нейронный ансамбль, состоящий из пяти нейронов; каждая пара возбуждающих связей между двумя любыми нейронами ансамбля изображена в виде одной двунаправленной связи (с двумя стрелками). Рис. 1. Схематическое изображение одного нейронного ансамбля.

В ансамблевой сети нейронные ансамбли могут пересекаться друг с другом. Это означает, что часть нейронов одного нейронного ансамбля одновременно входит в состав другого ансамбля. Пересечения ансамблей могут быть разного размера, их может быть очень много в ансамблевой сети так, что, обычно, нельзя указать принадлежность отдельного нейрона ансамблевой сети к какому-либо одному нейронному ансамблю. При этом каждый нейрон сети участвует в выполнении различных функций в зависимости от того, в составе какого ансамбля он активирован в данный момент времени.

Вследствие пересечений нейронных ансамблей ансамблевая сеть приобретает ряд важных свойств. В частности, благодаря этим пересечениям в ансамблевой сети может содержаться значительно

25

большее количество нейронных ансамблей, чем число ее нейронов (см. Гольцев, 1976, 1989). Однако этот факт вовсе не означает, что ансамблевая сеть может содержать столько независимых функциональных элементов, сколько нейронных ансамблей образовано в ней. Дело в том, что пересекающиеся ансамбли никак нельзя считать независимыми функциональными элементами. Вопрос о максимальном количестве ансамблей, которое можно разместить в ансамблевой сети, обсуждается в приложении Б.

Если рассматривать каждый нейронный ансамбль в качестве представителя некоторого объекта внешнего мира или понятия, то пересечение ансамблей представляет собой ассоциативную связь между ними, причем размер пересечения служит мерой функциональной или семантической близости между соответствующими понятиями. Тогда управляемый переход нейронной активности между двумя пересекающимися ансамблями реализует ассоциативный поиск информации по признаку функциональной или смысловой близости (Гольцев, 1979а, 1979б, 1980, 1981, 1984).

Ансамблевая нейронная сеть, разделенная на подсети, предназначена для решения следующей задачи. Пусть имеется несколько классов объектов, которые нейронная сеть должна распознавать. Это могут быть классы текстур, классы символов, классы фонем и т.д. Для каждого класса должна быть задана обучающая выборка, состоящая из некоторого количества образцов (примеров). В лучшем случае образцы каждого класса достаточно полно представляют все его типичные особенности. Задача сети состоит в том, чтобы правильно классифицировать тестовые образцы, относящиеся к тем же классам.

Определенный набор признаков выделяется из каждого образца, поданного на сеть, как для обучения, так и для распознавания. Значения выделенных из образца признаков представляются в сети посредством активации определенных нейронов. Во время обучения сети набор признаков, выделенный из одного из образцов обучающей выборки, используется для того, чтобы сформировать соответствующий нейронный ансамбль. Таким образом, один нейронный ансамбль представляет в сети один из образцов обучающей выборки, являясь, в то же время, частью интегрального описания соответствующего класса в сети. Процедура формирования ансамбля последовательно повторяется для каждого из образцов обучающей выборки. В итоге, суммарное количество нейронных ансамблей, сформированных в сети, равно

26

общему количеству образцов обучающей выборки, использован-ных в ходе обучения.

Ансамблевая сеть имеет следующую предорганизацию: она искусственно разделена на несколько подсетей. Каждая подсеть служит для представления одного класса из тех, которые сеть должна распознавать. Все подсети состоят из одинакового количества нейронов, необходимых для представления всех значений признаков, которые могут быть выделены из образцов обучающей выборки в ходе обучения сети. Кроме того, каждая подсеть включает в себя все связи, соединяющие все ее нейроны друг с другом.

На рис. 2 схематически изображены несколько (M) подсетей (классов) ансамблевой сети.

Рис. 2. Схематическое изображение подсетей ансамблевой сети.

В литературе описаны ней-ронные сети, разделенные на от-дельные подсети. В частности, аналогичная предорганизация нейронной сети, с выделением отдельной подсети для каждого класса, предложена в работе (Ezhov, Vvedensky, 1996), в которой подсети нейронной сети названы одноклассными сетями (single-class networks); каждая из них была сетью Хопфилда. В

этой работе показано как процесс обучения сети приводит к возникновению мнимых аттракторов в ней. Нейронная сеть с подобной организацией описана также в работе (Schwenk, Milgram, 1994), где каждый класс был представлен персептроном; модель использовалась для распознавания рукописных символов и успешно решала поставленную задачу.

При формировании нейронных ансамблей в нейронной сети, разделенной на подсети, имеются некоторые особенности по сравнению с исходной гипотезой Хебба. Набор признаков,

27

выделенных из некоторого образца обучающей выборки, активирует соответствующие признаковые нейроны только в одной подсети, именно той, которая представляет класс этого образца. Поэтому в ходе одного шага обучения сети возбуждающие внутриансамблевые связи образуются в единственной подсети ансамблевой сети, формируя в ней нейронный ансамбль.

Нейронные ансамбли, сформированные в одной подсети ансамблевой сети, пересекаются друг с другом. Вследствие этого некоторая объединенная нейронная структура (семейство ансамблей) образуется в подсети. Эта структура (расположенная в отдельной подсети) описывает данный класс. Поскольку из обучающих образцов разных классов выделяются неодинаковые наборы признаков, то в различных подсетях сети в ходе обучения формируются существенно разные структуры связей. Различия между подсетями ансамблевой сети подробно рассматриваются в главах 8 и 9. На использовании структурных различий между подсетями основаны алгоритмы распознавания.

28

Глава 2 ПРЕДСТАВЛЕНИЕ ПРИЗНАКОВ В АНСАМБЛЕВОЙ СЕТИ С ПОМОЩЬЮ МЕТОДА "ПОПЛАВКОВОГО" КОДИРОВАНИЯ

Как упоминалось выше, признаки, выделяемые из входного изображения, представляются в ансамблевой сети активацией некоторого паттерна нейронов. Для превращения выделенного набора признаков в паттерн активированных нейронов могут быть применены различные методы. В книге рассматриваются два таких метода. Первый из них описан в главе 10. Второй метод, который используется в большинстве приложений, рассмотренных в данной работе, называется методом "поплавкового" кодирования (float coding) (Penz, 1987; Kussul et al., 1991; Goltsev, 1996; Cheng-Lin Liu et al., 2002). Метод получил такое название из-за своей аналогии с рыболовным поплавком. Метод "поплавкового" кодирования имеет много достоинств таких, например, как эффективность и универсальность, универсальность заключается в том, что этот метод можно применять для кодирования множества разнообразных признаков.

Метод "поплавкового" кодирования состоит в следующем. Пусть набор признаков, выделяемый из каждого образца, поданного на вход сети, как для обучения, так и для распознавания, состоит из H различных типов. Значения всех H типов признаков приводится к одному и тому же диапазону. Для представления значений всех признаков, которые могут быть выделены из входного изображения, используется нейронная структура, состоящая из H нейронных колонок. Каждая нейронная колонка служит для представления значений признаков одного типа. Пусть нейроны всех колонок пронумерованы снизу вверх, раздельно в каждой колонке так, что значение признака f соответствует f-му нейрону колонки. Определенное количество соседних нейронов (вверх и вниз от f-го нейрона) составляют нейронный поплавок,

29

который соответствует значению признака f. Размер поплавка определяет количество соседних нейронов, окружающих центральный нейрон поплавка (f-й нейрон).

Рис. 3 иллюстрирует это описание. На этом рисунке кружок с точкой внутри изображает нейрон, непосредственно соответствующий выделенному значению признака; зачерненные кружки – остальные нейроны нейронного поплавка, окружающие его центральный нейрон. Размер поплавка равен пяти нейронам. Рис. 3. Представление признаков посредством метода "поплавкового" кодирования.

Все нейроны поплавка активируются в ответ на выделение соответствующего значения призна-ка из входного изображения. Чем больше значение выделенного признака f, тем выше поднимается поплавок активированных нейронов по колонке. Выделенные из изображения призна-ки нормируются таким образом, чтобы нейронный поплавок активировался в колонке при всех возможных значениях признаков. В процедуре нормализации, должны быть предусмотрены ну-левые и отрицательные значения признаков, если это необходимо. Более того, даже в случае отсутствия некоторого признака (невозможности его измерения), поплавок активированных нейронов может находиться в соответствующей нейронной колонке. Конечно, такой нейронный поплавок, свидетельствующий об отсутствии измеренного значения признака, не должен пересекаться с другими нейронными поплавками. Поэтому для представления таких нейронных поплавков необходимо, очевидно, выделение специальной зоны в нейронной колонке.

Обозначим q – размер нейронного поплавка. Тогда в структуре ансамблевой сети, состоящей из H нейронных колонок, суммарное количество активированных нейронов, отображающих любой набор признаков, выделенный из изображения и трансформирован-ный в нейронный код посредством метода "поплавкового" кодирования, определяется величиной U = qH.

30

Идея описанного представления входных данных состоит в следующем. Предполагается, что из образцов одного и того же класса должны выделятся близкие значения признаков. Эти близкие значения признаков должны быть представлены в сети пересекающимися поплавками активированных нейронов. В отношении же объектов разных классов предполагается, что, они характеризуются значительно различающимися значениями признаков, которые должны представляться в сети активацией нейронных поплавков, не пересекающихся друг с другом.

Приведем рассуждения, поясняющие преимущества метода "поплавкового" кодирования. Значение признака можно кодиро-вать количеством активированных нейронов в нейронной колонке. Такой метод известен под названием "термометрического" кодирования (Penz, 1987); он имеет свои достоинства и недостатки. Этот метод использовался в одной из первых версий ансамблевой нейронной сети (Гольцев, 1991). В соответствии с методом "термометрического" кодирования значение некоторого признака f представляется в нейронной колонке активацией всех нейронов с номерами от нулевого до f-го, как это показано на рис. 4,а.

Рис. 4. Представление признаков посредством метода "термометрическо-го" кодирования (а) и "поплавкового" кодирования (б).

Рассмотрим пример. Пусть одно значение признака f равно 5, а другое значение того же признака равно 10. В случае применения метода "термомет-рического" кодирования, размер пересечения нейронных кодов этих значений признака в ней-ронной колонке составляет пять

нейронов (рис. 4,а). В случае же использования "поплавкового" кодирования при размере поплавка меньшем или равном пяти коды тех же значений признака совсем не имеют общих нейронов (рис. 4,б). Этот простой пример показывает, что для задачи различения

31

значений признаков метод "поплавкового" кодирования обладает большими возможностями, по сравнению с методом "термомет-рического" кодирования.

Расширение нейронного поплавка, состоящего из одного нейрона, в поплавок из нескольких нейронов ведет к пропор-циональному увеличению размеров пересечений нейронных кодов различных образцов одного класса в подсетях ансамблевой сети. Соответственно, использование широкого нейронного поплавка вместо одиночного нейрона расширяет описание каждого класса, формируемого в ансамблевой сети при обучении. В результате этого в ансамблевой сети увеличиваются размеры пересечения описаний различных классов в пространстве признаков, что может привести к ухудшению распознающей способности сети. Однако при отсутствии достаточного количества примеров в доступной обучающей выборке представление значений признаков широким нейронным поплавком в некоторых случаях значительно повышает процент распознавания, демонстрируемый ансамблевой сетью.

32

Глава 3 ПЕРВИЧНОЕ ОБУЧЕНИЕ АНСАМБЛЕВОЙ СЕТИ (ПРОЦЕСС ФОРМИРОВАНИЯ НЕЙРОННЫХ АНСАМБЛЕЙ)

Функционирование ансамблевой нейронной сети состоит из трех этапов: первичного обучения, вторичного обучения (дифференциа-ции) и процесса распознавания тестовых изображений. В книге рассматриваются несколько различных алгоритмов распознавания. Следующая глава посвящена алгоритму распознавания, условно названному "динамическим". Этот алгоритм использовался в ранних моделях ансамблевых сетей (Goltsev, 1996; Goltsev, Wunsch, 1998). В главе 7 описаны три версии "статического" алгоритма распознавания, (Goltsev, 2001; Goltsev, Husek, 2002; Goltsev, 2004; Goltsev, Wunsch, 2004). Кроме того, в приложении А представлен алгоритм распознавания, реализующий метод ближайшего соседа в ансамблевой сети (Goltsev et al., 2005). При таком разнообразии алгоритмов распознавания существует только один алгоритм первичного обучения, практически одинаковый для всех видов ансамблевых сетей; этот алгоритм и рассматривается ниже в данной главе.

Введем, прежде всего, некоторые формальные обозначения, которые будут использоваться далее для описания процессов, протекающих в ансамблевой сети.

Пусть сеть должна распознавать M классов. Следовательно, она должна быть разделена на M подсетей. Каждая подсеть состоит из N нейронов, причем подразумевается, что N >> M. Нейроны каждой подсети ансамблевой сети пронумерованы от 1 до N так, что нейроны различных подсетей, представляющие одни и те же значения признаков имеют одинаковые номера. При таком способе нумерации формулы, представленные ниже, остаются верны при использовании любого метода преобразования (кодирования) входных данных в паттерн активированных нейронов сети. В

33

частности, в случае применения метода "поплавкового" кодирования, нумерация нейронов учитывает колончатую структуру каждой подсети, однако, это обстоятельство в формулах явно не выражено.

Для формального описания процессов, происходящих в ансамблевой сети, в настоящей работе используются одномерные векторы, которые могут быть двоичными и аналоговыми, и двумерные матрицы связей, которые, также, могут быть и двоичными, и аналоговыми. Для представления нейронных состояний и событий в одной из подсетей ансамблевой сети служат одномерные векторы, которые состоят из N компонент. Соответственно, матрицы связей каждой из подсетей ансамблевой сети имеют размер N × N.

В общем случае, из каждого образца (входного изображения), подаваемого на сеть как для обучения, так и для проверки, выделяется некоторый набор признаков. Это стадия предобработки входного изображения. Набор признаков, выделенный на стадии предобработки, трансформируется в активацию определенного множества нейронов сети. Введем специальный термин для обозначения начальной нейронной активности сети. Конфигурация нейронов, активированных в m-й подсети ансамблевой сети в ответ на предъявление сети x-го образца (входного изображения), называется паттерном начальной нейронной активности m-й подсети и представляется вектором Gi

m(x) (i = 1, 2, 3, …, N; m = 1, 2, 3, …, M). Здесь и далее буквой G обозначен двоичный вектор, в котором паттерн начальной нейронной активности сети представ-ляется его единичными компонентами. Для примера стоит упомянуть, что в случае использования метода "поплавкового" кодирования признаков, выделенных из входного изображения, любой вектор G содержит U = qH единичных компонент. Все нейроны, составляющих паттерн начальной нейронной активности, имеют одинаковый уровень активности; величина которого являет-ся произвольной ненулевой константой и принимается равной единице. Примеры паттернов начальной нейронной активности, активированных в подсетях ансамблевых сетей в ходе различных экспериментов, приведены на рисунках, размещенных в соответст-вующих главах (см. например, рис. 21,б; 26,б; 29,б; 33; 36,б; 41).

Отметим, что здесь и далее индекс i используется для обозначения порядкового номера нейрона, а индекс m – для

34

обозначения номера (ярлыка) класса и/или номера подсети ансамблевой сети.

Во всех описаниях процессов обучения ансамблевых сетей, приведенных ниже, принимается что образцы входных изображений из обучающей выборки пронумерованы раздельно для каждого класса; обозначим x-й образец m-го класса номером mx. В соответствии с таким порядком нумерации, в ходе любого процесса обучения все образцы обучающей выборки m-го класса анализируются друг за другом, в результате чего последовательно генерируются соответствующие векторы Gm(mx).

3.1. Алгоритм первичного обучения ансамблевой сети с двоичными связями

В двоичной ансамблевой сети веса связей между нейронами сети могут принимать только два значения: нуль или единица. Введем отдельную двоичную двумерную матрицу связей W из N × N элементов для каждой подсети ансамблевой сети. В начале процесса обучения все компоненты всех M матриц Wij

m (m = 1, 2, 3, …, M; i = 1, 2, 3, ..., N; j = 1, 2, 3, ..., N.) имеют нулевые значения.

Разделим процесс первичного обучения ансамблевой сети на ряд последовательных шагов обучения. Цель такого разделения заключается в том, чтобы явно выразить тот факт, что процесс обучения ансамблевой сети состоит из серии одинаковых, элементарных шагов обучения, многократно повторяющихся в ходе процесса. Каждый шаг обучения начинается с предъявления сети нового образца (входного изображения) из состава обучающей выборки, и заканчивается формированием в сети соответствую-щего нейронного ансамбля.

Процедура формирования одного нейронного ансамбля выполняется следующим образом. Проторение связей между нейронами осуществляется по правилу Хебба, модифицированному для двоичных связей. Это означает, что на каждом шаге обучения веса связей на пересечениях между соответствующими строками и колонками матрицы связей W изменяются с нуля на единицу. Обозначим матрицу связей m-й подсети, предварительно обученную в результате k предшествующих шагов обучения, Wm(k). Пусть mx-й образец обучающей выборки m-го класса подается на ансамблевую сеть для следующего (k+1)-го шага

35

обучения. После этого шага матрица связей m-й подсети описывается формулой

где ∧ – конъюнкция; ∨ – дизъюнкция; i = 1, 2, 3, ..., N; j = 1, 2, 3, ..., N.

Формула (1) описывает образование связей между всеми активированными нейронами в подсети, в том числе и связь между входом и выходом одного и того же нейрона.

Точно такая же обучающая процедура последовательно повторяется для всех образцов из обучающей выборки m-го класса. Затем аналогичный набор шагов обучения выполняется для формирования ансамблей во всех остальных подсетях ансамблевой сети. На этом процесс первичного обучения сети завершается.

Отметим здесь, что в случае применения метода "поплавкового" кодирования в ансамблевой сети, каждая подсеть которой состоит из H нейронных колонок, все нейронные ансамбли, образованные согласно формуле (1), будут содержать в своем составе U = qH нейронов.

3.2. Алгоритм первичного обучения ансамблевой сети с аналоговыми связями

Введем отдельную двумерную матрицу связей W из N×N аналоговых элементов для каждой подсети ансамблевой сети. В начале процесса обучения все веса связей в сети имеют нулевые значения.

Процедура обучения сети осуществляется в точном соответствии с описанием, приведенным выше. Следствием каждого шага обучения является образование одного ансамбля в одной из подсетей ансамблевой сети. Для изменения весов связей между нейронами применяется правило Хебба (Hebb, 1949). Согласно этому правилу, во время каждого шага обучения сети, веса связей на пересечениях между соответствующими строками и колонками матрицы W увеличиваются на некоторое малое фиксированное значение ∆W. Как и в предыдущем случае, обозначим матрицу связей m-й подсети, предварительно

( ) (1) ,)()()(,)1(, xmjxmikmjikm

ji GGWW ∧∨=+

36

обученную в результате k предшествующих шагов обучения, Wm(k). Пусть mx-й образец обучающей выборки подается на сеть для следующего (k+1)-го шага обучения. После завершения этого шага обучения матрица связей m-й подсети описывается формулой

Как и в (1), в этой формуле также предусматривается изменение веса связи между входом и выходом одного и того же нейрона.

Обучающая процедура, представленная формулой (2), последовательно повторяется для всех образцов из обучающей выборки m-го класса. Затем аналогичная последовательность процедур выполняется для формирования ансамблей во всех остальных подсетях.

3.3. Первичное обучение в ансамблевой сети со стохастическим кодированием аналоговых связей двоичными связями

Ансамблевая сеть с двоичными связями обладает одним важным преимуществом перед сетью с аналоговыми связями в случае реализации обеих сетей в виде компьютерных программ. Этим преимуществом является сравнительное быстродействие компьютерной модели с двоичными связями. С другой стороны, как будет показано ниже, ансамблевая сеть с аналоговыми связями имеет значительно более высокую способность к распознаванию по сравнению с такой же ансамблевой сетью с двоичными связями. Метод представления аналоговых весов связей между нейронами в нейронной сети посредством стохастически разреженного множества двоичных связей между нейронами сети был предложен Э.М. Куссулем (Амосов и др., 1989; Kussul и др., 1991). Достоинством этого метода является то, что между нейронами сети реализуется аналоговый тип взаимодействия, в то время как веса связей остаются двоичными. Метод представления аналоговых связей множествами двоичных связей использовался в ранних моделях ансамблевой сети (см. Goltsev, 1996; Goltsev, Wunsch, 1998). В этих моделях входные данные кодировались с помощью метода "поплавкового" кодирования (см. главу 2). Поэтому,

( ) (2) )()()(,)1(, .xmjxmikmjikm

ji ∆W GGWW ∧+=+

37

алгоритм стохастического кодирования аналоговых связей описы-вается ниже применительно именно к этому способу кодирования.

Согласно методу "поплавкового" кодирования, каждый выделенный признак представляется в сети в виде активации не единичного нейрона, а целого нейронного поплавка состоящего из некоторого множества соседних нейронов. В процессе формирования нейронных ансамблей в соответствии с приведенным выше описанием между нейронными поплавками формируются пучки связей. В результате этого появляется возможность моделирования аналоговых взаимодействий между нейронными поплавками в ансамблевой сети, используя разреженные пучки двоичных связей между ними. Для задания градуального взаимодействия между нейронными поплавками в ансамблевой сети применяется процедура случайного разреживания пучков двоичных связей в матрице W с заданной вероятностью замены каждой связи с единичным весом связью с нулевым весом. Для формального описания процесса обучения в стохастической ансамблевой сети введем случайную двоичную двумерную матрицу Zij с заданной вероятностью распределения в ней единичных элементов. При этом вероятность распределения единиц в матрице Z определяет градуальное значение веса соответствующей аналоговой связи. Для каждого шага обучения сети случайная матрица Z создается заново. Тогда с учетом предыдущего описания формула (1) приобретает вид

Благодаря пересечениям нейронных поплавков, активирован-

ных в нейронных колонках ансамблевой сети в ходе формирования в ней множества нейронных ансамблей, вероятность наличия единичной связи между любой парой нейронов становится эквивалентной весу соответствующей аналоговой связи. Чем больше размер нейронного поплавка и чем больше размер нейронной сети, тем более точно указанная вероятность моделирует вес аналоговой связи между рассматриваемой парой нейронов.

( ) (3) ,)()()(,)1(, .jixmjxmikmjikm

ji ZGGWW ∧∧∨=+

38

3.4. Обсуждение механизмов первичного обучения ансамблевой сети

Любой нейронный ансамбль, формируемый в ансамблевой сети в процессе первичного обучения, становится составной частью некоторой интегрированной нейронной структуры, образующейся в каждой подсети ансамблевой сети вследствие пересечений множества нейронных ансамблей друг с другом. Эта интегрированная нейронная структура становится описанием соответствующего класса в ансамблевой сети. При этом во всех подсетях ансамблевой сети возникают различные паттерны межнейронных связей. Наличие специфического паттерна связей в каждой из подсетей ансамблевой сети, очевидно, значительно облегчает задачу выявления различий между подсетями в процессе распознавания. Исследованию структуры связей в подсетях ансамблевой сети посвящена глава 9.

На основании приведенного выше описания алгоритмов, можно дать следующую содержательную интерпретацию понятия нейронного ансамбля, образованного в результате выполнения в сети процедуры первичного обучения. Каждый признак, выделенный из входного изображения, представляется определенным набором нейронов в структуре m-й подсети ансамблевой сети. Каждый нейрон, находясь на неизменном месте в нейронной структуре подсети, представляет в сети определенный признак. Любая связь между двумя нейронами ансамбля, который был сформирован из некоторого образца обучающей выборки в процессе первичного обучения ансамблевой сети, является связью между двумя нейронами структуры подсети. Поэтому можно заключить, что каждая внутриансамблевая связь, проторенная в результате одного шага обучения сети, представляет в этом ансамбле определенное пространственное отношение между двумя признаками. Тогда весь нейронный ансамбль представляет собой совокупность всех парных (двусторонних) пространственных отношений между признаками, выделенными из данного образца обучающей выборки. В аналоговой ансамблевой сети вес связи между любыми двумя нейронами m-й подсети определяется суммарным количеством образцов обучающей выборки m-го класса, в которых было обнаружено соответствующее двусторон-нее пространственное отношение между рассматриваемой парой признаков.

39

Глава 4 АНСАМБЛЕВАЯ СЕТЬ С ДИНАМИЧЕСКИМ АЛГОРИТМОМ РАСПОЗНАВАНИЯ

Центральное место в функционировании ансамблевой сети с динамическим алгоритмом распознавания занимает регулятор ней-ронной активности СУТ, предложенный Н.М. Амосовым в 1965 г. (Амосов, 1965). Этот регулятор использовался во многих моделях нейронных сетей (Амосов, Куссуль, 1969; Амосов и др., 1991; Гольцев, 1991; Kussul et al., 1991; Куссуль, 1992; Goltsev, 1996; Goltsev, Wunsch, 1998; Байдык, 2001; Goltsev, Húsek, 2002). СУТ является внесетевым устройством, которое служит для управления общим уровнем активности нейронной сети и в некотором смысле выполняет функцию внимания. Идея управления общим уровнем активности нейронной сети высказывалась многими авторами (см., например, Milner, 1957; Braitenberg, 1978). В частности, Милнер предложил дополнить ансамблевую сеть Хебба тормозными связями для компенсации излишней активации еще в 1957 г.

4.1. Динамический алгоритм распознавания

Динамический алгоритм распознавания для ансамблевых сетей был предложен раньше других алгоритмов распознавания; он использовался в моделях ансамблевых сетей, решающих задачу распознавания текстур (Goltsev, 1996; Goltsev, Wunsch, 1998).

Ансамблевая сеть с динамическим алгоритмом распознавания использует пороговые нейроны с аналоговым входом и двоичным выходом; выходная активность всех нейронов сети определяется управляемым порогом L. Это означает, что если воздействие на вход нейрона превышает порог L, то уровень его выходной

40

активности становится равным единице. В противном случае, нейрон неактивен и его выход равен нулю. Входы всех N нейронов m-й подсети рассматриваемой ансамблевой сети представляются аналоговым вектором Em, а выходы этих нейронов – двоичным вектором Pm. Активность нейронов подсчитывается последователь-но по временным шагам t, причем этот подсчет производится синхронно для всех нейронов сети; воздействие на вход нейрона определяет его выходную активность в следующий временной шаг.

Процесс распознавания начинается с выделения некоторого набора признаков из изображения, предъявленного сети для распознавания (обозначим это изображение номером x). Набор признаков, выделенный из предъявленного изображения, транс-формируется в активацию паттерна начальной нейронной активно-сти в сети в нулевой момент времени t = 0. Активацию паттерна начальной нейронной активности в m-й подсети ансамблевой сети в нулевой момент времени можно представить в следующем виде:

Для выполнения процедуры распознавания, паттерн начальной

нейронной активности активируется во всех одновременно подсе-тях ансамблевой сети. После этого начальная нейронная актив-ность P(0) распространяется внутри каждой подсети по всем связям, сформированным в ней в ходе предшествующего обучения. Процесс распространения активности выполняется по временным тактам, синхронно для всех нейронов сети и под контролем СУТ.

Воздействие на вход каждого i-го нейрона m-й подсети в момент (t+1) вычисляется из нейронной активности этой подсети в момент t (t > 0) по формуле

Выходная активность нейронов m-й подсети в момент t

определяется из уравнения

где L(t) – это пороговое значение, формируемое СУТ в ходе

∑=

+ =N

j

mijt

mjtm

i1

(5),)()1( .WPE

(4) )()0( .ximi GP =

)6()()()( ,)( ttmitm

i L−= E1P

41

процесса, о котором будет рассказано ниже, 1(x) – это единичная пороговая функция, определяемая формулой

В соответствии с уравнением (6) все те нейроны сети

(независимо от их принадлежности к той или иной подсети), которые имеют входные воздействия, превышающие порог L, становятся активными в момент t. Остальные нейроны сети переходят в неактивное состояние.

Функция СУТ в динамическом алгоритме распознавания заклю-чается в том, чтобы удерживать суммарное количество активных нейронов сети на некотором, заранее заданном уровне. Обозначим заданное количество активных нейронов U: U = qH, где H – количество типов признаков, выделяемых из входных данных, q – размер нейронного поплавка. На каждом такте времени t СУТ подбирает подходящее значение порога L для удержания суммарной активность сети на уровне U.

Рассмотрим процесс подбора порога L для некоторого времен-ного такта t. Уровни воздействий на входы всех нейронов сети фиксируются в памяти и не изменяются до конца процесса подбора. В начале этого процесса задается максимальное значение порога Lmax и по формуле (6) подсчитывается, сколько нейронов сети могло бы перейти в активное состояние. Если количество активных нейронов оказывается меньше, чем U, то порог Lmax уменьшается на малое ∆L. Опять вычисляется количество нейронов, которое могло бы активироваться в сети при сравнении фиксированных в памяти уровней входных воздействий с новым значением L. Чем ниже опускается текущее значение порога L, тем больше нейронов должно активироваться в сети. Процесс посте-пенного уменьшения L продолжается до тех пор, пока суммарное количество активных нейронов не станет равно или больше U. Найденное значение порога и есть искомое L(t), при котором количество активных нейронов в сети удовлетворяет неравенству

где, обычно, δU << U.

⎩⎨⎧

=<=≥=

0. если 0,0, если 1,

)(xxxx

x1

∑=

+≤≤N

it

mi UδUU

1(7), )(P

42

Изложенная выше процедура подбора порога L является основой алгоритма работы СУТ. Стоит отметить, что описанный механизм функционирования СУТ аналогичен предложенному Брайтенбергом (Braitenberg, 1978).

Приведенное выше описание может быть интерпретировано следующим образом. В каждый момент времени t СУТ находит U самых возбужденных нейронов (независимо от их принадлежности к той или иной подсети) и переводит их в активное состояние. В результате этого различное количество нейронов активируется в различных подсетях ансамблевой сети. Очевидно, что подсеть, содержащая наибольшее количество активных нейронов, имеет больше шансов увеличить их количество в следующий такт времени. Однако здесь необходимо отметить, что появление наибольшего количества нейронов в некоторой подсети не всегда приводит к активации наибольшего количества активированных нейронов именно в этой подсети в следующий временной такт. Соотношение между количеством активных нейронов в разных подсетях ансамблевой сети в следующий временной такт зависит от конкретного распределения возбуждающих и тормозных связей между нейронами ансамблевой сети.

Пересчет активности нейронов сети в соответствии с формулами (5)–(7) продолжается в течение некоторого (переменного) количества временных тактов до тех пор, пока активные нейроны не останутся только в одной подсети. Концентрация активности сети в одной из ее подсетей свидетельствует, что процесс конвергенции сети (распознавания) успешно завершен. Подсеть, в которой, в конце концов, концентрируется вся активность сети, определяет класс, к которому сеть относит предъявленное тестовое изображение.

Таким образом, в кратком изложении, динамический алгоритм распознавания сводится к следующему. В каждый момент времени (шаг пересчета сети) СУТ находит и активирует фиксированное количество самых возбужденных нейронов сети независимо от их принадлежности к той или другой подсети. В то же время все остальные нейроны сети переводятся в неактивное состояние. Благодаря такому управляющему воздействию СУТ в ходе последовательных пересчетов сети (итераций) нейронная активность, первоначально равномерно распределенная между всеми подсетями, постепенно концентрируется в единственной подсети ансамблевой сети. Концентрация нейронной активности сети в одной из ее подсетей эквивалентна определению подсети-

43

победителя и, следовательно, класса изображения, предъявленного для распознавания.

На рис. 5 представлена блок-схема взаимодействия подсетей ансамблевой сети и СУТ. Рис. 5. Блок-схема взаимодейст-вия между подсетями ансамбле-вой сети и СУТ.

Компьютерное модели-рование показывает, что в большинстве случаев двух пересчетов сети бывает достаточно для определе-ния подсети-победителя. Хотя в некоторых, особо сложных, случаях коли-чество необходимых ите-раций может возрасти до десяти – пятнадцати.

Как следует из приведенного описания, СУТ объединяет все подсети ансамблевой сети, управляя всей работой сети в процессе распознавания предъявленного изображения. Устройство, выполняющее функции СУТ в ансамблевой сети, может быть, конечно, построено, также, в виде нейронной сети. Однако такая специализированная нейронная сеть должна, очевидно, иметь довольно сложную структуру. Разработка такой структуры представляет собой отдельную задачу, которая не рассматривалась в процессе моделирования ансамблевых сетей. Во всех компьютерных моделях ансамблевых сетей, представленных в данной книге, управление суммарным уровнем активности сети осуществлялось простой вычислительной процедурой, а не нейронной сетью.

44

4.2. Процедура дифференциации в ансамблевой сети с динамическим алгоритмом распознавания

В ансамблевой сети с аналоговыми весами связей имеется возможность регулировки весов ее межнейронных связей, установленных в ходе первичного обучения сети. Процесс такой регулировки связей был назван процедурой вторичного обучения, или процедурой дифференциации. Процедура дифференциации впервые была предложена Э.М. Куссулем (Kussul et al., 2001; Kussul, Baidyk, 2002). Целью процедуры дифференциации является повышение способности ансамблевой сети к распознаванию. В ансамблевых сетях с различными алгоритмами распознавания процедуры дифференциации несколько отличаются друг от друга.

Процедура дифференциации для ансамблевой сети с динамическим алгоритмом распознавания описана в работах (Goltsev, 1996; Goltsev, Wunsch, 1998). Эта процедура была разработана для ансамблевой сети, в которой выделенные из изображения признаки трансформируются в нейронную активность с помощью метода "поплавкового" кодирования (см. главу 2) и в которой аналоговые межнейронные взаимодействия моделируются посредством стохастического кодирования двоичных связей. Напомним, что метод стохастического кодирования связей заключается в том, что аналоговые взаимовлияния между нейронами реализуются в статистически разреженных пучках двоичных связей, образованных между нейронными поплавками в ходе обучения ансамблевой сети (см. параграф 3.3).

Процедура дифференциации выполняется после окончания процесса первичного обучения сети в целях дополнительного разделения классов в пространстве признаков по сравнению с тем разделением, которое было достигнуто в результате первичного обучения сети. Способом достижения цели является адаптивное изменение весов связей между нейронами внутри подсетей аналоговой ансамблевой сети. Процедура подбора весов аналоговых связей выполняется таким образом, чтобы сеть могла безошибочно распознавать все образцы обучающей выборки в особых условиях, т.е. при условии подачи направленного внешнего противодействия правильному распознаванию.

Сущность алгоритма дифференциации сети заключается в следующем. Ансамблевая сеть многократно рассматривает каждый

45

образец обучающей выборки. При каждом таком рассмотрении сеть осуществляет распознавание этого образца и в зависимости от результата распознавания выполняет или не выполняет определенный набор операций по изменению весов связей сети. Разделим процесс дифференциации на три этапа. На первом этапе процедуры дифференциации осуществляется распознавание предъявленного образца обучающей выборки ансамблевой сетью. Процесс распознавания образца ансамблевой сетью с динамическим алгоритмом распознавания описан в предыдущем параграфе. В соответствии с этим описанием признаки, выделенные из распознаваемого образца, представляются в ансамблевой сети в виде паттерна начальной нейронной активности G, который активируется одновременно во всех подсетях ансамблевой сети. Эта начальная нейронная активность начинает распространяться внутри каждой подсети по соответствующим внутриансамблевым связям, формируя некоторое распределение воздействий на входах всех ее нейронов. После каждого пересчета сети СУТ определяет заданное количество самых возбужденных нейронов сети (независимо от их принадлежности к той или иной подсети) и переводит их в активное состояние. Паттерн активности всех нейронов сети после ее первого пересчета запоминается для последующего использования на втором этапе процедуры дифференциации. Обозначим Pm(1) – паттерн активности нейронов m-й подсети в момент времени t = 1. Паттерн активности всех нейронов сети запоминается в M векторах Pm(1) (m = 1, 2, 3, ..., M).

В соответствии с динамическим алгоритмом распознавания пересчет активности нейронов сети по формулам (5)–(7) продолжается до концентрации всей активности сети в одной из ее подсетей. Эта подсеть определяет класс распознаваемого образца. Если подсеть-победитель соответствует классу рассматриваемого образца обучающей выборки, т.е. распознавание было успешным, то модель переходит к рассмотрению следующего образца обучающей выборки. Если же подсеть-победитель не согласуется с классом рассматриваемого образца обучающей выборки, т.е. сеть неправильно распознала предъявленный образец, то выполняется второй этап процедуры дифференциации.

Пусть сети был предъявлен для распознавания образец обучающей выборки m-го класса, а в результате процесса распознавания подсетью-победителем оказалась v-я подсеть, т.е. образец был классифицирован, как относящийся к v-му классу.

46

Второй этап процедуры дифференциации заключается в том, что в v-й подсети активируется паттерн начальной нейронной активности Gv. После этого те единичные внутриансамблевые связи v-й подсети (сформированные в процессе первичного обучения сети), которые направлены от нейронов вектора Gv к нейронам вектора Pv(1), прореживаются, т.е. частично уничтожаются, превращаясь в связи с нулевым весом. Операция прореживания указанных единичных связей производится посредством случайного процесса с заданной вероятностью замены единичной связи на нулевую. Описанная процедура прореживания связей может быть представлена в виде следующей формулы:

Здесь ¬ – знак логического отрицания, а k – порядковый номер процедуры прореживания.

Операция прореживания связей в неправильно классифицированной подсети ансамблевой сети очевидно уменьшает вероятность активации нейронов в этой подсети в аналогичной ситуации в будущем.

Третий этап процедуры дифференциации заключается в дополнительном обучении внутриансамблевых связей нейронного ансамбля, представляющего рассматриваемый образец обучающей выборки, в m-й подсети ансамблевой сети, т.е. именно в той подсети, которая должна была бы стать подсетью-победителем при правильном распознавании данного образца. Этот этап описывается формулой (3), приведенной в параграфе 3.3. Цель дополнительного обучения внутриансамблевых связей нейронного ансамбля в m-й подсети, очевидно, заключается в повышении вероятности активации этого ансамбля при последующих предъявлениях сети похожих изображений.

После завершения всех трех описанных этапов процедуры дифференциации тот же обучающий образец вновь предъявляется сети для распознавания, чтобы проверить достаточность изменений, введенных в матрицу связей сети, для безошибочного распознавания этого образца обучающей выборки. Если образец все еще распознается неверно, то указанные операции по изменению весов связей сети выполняются еще раз. Такая корректировка весов связей в двух подсетях ансамблевой сети повторяется до тех пор, пока очередное тестирование все того же

( ) (8) ,)1()(,)1(, .jivj

vikv

jikvji ZPGWW ∧∧¬∧=+

47

образца обучающей выборки не будет наконец завершено его успешным распознаванием. После этого ансамблевая сеть переходит к проверке следующего образца обучающей выборки. Последовательное рассмотрение всех образцов обучающей выборки (процесс дифференциации) продолжается, многократно повторяясь, до тех пор, пока все образцы обучающей выборки не будут распознаваться сетью безошибочно.

Выполнение процедуры дифференциации в ансамблевой сети с динамическим алгоритмом распознавания значительно повышает способность сети к распознаванию.

Алгоритм дифференциации, описанный выше, был эксперимен-тально проверен на задаче распознавания (сегментации) текстур, для решения которой была создана компьютерная модель ансамблевой сети с динамическим алгоритмом распознавания. Результаты распознавания текстурных классов, полученные на этой модели, представлены в следующей главе. Необходимо особо отметить, что во всех экспериментах, описанных в главе 7, приведенные результаты распознавания были достигнуты моделью ансамблевой сети, в которой предварительно была проведена процедура дифференциации по всей обучающей выборке, заданной в данном эксперименте.

48

Глава 5 РАСПОЗНАВАНИЕ ТЕКСТУР И СЕГМЕНТАЦИЯ ТЕКСТУРНЫХ ИЗОБРАЖЕНИЙ АНСАМБЛЕВОЙ СЕТЬЮ С ДИНАМИЧЕСКИМ АЛГОРИТМОМ РАСПОЗНАВАНИЯ

Эта глава в значительной степени основана на материале, опубликованном в работе (Goltsev, 1996).

Работоспособность ансамблевой сети с динамическим алгоритмом распознавания и эффективность процедуры дифференциации необходимо было проверить на некоторой достаточно трудной задаче. Для такой проверки была выбрана задача сегментации естественного изображения ландшафтного типа на текстурные области.

На естественных изображениях границы текстурных областей часто являются границами различных объектов. Поэтому выделение текстурных областей на естественных изображениях должно выполняться как первый этап процесса выделения объекта из фона для последующего распознавания его формы и анализа всей сцены. В настоящее время автоматические устройства, служащие для распознавания и сегментации текстур, применяются в таких областях, например, как обработка визуальной информации в медицине, картография, предобработка спутниковых изображений и т.д. Задача распознавания (сегментации) текстур естественного изображения особенно важна для управления движением автономного робота по пересеченной местности.

Проблема распознавания текстур широко представлена в научной литературе (Wu, Chen, 1993; You, Cohen, 1993; Caelli, Reye, 1993; Hild, Shirai, 1993; Shen et al., 1993). В соответствии с общепринятой моделью обработки текстурной информации человеком, исходное изображение в мозге человека фильтруется системой локальных фильтров, настроенных на различные пространственные частоты и ориентации (Nothdurft, 1985; Daugman, 1985; Voorhees, Poggio, 1988; Malik, Perona, 1990; Bovik

49

et al., 1990; Van Hulle, Tollenaere, 1993). В рамках этой модели предполагается, что текстурная сегментация изображения выполняется посредством нахождения различий в описании изображения, полученного системой пространственных фильтров. Однако множество пространственно-ориентационных фильтров в модели обработки текстурной информации человеком можно рассматривать, просто как описанную в других терминах совокупность нейронов-детекторов различных ориентаций, размещенных в нейронных колонках, которая была обнаружена в первичных отделах зрительных анализаторов млекопитающих Хьюбелем и Визелем (Хьюбел, Визель, 1982; Хьюбел, 1990). Различные модели текстурного распознавания на основе нейронных сетей были предложены многими авторами (например, Oja, 1989; Malik, Perona, 1990; Kussul, et al., 1991; Van Hulle, Tollenaere, 1993). В этих моделях нейронные сети используются, главным образом, для классификации и нелинейного преобразова-ния выходов системы пространственно-ориентационных фильтров.

5.1. Постановка задачи для ансамблевой сети

Можно выделить два различных подхода к проблеме сегментации текстурного изображения. Согласно одному из подходов исходное текстурное изображение анализируется при полном отсутствии какой-либо предварительной информации о нем. Автоматическое устройство анализирует яркостную матрицу изображения с целью выявления в ней сравнительно однородных текстурных областей. Выделение однородных текстурных областей производится с помощью алгоритмов, не использующих долговременное обучение. Другой подход к проблеме сегментации текстурного изображения предполагает, что автоматическое устройство предварительно обучается распознавать заранее заданные классы текстур. В процессе сегментации предъявленного изображения такое устройство распознает в нем локальные участки, соответствующие обученным текстурным классам и, объединяя такие локальные участки, выделяет текстурные области, относящиеся к заданным классам. Ансамблевая сеть решает задачу сегментации текстурного изображения именно таким способом.

50

В настоящей работе задача для сети формулируется следующим образом. Дано изображение, содержащее несколько текстурных областей. В каждой из таких областей задано сравнительно небольшое количество точек (локальных участков), служащих образцами обучающей выборки соответствующего текстурного класса. Точки обучающей выборки задаются таким образом, чтобы охватить, по возможности, все типичные особенности данной текстуры. Задача состоит в том, чтобы распознать (классифицировать) точки тестового множества, которые покрывают все изображение.

Поскольку основной целью данной книги является исследование ансамблевых сетей, то задача текстурного распознавания и связанные с ней вопросы рассматриваются в книге на минимально необходимом уровне детализации.

5.2. Выделение текстурных признаков Как упоминалось выше, для ансамблевой сети необходимо, чтобы некоторый набор признаков был предварительно выделен из анализируемого изображения. В данном случае на вход ансамблевой сети должны быть поданы текстурные признаки. Каждый текстурный признак – это некоторая измеренная характеристика локального участка изображения. Локальный участок изображения – это некоторое множество пикселей, расположенных компактной группой. Для выделения текстурных признаков в данной работе применяется текстурное окно – квадрат определенного размера. Текстурное окно помещается в некоторую точку изображения для выделения текстурных признаков из локального участка, окружающего эту точку. Все пиксели текстурного окна вносят свой вклад в каждый из текстурных признаков. Все текстурные признаки, выделенные из текстурного окна, приписываются его центральному пикселю.

На рис. 6 представлена блок-схема, иллюстрирующая описанный выше процесс выделения признаков. Этот рисунок показывает, как текстурные признаки, выделенные из изображения с помощью текстурного окна, представляются в виде активации нейронных поплавков (черные кружки) в нейронных колонках (1–H) одной из подсетей ансамблевой сети.

В настоящей работе для сегментации изображений используют-ся 17 признаков. Первые 16 из них – текстурные. Признак 1 – это

51

Рис. 6. Схематическое изображение процесса превращения текстурных признаков, выделенных из изображения, в активацию нейронных поплавков, распределенных в нейронных колонках ансамблевой сети. количество контурных пикселей в текстурном окне, для его выделения в изображении предварительно выделяются все контуры. Алгоритм выделения признаков 2–9 состоит в следующем. Восемь слоев детекторов контраста выделяют короткие отрезки контраста, ориентированные определенным образом; углы между соседними ориентациями равны друг другу. Таким образом, каждый из восьми слоев детекторов представляет выявленные на изображении отрезки только одной ориентации. Количество единичных пикселей одного из слоев, подсчитанное внутри текстурного окна, определяет значение соответствующего признака. Следует отметить, что набор ориентационных детекторов контраста фактически выполняет предобработку изображения, аналогичную той, которая осуществляется системой ориентацион-ных фильтров, описанной в работе (Grossberg, Wyse, 1991).

Следующие семь текстурных признаков: с номерами 10–16 характеризуют яркостные особенности изображения внутри текстурного окна. Признак 10 – это разность между максимальной и минимальной яркостью внутри текстурного окна. Признак 11 – это средняя яркость в текстурном окне. Признаки 12–16 представляют гистограмму распределения яркостей среди пикселей текстурного окна. Гистограмма формируется следующим образом.

52

Максимально возможный диапазон яркости внутри текстурного окна делится на пять равных интервалов. Внутри текстурного окна подсчитываются количества пикселей со значениями яркости, расположенными внутри этих интервалов. Полученные пять чисел составляют гистограмму яркостного распределения.

Последний признак номер 17 не является текстурным; он представляет собой значение Y координаты центра текстурного окна. Эта информация об относительной высоте расположения текстурного окна важна для правильной сегментации текстурных областей на ландшафтных фотографиях. Она помогает разделить текстурные области, имеющие одинаковые зрительные характерис-тики, но относящиеся к разным объектам изображения. В частности, с помощью этого признака ансамблевая сеть оказалась способной отделить облачное небо, расположенное, естественно, вверху, от светлых участков поверхности земли (расположенных, соответственно, внизу изображения).

5.3. Эксперименты по распознаванию текстур

Компьютерная программа, моделирующая ансамблевую сеть с динамическим алгоритмом распознавания, была создана для экспериментов по распознаванию текстур. Модель предназнача-лась для распознавания четырех классов и, следовательно, ансамблевая сеть состояла из четырех подсетей. В модели использовались двоичные связи и стохастический механизм кодирования для реализации аналоговых межнейронных взаимодействий в пучках двоичных связей (см. параграф 3.3).

Ландшафтные фотографии, преобразованные в цифровые изображения размером 192×160 пикселей каждая, предъявлялись для обработки компьютерной программе; все пиксели имели по 32 градации яркости. Текстурное окно размером 11×11 пикселей использовалось для выделения текстурных признаков. Для превращения выделенного набора признаков в паттерн активированных нейронов был использован метод "поплавкового" кодирования (см. главу 2). Каждая нейронная колонка, представляющая один из 17 признаков, описанных в предыдущем параграфе, состояла из 48 нейронов. Таким образом, в целом, модель содержала 3 264 нейронов.

53

Эксперименты заключались в следующем. Для каждого эксперимента выбирались 20–70 точек в наиболее характерных местах каждого текстурного класса; эти точки составляли обучающую выборку соответствующего класса. После выполнения процедур первичного обучения и дифференциации, модель приступала к распознаванию тестовых точек на том же изображении. Точки тестовой выборки были расположены в узлах квадратной сетки, которая покрывала все изображение. При этом точки тестовой выборки не совпадали ни с одной точкой обучающей выборки. Всего использовалось 437 тестовых точек.

Способность ансамблевой сети к распознаванию текстур была проверена на различных изображениях. Прежде всего, сеть была тестирована на однородных текстурах, которые значительно отличались друг от друга своими зрительными характеристиками. Сеть успешно справлялась с поставленными задачами, причем оказалось, что для решения таких задач сети было достаточно небольшого количества точек обучающей выборки.

В последующих экспериментах ансамблевой сети ставилась значительно более трудная задача распознавания текстур с неоднородными зрительными характеристиками на изображениях ландшафтного типа. От сети требовалось причислить к одному классу области, которые включали в себя несколько зрительно различающихся текстур и градуальные переходы между ними. Каждый текстурный класс задавался для ансамблевой сети посредством распределения точек обучающей выборки по изображению. Основанием для такого определения текстурных классов служило субъективное человеческое восприятие объектов на фотографиях. Например, один из текстурных классов, заданных для распознавания ансамблевой сети в представленных ниже экспериментах, может быть описан, как граница между листьями на деревьях и небом. Другой текстурный класс может быть условно назван поверхностью земли, причем в этот класс был включен как заросший травой газон, так и асфальтовая дорога.

Цель этих экспериментов заключалась в том, чтобы проверить можно ли в одной подсети ансамблевой сети формировать описание сложного, составного класса, включающего в себя совокупности разнородных признаков. Другими словами, исследовался вопрос, является ли ансамблевая сеть достаточно гибкой системой, способной образовывать в своих подсетях адекватные описания сложных классов. Действительно, в случае идеальной однородной текстурной области все точки этой области

54

Рис. 7. Результаты текстурного распознавания: маленькие, сплошные, черные квадратики – точки, отнесенные сетью к текстурному классу неба (облачного и безоблачного); треугольники – точки текстуры листвы; крестики – граничные точки, содержащие, одновременно, текстуру листвы и неба; квадратные рамки – точки, отнесенные к текстуре земной поверхности. характеризуются одним и тем же набором признаков. Нейронная структура, служащая описанием такой идеальной однородной текстуры в соответствующей подсети ансамблевой сети, состоит из одного единственного нейронного ансамбля, который фиксируется в подсети в процессе обучения столько раз, сколько точек обучающей выборки было задано внутри этой текстурной области. В задаче же распознавания текстуры с неоднородными зрительны-

55

Рис. 8. Результаты текстурного распознавания: маленькие, сплошные, черные квадратики – точки, отнесенные сетью к текстурному классу неба (облачного и безоблачного); треугольники – точки текстуры листвы; крестики – точки, отнесенные к текстурному классу здания; квадратные рамки – точки, отнесенные к текстуре земной поверхности. ми характеристиками, нейронная структура, описывающая такой сложный класс в соответствующей подсети, включает в себя различные семейства ансамблей, каждое из которых представляет свой участок текстурной области, заданной для распознавания.

Примеры экспериментов по текстурному распознаванию приведены на рис. 7–9. На этих рисунках вверху находится исходное изображение, внизу – результаты распознавания сетью

56

Рис. 9. Результаты текстурного распознавания: маленькие, сплошные, черные квадратики – точки, отнесенные сетью к текстурному классу неба (облачного и безоблачного); треугольники – точки текстуры листвы; крестики – точки, отнесенные к текстурному классу здания; квадратные рамки – точки, отнесенные к текстуре земной поверхности. текстурных классов. На рис. 7–9 верхние и нижние изображения находятся во взаимно-координатном соответствии. Результаты распознавания текстурных классов показаны с помощью значков четырех видов, например, область на рис. 7, условно названная поверхностью земли, отмечена квадратными рамками, а области неба на рис. 7–9 (включая облачные и безоблачные участки) маркированы маленькими черными квадратиками.

57

Из рис. 7–9 видно, что сеть допускает не много явных ошибок при распознавании текстурных классов. Однако следует отметить, что для обучения сети в этих экспериментах было использовано различное количество точек обучающей выборки. Например, на рис. 9 для правильного распознавания текстурного класса неба оказалось достаточно всего 20 обучающих точек, а для классов здания и листвы понадобилось значительно больше обучающих точек в каждой из областей (около 70).

Относительно экспериментов, представленных на рис. 7–9 необходимо сделать следующие замечания. Поскольку текстурные классы заданы нечетко, это приводит к значительным затруднени-ям в количественной интерпретации результатов сегментации изображений сетью. Например, на рис. 9 видно, что в правом нижнем углу изображения сеть причислила яркое пятно на дороге к классу небо. Очевидно, это явно ошибочное решение. В то же время границу между травой, растущей на земле, и листвой на этом же рисунке, как объективно, так и субъективно трудно однозначно отнести к одному из заданных четырех текстурных классов. Вследствие этого обстоятельства, в данных экспериментах результаты распознавания количественно не оценивались.

5.4. Обсуждение результатов сегментации текстурных изображений ансамблевой сетью

Эксперименты по распознаванию текстур с неоднородными зрительными характеристиками демонстрируют работоспособность ансамблевой сети с динамическим алгоритмом распознавания и возможность ее использования для решения задачи сегментации текстурных изображений ландшафтного типа. В целом, эксперименты, примеры которых приведены на рис. 7–9, позволяют сделать заключение, что ансамблевая сеть является достаточно гибкой системой, способной успешно формировать адекватные описания довольно сложных классов в своих подсетях из совокупности разнородных признаков.

В то же время эксперименты показывают и наличие явных ошибок классификации среди точек тестовой выборки, например, на рис. 9. Стоит отметить, что значительная доля ошибок сети относится к таким участкам изображения, для текстурной

58

классификации которых человек использует контекстную информацию. Примером может служить рис. 7, на котором чистое небо имеет точно такие же зрительные характеристики, как и земля, покрытая светлой пылью. В экспериментах, демонстри-руемых на рис. 7–9, обучающие и тестовые выборки были расположены на одних и тех же изображениях. В случаях, когда эти выборки помещались на разных изображениях, количество ошибок значительно возрастало.

Как упоминалось выше, Y координата центра текстурного окна служит одним из 17 признаков, характеризующих текстурные классы в экспериментах по сегментации изображений ансамблевой сетью. Поскольку это признак не текстурного типа, то применение Y координаты в качестве признака иллюстрирует возможность привлечения дополнительной информации (контекста) для облегчения процесса решения задачи ансамблевой сетью. Причем, использование этой дополнительной информации не требует внесения никаких изменений в архитектуру сети.

59

Глава 6 ТОРМОЗНЫЕ СВЯЗИ МЕЖДУ ПОДСЕТЯМИ АНСАМБЛЕВОЙ СЕТИ

Архитектура ансамблевой нейронной сети, разделенной на отдельные подсети, предоставляет богатые возможности для реализации в ней различных функциональных механизмов. В предыдущих главах все внимание было направлено на процессы, протекающие внутри подсетей ансамблевой сети, в частности, на процедуры первичного обучения и дифференциации, которые выполняются с помощью изменения весов связей между нейронами, принадлежащими одной и той же подсети. Однако между различными подсетями ансамблевой сети также могут быть сформированы межнейронные связи, выполняющие какие-либо полезные функции.

Согласно приведенному выше описанию динамического алгоритма распознавания СУТ, выбирая в каждой итерации фиксированное количество наиболее возбужденных нейронов сети, заставляет все подсети ансамблевой сети конкурировать друг с другом за право иметь в своем составе наибольшее количество активных нейронов. Благодаря этому между подсетями ансамблевой сети, фактически, устанавливаются тормозные взаимоотношения. В данной главе речь пойдет не об организации такого функционально-тормозного взаимодействия между подсетями ансамблевой сети (реализованного посредством СУТ), а о формировании прямых тормозных связей между определенными нейронами различных подсетей.

Хорошо известно, что тормозные связи играют важную роль в информационных процессах, происходящих в мозге, и широко распространены в нем (см., например, Экклз, 1971; Милнер, 1973; Хьюбел, 1990). Несмотря на этот, достоверно установленный факт,

60

тормозные связи довольно редко используются при моделировании нейронных сетей.

Данная глава в значительной степени основана на материале, опубликованном в работе (Goltsev, Wunsch, 1998).

6.1. Отрицательные признаки Вернемся к описанному в главе 3 процессу первичного обучения сети, т.е. к формированию нейронных ансамблей в подсетях ансамблевой сети. Как упоминалось выше, в ходе первичного обучения сети, в каждой из ее подсетей образуется некоторая объединенная нейронная структура (семейство ансамблей). Совокупность межнейронных связей объединенной нейронной структуры является описанием соответствующего класса и используется для выявления подсети-победителя в процессе распознавания. При этом указанная совокупность связей подсети свидетельствует в пользу принадлежности распознаваемого образца классу, представляемому данной подсетью.

Совокупность нейронов, выявленная для отдельной подсети в результате выполнения описанного ниже набора операций, может, в некоторых случаях, служить полезным набором признаков, облегчающим процесс распознавания в ансамблевой сети. В отличие от предыдущего случая, каждый нейрон этой совокупности, рассматриваемый в качестве признака, указывает не на принадлежность классу, а об отсутствии такой принадлежности. Факт выявления каждого такого признака из распознаваемого образца свидетельствует, что образец не должен быть классифицирован как принадлежащий определенному классу и, поэтому, каждый нейрон данной совокупности называется отрицательным признаком.

Выделение отрицательных признаков в ансамблевой сети начинается только после того, как в сети завершается процедура формирования всех нейронных ансамблей. Для описания процесса выделения отрицательных признаков необходимо ввести в рассмотрение дополнительные векторы, которые могут быть сформированы параллельно процессу первичного обучения сети.

Введем M двоичных векторов Cim (m = 1, 2, 3, ..., M; i = 1, 2, 3,

..., N), каждый из которых предназначен для аккумулирования всех нейронных кодов признаков, выделенных из образцов соответствующего класса. В начале обучения все компоненты

61

векторов Cm имеют нулевые значения. Кодированные значения признаков, выделенные из всех образцов обучающей выборки m-го класса, фиксируются в двоичном векторе Cm согласно формуле

где mD – это количество всех образцов обучающей выборки m-го класса, использованных для обучения сети.

Таким образом, каждый вектор Cm содержит совокупность всех признаков m-го класса и, следовательно, представляет этот класс в многомерном пространстве признаков. В главе 9 (параграф 9.5, рис. 22) дается представление о форме областей, которые классы букв A и B занимают в пространстве признаков, выделяемых из всех образцов обучающей выборки в рамках экспериментов, описанных в этом параграфе.

После завершения процедуры фиксации в векторах Cm всех признаков, выделенных из всех образцов обучающей выборки, начинается процесс формирования отрицательных признаков. В ходе этого процесса все образцы обучающей выборки опять анализируются друг за другом. Рассмотрим процесс выделения отрицательных признаков на примере x-го образца из обучающей выборки m-го класса, т.е. образца с номером mx.

Для описания процедуры формирования отрицательных признаков введем M новых двоичных векторов Si

m, z (m = 1, 2, 3, ..., M; z = 1, 2, 3, ..., M; i = 1, 2, 3, ..., N). В отличие от векторов Cm, рассмотренных выше, каждый вектор Sm, z предназначен для представления некоторой разницы нейронных кодов признаков, характеризующей не одну, а две подсети ансамблевой сети. Вектор Sm, z, относящийся к паре подсетей m и z, вычисляются по формуле

Для каждого рассматриваемого образца обучающей выборки с

номером mx, векторы Sm, z(mx) вычисляются по формуле (10) для всех пар классов m, z: m, 1, m, 2, m, 3, …, m, z ≠ m, …, m, M, т.е. для (M–1) векторов Sm, z.

Рассмотрим содержательный смысл операций, выраженных формулой (10). Вектор G(mx) содержит нейронный код признаков, выделенных из x-го образца m-го класса обучающей выборки. В

(9),)()3()2()1( ... Dmimimimimi GGGGC ∨∨∨∨=

(10) )()( , .zixmixmzm

i CGS ¬∧=

62

векторе Cz представлен совокупный нейронный код всех признаков, выделенных из всех образцов обучающей выборки z-го класса. Тогда согласно формуле (10) единичные компоненты вектора Sm, z(mx) представляют нейронный код тех значений признаков, которые присутствуют в рассматриваемом образце m-го класса обучающей выборки, но отсутствуют во всех образцах z-го класса обучающей выборки. Поэтому значения признаков, соответствующие единичным компонентам вектора Sm, z(mx), можно считать особыми признаками, которые могут служить индикаторами, указывающими, что данный образец не принадлежит к z-му классу. Выше такие признаки названы отрицательными.

Значения признаков, соответствующие единичным компонентам вектора Sm, z(mx) представлены определенными нейронами m-й подсети ансамблевой сети. Следовательно, формула (10) описывает процедуру выявления нейронов m-й подсети, представляющих отрицательные признаки для пары подсетей m, z. В данной работе отрицательные признаки используются в процессе распознавания для тормозного воздействия нейронов m-й подсети ансамблевой сети на нейроны ее z-й подсети. Тормозное воздействие между нейронами разных подсетей ансамблевой сети передается через тормозные связи, обучаемые согласно представляемому ниже алгоритму.

6.2. Обучение тормозных связей Как было упомянуто выше, в ходе процесса выделения отрицательных признаков все образцы обучающей выборки вновь последовательно анализируются друг за другом. Каждый шаг выделения отрицательных признаков в соответствующем векторе Sm, z согласно формуле (10) сопровождается операцией обучения тормозных связей между нейронами подсетей m и z ансамблевой сети. Для каждого анализируемого образца обучающей выборки, обучение тормозных связей, направленных от нейронов, представленных в одном из (M–1) векторов S к нейронам других подсетей ансамблевой сети, производится в соответствии с описанными ниже процедурами. Рассмотрим эти процедуры на примере mx-го образца для пары классов m, z.

Обозначим Tijm z(k) – двумерная аналоговая матрица весов

тормозных связей, направленных от нейронов подсети m

63

(индексируемых индексом i) к нейронам подсети z (индексируемых индексом j); пусть эта матрица была ранее сформирована в результате k шагов обучения. Алгоритм модификации тормозных связей заключается в том, что в результате (k+1)-го шага обучения веса всех связей, направленных от нейронов, представленных в векторе Sm, z(mx), ко всем нейронам подсети z, увеличиваются на некоторую малую величину ∆T. Этот алгоритм может быть описан следующей формулой:

для всех значений i = 1, 2, 3, ..., N и j = 1, 2, 3, ..., N.

Необходимо отметить, что в работе (Goltsev, Wunsch, 1998) описана более сложная процедура для обучения тормозных связей. Эта процедура отличается от изложенной выше тем, что на каждом шаге обучения изменяет веса не всех тормозных связей, направленных от нейронов, представленных в векторе Sm, z(mx), ко всем нейронам подсети z, а только некоторых из них. В процедуре используется СУТ для ограничения множества нейронов, к которым проторяются тормозные связи, изменяемые в ходе обучения. Однако эксперименты, выполненные после публикации указанной работы, показали, что такое ограничение множества тормозных связей, модифицируемых за один шаг обучения, не изменяет, сколько-нибудь существенно, результаты распознавания, демонстрируемые ансамблевой сетью. Это послужило основанием для представления здесь более простого (но не менее эффективного) алгоритма обучения тормозных связей.

Отметим еще раз, что формула (10) описывает только один шаг обучения тормозных связей. При рассмотрении каждого образца обучающей выборки mx, выполняется (M–1) таких шагов обучения (для каждой пары подсетей m, z), в результате выполнения которых производится модификация тормозных связей, направленных от подсети m ко всем остальным (M–1) подсетям ансамблевой сети. Аналогичным образом рассматриваются все образцы обучающей выборки друг за другом, для каждого из которых также выполняются те же (M–1) шагов обучения тормозных связей.

На рис. 10 представлена структура тормозных связей, сформированная между разными подсетями ансамблевой сети в результате выполнения описанного выше процесса обучения.

(11) ,)( ,)( ,,)1( ,

, xmzmikzm

jikzmji ∆T STT +=+

64

Рис. 10. Блок-схема взаимодействия между подсетями ансамблевой сети, включающая тормозные связи между нейронами различных подсетей.

В процессе распознавания тестового образца обученная матрица тормозных связей ис-пользуется совместно с матри-цей возбуждающих связей для вычисления входных воздей-ствий на нейроны ансамблевой сети согласно следующей формуле:

Эта формула является, очевидно, модификацией формулы (5). Она описывает произвольный момент времени t (t > 0). Для первого пересчета сети (при t = 0) векторы P в формуле (12) следует заменить векторами G, поскольку нейронная активность каждой подсети при t = 0 представляет собой паттерн начальной нейронной активности G.

6.3. Ограниченность применения отрицательных признаков

Формулировка задачи для ансамблевой сети подразумевает, что необходимым условием успешного решения задачи ансамблевой сетью является полнота обучающей выборки для каждого распознаваемого класса. Иными словами, образцы обучающей выборки каждого класса должны покрывать все типичные позиции (значения признаков) этого класса. Смысл данного требования

)12(1

. ,

,)( 1.

1 ,)()1( - ∑∑∑

===

+ =N

j

mzijt

zj

M

z

N

j

mijt

mjtm

i TPWPE

65

ясен. Ансамблевая сеть должна быть обучена на все значения признаков и их комбинаций, которые могут встретиться в этом классе. Это означает, что в результате выполнения процедур обучения и дифференциации в ансамблевой сети, внутри каждой ее подсети должна быть сформирована адекватная структура связей, служащая описанием соответствующего класса. Причем, такое описание, чтобы быть адекватным, должно, очевидно, включать в себя почти все значения признаков и их комбинаций, которые могут встретиться в тестовых образцах данного класса. Однако ансамблевая сеть способна довольно успешно решать задачу распознавания тестовой выборки и в случаях неполной или непредставительной обучающей выборки. Естественно, ухудшение качества обучающей выборки приводит к росту числа ошибок распознавания тестовой выборки.

Использование тормозных связей между подсетями ансамблевой сети возможно только при условии значительного ужесточения упомянутого выше требования, которое для сети с тормозными связями формулируется в следующем виде. Обучающая выборка каждого класса должна содержать полную совокупность всех возможных значений признаков этого класса. Невыполнение этого требования, т.е. неполнота совокупностей признаков, выделенных из обучающей выборки одного или нескольких классов, может приводить к появлению ложных отрицательных признаков.

Рассмотрим процесс образования ложных отрицательных признаков в ансамблевой сети на примере классов m, z. Пусть обучающая выборка класса z неполная. Тогда, множество значений признаков, которое в действительности описывает этот класс, (обозначим это множество вектором Ĉz) превосходит тот набор значений признаков, который был выделен из обучающей выборки z-го класса и фиксирован в векторе Cz. В этом случае некоторые из отрицательных признаков, образованные в соответствии с описанным выше алгоритмом, окажутся ложными. Обозначим вектором Šm, z ложные отрицательные признаки, сформированные в подсети m по отношению к подсети z; они вычисляются по формуле

(13) , .zi

zi

mi

zmi CCCS

)(∧¬∧=

66

Допустим, что какие-то значения признаков, отсутствующие в обучающей выборке класса m, были выделены из x-го тестового образца, принадлежащего, на самом деле, классу z, и который был предъявлен для распознавания ансамблевой сети. Допустим, также, что эти же значения признаков присутствуют в обучающей выборке класса m, и, следовательно, фиксированы в векторе Cm. Тогда в процессе распознавания этого тестового образца тормозные связи отрицательных признаков Šm, z, проторенные от подсети m к подсети z, должны будут тормозить нейроны z-й подсети. Обозначим Šm, z(x) – ложные отрицательные признаки, выделенные из x-го тестового образца. Они выражаются формулой

Таким образом, тормозные связи, направленные от ложных отрицательных признаков Šm, z к нейронам подсети z, существенно уменьшают вероятность того, что тестовые образцы класса z, содержащие эти признаки, будут правильно распознаны ансамблевой сетью.

Поскольку практически никогда нельзя быть уверенным в том, что все типичные позиции всех распознаваемых классов полностью покрыты обучающей выборкой, то возникает необходимость в уменьшении вероятности появления ложных отрицательных признаков. Очевидным способом уменьшения этой вероятности является расширение пространства, занимаемого каждым классом в многомерном пространстве признаков. В случае применения метода "поплавкового" кодирования входных данных, расширение пространства, занимаемого каждым классом в многомерном пространстве признаков, естественно происходит при увеличении размеров нейронного поплавка. Кроме того, дополнительного расширения пространства признаков можно добиться посредством выполнения операции расширения единичных компонент векторов G(mx) и Cz, используемых в формуле (15). (Эта операция является одномерной версией операции расширения единичных компонент произвольной двоичной матрицы, описанной в работе (Goltsev, 1992)). Очевидно, операция расширения единичных компонент векторов G(mx) и Cz должна выполняться только в пределах соответствующих нейронных колонок.

Искусственное увеличение размеров пространства признаков уменьшает общее количество тормозных связей в ансамблевой сети

(14) ,)()( , .zmixixzm

i SGS((

∧=

67

и, следовательно, вероятность появления в ней ложных отрицательных признаков. Однако такое расширение не должно быть слишком большим, поскольку в этом случае теряется смысл введения тормозных связей между подсетями ансамблевой сети. Оптимальный размер расширения зависит от конкретной задачи и может быть приближенно определен из априорной оценки полноты обучающей выборки.

6.4. Экспериментальная проверка результатов введения тормозных связей между подсетями ансамблевой сети

Результативность введения тормозных связей между подсетями ансамблевой сети была проверена на той же задаче сегментации текстурных изображений, которая была описана в главе 5. Компьютерная программа, моделирующая ансамблевую сеть с динамическим алгоритмом распознавания, была дополнена процедурами, рассмотренными в предыдущих параграфах настоящей главы. В экспериментах были использованы те же текстурные изображения, которые требовалось сегментировать на те же четыре текстурных класса (см. параграф 5.3). Это было сделано для сопоставления результатов сегментации до и после введения тормозных связей в сеть.

В этих экспериментах использовались те же текстурные признаки и та же обучающая выборка, состоящая из 20–70 точек, помещенных в наиболее характерные места каждого текстурного класса. Точки тестовой выборки располагались в узлах квадратной сетки, которая покрывала все изображение, не пересекаясь ни с одной точкой обучающей выборки.

Различие между экспериментами, представленными на рис. 11–13 и описанными в предыдущей главе, состояла только в том, что после завершения процессов обучения и дифференциации сети, выполнялись еще и процедуры по формированию и обучению тормозных связей между четырьмя подсетями ансамблевой сети.

Результаты обработки текстурных изображений ансамблевой сетью с тормозными связями между ее подсетями показаны на рис. 11–13. Здесь, как и на рис. 7–9, нижние части каждого из рисунков находятся во взаимно-координатном соответствии с верхними частями.

68

Рис. 11. Результаты текстурного распознавания: маленькие, сплошные, черные квадратики – точки, отнесенные сетью к текстурному классу неба (облачного и безоблачного); треугольники – точки текстуры листвы; крестики – граничные точки, содержащие, одновременно, текстуру листвы и неба; квадратные рамки – точки, отнесенные к текстуре земной поверхности.

Из попарного сравнения рис. 11–13 и 7–9 видно, что введение тормозных связей в сеть приводит к исправлению явных ошибок сегментации, допущенных ансамблевой сетью без тормозных связей.

На рис. 14 приведены гистограммы, иллюстрирующие эффект от использования тормозных связей между подсетями ансамблевой сети. Эти гистограммы характеризуют воздействия на входах

69

Рис. 12. Результаты текстурного распознавания: маленькие, сплошные, черные квадратики – точки, отнесенные сетью к текстурному классу неба (облачного и безоблачного); треугольники – точки текстуры листвы; крестики – точки, отнесенные к текстурному классу здания; квадратные рамки – точки, отнесенные к текстуре земной поверхности. нейронов всех четырех подсетей ансамблевой сети в процессе распознавания одной из точек ландшафтного изображения, показанного на рис. 11,а. Эта точка относится к текстурному классу неба.

На гистограммах рис. 14 по оси абсцисс отложен уровень воз-действий на входы нейронов, а по оси ординат (высотой верти-кального столбика) изображено количество нейронов, имеющих

70

Рис. 13. Результаты текстурного распознавания: маленькие, сплошные, черные квадратики – точки, отнесенные сетью к текстурному классу неба (облачного и безоблачного); треугольники – точки текстуры листвы; крестики – точки, отнесенные к текстурному классу здания; квадратные рамки – точки, отнесенные к текстуре земной поверхности. соответствующий уровень входного воздействия. На рис. 14,а представлены нейронные гистограммы всех четырех подсетей ансамблевой сети после первого пересчета сети в отсутствие тормозных связей. На рис. 14,б приведены те же гистограммы, вычисленные с включенными тормозными связями между подсетями ансамблевой сети. Вертикальная линия, пересекающая все гистограммы на рис. 14, изображает порог L, посредством

71

Рис. 14. Гистограммы воздействий на входах нейронов четырех подсетей ансамблевой сети, фиксированные в процессе распознавания одной из точек изображения, представленного на рис. 11. которого СУТ выделяет U наиболее возбужденных нейронов сети, независимо от их принадлежности к разным подсетям ансамблевой сети.

При сравнении рис. 14,а,б видно, что отрицательные признаки, сформированные в сети в процессе обучения тормозных связей между всеми четырьмя подсетями ансамблевой сети, значительно изменяют вид трех верхних гистограмм на рис. 14,б, уменьшая в целом уровни воздействий на входах нейронов в этих подсетях. В то же время, включение тормозных связей не приводит к изменению вида самой нижней гистограммы, поскольку рассматриваемая точка изображения относится именно к текстурному классу неба, представленному данной подсетью.

В заключение данной главы следует еще раз повторить, что рассмотренные тормозные связи являются эффективным средством повышения распознающей способности ансамблевой сети только при условии наличия достаточно полной обучающей выборки. Однако, даже и при соблюдении этого условия, процедура

72

обучения тормозных связей между подсетями ансамблевой сети может оказаться бесполезной, если между векторами Cm и Cz отсутствуют какие-либо различия, т.е. если, используемый для работы сети набор признаков, просто не позволяет сформировать в сети отрицательные признаки. Поэтому, одна только структура тормозных связей, сформированная между подсетями ансамблевой сети в соответствии с описанным выше алгоритмом, совсем не гарантирует правильного распознавания всех тестовых образцов, предъявленных сети для распознавания. Тормозные связи могут оказаться полезными для распознавания только части предъявленных образцов и, следовательно, должны использоваться только в качестве дополнения к основному механизму распознавания в ансамблевой сети, который базируется на описаниях распознаваемых классов, сформированных с помощью межнейронных связей внутри подсетей ансамблевой сети.

73

Глава 7 АНСАМБЛЕВАЯ СЕТЬ СО СТАТИЧЕСКИМ АЛГОРИТМОМ РАСПОЗНАВАНИЯ

Поскольку центральное место в работе ансамблевой сети с динамическим алгоритмом распознавания занимает СУТ, то сеть с этим алгоритмом распознавания (см. главу 4) представляет собой настолько сложное устройство, насколько им является СУТ. Однако, архитектура ансамблевой сети, разделенной на подсети, позволяет применить для процесса распознавания гораздо более простые, но не менее эффективные алгоритмы, не требующие участия СУТ. Алгоритмы распознавания ансамблевой сети, рассмотренные в этой главе, объединены названием статического алгоритма, поскольку фактически представляют собой семейство очень близких модификаций одного и того же алгоритма. Для различения этих модификаций кроме термина статический алгоритм используются термины упрощенный динамический алгоритм и упрощенный статический алгоритм. Упрощенный статический алгоритм распознавания описан в работах (Goltsev, 2001; Goltsev, Húsek, 2002; Goltsev, 2004; Goltsev, Wunsch, 2004).

7.1. Статический алгоритм распознавания В следующем ниже описании статического алгоритма распознавания подразумевается, что процедура распознавания должна выполняться в обученной ансамблевой сети, т.е. в сети в которой уже был завершен процесс ее первичного обучения (глава 3) и, возможно, процесс дифференциации (параграф 4.2 и глава 10).

В ансамблевой сети со статическим алгоритмом распознавания текущее состояние каждого нейрона характеризуется одной аналоговой неотрицательной величиной – уровнем активности

74

нейрона. Выходная характеристика каждого нейрона линейная и беспороговая, поэтому воздействие на входе нейрона передается на его выход без каких-либо изменений. Таким образом, нейроны рассматриваемой модели являются, фактически, простыми линейными пороговыми сумматорами. По аналогии с главой 4 представим входы всех N нейронов m-й подсети рассматриваемой ансамблевой сети аналоговым вектором Pm.

Пусть ансамблевой сети предъявлено для распознавания некоторое тестовое изображение с номером x (x-й образец тестовой выборки). Процесс распознавания начинается с выделения признаков из этого изображения. Набор признаков, выделенный из распознаваемого изображения, представляется в сети в виде паттерна начальной нейронной активности. Напомним, что паттерн начальной нейронной активности представляется распределением единичных компонент двоичного вектора G(x) (см. главу 3). Активация паттерна G(x) подразумевает, что все нейроны, входящие в состав этого паттерна, приобретают одинаковый уровень активности; величина этого уровня является произвольной ненулевой константой, которая принимается равной единице.

Как и в динамическом алгоритме распознавания, паттерн начальной нейронной активности активируется одновременно во всех подсетях ансамблевой сети для создания одинаковых начальных условий для проведения соревнования между подсетями сети, которое составляет сущность процесса распознавания.

Начальная нейронная активность распространяется (только один раз) через все обученные внутриансамблевые связи внутри каждой из подсетей ансамблевой сети. В результате этого в сети формируется некоторое распределение вторичной нейронной активности, представленное вектором P(x). Вектор вторичной активности нейронов m-й подсети Pm(x) вычисляется из уравнения

Единичная пороговая функция 1(x) вводится в это уравнение

для превращения его правой части в неотрицательное число, когда сеть содержит большое количество связей с отрицательными весами.

В процедуре распознавания участвуют также M аналоговых R-нейронов, каждый из которых представляет собой ярлык (метку)

∑=

=N

i

mjixixm

j1

(15),)()( . )( WG1P

75

одного из распознаваемых классов, т.е. является представителем одной, определенной подсети ансамблевой сети. R-нейроны имеют такие же характеристики, как и все остальные нейроны сети, и отличаются от них только своим функциональным назначением.

В R-нейроне, представляющем m-ю подсеть (в Rm-нейроне), суммируется вторичная выходная активность всех нейронов m-й подсети. Для решения этой задачи служит регулярная структура необучаемых связей, которая состоит из связей с единичными весами, направленных от всех нейронов m-й подсети к Rm-нейрону.

Введем аналоговый вектор R из M элементов для представления выходной активности всех R-нейронов сети. Компоненты вектора R вычисляются по формуле

После подстановки (15) в (16) эта формула приобретает вид

Заключительная фаза процедуры распознавания состоит в

нахождении R-нейрона, имеющего максимальный уровень активности. R-нейрон с максимальной активностью определяет победителя соревнования между подсетями, классифицируя тем самым тестовое изображение. Вычисление максимального уровня активности L среди M R-нейронов сети выражается формулой

R-нейрон с уровнем активности L определяет подсеть-

победитель и, соответственно, класс тестового изображения, предъявленного ансамблевой сети для распознавания.

Очевидно, рассмотренный статический алгоритм распознавания может работать как в биологических нейронных сетях, так и в компьютерных моделях нейронных сетей. Для этого алгоритма безразлично, являются ли веса связей между нейронами двоичными или аналоговыми.

∑=

=N

ix

mixm

1 (16) ).()( PR

∑∑==

=N

j

mijxj

N

ixm

1(17) ,

1)( .)( )( WG1R

(18) . )(1

)( MAX xmM

mxL R

==

76

Следует отметить, что описание динамического алгоритма распознавания, приведенное в параграфе 4.1, является несколько сокращенным в том смысле, что в заключительной фазе работы оба алгоритма и динамический, и статический функционируют практически одинаково, с использованием введенных здесь R-нейронов.

7.2. Упрощенный динамический алгоритм распознавания

В соответствии с динамическим алгоритмом распознавания, подсеть-победитель определяется в ансамблевой сети в результате нескольких последовательных операций распространения нейронной активности по сети – итераций (см. параграф 4.1). Эта процедура может быть редуцирована до одной итерации. Можно описать данный алгоритм распознавания также как статический алгоритм, дополненный пороговой операцией, выполняемой СУТ. Ниже, кратко описывается механизм работы такого смешанного алгоритма.

В процессе распознавания паттерн начальной нейронной активности активируется одновременно во всех подсетях ансамблевой сети. Начальная нейронная активность распространяется только один раз через все связи внутри каждой из подсетей ансамблевой сети, вследствие чего в сети формируется некоторое распределение вторичной нейронной активности. СУТ выбирает заданное количество самых возбужденных нейронов сети независимо от их принадлежности к разным подсетям. Для определения подсети-победителя в R-нейронах суммируются уровни активности только выбранных СУТ нейронов.

Очевидно, что данный алгоритм распознавания должен быть отнесен к классу статических, а не к динамических алгоритмов.

77

7.3. Упрощенный статический алгоритм распознавания

Описанный в параграфе 7.1 статический алгоритм распознавания может быть упрощен следующим образом. Вернемся к уравнению (15). Из этого уравнения следует, что в процессе распознавания должны быть вычислены уровни активности всех нейронов сети с использованием полной матрицы связей Wm для каждой из M подсетей ансамблевой сети. Однако можно предположить, что нейроны, находящиеся в составе паттернов начальной нейронной активности в различных подсетях ансамблевой сети, должны иметь доминирующее влияние на результаты соревнования между подсетями. В соответствии с этим предположением в упрощенном статическом алгоритме распознавания учитывается вторичная активность только таких нейронов. Формально данная модификация статического алгоритма распознавания выражается введением еще одного двоичного множителя G в формулу (15):

В этом уравнении сомножитель Gj(x) (находящийся вне знака суммы) выполняет операцию обнуления выходов всех тех нейронов сети, которые не принадлежат паттернам начальной нейронной активности. Из уравнения (19) следует, что в процессе распознавания должна вычисляться активность только тех нейронов сети, которые входят в состав паттернов начальной нейронной активности. Такое сокращение числа нейронов сети, требующих пересчета, уменьшает вычислительные затраты компьютерной модели. Ограничение количества нейронов, участвующих в процедуре распознавания, должно, конечно, осуществляться в ансамблевой сети с помощью некоторой регулярной структуры связей, наложенной на структуру обучаемых внутриансамблевых связей. Разработка такой регулярной нейронной структуры представляет собой отдельную задачу, которая не рассматривалась в данной книге.

В компьютерных моделях ансамблевых сетей, созданных для экспериментального исследования ансамблевых сетей на задаче распознавания рукописных символов (см. ниже), была реализована

∑=

=N

i

mjixixjxm

j1

(19),)()()( . )( WG1GP

78

еще более упрощенная версия статического алгоритма распознавания. Суть этой версии выражается следующим образом. Сумма весов связей между теми нейронами, которые составляют паттерн начальной нейронной активности, подсчитывается компьютерной программой раздельно для каждой подсети ансамблевой сети. Та подсеть, которая имеет наибольшую сумму весов таких связей, становится победителем.

Данный алгоритм очень близок, но, все же, не совсем эквивалентен алгоритму, описанному выше в этом параграфе. Дело в том, что в компьютерном алгоритме отсутствует пороговая операция, превращающая суммы весов связей между нейронами, составляющими паттерны начальной нейронной активности в подсетях ансамблевой сети, во вторичную нейронную активность. Пока все связи в сети имеют положительные веса, оба алгоритма работают одинаково. Однако после образования в сети связей с отрицательными весами (в результате выполнения процедуры дифференциации), алгоритмы перестают быть эквивалентными.

В соответствии с формулами, приведенными в главе 3, в процессе первичного обучения квадратная матрица связей Wm становится симметричной. Процедура дифференциации ансамбле-вой сети с упрощенным статическим алгоритмом, описанная ниже в главе 10, также не нарушает симметричности этой матрицы (см. уравнение (28) в параграфе 10.2). С учетом этих фактов формула (17) для упрощенного статического алгоритма распознавания, реализованного в компьютерных моделях, может быть переписана в следующем виде:

Упрощенному статическому алгоритму распознавания в

ансамблевой сети с аналоговыми весами связей можно дать следующую содержательную интерпретацию. Каждая связь между двумя нейронами ансамбля, сформированного в какой-либо подсети ансамблевой сети, представляет определенную пару признаков, выделенных из соответствующего образца обучающей выборки. Все связи нейронного ансамбля фиксируют все пары признаков, выделенные из этого образца. После завершения обучения ансамблевой сети с использованием всего множества образцов обучающей выборки вес каждой аналоговой связи между

∑∑==

=N

ij

mijxjxi

N

ixm (20) . ,

1)( )()(2 WGGR

79

двумя нейронами подсети определяет: сколько раз данное сочетание пары признаков было обнаружено у образцов данного класса, доступных для обучения подсети. В процессе распознавания в каждой подсети суммируются веса связей, соединяющие друг с другом все пары нейронов паттерна начальной нейронной активности этой подсети. В результате, выходная активность соответствующего R-нейрона представляет собой суммарное количество сочетаний таких пар признаков данного класса (принадлежащих образцу, предъявленному для распознавания), которые были выделены из всех образцов обучающей выборки этого класса в процессе обучения сети. Таким образом, классификация образца, предъявленного для распознавания, производится по критерию максимального количественного соответствия пар признаков, выделенных из этого образца, с парами признаков, фиксированных в различных подсетях ансамблевой сети в процессе обучения.

7.4. Сравнение алгоритмов распознавания Работоспособность алгоритмов распознавания, описанных в данной книге, проверялась в экспериментах на задаче сегментации текстурных изображений и/или на задаче распознавания рукописных символов. При этом использовались компьютерные модели ансамблевых сетей как с двоичными, так и с аналоговыми связями. Одной из целей экспериментов было выяснение, какой из алгоритмов обеспечивает больший процент распознавания для ансамблевой сети. В экспериментах сравнивались динамический алгоритм, алгоритм на основе метода ближайшего соседа (см. приложение А) и модификации статического алгоритма. Эти (сравнительно немногочисленные) эксперименты дали противоречивые результаты. В одних случаях один алгоритм показывал больший процент распознавания, в других – другой. К сожалению, этот вопрос не был исследован досконально. Поскольку проведенные эксперименты не выявили подавляющего преимущества одного из алгоритмов, то для исследования свойств ансамблевой сети на задаче распознавания рукописных символов был выбран алгоритм, требующий наименьших вычислительных и временных затрат при компьютерном моделировании, а именно,

80

упрощенный статический алгоритм распознавания, описываемый формулой (20).

Несомненно, что основным критерием при выборе алгоритма распознавания для ансамблевой сети должна быть его способность обеспечивать сети более высокий процент распознавания. Тем не менее, простота и легкость реализации алгоритма также является его немаловажным достоинством. В этом смысле статический алгоритм распознавания (все его версии) имеет следующие преимущества по сравнению с динамическим алгоритмом.

1. Процесс распознавания в ансамблевой сети со статическим алгоритмом распознавания осуществляется в результате однократного распространения активности по сети, т.е. одной итерации. Динамический алгоритм требует от двух до пятнадцати таких итераций для определения результата (подсети-победителя).

2. В ансамблевой сети с динамическим алгоритмом распознавания большая доля нагрузки по обработке информации лежит на СУТ. Действительная сложность ансамблевой сети с СУТ явно не видна вследствие того, что в компьютерной модели СУТ реализована с помощью простой вычислительной процедуры. Однако реализация СУТ в виде нейросетевой структуры, очевидно, возможна только за счет значительного увеличения количества связей и нейронов сети, которое, в свою очередь, несомненно, должно привести к существенному усложнению соответствующей компьютерной программы и, следовательно, к значительному уменьшению ее быстродействия. Поэтому, тот факт, что ансамблевая сеть со статическим алгоритмом распознавания работает без регулятора нейронной активности, является очень важным ее преимуществом. Благодаря этому обстоятельству ансамблевая сеть становится сравнительно простым устройством, значительно уменьшается вычислительная стоимость ее компьютерной модели и увеличивается быстродействие.

3. Динамический алгоритм требует, чтобы все ансамбли сети состояли из одинакового количества нейронов. В отличие от этого, в ансамблевой сети со статическим алгоритмом распознавания могут присутствовать нейронные ансамбли разного размера. Работа статического алгоритма распознавания с ансамблями разного размера описана в параграфах 10.9 и 10.10.

В пользу динамического алгоритма распознавания можно привести только один аргумент. В нем можно усмотреть больше подобия с процессами, протекающими в биологических нейронных сетях.

81

Перечисленные выше преимущества статического алгоритма распознавания явились основанием для использования именно этого алгоритма в ходе экспериментального исследования ансамблевых сетей, описанного в последующих главах книги.

В заключение данной главы стоит высказать предположение о возможности разработки новых алгоритмов распознавания для ансамблевой сети в будущем и подчеркнуть тот факт, что вопрос об оптимальном выборе алгоритма распознавания для ансамблевой сети еще ждет своего решения.

82

Глава 8 АРХИТЕКТУРА АНСАМБЛЕВЫХ СЕТЕЙ

Отличительной особенностью ансамблевой нейронной сети, исследуемой в данной работе, является ее искусственное разделение на несколько подсетей, каждая из которых служит для представления только одного распознаваемого класса. Таким образом, количество подсетей ансамблевой сети равно числу классов, для распознавания которых предназначена сеть. Из этой структурной особенности вытекают многие свойства ансамблевой сети, отличающие ее, от нейронных сетей других типов.

Рассматриваемый тип нейронной архитектуры несколько необычен. Преимущества ансамблевой нейронной сети, разделенной на отдельные подсети, состоят в простоте, точности и ясности процесса ее функционирования. Очевидным недостатком является необходимость пропорционального увеличения количества нейронов сети, при увеличении числа распознаваемых классов. На первый взгляд может показаться, что многократное дублирование нейронов сети не имеет смысла. Чтобы убедиться, что это не так, необходимо рассмотреть аргументы в пользу разделения сети на подсети.

8.1. Разделение ансамблевой сети на подсети

Нейронные ансамбли, формируемые внутри каждой подсети, пересекаются друг с другом. В результате формирования множества пересекающихся ансамблей внутри каждой подсети ансамблевой сети, в каждой из них образуется некоторая объединенная нейронная структура (семейство пересекающихся

83

ансамблей), которая является некоторым описанием соответствую-щего класса. Поскольку семейства нейронных ансамблей, описывающие разные классы, расположены в различных подсетях, то эти семейства не имеют ни одного общего нейрона, несмотря на то, что нейроны, составляющие эти семейства, представляют одни и те же значения признаков. Иными словами, вследствие разделения сети на отдельные подсети описания разных классов в ансамблевой сети совсем не имеют пересечений, несмотря на существование очень больших пересечений классов в пространстве признаков.

Ансамблевая сеть приобретает два важных и полезных свойства благодаря ее разделению на подсети. Одним из них является способность ансамблевой сети обобщать описание каждого класса раздельно внутри соответствующей подсети. Это свойство ансамблевой сети будет подробно рассмотрено ниже в главе 9. Еще одно полезное свойство ансамблевой сети, разделенной на подсети, заключается в ее способности строить сложные многомерные границы областей классов в пространстве признаков. Это свойство рассматривается в данной главе на примере решения задачи, известной под аббревиатурой XOR.

Стоит отметить, что на первый взгляд может показаться, что ансамблевая сеть, разделенная на подсети, может быть сведена к простому линейному персептрону с прямыми связями. Поэтому, еще одной целью анализа задачи XOR в этой главе является демонстрация ложности этого впечатления.

8.2. Ансамблевая сеть для задачи XOR Задача XOR – это классическая проблема разделения образцов на два класса (см., например, Jacobs, 1988; Van Ooyen, Nienhuis, 1992; Van der Smagt, 1994; Zhao, Higuchi, 1996; Magoulas et al., 1997). Суть задачи XOR поясняется на рис. 15,а.

Рассмотрим свойства ансамблевой сети, предназначенной для решения задачи XOR, на следующем простом примере. Пусть обучающая выборка класса 1 состоит из двух точек (обучающих образцов) с координатами x=25; y=25, x=75; y=75. Пусть обучающая выборка класса 2 также состоит из двух точек с координатами x=25; y=75, x=75; y=25. Эти четыре обучающие точки изображены на рис. 15,б.

84

Рис. 15. Задача XOR (а) и четыре точки обучающей выборки (б), использующиеся для формирования нейронных ансамблей в ансамблевой сети.

Процесс первичного обучения в ансамблевой сети описан в главе 3. В соответствии с этим описанием для формирования каждого нейронного ансамбля координаты X и Y каждой точки обучающей выборки представляются активацией двух нейронных поплавков в колонках одной из двух подсети. Соответствующие нейронные ансамбли формируются из нейронов этих поплавков посредством проторения взаимных возбуждающих связей между ними. Поскольку здесь обсуждение задачи XOR проводится только на качественном уровне, то в данном случае несущественно, какие веса связей (двоичные или аналоговые) используются в процессе обучения ансамблевой сети.

Четыре нейронных ансамбля оказываются сформированными в сети после окончания процесса обучения. Два из них находится в подсети 1, представляющей класс 1. Остальные два ансамбля расположены в подсети 2, которая служит для представления класса 2. Все четыре нейронных ансамбля схематически изображены на рис. 16. На этом рисунке нейронные поплавки состоят из трех нейронов.

Ансамблевая сеть, предназначенная для распознавания двух классов задачи XOR, очевидно, должна быть разделена на две подсети. В соответствии с условиями задачи XOR и терминологией данной книги значения координат X и Y являются значениями признаков. Пусть значения этих признаков преобразуются в активацию нейронов сети согласно методу "поплавкового" кодирования, рассмотренному в главе 2. Это означает, что оси X и

85

Рис. 16. Структура связей ансамблевой сети, обученной для решения задачи XOR. Y представляются двумя нейронными колонками в каждой подсети ансамблевой сети, как это показано на рис. 16. На рис. 16,а схематически изображена структура связей подсети 1, представляющей класс 1. На рис. 16,б схематически изображена структура связей подсети 2, представляющей класс 2.

Как видно на рис. 15–16, оба класса задачи XOR описываются одними и теми же значениями признаков. В то же время оба семейства ансамблей, представляющие эти классы в ансамблевой сети, имеют совершенно различные структуры внутриансамблевых связей. Более того, эти различные структуры связей соединяют между собой нейроны, которые принадлежат разным подсетям. Очевидно, что благодаря таким структурным различиям ансамблевая нейронная сеть не испытывает никаких трудностей в процессе решения задачи XOR и других задач этого типа.

Хорошо известно, что простой линейный персептрон с прямыми связями не может быть обучен решению задачи XOR, поскольку для разделения классов в пространстве признаков в этой задаче требуется построение довольно сложных, нелинейных разделяющих поверхностей. Из предыдущего изложения следует, что ансамблевая сеть легко формирует довольно сложные границы областей в пространстве признаков. Конечно, решения задачи XOR совершенно недостаточно для вывода о высокой распознающей способности ансамблевой сети. Поэтому, далее в данной работе

86

ансамблевая сеть тестируется на гораздо более сложных задачах текстурной сегментации естественных изображений и распознавания рукописных символов. Однако данное обсуждение вполне ясно показывает, что разделенная на подсети ансамблевая сеть не сводится к простому линейному персептрону с прямыми связями.

8.3. Неразделенная на подсети ансамблевая сеть, предназначенная для задачи XOR

Рассмотрим ансамблевую нейронную сеть, не разделенную на отдельные подсети. Неразделенная ансамблевая сеть эквивалентна (по количеству нейронов и межнейронных связей) одной подсети разделенной ансамблевой сети. Первичное обучение неразделенной ансамблевой сети, т.е. процесс формирования в ней нейронных ансамблей, производится с помощью того же набора операций, который применяется для обучения ансамблевой сети, разделенной на подсети (см. главу 3).

Рассмотрим неразделенную ансамблевую сеть, предназначен-ную для решения задачи XOR. Пусть обучающая выборка состоит из тех же четырех точек, показанных на рис. 15,б. Все четыре нейронных ансамбля, соответствующие четырем образцам обучающей выборки, формируются в неразделенной сети в процессе ее обучения. Структура связей этих четырех ансамблей приведена на рис. 17.

Из рис. 17 можно сделать следующие (предварительные) выводы. Все четыре нейронных ансамбля, сформированные в сети, сливаются вместе в почти однородную нейронную структуру. Действительно, в этой объединенной ансамблевой структуре не хватает только нескольких связей между нейронами одних и тех же колонок для того, чтобы эта структура стала полносвязным нейронным графом. Отсюда следует, что семейство ансамблей одного класса, сформированное в неразделенной сети, имеет мало структурных отличий от семейства ансамблей другого класса. Следовательно, должны возникнуть трудности при попытке разделить эти семейства в процессе распознавания.

Необходимо отметить, что алгоритмы распознавания, эффективно работающие в ансамблевой сети, разделенной на

87

подсети, не подходят для неразделенной ансамблевой сети. Создание алгоритмов распознавания для неразделенной ансамблевой сети представляет собой отдельную нетривиальную задачу. Решение этой задачи предложено в работах (Rachkovskij, Fedoseyeva, 1990; Рачковский, Федосеева, 1991; Артыкуца и др., 1991; Kussul et al., 1991; Куссуль, 1992). Рис. 17. Структура связей всех четырех нейронных ансамблей, сформированных в неразделенной ансамблевой нейронной сети.

Тот факт, что одни и те же алгоритмы распознавания не способны работать в ансамблевых сетях обоих типов, не позволяет, к сожа-лению, измерить в прямом эксперименте насколько раз-деление ансамблевой сети на подсети повышает ее распоз-нающую способность. Поэтому сравнение ансамблевых сетей обоих типов проводится ниже посредством косвенных оценок, полученных в экспериментах с компьютерными моделями ансамблевых сетей на задаче распознавания рукописных символов (см. главу 9). Эти оценки подтверждают предварительные выводы и утверждения, сделанные выше на основании анализа задачи XOR и рис. 16–17.

8.4. Обсуждение архитектуры ансамблевой сети, разделенной на подсети

В процессе своего развития гипотеза о структурно-функциональной организации нейронных сетей на основе нейронных ансамблей Хебба прошла несколько этапов. Сначала подразумевалось, что исходно нейронная сеть должна быть однородной и ее структурирование осуществляется только в

88

процессе обучения. Предполагалось, также, что можно будет сконструировать (или получить другим способом) характерные признаки, надежно и однозначно описывающие изображения объектов разных классов. Причем, такие характерные признаки разных классов должны были бы значительно отличаться друг от друга и, следовательно, – быть представлены в нейронной сети непересекающимися множествами признаковых нейронов. При этом нейронные ансамбли, образованные из таких признаков и соответствующие объектам разных классов, не должны были бы пересекаться друг с другом. В таких условиях не возникло бы, конечно, никакой необходимости в разделении ансамблевой сети на подсети.

Однако многочисленные эксперименты, выполненные в рамках исследования проблемы распознавания образов, показали, что для практически значимых задач невозможно получить признаки, надежно и однозначно характеризующие различные классы. Эксперименты, описанные в данной работе, свидетельствуют о том же (см., например, параграф 6.3 и рис. 22). Таким образом, в условиях, когда одни и те же признаки встречаются в образцах разных классов, особое значение имеют сочетания между признаками, которые приобретают функциональный смысл признаков второго уровня. Для нейронной сети, решающей реальную задачу в условиях значительного пересечения признаков, характеризующих разные классы, и была предложена архитектура, состоящая из нескольких раздельных подсетей.

8.5. Разделение ансамблевой сети на подсети в процессе ее обучения

В данной книге архитектурная организация ансамблевой сети, состоящей из нескольких отдельных подсетей, рассматривается в форме ее искусственной предорганизации, не подлежащей изменению в процессе обучения. Это делается, прежде всего, для более понятного изложения и в целях исследования свойств ансамблевой сети, разделенной на подсети, на самом простом примере. Очевидно, что нейронная сеть изначально не может иметь такую архитектурную организацию. Нейронная сеть должна превращаться в ансамблевую сеть в процессе обучения, причем

89

разделение сети на подсети должно происходить параллельно процессу формирования ансамблей в ней.

Автоматическое разделение нейронной сети на подсети может быть выполнено на основе растущих нейронных сетей. Теория растущих нейронных сетей была разработана В.П. Гладуном (см., в частности, Гладун, 1994, 1999, 2000). Пример довольно простых алгоритмов, которые решают задачу разделения сети на подсети в процессе ее обучения, описан в работе (Гольцев, 1991).

В данной книге не рассматриваются конкретные алгоритмы обучения, превращающие изначально однородную нейронную сеть в ансамблевую сеть, разделенную на подсети. Дело в том, что автоматическое разделение ансамблевой сети на подсети никак не влияет на эффективность ее работы и не затрагивает алгоритмы и механизмы ее функционирования. Единственное изменение, являющееся результатом разделения сети на подсети в процессе ее обучения, заключается в том, что количество нейронов, содержащихся в подсетях такой сети, существенно уменьшается. Каждая подсеть ансамблевой сети, разделенной на подсети в процессе обучения, содержит только те нейроны, которые были использованы для построения ансамблевой структуры внутри этой подсети. Вследствие этого суммарное количество нейронов такой ансамблевой сети окажется значительно меньшим, чем полная совокупность признаковых нейронов, необходимых ансамблевой сети с искусственным разделением на подсети для представления всех возможных значений признаков в каждой из ее подсетей.

Прямые измерения подтверждают приведенные утверждения. В экспериментах по распознаванию букв украинского алфавита (см. параграф 10.4), в процессе формирования описаний классов букв в 32-х подсетях ансамблевой сети, было задействовано 21 857 нейронов. В то же время, общее количество нейронов во всех 32-х подсетях этой ансамблевой сети было равно 32 768. Следовательно, автоматическое разделение сети на подсети уменьшает ее размер на 33%. Этот результат, очевидно, не зависит от типа связей сети, он относится как к двоичной ансамблевой сети, так и к ее аналоговой версии.

В первой публикации, посвященной ансамблевой сети, разделенной на подсети (Гольцев, 1991), были описаны эксперименты по разделению подсетей ансамблевой сети в процессе обучения параллельно формированию ее ансамблевой структуры. Ниже кратко изложены эти эксперименты и их

90

результаты без описания деталей не существенных для обсуждаемого вопроса.

Нейронная сеть была разделена на две неравные части. Соотношение между количеством нейронов, составляющих обе части сети, изменялось в процессе экспериментов. В соответствии с терминологией, введенной выше в данной книге, одну часть сети можно назвать ансамблевой сетью, разделенной на подсети, а другую часть – ансамблевой сетью неразделенной на подсети. В процессе формирования каждого нейронного ансамбля, одна часть его нейронов оказывалась в неразделенной сети, а другая – в разделенной сети. Иными словами, одно (фиксированное в каждом эксперименте) количество нейронов каждого нейронного ансамбля пересекалось только с нейронными ансамблями, относящимися к тому же классу, а другое (также фиксированное количество) нейронов этого же ансамбля – пересекалось с ансамблями, относящимися к разным классам. Эксперименты с такой сетью показали следующее. Чем больше нейронов сети было включено в неразделенную ансамблевую сеть, тем хуже оказывалась ее способность к распознаванию. И наоборот, чем больше нейронов оказывалось в составе ансамблевой сети, разделенной на подсети, тем выше становилась ее распознающая способность. Максимальную распознающую способность имела сеть, полностью разделенная на подсети. Очевидно этот результат находится в согласии с выводами, сделанными выше в данной главе. В главе 9 описаны эксперименты, также подтверждающие справедливость этих выводов.

8.6. Представление ансамблевой сети со статическим алгоритмом распознавания в виде персептрона

Разделенная на подсети ансамблевая сеть с любым алгоритмом распознавания функционирует, главным образом, благодаря связям, проторенным между нейронами внутри ее подсетей в процессе обучения. Основным механизмом работы ансамблевой сети с динамическим алгоритмом распознавания является возвратное, временное, взаимодействие между нейронами внутри подсетей, на которое накладывается пороговая операция (реализуемая СУТ) по выбору нейронов сети, имеющих

91

наибольший уровень активности (независимо от их принадлежности к той или иной подсети). Очевидно, что ансамблевая сеть с динамическим алгоритмом распознавания не может иметь никакой иной структурной организации. В отличие от этого ансамблевая сеть со статическим алгоритмом распознавания может быть представлена в другом виде. Ниже, в данном параграфе, описывается нейронная сеть, эквивалентная ансамблевой сети со статическим алгоритмом распознавания (основным), но не содержащая возвратных связей. По принципу действия это трехслойный персептрон с прямыми связями.

Представляемая нейронная сеть персептронного типа состоит из модулей. Каждый модуль такой сети по количеству нейронов и их взаиморасположению тождественен одной подсети ансамблевой сети. Отличие состоит в том, что между нейронами одного и того же модуля персептрона нет связей; связи в персептроне соединяют только нейроны его разных модулей. Ансамблевая сеть со статическим алгоритмом распознавания, разделенная на M подсетей может быть представлена в виде персептрона, состоящего из (M+1) нейронных модулей. Один из этих модулей служит в качестве сенсорного (признакового) слоя персептрона. Это означает, что набор признаков, выделенный из предъявленного изображения, трансформируется (с использованием какого-либо метода кодирования) в активацию определенного паттерна нейронов сенсорного модуля, точно таким же образом, как это осуществляется в подсетях ансамблевой сети. В отличие от ансамблевой сети в персептроне только нейроны его сенсорного модуля получают входные воздействия от системы выделения признаков, т.е. являются признаковыми нейронами. Пусть индекс i используется для нумерации нейронов первого (признакового) слоя персептрона (i = 1, 2, 3, ..., N).

Второй, ассоциативный слой персептрона состоит из M таких же нейронных модулей. Каждый из модулей второго слоя служит для представления одного из распознаваемых классов. Таким образом, общее количество нейронов в ассоциативном слое равно NM. Пусть, как и в случае ансамблевой сети, индекс m служит для обозначения номера модуля второго слоя персептрона.

Выходы и входы всех нейронов персептрона являются аналоговыми величинами. Выходная характеристика каждого нейрона линейная и беспороговая, так что величина входного воздействия нейрона передается на его выход без каких-либо

92

( ) (21) )()()(,)1(, .xm2jxm

1ikm

jikmji ∆W GGWW ∧+=+

изменений. Представим выходы всех N нейронов m-го модуля второго слоя персептрона аналоговым вектором Pm.

Признаковые нейроны сенсорного модуля соединены с ассоциативными нейронами второго слоя персептрона связями с обучаемыми весами. Эти связи направлены от каждого нейрона первого слоя персептрона ко всем нейронам его второго слоя. Обратных связей нет. Введем отдельную двумерную матрицу Wm из N × N аналоговых весов связей, направленных от нейронов сенсорного модуля к нейронам m-го модуля второго слоя персептрона. В начале процесса обучения все компоненты всех M матриц Wm (m = 1, 2, 3, …, M) имеют нулевые значения.

На каждом шаге обучения персептрона из очередного образца обучающей выборки (пусть это будет x-й образец m-го класса, т.е. mx-й образец) выделяется некоторый набор признаков, который представляется паттерном начальной нейронной активности G1(mx) в первом слое персептрона. Для обучения связей персептрона точно такой же паттерн активируется в m-м модуле второго слоя, т.е. в модуле, который предназначен для m-го класса, которому принадлежит предъявленный для обучения образец обучающей выборки. Обозначим G2(mx) – паттерн нейронов, активированный во втором слое персептрона. Каждый шаг обучения заключается в том, что изменяются веса связей, направленные от каждого нейрона паттерна G1(mx) ко всем нейронам, активированным в составе паттерна G2(mx), в соответствии с формулой

Третий слой персептрона состоит из M выходных R-нейронов,

каждый из которых представляет собой ярлык (метку) одного из распознаваемых классов. Так же, как и в случае ансамблевой сети, все ассоциативные нейроны m-го модуля второго слоя персептрона (представляющего m-й класс) соединены необучаемыми, направленными, возбуждающими связями, имеющими единичный вес, с соответствующим Rm-нейроном.

На рис. 18 схематически изображена структура рассматривае-мой нейронной сети персептронного типа. На этом рисунке прямыми линиями разной толщины показаны межнейронные связи с разными весами, сформированными в процессе обучения. Толщина линии пропорциональна весу связи: чем толще линия, тем больше вес связи. Следует подчеркнуть, что все межнейронные

93

Рис. 18. Схематическое изображение модульной структуры нейронной сети персептронного типа. связи, изображенные на этом рисунке, не взаимные, а однонаправленные, т.е. направлены снизу вверх в порядке возрастания слоев в персептроне: от каждого нижнего слоя персептрона к его верхнему слою.

Процедура распознавания x-го образца тестовой выборки выполняется следующим образом. Из предъявленного образца выделяется некоторый набор признаков, который кодируется паттерном начальной нейронной активности G1(x) в первом слое персептрона. Как и в случае ансамблевой сети, все нейроны паттерна G1(x) имеют одинаковый уровень активности, значение которого является произвольной ненулевой константой и принимается равной единице. Эта нейронная активность передается (только один раз) через все обученные связи всех M матриц Wm (m = 1, 2, 3, …, M) на все нейроны второго слоя и образует в нем паттерн вторичной нейронной активности. Вектор вторичной активности нейронов m-го модуля второго слоя персептрона Pm(x) вычисляется из уравнения

∑=

=N

i

mjix

1ixm

j1

(22),)()( . )( WG1P

94

Уравнение (22) является аналогом (15) и описывает, фактически, точно такую же вычислительную операцию.

Каждый Rm-нейрон третьего слоя персептрона суммирует активность всех ассоциативных нейронов своего m-го модуля второго слоя персептрона. В соответствии с описанием, приведенным в параграфе 7.1, введем аналоговый вектор R из M компонент для представления активности R-нейронов сети. Значение каждой компоненты этого вектора с индексом m определяется формулой (16). R-нейрон, имеющий максимальную выходную активность, определяет победителя соревнования между модулями второго слоя персептрона (как ранее, между подсетями ансамблевой сети), классифицируя, тем самым, предъявленное тестовое изображение.

8.7. Представление ансамблевой сети с упрощенным статическим алгоритмом распознавания в виде персептрона

Разделенная на подсети ансамблевая сеть с компьютерной версией упрощенного статического алгоритма распознавания, описываемо-го формулой (20) (см. параграф 7.3), также может быть представлена в виде персептрона с прямыми связями с помощью использования пороговых нейронов, каждый из которых служит детектором наличия в анализируемом изображении определенной пары признаков. Структура и механизм функционирования такого персептрона кратко описывается ниже.

Первый слой рассматриваемого персептрона по количеству нейронов и их взаиморасположению эквивалентен одной подсети ансамблевой сети. Это – слой признаковых нейронов. Значения признаков, выделенные из предъявленного образца с номером x, трансформируются (в соответствии с каким-либо методом кодирования) в активацию определенного паттерна нейронов первого слоя персептрона, точно так же, как это осуществляется в подсетях ансамблевой сети. В соответствии с обозначениями, введенными в главе 3 и в предыдущем параграфе, паттерн нейронной активности первого слоя персептрона представляется двоичным вектором Gi

1(x) (i = 1, 2, 3, …, N). Между признаковыми нейронами первого слоя персептрона нет

взаимных связей; двоичные, необучаемые, возбуждающие связи

95

(24) )()(,)1(, .xm2j i,km

jikmji ∆W PWW +=+

направлены от нейронов первого слоя персептрона только к нейронам его второго слоя.

Второй слой персептрона состоит из пороговых нейронов с двоичными выходами; все нейроны этого слоя имеют одинаковый и неизменный порог активации L = 2. Таким образом, если воздействие на вход нейрона равно двум, то нейрон переходит в активное состояние, т.е. уровень его выходной активности становится равным единице. В противном случае, нейрон неактивен и его выход равен нулю.

Каждой паре возможных сочетаний признаковых нейронов первого слоя персептрона ставится в соответствие один нейрон второго слоя персептрона. Это означает, что от любой пары нейронов первого слоя к одному нейрону второго слоя направлены две возбуждающие необучаемые связи с единичными весами и, следовательно, второй слой персептрона состоит из N2 пороговых нейронов. Для представления активности всех N2 нейронов второго слоя введем двоичный двумерный вектор Pij

2 (i = 1, 2, 3, ..., N; j = 1, 2, 3, ..., N). Тогда в ответ на предъявление персептрону mx-го образца обучающей выборки m-го класса, трансформированного в паттерн нейронной активности первого слоя Gi

1(mx), во втором слое персептрона активируется совокупность пороговых нейронов, которая описывается формулой

Как и в случае, рассмотренном в предыдущем параграфе,

третий слой персептрона состоит из M выходных R-нейронов, каждый из которых представляет собой ярлык (метку) одного из распознаваемых классов. От N2 пороговых нейронов второго слоя к M выходным R-нейронам третьего слоя направлено MN2 связей, аналоговые веса которых модифицируются в процессе обучения. Введем трехмерную матрицу Wij

m (i = 1, 2, 3, ..., N; j = 1, 2, 3, ..., N; m = 1, 2, 3, ..., M) для обозначения структуры обучаемых связей, соединяющих любой пороговый нейрон, идентифицируемый во втором слое персептрона парой индексов i, j, с m-м R-нейроном, т.е. с Rm-нейроном. Тогда изменение весов матрицы Wij

m в результате обучения персептрона на mx-м образце обучающей выборки m-го класса происходит согласно формуле

(23) )()()(, .xxx m1jm1

im2ji GGP ∧=

96

Процедура распознавания в персептроне выполняется следующим образом. Пусть x-й образец тестовой выборки предъявлен для распознавания. Из него выделяется некоторый набор признаков, который кодируется паттерном нейронной активности G1(x) в первом слое персептрона. Эта начальная нейронная активность передается через единичные связи на пороговые нейроны второго слоя персептрона и формирует в нем двоичный паттерн вторичной нейронной активности Pij

2(x), который вычисляется по формуле (23). Затем вторичная нейронная активность второго слоя персептрона передается через аналоговые связи (веса которых были обучены согласно формуле (24)) на R-нейроны третьего слоя персептрона. Если ввести аналоговый вектор R из M компонент для представления выходной активности R-нейронов персептрона, то каждая компонента этого вектора с индексом m вычисляется по формуле

R-нейрон, имеющий максимальную активность, определяет

класс распознаваемого тестового изображения. В качестве недостатка данного персептрона можно упомянуть,

что в (гипотетическом) случае его построения в виде физического устройства, увеличение количества нейронов в персептроне (за счет пороговых нейронов) по сравнению с ансамблевой сетью делает такую замену неравноценной, поскольку нейрон является более дорогим элементом нейронной сети, по сравнению с межнейронной связью. Однако при реализации персептрона компьютерной программой этот недостаток практически теряет свое значение.

∑∑==

=N

j

mjix

2ji

N

ixm

1(25) . ,,

1)( )( WPR

97

8.8. Сводится ли ансамблевая сеть к персептрону?

В данной главе, в параграфе 8.2, на примере анализа задачи XOR, показано, что разделенная на подсети ансамблевая сеть с любым алгоритмом распознавания не сводится к простому линейному персептрону с прямыми связями. Однако для ансамблевой сети со статическим алгоритмом распознавания предложены структуры, позволяющие представить их в виде трехслойного персептрона (см. параграфы 8.6 и 8.7). С другой стороны, несомненным является тот факт, что поскольку в ансамблевой сети с динамическим алгоритмом распознавания основой ее функционирования является возвратное, временное, взаимодействие между нейронами внутри ее подсетей, дополненное использованием пороговой процедуры, осуществляемой СУТ, то такая сеть не может иметь никакой иной структурной организации. Ансамблевая сеть с алгоритмом распознавания на основе метода ближайшего соседа, описанная в приложении А, также не может быть представлена в виде персептрона. Что касается ансамблевой сети с упрощенным динамическим алгоритмом распознавания (см. параграф 7.2), то она имеет эквивалентную замену в виде нейронной сети, построенной на основе персептрона. Действительно, на трехслойный персептрон, описанный в параграфе 8.6, можно наложить реализованную в виде нейронной сети структуру СУТ, решающую задачу выявления самых возбужденных нейронов второго (ассоциативного) слоя персептрона в процессе распознава-ния. Тогда такая сеть будет работать в соответствии с упрощенным динамическим алгоритмом распознавания ансамблевой сети. Вопрос только в том, правомерно ли относить эту сеть с СУТ к классу персептронов.

Таким образом, на вопрос, вынесенный в заголовок данного параграфа, нельзя дать определенный, однозначный ответ, охватывающий все возможные случаи. Ансамблевая сеть, разделенная на подсети, – это самостоятельная нейронная структура, обладающая своими особенностями, достоинствами и недостатками, которые в очень большой степени зависят от алгоритма, используемого сетью в процессе распознавания. Некоторые из этих алгоритмов допускают построение эквивалентной нейронной сети в виде персептрона.

98

Поскольку ансамблевые сети с любыми алгоритмами распознавания имеют одинаковую структуру и сходные механизмы функционирования, то результаты, полученные на ансамблевой сети с одним алгоритмом распознавания, в значительной мере должны относиться и к ансамблевым сетям со всеми другими алгоритмами распознавания. Как было упомянуто выше, самым простым алгоритмом распознавания, обеспечивающим при компьютерном моделировании наименьшие вычислительные и временные затраты, является упрощенный статический алгоритм распознавания, который описывается формулой (20) (см. параграф 7.3). Это обстоятельство послужило основанием для выбора именно этой версии алгоритма распознавания в процессе экспериментального исследования свойств ансамблевой сети, проведенного на задаче распознавания рукописных символов и описанного ниже в параграфе 9.10 и главе 10.

99

Глава 9 ОБОБЩЕНИЕ В АНСАМБЛЕВЫХ СЕТЯХ

В ансамблевой сети, как и в любой нейронной сети с обучением, наблюдается феномен обобщения. Вследствие разделения ансамблевой сети на подсети феномен обобщения имеет в ней свою специфику, исследованию которой и посвящена данная глава. Материал этой главы частично описан в работах (Goltsev, 2001; Goltsev, Húsek, 2002; Goltsev, Wunsch, 2004).

Термин "обобщение" (generalization) часто встречается в современной научной литературе (см., например, Wolpert, 1992; Plaut et al., 1996; Noelle, Cottrell 1996; Noelle, Zimdars, 1999; O'Reilly, 2001). В настоящее время, в области распознавания образов этот термин часто используется в качестве синонима для распознающей способности технического устройства. Хотя эти два понятия весьма близки, они, все же, имеют различия. Распознающая способность – это характеристика технического устройства, которая может быть непосредственно измерена экспериментально. Однако одним из значений термина "обобщение" является правдоподобное и обоснованное расширение некоторого знания на ранее неизвестную область. В соответствии с таким определением этот термин в распознавании образов должен был бы обозначать правдоподобное и обоснованное изменение границ классов в некотором многомерном пространстве, имеющее целью повышение распознающей способности распознающего устройства. Согласно такому пониманию термин "обобщение" используется в данной книге для обозначения изменений, происходящих при обучении в нейронных структурах, которые служат описаниями классов в сети. Причем, в настоящей работе процесс изменения таких нейронных структур исследуется вне прямой зависимости от распознающей способности сети.

100

Несколько иной смысл термин "обобщение" имеет в той области знания, которая в современной литературе носит название "обучения без учителя". В этом случае термин "обобщение" обозначает процесс формирования классов из совокупности примеров, относящихся к разным классам, которые подаются для обучения некоторого устройства без меток классов, т.е. в отсутствие информации о принадлежности каждого примера к тому или иному классу. В гипотезе Хебба о нейронных ансамблях формирование классов при обучении без учителя объясняется следующим образом. При образовании нейронных ансамблей в мозге высших животных и человека между ансамблями возникают пересечения. В результате этого в ансамблевой сети формируется более сложная нейронная структура. В этой структуре Хебб выделяет ядро – группу нейронов, объединенных сильными взаим-ными возбуждающими связями, и бахрому – множество нейронов, связанных с ядром и друг с другом сравнительно слабыми связями. Ядра пересекающихся ансамблей являются обобщенными описаниями классов. Таким образом, на вопрос: "Зачем нужны пересечения нейронных ансамблей" – гипотеза Хебба отвечает: "Для формирования в сети ядер ансамблей и посредством этого для формирования в сети отношений типа класс – член класса". Для ансамблевой сети, разделенной на подсети, предполагается иной ответ на этот вопрос. В случае ансамблевой сети разделенной на подсети, все классы, относящиеся к компетенции сети, уже, очевидно, заданы архитектурой сети. Отношения типа класс–член класса заложены в самой структуре сети и не нуждаются в дополнительном уточнении. Целью же всех операций, выполняемых в такой сети, является создание возможно более полного описания класса с помощью проторения межнейронных связей внутри каждой из подсетей ансамблевой сети.

9.1. Обобщение в ансамблевой сети, разделенной на подсети

Рассмотрим подробнее процесс образования структуры внутриансамблевых связей в ансамблевой сети во время первичного обучения сети. В процессе формирования большого количества нейронных ансамблей в отдельной подсети ансамблевой сети множество связей проторяется внутри этой

101

подсети. Эти связи соединяют друг с другом нейроны, которые представляют различные значения признаков, выделенных из образцов обучающей выборки одного и того же класса. Нейронные ансамбли, сформированные в одной подсети, пересекаются друг с другом. Вследствие этого, некоторая объединенная нейронная структура (семейство ансамблей) образуется в подсети. Рассматривая эту структуру в качестве нейронного графа, можно отметить, что узлы (нейроны) этого графа соединены друг с другом специфическим паттерном ребер (взаимных возбуждающих связей). Причем, для различных подсетей ансамблевой сети паттерны таких связей существенно отличаются друг от друга. Объединенная нейронная структура (нейронный граф), образованная в каждой подсети ансамблевой сети, является описанием соответствующего класса.

По мере насыщения некоторой подсети ансамблевой сети множеством нейронных ансамблей (в процессе продолжающегося обучения сети), полнота описания класса в подсети пропорцио-нально возрастает. Чем больше образцов из обучающей выборки класса использовано в ходе обучения сети, тем больше увеличивается плотность проторенных межнейронных связей в определенных участках матрицы связей подсети. Однако процесс формирования семейства пересекающихся ансамблей в подсети не приводит к заполнению всей матрицы связей подсети внутриан-самблевыми связями даже в том случае, когда все нейроны подсети принимали участие в процессе обучения. Дело в том, что значения признаков, выделяемые из образцов обучающей выборки одного класса, могут появляться только в определенных сочетаниях (комбинациях) друг с другом. Приведенные здесь утверждения подтверждены экспериментами, которые описаны в последующих параграфах этой главы.

Образование семейства пересекающихся нейронных ансамблей в каждой подсети ансамблевой сети интерпретируется в данной работе, как феномен обобщения признаков. Ансамблевая сеть обобщает, прежде всего, такие признаки и их комбинации, которые наиболее часто встречаются в обучающих выборках соответствую-щих классов. Тот факт, что обобщение признаков происходит раздельно внутри каждой подсети ансамблевой сети, является важным достоинством ансамблевой сети. В процессе обобщения ансамблевая сеть интегрирует огромный массив информации, содержащийся во всех образцах обучающей выборки.

102

9.2. Обобщение в ансамблевой сети, не разделенной на подсети

Рассмотрим для сравнения ансамблевую сеть, не разделенную на подсети. Выше в параграфе 8.3, такая неразделенная на подсети ансамблевая нейронная сеть уже использовалась для сравнительно-го анализа задачи XOR. На рис. 19 схематически показаны две ансамблевые сети: ансамблевая сеть, разделенная на подсети, и соответствующая ей неразделенная ансамблевая сеть. Рис. 19. Схематическое изображение разделенной на подсети ансамблевой сети (а) и соответствующей ей ансамблевой сети, не разделенной на подсети (б).

Феномен обобщения существует в неразделенной ансамблевой сети так же, как и в сети, разделенной на подсети. В процессе обучения в неразделенной ансамблевой сети так же происходит образование пересекающихся друг с другом нейронных ансамблей. Однако в неразделенной ансамблевой сети пересекающиеся нейронные ансамбли представляют образцы всех классов, участвующих в обучении. Поэтому специфические паттерны связей ансамблевых структур всех классов накладываются друг на друга, сливаясь почти в полностью связный нейронный граф с однородной структурой. При этом теряется информация, закодированная в характеристических паттернах связей семейств ансамблей, описывающих разные классы. Иными словами,

103

неразделенная ансамблевая сеть содержит множество связей, которые отражают пространственные отношения между значениями признаков и их комбинациями, принадлежащими разным классам. Эти связи ухудшают способность сети к распознаванию. Чем больше классов должна распознавать сеть, тем больше таких вредных связей образуется в ней при обучении.

Таким образом, феномен обобщения, несомненно, полезный в ансамблевой сети, разделенной на подсети, оказывается вредным в неразделенной ансамблевой сети.

9.3. Экспериментальное исследование процесса обобщения в ансамблевой сети с двоичными связями

Приведенные выше рассуждения о феномене обобщения в ансамблевых сетях, а также утверждения, высказанные в ходе анализа задачи XOR в предыдущей главе, необходимо было проверить экспериментально. В последующих параграфах этой главы описывается экспериментальное исследование процесса обобщения в ансамблевых сетях с двоичными весами связей компьютерных моделях. Изучение феномена обобщения проводилось на сетях, спроектированных для задачи распознавания отдельных рукописных букв и цифр. Цель этой работы состояла в экспериментальном исследовании самого механизма обобщения в ансамблевых сетях на задаче, имеющей некоторое практическое значение. Здесь стоит упомянуть, что ансамблевая сеть с аналоговыми весами связей демонстрирует значительно более высокую способность к распознаванию, чем сеть с двоичными связями (см. главу 10). Тем не менее, именно ансамблевые сети с двоичными связями использовались в данном исследовании, поскольку именно в таких сетях феномен обобщения легче поддается измерению и интерпретации.

В области распознавания образов, проблема распознавания рукописных символов все еще остается весьма актуальной (Paquet, Lecourtier, 1993; Boccignone et al., 1993; Lee, Pan, 1996; Cho, 1997; Shi, Govindaraju, 1997; Heutte et al., 1998). Разнообразные модели нейронных сетей предложены для решения этой задачи (Fukushima et al., 1994; Zhao, Higuchi, 1996; Lee, Song, 1997; Fukumi et al., 1997; Goltsev, Rachkovskij, 2001; Kussul et al., 2001; Kussul, Baidyk, 2003).

104

Для создания базы данных рукописных букв для экспериментов отдельные буквы украинского алфавита были написаны разными людьми на бумаге с помощью обычных шариковых ручек. Затем, каждый из этих рисунков был отсканирован и превращен в двоичное изображение, состоящее из 64×64 пикселей. Примеры таких изображений показаны на рис. 20. Рис. 20. Примеры двоичных изображений отдельных букв украинского алфавита, использованные в экспериментах.

База данных рукописных букв украинского алфавита, созданная таким образом, содержит в сумме 3 200 образцов, т.е. по 100 образцов для каждой буквы алфавита.

9.4. "Секториальный" набор признаков для описания формы рукописных символов

В экспериментах с буквами украинского алфавита по изучению феномена обобщения в ансамблевых сетях использовался очень простой набор признаков. Этот набор признаков предназначен только для экспериментов и не претендует на практическое применение в задаче распознавания рукописных символов. Для различения среди других наборов признаков, рассматриваемых в книге, данный набор признаков назван "секториальным".

105

Как было упомянуто выше, каждая буква (символ) имеет вид изображения, нарисованного единичными пикселями на растре, состоящем из 64×64 пикселей. Процедура выделения признаков из такого изображения начинается с вычисления растровых координат центра тяжести символа. Тридцать два равных сектора с различными ориентациями вырисовываются на изображении так, чтобы центр каждого сектора совпадал с центром тяжести. Подсчитывается количество единичных пикселей внутри каждого сектора. Полученное число нормализуется по отношению к общему количеству единичных пикселей в изображении. Нормализованное таким образом количество единичных пикселей одного сектора представляет собой значение соответствующего признака. Рис. 21,а иллюстрирует процедуру выделения "секториальных" признаков из рукописной буквы С. Рис. 21. "Секториальный" набор признаков.

Набор из 32 чисел, полученный в резуль-тате выполнения опи-санных выше опера-ций, дает некоторое интегральное описание формы символа. Оче-видно, что это описа-ние инвариантно отно-сительно сдвига и изменения размеров символа, оно устойчи-во к деформациям сим-вола. Однако это опи-сание изменяется при повороте символа. Та-ким образом, "секториальный" набор признаков не обеспечивает инвариантного описания искаженных произвольным образом букв украинского алфавита.

106

Тридцать две нейронные колонки, состоящие из 32-х нейронов каждая, используются, чтобы представить в ансамблевой сети "секториальные" признаки, выделенные из символа. Каждая такая нейронная структура является одной из подсетей ансамблевой сети. На рис. 21,б показано нейронное представление (нейронный код) "секториальных" признаков, выделенных из буквы С и трансформированных в паттерн нейронной активности с помощью метода "поплавкового" кодирования (см. главу 2). Размер нейронного поплавка на рис. 21,б равен пяти нейронам.

9.5. Исследование процесса обобщения в ансамблевых сетях в экспериментах с буквами

Исследование феномена обобщения признаков в ансамблевых сетях проводилось в процессе обучения сетей распознаванию рукописных букв украинского алфавита. В рамках этого исследования проводилось сравнение между ансамблевой сетью, не разделенной на подсети, и ансамблевой сетью, разделенной на 32 подсети в соответствии с количеством букв украинского алфавита. Веса всех межнейронных связей в обеих сетях были двоичными. Для выявления различий между двумя ансамблевыми сетями в каждой из них формировалось одинаковое количество нейронных ансамблей согласно алгоритму обучения, изложенному в параграфе 3.1. Каждый из сформированных нейронных ансамблей состоял из нейронов представителей признаков, выделенных из одной буквы. "Секториальный" набор признаков использовался для описания формы букв. Во всех экспериментах, представленных в данном параграфе, для кодирования "секториальных" признаков, выделенных из букв, применялся метод "поплавкового" кодирования; размер нейронного поплавка был равен 5 нейронам.

В соответствии с рассуждениями, приведенными в параграфах 9.1 и 9.2, уровень обобщения в ансамблевой сети может быть оценен по степени насыщенности внутриансамблевыми связями соответствующих участков ее матрицы связей. Поэтому в экспери-ментах, описываемых ниже, исследовался процесс насыщения матриц связей двух ансамблевых сетей единичными внутриан-самблевыми связями. Однако поскольку некоторые параметры, характеризующие ансамблевую сеть, разделенную на подсети, не

107

имеют смысла для ансамблевой сети, не разделенной на подсети, то для проведения корректного сравнения между обеими сетями, необходимо ввести дополнительные переменные (векторы) и выполнить описанные ниже вычислительные операции.

Значения признаков, выделенные из всех образцов обучающей выборки m-го класса, фиксировались в специальном двоичном векторе Cm, введенном в параграфе 6.1. Формирование всех 32 таких вектора Cm (m = 1, 2, 3, ..., 32) завершается до начала процесса обучения сети. Процедура получения каждого вектора Cm выражается формулой (9) из параграфа 6.1 и, может быть, содержательно описана как дизъюнкция всех векторов G(mx), каждый из которых, в свою очередь, представляет собой нейронный код всех значений признаков, выделенных из x-го образца m-го класса.

Примеры двоичных векторов Cm (векторы CA и CB) показаны на рис. 22. Рис. 22. Векторы CA и CB.

Вектор CA обра-зован посредством дизъюнктивного сло-жения 80 векторов GА, каждый из которых получен в результате выделения "сектори-альных" признаков из одного из 80 образцов буквы А. Вектор CB сформирован таким же образом из 80 образцов буквы В. На рис. 22 каждая нейронная колонка представляет значения признаков одного из 32 типов "секториального" набора признаков: белые кружки изображают нулевые компоненты векторов CA и CB, черные кружки изображают единичные компоненты этих векторов. Таким образом, рис. 22 дает представление о форме областей, которые классы букв A и B занимают в пространстве признаков и, кроме того, о форме

108

областей, которые подсети A и B ансамблевой сети занимают в том же пространстве признаков.

Из рис. 22 видно, что имеются некоторые различия между совокупностями признаков, составляющих описания разных букв. Очевидно, что существование таких различий помогает ансамблевой сети распознавать классы букв. Однако гораздо большее различие обнаруживается между структурами связей различных подсетей ансамблевой сети, которое оказывает значительно большее влияние на процесс распознавания. Для демонстрации этого факта ниже приводится табл. 1, которая показывает различия между совокупностями признаков и различия между матрицами связей подсетей A и B ансамблевой сети.

Для объяснения табл. 1, необходимо ввести новую переменную Q. Обозначим Q – суммарное количество единичных компонент вектора Cm:

Числа, приведенные в табл. 1, получены следующим образом. Единичные компоненты вектора CB вычитаются из соответствующих (имеющихся) единичных компонент вектора CA, а затем подсчитывается количество единичных компонент, оставшихся в векторе CА. Описанная вычислительная операция может быть выражена формулой

Количество оставшихся единичных компонент в векторе CА делится на общее количество единичных компонент в исходном векторе CA, т.е. на Q(А). Результат деления характеризует разницу между набором признаков подсети A относительно совокупности признаков подсети В. Таким же образом вычисляется различие между совокупностями признаков подсетей B и A. Числа, приведенные в верхнем ряду табл. 1, выражены в процентах относительно суммарного количества единичных компонент, фиксированных в соответствующем векторе Cm.

(26)1

)( .mi

N

imQ C∑

=

=

(27) (B)(A)1

)B &(A .)( ii

N

iQ CC ∧= ∑

=

109

Аналогичная операция вычитания соответствующих единичных компонент матриц WA и WB применяется для вычисления различий между структурами связей подсетей A и B в ансамблевой сети. В нижнем ряду табл. 1 приведены числа, характеризующие различия между матрицами связей этих двух подсетей, которые выражены в процентах относительно исходного суммарного количества единичных весов связей в соответствующих матрицах. Т а б л и ц а 1. Различия между совокупностями признаков и матрицами связей подсетей A и B ансамблевой сети, %.

Отношения между буквами А и В

Различия между совокупностями признаков

Различия между матрицами связей

А и не-В В и не-А

17 13

32 27

Из табл. 1 следует, что различия между структурами связей в

подсетях A и B ансамблевой сети много больше, чем разница между совокупностями признаков, выделенных из всех образцов обучающей выборки, использованных для обучения сети. Отсюда можно сделать вывод, что распознающее устройство, применяю-щее матрицы связей для распознавания классов, должно иметь преимущество перед устройством, использующим только наборы признаков для этой цели.

Структура семейства пересекающихся ансамблей, описываю-щая каждый класс букв, изменяется в процессе обучения ансамблевой сети. Количество и плотность внутриансамблевых (единичных) связей, содержащихся в соответствующих участках матрицы связей сети, возрастает в процессе обучения сети. Динамика заполнения матриц связей ансамблевых сетей исследова-лась на примере буквы A в следующих экспериментах.

Ансамблевая сеть, разделенная на подсети, и неразделенная ансамблевая сеть были обучены с использованием одной и той же обучающей выборки, состоящей из 100 образцов всех букв украинского алфавита. Специальная программа непосредственно подсчитывала количество единичных, однонаправленных, внутри-ансамблевых связей, проторенных в соответствующих частях матриц связей обеих ансамблевых сетей на различных стадиях процесса обучения. В случае ансамблевой сети, разделенной на подсети, эта программа просто подсчитывала все единичные связи, проторенные в подсети A. В отличие от этого, более сложную процедуру необходимо было применить для подсчета

110

соответствующих единичных связей в неразделенной ансамблевой сети. После окончания формирования вектора CA на всех образцах обучающей выборки, которые используются в последующем обучении ансамблевых сетей, суммарное количество единичных компонент вектора CA, подсчитанное по формуле (26), оказалось равным 485, т.е. Q(A) = 485. Единичные компоненты вектора CA определяют те 485 нейронов, которые примут участие в образова-нии нейронных структур, описывающих букву A в ансамблевых сетях в последующем процессе обучения сетей. Из этих 485 нейронов можно построить полносвязный нейронный граф, содержащий Q2(А) ребер (единичных однонаправленных связей), Q2(A) = 235 225 (это число включает в себя и связи, соединяющие вход и выход одного и того же нейрона). В ансамблевой сети, не разделенной на подсети, только такие единичные связи ее матрицы связей принимались во внимание программой при подсчете связей, относящихся к нейронной структуре A, которые совпадали с ребрами полносвязного нейронного графа, сформированного из нейронов, представленных в векторе CA.

График на рис. 23 демонстрирует динамику заполнения указанных областей матриц связей ансамблевых сетей обоих типов.

Рис. 23. Динамика заполнения связями подсети A ансамблевой сети, разделенной на подсети (нижняя кривая), и соответству-ющего участка матрицы связей ансамблевой сети, не разделен-ной на подсети (верхняя кри-вая), в процессе обучения обеих сетей одинаковым количеством образцов всех букв украинского алфавита.

На этом рисунке коли-чество образцов каждого класса букв, использован-ных для обучения каждой

из сетей, откладывается по оси X. Количество единичных, однонаправленных, внутриансамблевых связей откладывается по оси Y. Горизонтальная линия вверху показывает суммарное

111

количество связей полносвязного нейронного графа, построенного из 485 нейронов, фиксированных ранее в векторе CA.

Как видно из рис. 23, степень заполнения матриц ансамблевых сетей единичными весами связей быстро возрастает в начале процесса обучения. Затем, обе кривые постепенно замедляют свой рост, стремясь к различным пределам по мере продолжения процесса обучения. Важным результатом, полученным в этих экспериментах, является тот факт, что в ходе всего процесса обучения кривая, описывающая ансамблевую сеть, разделенную на подсети, расположена значительно ниже, кривой, относящейся к неразделенной ансамблевой сети.

Следующие эксперименты также были проведены для того, чтобы сравнить друг с другом паттерны связей, которые образуются в ансамблевых сетях обоих типов, в результате обучения. Обе сети, т.е. сеть, разделенная на подсети, и неразделенная ансамблевая сеть, обучались в этих экспериментах с использованием одной и той же обучающей выборки, состоящей из 80 образцов каждой буквы украинского алфавита.

Как и в описанном выше эксперименте, при рассмотрении обеих ансамблевых сетей учитывались только те внутриансамбле-вые связи, которые совпадали с ребрами соответствующих полносвязных нейронных графов, построенных из нейронов, фиксированных в векторах Cm. Повторим, что полносвязный нейронный граф, построенный на основе вектора Cm, содержит Q2(m) единичных однонаправленных связей. Следующие числа, усредненные по всем классам букв украинского алфавита, были получены в этих экспериментах.

В неразделенной ансамблевой сети структура связей одного класса букв содержала примерно 5% нулевых связей относительно соответствующего числа Q2. В каждой же подсети ансамблевой сети, разделенной на подсети, оставалось примерно 28% связей (относительно того же числа Q2), не занятых единичными связями. Процент незанятых связей дает оценку неоднородности паттерна связей соответствующей ансамблевой структуры. Чем больше связей с нулевым весом остается в нейронной структуре, тем больше степень ее неоднородности. Можно сказать, что процент незанятых связей является некоторой числовой характеристикой процесса обобщения, осуществленного в ансамблевой сети.

Таким образом, эксперименты подтверждают справедливость рассуждений, приведенных в главе 8 и параграфах 9.1 и 9.2 о феномене обобщения в ансамблевых сетях. Каждая подсеть

112

ансамблевой сети, разделенной на подсети, сохраняет неоднородную структуру своих связей, несмотря на процесс обобщения, происходящий в сети. В отличие от этого, объединенная нейронная структура, которая формируется в неразделенной ансамблевой сети, в результате аналогичного процесса обобщения становится почти однородной.

9.6. Влияние размера нейронного поплавка на процесс обобщения в ансамблевой сети, использующей метод "поплавкового" кодирования

Как отмечалось выше, все экспериментальные результаты, приведенные в предыдущем параграфе, были получены при использовании для кодирования входных данных метода "поплавкового" кодирования с нейронным поплавком, состоящим из 5 нейронов. Изменение размера поплавка влияет практически на все числа, полученные в экспериментах.

Процессы обобщения, которые происходят в ансамблевых сетях, являются следствием образования пересечений между нейронными ансамблями, формируемыми в сетях в процессе первичного обучения. В случае применения метода "поплавкового" кодирования входных данных с расширенными нейронными поплавками, размер пересечений между ансамблями, очевидно, возрастает. Чем больше размер поплавка, тем больше размер пересечения между ансамблями при прочих равных условиях. Таким образом, в ансамблевой сети, использующей метод "поплавкового" кодирования, степень обобщения возрастает вместе с увеличением размера нейронного поплавка. Однако последнее утверждение вовсе не означает, что в ансамблевой сети для достижения наивысшей эффективности должен использоваться поплавок максимально возможного размера. Дело в том, что увеличение размера поплавка приводит также к расширению области, которую каждый класс занимает в пространстве связей (и признаков) сети. Вследствие этого происходит пропорциональное увеличение размера пересечений между классами в пространстве связей. Однако, чем больше размер пересечения между классами в пространстве связей, тем меньше способность сети различать эти

113

классы в процессе распознавания. Следовательно, размер нейронного поплавка в эффективной ансамблевой сети должен иметь определенное (оптимальное) значение, которое отнюдь не должно быть слишком большим.

9.7. Необходимость в дополнительных экспериментах

Описанные выше эксперименты с рукописными буквами не являются совершенно убедительными. Причина заключается в следующем. Во-первых, в экспериментах использовалась довольно ограниченная база данных, всего 3 200 образцов букв. Этот факт может служит источником появления таких, например, вопросов, как: сохранят ли кривые на рис. 23 свое относительное расположение при продолжении процесса обучения в обеих сетях; не сольются ли эти кривые в одну, при значительном увеличении количества образцов букв, использованных для обучения сетей.

Во-вторых, могут возникнуть сомнения, порожденные тем, что во всех экспериментах для кодирования входных данных в ансамблевых сетях был применен довольно большой размер нейронного поплавка (5 нейронов). Действительно, в связи с рассуждениями, изложенными в предыдущем параграфе, может показаться, что числа, измеренные в экспериментах, характеризуют, в большей степени, не тот феномен обобщения, который является следствием образования пересечений нейронных ансамблей друг с другом в ансамблевых сетях, а какой-то другой эффект, вызванный пересечениями широких нейронных поплавков в нейронных колонках.

Чтобы снять все возможные вопросы и сомнения, были выполнены дополнительные эксперименты по исследованию феномена обобщения в ансамблевых сетях. Для большей чистоты эти эксперименты проводились не с буквами, а с рукописными арабскими цифрами. Для экспериментов была выбрана общедоступная база данных MNIST (modified US National Institute of Standards and Technology training and test sets) (см. в списке литературы адрес сайта MNIST в Интернете), поскольку эта база данных состоит из огромного числа образцов: 60 000 в обучающей выборке и 10 000 в тестовой выборке.

114

Для представления входных данных в ансамблевую сеть использовался метод "поплавкового" кодирования с нейронным поплавком, состоящим из одного нейрона. Кроме того, в экспериментах был применен другой набор признаков, условно названный "прямоугольным" (см. следующий параграф).

9.8. "Прямоугольный" набор признаков для описания формы рукописных символов

В базе данных MNIST каждая цифра представлена в виде градуального, черно-белого изображения на растре, состоящем из 28×28 пикселей. На рис. 24 показаны образцы тестовой выборки базы данных MNIST.

Рис. 24. Образцы аналого-вых изображений рукопис-ных цифр из тестовой вы-борки базы данных MNIST.

Для выделения при-знаков, каждое изобра-жение цифры из базы MNIST было преобра-зовано в двоичную форму посредством

сравнения яркости каждого пикселя исходного аналогового изображения с постоянным порогом, равным половине максималь-но возможной яркости пикселя. На рис. 25 приведено несколько примеров двоичных изображений цифр базы MNIST. В экспери-ментах с цифрами, описываемых ниже, признаки формы выделяют-ся из изображения цифры, нарисованного единичными пикселями в двоичной квадратной матрице состоящей из 32×32 пикселей.

Набор признаков, рассмотренный ниже в этом параграфе и названный "прямоугольным" учитывает, главным образом, внешние контуры символов; он также был разработан только для экспериментов и не претендует на практическое применение в задаче распознавания рукописных символов.

115

Рис. 25. Примеры двоичных изображений отдельных рукопис-ных арабских цифр, полученные с помощью операции порогового сре-за соответствующего аналогового изображения цифры базы MNIST.

Выделение признаков из символа, нарисованного еди-ничными пикселями на раст-ре, состоящем из 32×32 двоичных пикселей, произво-дится следующим образом. Символ ограничивается опи-санным прямоугольником на растре. Восемь горизонтальных линий делят вертикальные стороны этого прямоугольника на равные части. Горизонтальные стороны прямоугольника также делятся на равные части с помощью 8 вертикальных линий. Выделение одного признака начинается с измерения расстояния между одной из сторон прямоугольника и первым встреченным единичным пикселем, лежащим на соответствующей горизонталь-ной или вертикальной линии внутри прямоугольника при движении внутрь прямоугольника. Значение каждого вертикально-го признака вычисляется посредством нормализации измеренного расстояния относительно высоты прямоугольника. Соответственно, горизонтальные признаки нормализуются относительно ширины прямоугольника.

Рис. 26,а иллюстрирует это описание. На этом рисунке изображена рукописная цифра 5, а также 8 горизонтальных и 8 вертикальных линий, служащих для выделения признаков. Стрелками отмечены 32 измеренных горизонтальных и вертикаль-ных расстояний. Каждое измеренное и нормализованное расстояние рассматривается в качестве значения соответствующего признака. Набор из 32-х таких величин дает некоторое интеграль-ное описание формы символа. Очевидно, что это описание инвариантно относительно сдвига и изменения размеров символа; оно устойчиво относительно деформации символа. Однако это описание не инвариантно относительно поворота изображения и почти не принимает во внимание внутреннюю форму символа.

116

Рис. 26. "Прямоугольный" набор признаков.

Тридцать две ней-ронные колонки, состо-ящие из 32-х нейронов каждая, используются (как и в рассмотренном выше случае "сектори-альных" признаков), чтобы представить в ансамблевой сети "пря-моугольные" признаки, выделенные из симво-ла. Каждая такая ней-ронная структура явля-ется одной из подсетей ансамблевой сети. На

рис. 26,б показано нейронное представление (нейронный код) "прямоугольных" признаков, выделенных из цифры 5 и трансфор-мированных в паттерн нейронной активности с помощью метода "поплавкового" кодирования (см. главу 2). Размер нейронного поплавка на рис. 26,б равен одному нейрону.

9.9. Исследование процесса обобщения в ансамблевых сетях в экспериментах с цифрами

В данном параграфе описано экспериментальное исследование феномена обобщения признаков в ансамблевых сетях в процессе обучения сетей на рукописных арабских цифрах базы MNIST. В рамках этого исследования измерялся более широкий набор параметров по сравнению с экспериментами, проведенными с буквами украинского алфавита (см. параграф 9.5). Для описания формы цифр был применен "прямоугольный" набор признаков. Во всех экспериментах, представленных в данном параграфе, для

117

кодирования "прямоугольных" признаков, выделенных из цифр, использовался метод "поплавкового" кодирования с нейронным поплавком, состоящим из одного нейрона. В числе других экспериментов ансамблевая сеть, разделенная на 10 подсетей в соответствии с количеством классов цифр, сопоставлялась с ансамблевой сетью, не разделенной на подсети. В ходе экспериментов в обеих сетях формировалось одинаковое количество нейронных ансамблей, каждый из которых состоял из нейронов, представителей признаков, выделенных из одного образца рукописных цифр базы MNIST. Для обучения сетей использовалось 5 420 образцов каждого класса цифр из обучающей выборки базы MNIST. Формирование ансамблей происходило согласно алгоритму обучения, изложенному в параграфе 3.1. Веса всех межнейронных связей в обеих сетях были двоичными. В экспериментах использовались введенные в параграфе 6.1 векторы Cm (m = 1, 2, 3, ..., 10), каждый из которых формировался в соответствии с формулой (9), до начала процесса обучения сетей.

Как описано в параграфе 9.5 (см. рис. 22), эксперименты с буквами показали весьма незначительное различие между областями, занимаемыми различными буквенными классами в пространстве признаков. В экспериментах с цифрами было обнаружено еще меньшее различие между цифровыми классами. Этот факт объясняется использованием значительно большего количества образцов для обучения сети. В то же время, табл. 1 демонстрирует, что существует довольно значительное различие между структурами связей разных подсетей ансамблевой сети, разделенной на подсети, благодаря которой ансамблевая сеть оказывается способной эффективно распознавать символы. Аналогичный же результат получен и в экспериментах с цифрами.

Табл. 2 и 3 иллюстрируют сказанное. Табл. 2 показывает все возможные попарные различия между совокупностями нейронов (признаков), участвующих в образовании нейронных структур во всех подсетях ансамблевой сети в процессе ее обучения с использованием 5 420 образцов каждого класса цифр из обучающей выборки базы MNIST.

Числа, приведенные в табл. 2 и 3, получены посредством выполнения тех же операций, которые описаны в параграфе 9.5. Для более подробного объяснения табл. 2 рассмотрим пример пары цифр 5 и 9. Единичные компоненты вектора C9 вычитаются из имеющихся единичных компонент вектора C5, после чего подсчитывается количество оставшихся единичных компонент в

118

векторе C5 по формуле (27), в которой роль буквы А выполняет цифра 5, а роль буквы В – цифра 9. Затем полученное число делится на общее количество единичных компонент в исходном векторе C5, т.е. на Q(5). Результат деления, выраженный в процентах, и характеризующий различие совокупности признаков подсети 5 относительно совокупности признаков подсети 9, записывается в табл. 2 на пересечении ряда, соответствующего цифре 5, и колонки, обозначенной как ¬9, он равен 3,5%. Число, определяющее различие между совокупностями признаков подсетей 9 и 5 вычисляется аналогично. Результат, выраженный в процентах, и характеризующий различие между совокупностью признаков подсети 9 относительно совокупности признаков подсети 5, записывается на пересечении ряда, помеченного цифрой 9, и колонки со знаком ¬5, он равен 2,7%. Т а б л и ц а 2. Попарные различия между совокупностями нейронов в подсетях ансамблевой сети.

¬0 ¬1 ¬2 ¬3 ¬4 ¬5 ¬6 ¬7 ¬8 ¬9 0 1 2 3 4 5 6 7 8 9

0,0% 8,4% 7,4% 7,4% 6,7% 7,4% 6,4% 7,7% 6,6% 7,1%

0,6% 0,0% 1,0% 1,0% 0,4% 1,0% 0,9% 0,6% 0,9% 1,0%

3,5% 4,9% 0,0% 1,6% 4,2% 3,9% 3,3% 4,0% 2,8% 3,7%

4,3% 5,7% 2,4% 0,0% 4,6% 4,0% 4,7% 3,8% 3,2% 3,5%

4,4% 5,9% 5,8% 5,4% 0,0% 6,1% 4,6% 4,5% 3,6% 4,9%

3,2% 4,6% 3,6% 2,9% 4,3% 0,0% 3,1% 3,8% 3,0% 2,7%

6,6% 8,8% 7,4% 8,0% 7,1% 7,5% 0,0% 9,1% 6,1% 7,5%

6,0% 6,7% 6,2% 5,2% 5,1% 6,2% 7,3% 0,0% 4,6% 4,8%

6,7% 8,7% 6,8% 6,4% 6,0% 7,3% 6,0% 6,4% 0,0% 5,5%

3,7% 5,4% 4,2% 3,2% 3,8% 3,5% 4,0% 3,1% 1,9% 0,0%

Табл. 3 является аналогом табл. 2 по своей организации и

способу получения. Она демонстрирует все возможные попарные различия между структурами связей, сформированными во всех подсетях ансамблевой сети, обученной с использованием 5 420 образцов каждого класса цифр из обучающей выборки базы MNIST. Рассмотрим пример той же пары цифр 5 и 9. Чтобы вычислить различие между структурами связей подсетей 5 и 9, используется операция вычитания соответствующих единичных компонент матриц W5 и W9. Число, которое характеризует различие между матрицей связей подсети W5 относительно матрицы связей подсети W9, выражается в процентах к суммарному количеству единичных весов связей в матрице W5. В табл. 3 оно находится на пресечении ряда, обозначенного цифрой 5, и колонки, помеченной знаком ¬9, и равно 47%. Число,

119

определяющее различие между матрицей связей подсети W9 относительно матрицы связей подсети W5, вычисляется аналогично. Т а б л и ц а 3. Попарные различия между структурами связей подсетей ансамблевой сети.

¬0 ¬1 ¬2 ¬3 ¬4 ¬5 ¬6 ¬7 ¬8 ¬9 0 1 2 3 4 5 6 7 8 9

0,0% 66% 62% 59% 63% 62% 50% 66% 56% 62%

44% 0,0% 48% 45% 47% 50% 43% 46% 38% 42%

21% 35% 0,0% 27% 37% 40% 31% 34% 29% 35%

27% 42% 39% 0,0% 45% 40% 40% 38% 35% 37%

20% 30% 35% 32% 0,0% 35% 28% 29% 22% 20%

22% 39% 41% 30% 39% 0,0% 28% 40% 25% 30%

29% 51% 53% 51% 53% 50% 0,0% 62% 45% 56%

36% 39% 41% 34% 39% 45% 50% 0,0% 33% 26%

28% 37% 42% 37% 39% 38% 34% 40% 0,0% 32%

40% 46% 51% 44% 42% 47% 51% 38% 38% 0,0%

После усреднения чисел, приведенных в табл. 2 и 3 по всем

парам классов цифр, получены следующие результаты. В среднем, два числовых класса по своему признаковому составу отличаются друг от друга на 4,8%, а структуры связей двух подсетей ансамблевой сети – на 40,4 %. Следовательно, среднее различие между подсетями по связям почти в десять раз превышает среднее различие по нейронам (признакам). Таким образом, эксперименты с цифрами подтверждают вывод, сделанный в параграфе 9.5, о том, что для распознающего устройства в процессе распознавания гораздо предпочтительнее принимать во внимание (подсчитывать) различие не между признаками (нейронами), а различие между межнейронными связями в подсетях ансамблевой сети.

Повторим, что результаты экспериментов, представленные в табл. 2 и 3, относятся только к ансамблевой сети, разделенной на подсети.

В следующих экспериментах проводилось сравнение между ансамблевой сетью, не разделенной на подсети, и ансамблевой сетью, разделенной на 10 подсетей. Исследовалась динамика заполнения матриц связей обеих сетей единичными внутриансамблевыми связями на примере цифрового класса 5. Для обучения обеих сетей также использовалось 5 420 образцов каждого класса цифр из обучающей выборки базы MNIST.

Как и в экспериментах с буквами, специальная программа непосредственно подсчитывала количество единичных, однонаправленных связей, проторенных в соответствующих частях

120

матриц связей обеих ансамблевых сетей на различных стадиях процесса обучения. В случае ансамблевой сети, разделенной на подсети, эта программа просто подсчитывала все единичные связи, проторенные в подсети 5. В случае же ансамблевой сети, не разделенной на подсети, аналогичный подсчет невозможен. Поэтому, для измерения плотности заполнения связями соответствующего участка матрицы связей ансамблевой сети, не разделенной на подсети, применялся введенный в параграфе 9.5 полносвязный нейронный граф, построенный на основе вектора C5. Напомним, что вектор C5 был сформирован предварительно, до начала процесса обучения сетей с использованием всех 5 420 образцов цифры 5 обучающей выборки базы MNIST.

На рис. 27 показана динамика заполнения единичными связями подсети 5 ансамблевой сети, разделенной на подсети (нижняя кривая), и соответствующего участка матрицы связей ансамблевой сети, не разделенной на подсети (верхняя кривая), в процессе обучения обеих сетей одинаковым количеством образцов цифр каждого класса.

Рис. 27. Динамика заполнения связями соот-ветствующих участков матриц связей двух ан-самблевых сетей.

Этот рисунок де-монстрирует в гра-фической форме раз-личие между сетями.

Количество образцов каждого класса, использованных для обучения сетей, откладывается по оси X, а количество единичных, однонаправленных, внутриансамблевых связей – по оси Y.

Из рис. 27 видно, что форма кривых не претерпела существенных изменений по сравнению с рис. 23. Все кривые, приведенные на обоих рисунках, имеют участок быстрого подъема в начале процесса обучения, после которого их рост постепенно замедляется. Из рис. 23 и 27 можно сделать вывод, что процесс обучения ансамблевых сетей имеет существенно нелинейный

121

характер. Обсуждение этого результата будет продолжено в следующем параграфе, после представления рис. 28.

На рис. 27 кривая, относящаяся к ансамблевой сети, разделенной на подсети, находится значительно ниже кривой, описывающей ансамблевую сеть, не разделенную на подсети. Принимая во внимание огромное количество образцов, использованных для обучения сетей, этот факт убедительно свидетельствует, что однородность и плотность связей в нейронной структуре, описывающей некоторый класс в ансамблевой сети, не разделенной на подсети, всегда намного превышают соответствующие параметры ансамблевой сети, разделенной на подсети. Следовательно, ансамблевая сеть, разделенная на подсети, при любых условиях обучения, т.е. независимо от размеров обучающей выборки, будет обладать большими возможностями для различения классов в процессе распознавания.

Эксперименты, выраженные графиками рис. 27, демонстрируют также тот факт, что, несмотря на очень большое количество образцов, использованных для обучения сетей, в сетях не наблюдается явления насыщения, т.е. полного заполнения матриц связей единичными весами. Отсюда следует, что признаки, выбранные для описания формы рукописных символов, довольно успешно справляются со своей задачей.

Для сравнения нейронных структур, образованных в сетях обоих типов после завершения процесса обучения, также были выполнены следующие эксперименты. Обе сети – сеть, разделенная на подсети, и сеть, не разделенная на подсети, – были обучены с использованием одинакового количества образцов каждого цифрового класса. После этого в сетях подсчитывалось количество связей, оставшихся не затронутыми процедурой обучения. Эти числа приведены в табл. 4. В этой таблице собраны нормированные количества связей с нулевым весом, сохранившиеся в ансамблевой сети, разделенной на подсети (верхняя часть таблицы), и в соответствующих участках ансамблевой сети, не разделенной на подсети (нижняя часть таблицы), после обучения обеих сетей с использованием 5 420 образцов каждого класса цифр из обучающей выборки базы MNIST. В каждой ячейке верхней части табл. 4 находится число, характеризующее долю связей одной из подсетей ансамблевой сети, разделенной на подсети, сохранивших нулевой вес в процессе обучения. Каждая ячейка нижней части таблицы показывает долю связей внутри полносвязного нейронного графа, оставшихся

122

незатронутыми в процессе обучения ансамблевой сети, не разделенной на подсети. Все числа (доли нулевых связей), представленные в табл. 4, выражены в процентах относительно суммарного количества связей, содержащихся в соответствующих полносвязных нейронных графах. Т а б л и ц а 4. Нормированные количества связей с нулевым весом, сохранившиеся в ансамблевых сетях после обучения.

Ансамблевая сеть, разделенная на подсети 0 1 2 3 4 5 6 7 8 9 M D

51% 35% 31% 35% 32% 33% 42% 35% 35% 40% 37% 31

Ансамблевая сеть, не разделенная на подсети 12% 14% 13% 12% 12% 13% 14% 13% 12% 13% 13% 0,5

Числа, приведенные в табл. 4, позволяют оценить

неоднородность нейронных структур (являющихся описаниями цифровых классов), сформированных в процессе обучения в обеих ансамблевых сетях. Чем больше в структуре связей, имеющих нулевой вес, тем выше степень неоднородности этой структуры.

Таким образом, результаты экспериментов (как с буквами, так и с цифрами), представленные в табл. 1–4 и рис. 23, 27 подтверждают справедливость рассуждений, приведенных в главе 8 и параграфах 9.1, 9.2. Эксперименты показывают, что в каждой подсети ансамблевой сети, разделенной на подсети, в ходе обучения формируется специфические паттерны связей. В отличие от этого, в ансамблевой сети, не разделенной на подсети, в процессе обучения образуется почти однородная нейронная структура. Следовательно, в ансамблевой сети, разделенной на подсети, осуществляется более адекватное описание классов, чем в ансамблевой сети, не разделенной на подсети.

9.10. Эксперименты по распознаванию цифр ансамблевой сетью с двоичными связями

Цель экспериментов, описанных ниже в данном параграфе, заключалась в том, чтобы выяснить, как распознающая способность ансамблевой сети зависит от количества образцов обучающей выборки, использованных для обучения сети.

123

Эксперименты проводились с ансамблевой сетью с двоичными связями, разделенной на 10 подсетей, на задаче распознавания рукописных цифр базы MNIST. Работа сети осуществлялась в соответствии с упрощенным статическим алгоритмом распознавания (см. параграф 7.3). На всех этапах обучения применялось одинаковое количество образцов каждого цифрового класса. После каждого этапа обучения следовала проверка распознающей способности сети, которая проводилась на полной тестовой выборке базы MNIST.

На рис. 28 приведена зависимость распознающей способности ансамблевой сети с двоичными связями от количества образцов обучающей выборки, использованных для обучения сети. Количество образцов каждого класса цифр, использованных для обучения, откладывается по оси X. Процент ошибок, допущенных сетью при распознавании полной тестовой выборки базы MNIST, откладывается по оси Y. Максимальная распознающая способность, которую ансамблевая сеть достигает в этих экспериментах, составляет 90,9% правильного распознавания тестовой выборки базы MNIST. Рис. 28. Зависимость рас-познающей способности ан-самблевой сети с двоичными связями от количества образ-цов цифр (каждого цифрово-го класса), использованных для обучения сети.

Форма кривой на рис. 28, свидетельству-ет о неравномерном ха-рактере процесса обу-чения в ансамблевой сети. Действительно, кривая на рис. 28 показывает, что формирование описаний классов в подсетях ансамблевой сети завершается, в общем и целом, после использова-ния приблизительно 500 образцов каждого цифрового класса.

Как следует из сравнения графиков на рис. 28 и 27, увеличение количества образцов цифр каждого класса, примененных для обучения сети, от 500 до 5 420 приводит примерно к удвоению

124

суммарного количества единичных связей, содержащихся в каждой подсети ансамблевой сети. Однако из рис. 28 следует, что такое увеличение количества связей не дает никакого повышения распознающей способности сети. Более того, после использования около 2 000 образцов каждого класса для обучения сети последующее обучение даже несколько ухудшает ее распознающую способность. Этот эффект является следствием хорошо известного явления переобучения, наблюдающегося во всех обучаемых нейронных сетях (см., например, Lawrence et al., 1997; Rätsch et al., 1998; Caruana et al., 2000).

9.11. Обсуждение феномена обобщения в ансамблевых сетях

Феномен обобщения в ансамблевых сетях является следствием образования пересечений между нейронными ансамблями, которые формируются в процессе первичного обучения ансамблевых сетей. В ансамблевой сети, разделенной на подсети, процедура обобщения, выполняется раздельно внутри каждой ее подсети. Благодаря этому обстоятельству в каждой подсети ансамблевой сети, разделенной на подсети, создается некоторое обобщенное описание одного, единственного класса, которое не имеет никаких общих элементов с описаниями других классов. В отличие от этого в ансамблевой сети, не разделенной на подсети, в результате такого же процесса обобщения формируется почти однородная нейронная структура, служащая описанием всех классов, участвующих в обучении сети. Экспериментальное исследование двух указанных типов ансамблевых сетей, выполненное на рукописных буквах украинского алфавита и рукописных цифрах базы MNIST, подтверждает правильность такой интерпретации явления обобщения в ансамблевых сетях.

Рассмотрение феномена обобщения в ансамблевых сетях стоит дополнить следующим замечанием. Процедура обобщения, выполняющаяся в ансамблевой сети в соответствии с описаниями, приведенными выше, имеет смысл только в случае использования неоднозначных и ненадежных признаков. Чтобы показать справедливость этого утверждения, рассмотрим случай идеальных признаков. Определим идеальные признаки, как признаки, которые обеспечивают совершенно одинаковое (инвариантное) описание

125

всех образцов обучающей выборки одного и того же класса. В этом идеальном случае, все нейронные ансамбли, формируемые в одной подсети ансамблевой сети в процессе ее обучения, должны состоять из одного и того же набора нейронов, т.е. полностью совпадать (пересекаться) друг с другом. Таким образом, в результате обучения в каждой подсети такой ансамблевой сети будет сформирован один-единственный нейронный ансамбль (вместо объединенной нейронной структуры), который и будет служить описанием данного класса. Следовательно, никакого обобщения в такой сети происходить не будет.

Необходимо, однако, отметить, что из этого обсуждения случая идеальных признаков вовсе не следует рекомендация – использовать в ансамблевой сети специально ухудшенный набор признаков. Дело в том, что в процессе обобщения ненадежных и неадекватных признаков, происходит обобщение этой неадекватности и увеличивается степень неправильности описания соответствующих классов в ансамблевой сети, что, естественно, приводит к уменьшению ее способности к распознаванию. Таким образом, чем лучше набор признаков, тем выше процент распознавания, достигаемый ансамблевой сетью. Подтверждением последнего утверждения являются результаты главы 10.

126

Глава 10 ПРОЦЕДУРА ВТОРИЧНОГО ОБУЧЕНИЯ (ПРОЦЕСС ДИФФЕРЕНЦИАЦИИ) В АНСАМБЛЕВОЙ СЕТИ С АНАЛОГОВЫМИ ВЕСАМИ СВЯЗЕЙ И УПРОЩЕННЫМ СТАТИЧЕСКИМ АЛГОРИТМОМ РАСПОЗНАВАНИЯ

В этой главе описывается процесс вторичного обучения ансамблевых сетей, который был назван процедурой дифференциации (Goltsev, 1996). Как упоминалось выше, прототип процедуры дифференциации, был предложен Э.М. Куссулем (Kussul et al., 2001; Kussul, Baidyk, 2002) и развит в работах (Goltsev, 1996; Goltsev, Wunsch, 1998; Goltsev, 2004; Goltsev et al., 2004). Ансамблевые сети с различными алгоритмами распознава-ния имеют несколько разные механизмы дифференциации. Проце-дура дифференциации для ансамблевой сети с динамическим алгоритмом распознавания была рассмотрена в параграфе 4.2. В данной главе излагается процесс дифференциации для ансамблевой сети с упрощенным статическим алгоритмом распознавания.

Целью вторичного обучения является повышение способности ансамблевой сети к распознаванию. Процедура дифференциации может выполняться только в сетях с аналоговыми весами внутриансамблевых связей. Данное утверждение не противоречит тому факту, что в работах (Goltsev, 1996; Goltsev, Wunsch, 1998) представлен процесс дифференциации в ансамблевых сетях с двоичными весами связей. Дело в том, что в этих работах описана ансамблевая сеть, в которой аналоговые внутриансамблевые связи реализуются посредством стохастического кодирования двоичных связей в пучках (множествах) двоичных связей, распределенных в сети в ходе ее первичного обучения (см. параграф 3.3). Поэтому в таких стохастических сетях с двоичными весами межнейронных связей, но с фактически аналоговыми весами внутриансамблевых связей может выполняться процедура дифференциации.

127

10.1. Необходимость в процессе дифференциации

В предыдущей главе описаны эксперименты с компьютерными моделями ансамблевых сетей с двоичными связями по распознаванию рукописных букв украинского алфавита и рукописных арабских цифр базы MNIST. Как показали эксперименты, процент распознавания, демонстрируемый ансамблевой сетью с двоичными связями, весьма невысок. Логическим продолжением этих экспериментов стала проверка ансамблевой сети с аналоговыми связями на тех же задачах. Эксперименты проводились с использованием тех же признаков, тех же обучающих и тестовых выборок, что и для двоичной сети. Эксперименты с компьютерными моделями аналоговых ансамблевых сетей дали результат, кажущийся, на первый взгляд, странным. Естественно было бы ожидать, что аналоговая ансамблевая сеть должна была показать, по меньшей мере, не худший процент распознавания, чем двоичная сеть. Однако аналоговая ансамблевая сеть продемонстрировала даже несколько большее количество ошибок, чем двоичная сеть. Этот результат выглядит особенно странно, если принять во внимание тот факт, что аналоговая ансамблевая сеть имеет значительно большую информационную емкость, чем двоичная сеть. В экспериментах обе сети продемонстрировали значительные различия. В частности, сеть с двоичными связями всегда безошибочно распознавала образцы обучающей выборки. В отличие от этого, ансамблевая сеть с аналоговыми связями, будучи обучена на некоторой обучающей выборке, оказывалась неспособной распознавать эту же выборку без ошибок. Таким образом, описанные эксперименты позволяют сделать вывод о том, что процесс обобщения, протекающий в аналоговой ансамблевой сети во время ее первичного обучения, приводит, в некоторых случаях, к формированию неправильных описаний классов в подсетях ансамблевой сети.

Однако в отличие от ансамблевой сети с двоичными связями, в аналоговой сети имеется возможность градуально изменять веса всех ее связей для того, чтобы попытаться повысить ее способность к распознаванию.

128

10.2. Алгоритм процедуры дифференциации

Цель процедуры дифференциации заключается в дополнительном разделении классов в пространстве связей ансамблевой сети. Эта цель достигается посредством адаптивного изменения весов связей внутри подсетей аналоговой ансамблевой сети. Процедура подгонки весов связей выполняется таким образом, чтобы в результате ее выполнения сеть могла безошибочно распознавать все образцы обучающей выборки при условии искусственного внешнего противодействия правильному распознаванию.

В процессе дифференциации ансамблевая сеть многократно рассматривает каждый образец обучающей выборки. При каждом таком рассмотрении, сеть повторяет распознавание этого образца и, в зависимости от результата распознавания, выполняет или не выполняет операции по коррекции весов связей сети. В ходе дальнейшего изложения целесообразно использовать понятие "эпоха", часто встречающегося при описании алгоритмов обучения (см., в частности, Каллан, 2001). Эпоха – это полный цикл рассмотрения всех имеющихся образцов обучающей выборки.

Согласно описанию механизма работы ансамблевой сети со статическим алгоритмом распознавания (см. главу 7) для классификации предъявленного изображения используются R-нейроны, каждый из которых является представителем одной из подсетей ансамблевой сети. R-нейрон с наибольшим уровнем активности определяет подсеть-победитель.

Рассмотрим алгоритм дифференциации на примере образца mx, который, в соответствии с принятыми обозначениями, находится в составе обучающей выборки m-го класса. Ансамблевая сеть делает попытку распознать этот образец. Пусть в результате распознавания наибольшее значение выходной активности оказывается у Rm-нейрона. Это означает, что сеть распознала предъявленный образец правильно и отнесла его к m-му классу. Если уровень выходной активности Rm-нейрона превышает активность всех остальных R-нейронов сети больше, чем на заранее заданную величину Ω, то сеть переходит к рассмотрению следующего образца обучающей выборки. Если же уровень активности Rm-нейрона превышает уровень активности некоторого Rv-нейрона меньше, чем на величину Ω, то выполняются следующие две операции.

129

Первая операция состоит в том, что веса всех внутриансамблевых связей между нейронами того ансамбля, который представляет данный образец обучающей выборки в m-й подсети ансамблевой сети, увеличиваются на величину ∆W. Подчеркнем, что увеличение весов связей производится именно в том нейронном ансамбле, который был первоначально сформирован в m-й подсети ансамблевой сети в процессе первичного обучения. Эта операция описывается формулой (2).

Вторая операция заключается в том, что веса всех связей, которые соединяют друг с другом все нейроны, входящие в состав паттерна начальной нейронной активности G(mx) в v-й подсети ансамблевой сети, уменьшаются на ту же величину ∆W. Она может быть представлена в следующем виде:

Отметим, что обе операции, описываемые формулами (2) и (28),

изменяют вес связи между входом и выходом одного и того же нейрона.

Очевидно, что две описанные выше процедуры увеличивают конкурентоспособность m-й подсети ансамблевой сети и уменьшают конкурентоспособность ее v-й подсети.

После выполнения действий по изменению весов связей сети тот же mx-й обучающий образец вновь подается для распознавания на сеть, чтобы проверить, достаточны ли введенные изменения для удовлетворения сформулированного выше условия о превышении уровня выходной активности Rm-нейрона над уровнями всех остальных R-нейронов сети на величину Ω. Если это условие все еще оказывается невыполненным, то указанные две операции по изменению весов связей сети выполняются вновь. Такое изменение весов связей между нейронами двух подсетей ансамблевой сети повторяется до тех пор, пока очередное распознавание того же mx-го образца обучающей выборки не покажет, что активность Rm-нейрона превышает активность всех остальных R-нейронов сети больше, чем на величину Ω. После этого, сеть переходит к рассмотрению следующего образца обучающей выборки.

Последовательное рассмотрение всех образцов обучающей выборки (т.е. процесс дифференциации) продолжается, эпоха за эпохой, до тех пор, пока указанное условие не окажется выполнен-ным для всех образцов обучающей выборки при заданном Ω.

( ) (28) )()()(,)1(, .xmjxmikvjikv

ji W GGWW ∧∆−=+

130

Из приведенного описания алгоритма дифференциации следует, что величина Ω играет в нем важную роль. Параметр Ω можно функционально определить как величину внешнего воздействия, которое подается на сеть, чтобы искусственно противодействовать процессу правильной классификации предъявленного образца. Очевидно, что величину Ω можно изменять во время выполнения процедуры дифференциации. В серии экспериментов, описанных ниже, значение Ω постепенно увеличивается, т.е. происходит ужесточение условий сходимости для сети в процессе дифференциации. Это приводит к значительному росту распознающей способности сети. В этих экспериментах величина Ω измерялась в процентах относительно значения уровня выходной активности правильного R-нейрона, т.е. R-нейрона, представляющего подсеть ансамблевой сети, к которой должен быть отнесен рассматриваемый образец обучающей выборки в результате распознавания.

Из формулы (28) следует, что процесс дифференциации может приводить к образованию связей с отрицательными весами между нейронами одной и той же подсети. Связи с отрицательными весами обычно называются тормозными. Таким образом, операция уменьшения весов аналоговых связей, представленная формулой (28), является более эффективной по сравнению с операцией разреживания единичных связей в ансамблевой сети с двоичными связями (см. уравнение (8) в параграфе 4.2).

Отметим, что если все нейронные ансамбли сети состоят из одинакового количества нейронов, то общая сумма всех аналоговых весов связей ансамблевой сети, установленных в процессе первичного обучения сети (т.е. во время формирования ансамблей в сети), не изменяется в результате выполнения в ней процедуры дифференциации.

10.3. "Радиальный" набор признаков для описания формы рукописных символов

Процесс дифференциации был экспериментально исследован на тех же задачах распознавания рукописных букв украинского алфавита и рукописных арабских цифр базы MNIST (см. рис. 20 и 24). В ходе экспериментов были использованы два набора признаков, каждый из которых состоял из 32-х признаков. Ниже, в

131

этом параграфе, рассматривается набор признаков, условно названный в данной книге "радиальным". Этот набор признаков был описан в работе (Goltsev, Husek, 2002).

Для выделения "радиальных" признаков из рукописного символа, прежде всего, вычисляются растровые координаты центра тяжести этого символа. Шестнадцать прямых линий различной ориентации пересекаются в найденном центре тяжести так, чтобы образовать 32 радиальных луча, выходящих из центра тяжести символа. Лучи продолжаются до пересечения с границами растра. Все углы между соседними радиальными лучами равны между собой; обозначим угол между ними β. Значение каждого из 32-х признаков вычисляется следующим образом. В процессе движения от границы растра к центру тяжести символа вдоль одного из лучей обнаруживается первый ненулевой пиксель. Вычисляется расстоя-ние между найденным пикселем и центром тяжести символа. Такая же операция выполняется для всех 32-х радиальных лучей, нарисо-ванных на растре. Среди 32-х измеренных расстояний вычисляется максимальное. Каждое из 32-х найденных расстояний нормализует-ся относительно этого максимума. Нормализованное таким обра-зом расстояние между внешним контуром символа и его центром тяжести вдоль k-го луча рассматривается в качестве k-го значения соответствующего признака. Рис. 29,а иллюстрирует это описание.

В процессе выделения признаков радиальный луч, соединяющий центр тяжести символа с границей растра, может не иметь пересечений с пикселями символа (при движении от границы растра к центру тяжести). Именно такая ситуация изображена на рис. 29,а для лучей, обозначенных номерами 23–30. В этом случае поиск возможного пересечения продолжается после пересечения центра тяжести. При обнаружении такого пересечения, расстоянию от центра тяжести до найденного пикселя присваивается отрицательный знак.

Набор из 32-х нормализованных значений расстояний дает интегральное описание формы символа. Очевидно, это описание инвариантно относительно сдвига и изменения размеров символа и устойчиво к деформациям символа. К недостаткам данного описания следует отнести тот факт, что оно не инвариантно относительно поворота изображения и, кроме того, почти не принимает во внимание внутренние контуры символа.

Тридцать две нейронные колонки, состоящие из 32-х нейронов каждая, используются, чтобы представить в ансамблевой сети "радиальные" признаки, выделенные из символа. Каждая такая

132

Рис. 29. "Радиальный" набор признаков. нейронная структура является одной из подсетей ансамблевой сети. Значения призна-ков, выделенных из символа, представля-ются в ансамблевой сети с помощью метода "поплавкового" коди-рования (см. главу 2). Как упоминалось в главе 2, метод "поплав-кового" кодирования позволяет представлять в нейронных колонках любые значения приз-

наков (и отрицательные, в том числе). На рис. 29,б показан нейронный код, которым представляются в ансамблевой сети нормированные расстояния (и отрицательные среди них), измеренные в букве С. Размер нейронного поплавка на рис. 29,б равен пяти нейронам.

Хотя, как было отмечено выше, рассматриваемый набор признаков не обеспечивает инвариантность описания символа относительно поворота изображения, соответствующий нейронный паттерн обладает следующей интересной особенностью. Нейронное представление символа, повернутого относительно исходного (стандартного) положения на угол nβ (где n – произвольное число), является циклически сдвинутым нейронным представлением исходного символа. Эта особенность позволяет распознающему устройству вместо моделирования вращения исходного изображения просто сдвигать нейронный вектор, подаваемый на вход распознающего устройства. Указанная возможность не была, однако, реализована в настоящей работе.

133

10.4. Экспериментальное исследование процесса дифференциации на задаче распознавания рукописных букв

Эксперименты проводились следующим образом. Прежде всего, в ансамблевой сети были сформированы нейронные ансамбли, каждый из которых представлял собой признаковое представление одного из образцов обучающей выборки, т.е. в сети была осуществлена процедура первичного обучения (см. главу 3). В экспериментах использовалась одна и та же обучающая выборка и один и тот же тестовый набор образцов. Обучающая выборка состояла из 80 образцов написания каждой буквы украинского алфавита, т.е., всего 2 560 образцов. Способность ансамблевой сети к распознаванию проверялась на тестовом наборе, который включал в себя по 20 примеров написания каждой буквы, т.е., всего 640 образцов. Образцы обучающей выборки и тестового набора были выбраны случайно из имеющейся базы данных и не пересекались друг с другом.

После завершения процесса первичного обучения сети, начинается собственно экспериментальное исследование процедуры дифференциации, которое состоит из ряда последовательных этапов. Для первого этапа параметр, характеризующий величину противодействия правильному распознаванию (параметр Ω), устанавливается равным нулю. Процесс дифференциации выполняется для этого значения Ω. После окончания процедуры дифференциации, т.е. после того, как сеть научилась безошибочно распознавать все образцы обучающей выборки, измеряется способность сети к распознаванию с использованием тестовой выборки. Второй этап начинается с увеличения параметра Ω. Осуществляется процедура дифференциации для нового значения Ω. После окончания процедуры дифференциации, сеть обучается безошибочно распознавать все образцы обучающей выборки при условии, что каждому акту распознавания противодействует параметр Ω. Вновь производится измерение способности сети к распознаванию с использованием той же тестовой выборки. Последующие этапы экспериментального исследования проводятся аналогично.

На каждом этапе экспериментов фиксировалось количество эпох, т.е. количество полных циклов рассмотрения всех образцов

134

обучающей выборки, требующихся для успешного завершения процесса дифференциации при заданном значении Ω. Результаты экспериментов представлены в графической форме на рис. 30 и 31.

На рис. 30 приведена кривая изменения процента ошибок, допущенных сетью при распознавании тестовой выборки (т.е. величина, обратная распознающей способности ансамблевой сети), в зависимости от параметра Ω, т.е. от того, насколько сильное противодействие правильному распознаванию было использовано во время выполнения процедуры дифференциации.

Рис. 30. Зависимость количества ошибок распознавания, допу-щенных ансамблевой сетью, от величины противодействия пра-вильному распознаванию (пара-метра Ω).

На рис. 30 по оси X отложен параметр Ω, т.е. противодействие правиль-ному распознаванию, по-даваемое на сеть в про-цессе дифференциации.

Эта величина измеряется в процентах к уровню активности R-нейрона, представляющего правильную подсеть ансамблевой сети в процессе распознавания. По оси Y отложен процент ошибок, ко-торые допускает ансамблевая сеть при распознавании одной и той же тестовой выборки. Горизонтальная линия на рисунке показыва-ет процент распознавания ансамблевой сети с двоичными связями.

Из рис. 30 видно, что процесс дифференциации является весьма эффективной процедурой по повышению распознающей способности ансамблевой сети с аналоговыми весами связей.

На рис. 31 по оси X также отложен параметр Ω, т.е. противодействие правильному распознаванию, которое подается на сеть в процессе дифференциации и измеряется в процентах к активности R-нейрона, представляющего правильную подсеть ансамблевой сети. По оси Y отложено количество эпох, т.е. количество циклов рассмотрений всех образцов обучающей

135

выборки, необходимое для успешного завершения процесса дифференциации при соответствующем значении параметра Ω. Другими словами, кривая на рис. 31 показывает сколько раз ансамблевая сеть должна пересмотреть все образцы обучающей выборки, для того чтобы успешно завершить процедуру дифференциации при заданном значении параметра Ω, т.е. при фиксированном уровне противодействия правильному распознаванию. Рис. 31. Зависимость количества циклов рассмотрений всех образцов обучающей выборки сетью (количество эпох) от противодействия правильному распознаванию (параметр Ω), подаваемого на сеть в процессе дифференциации.

Из рис. 31 видно, что для успешного заверше-ния процедуры дифферен-циации при достаточно большом значении параметра Ω, требуется выполнение сотен и тысяч эпох рассмотрения обучающей выборки. Отсюда следует, что процедура дифференциации имеет свой естественный предел, связанный с возрастанием вычислительной стоимости каждого последующего этапа процедуры. Ниже, в данной главе, будет показано, что существует еще одно естественное ограничение для процесса дифференциации. Кроме того, рис. 31 также показывает, что с ростом параметра Ω, увеличивается и крутизна возрастания кривой.

10.5. Двумерный нейронный поплавок Согласно методу "поплавкового" кодирования признаки, выделенные из анализируемого изображения, представляются в ансамблевой сети посредством активации нейронных поплавков в колончатой структуре подсети. При этом каждый нейронный поплавок является, фактически, некоторым расширением значения

136

одного из признаков, выделенных из изображения. Это расширение выполняется внутри соответствующей нейронной колонки в вертикальном направлении. Цель такого расширения состоит в увеличении размера пересечений нейронных кодов различных образцов, относящихся к одному классу, (т.е. между нейронными ансамблями). Как упоминалось выше, указанное вертикальное расширение нейронного поплавка является важной составляющей процесса обобщения, выполняющегося внутри каждой подсети в ходе первичного обучения сети.

Использование "радиальных" признаков (см. параграф 10.3) для описания символов делает целесообразным расширение нейронного кода букв также и в горизонтальном направлении, т.е. между соседними нейронными колонками. Действительно, смежные нейронные колонки одной подсети ансамблевой сети представляют в нейронной структуре подсети смежные лучи, нарисованные на изображении и пересекающие контур анализируемого символа (см. рис. 29,а). В результате поворота символа на угол β точка его контура, лежащая на пресечении с данным лучом, перемещается на другой луч, соседний с предыдущим. Разброс ориентаций рукописных символов очень велик (см. рис. 20 и 24). Естественно было предположить, что расширение нейронного поплавка также и в горизонтальном направлении позволит учесть ориентационный разброс написания букв. Проверка такого предложения описывается ниже.

В этой серии экспериментов каждое значение признака представлялось активацией двумерного нейронного поплавка. Поплавок, образованный расширением значения признака в двух направлениях, горизонтальном и вертикальном, имеет форму квадрата. На рис. 32 приведен пример такого двумерного нейронного поплавка в колончатой структуре одной из подсетей ансамблевой сети.

Рис. 32. Пример двумерного нейронного поплавка разме-ром 5×5 нейронов.

137

На этом рисунке белый кружок с черной точкой изображает центральный нейрон поплавка, т.е. нейрон, соответствующий значению признака, выделенному из изображения. Зачерненные кружки изображают остальные нейроны двумерного поплавка, окружающие его центральный нейрон.

На рис. 33 показан паттерн нейронной активности одной из подсетей ансамблевой сети, в который с помощью двумерного "поплавкового" кодирования трансформируются 32 "радиальных" признака, выделенных из буквы С (см. рис. 29,а). Каждый двумерный нейронный поплавок состоит из 5×5 нейронов. Рис. 33. Паттерн нейронной активности одной подсети ансамблевой сети, создан-ный посредством двумерно-го "поплавкового" кодирова-ния.

При сопоставлении рис. 29,б и 33 видно, что применение двумерных нейронных поплавков намного увеличивает количество активированных нейронов в паттерне по сравнению со случаем одномерного "поплавкового" кодирования.

Для исследования возможностей процедуры дифференциации при использовании двумерного "поплавкового" кодирования, была проведена серия экспериментов с ансамблевой сетью (аналогичная описанной в параграфе 10.4) на той же задаче распознавания рукописных букв украинского алфавита. Результаты этих экспериментов представлены на рис. 34, который организован таким же образом, как и рис. 30. На этом рисунке по оси X отложен параметр Ω, а по оси Y – процент ошибок, которые допускает ансамблевая сеть при распознавании одной и той же тестовой выборки. Верхняя кривая на рис. 34 перенесена с рис. 30 для сравнения. Нижняя кривая представляет изменение распознающей способности ансамблевой сети с двумерным "поплавковым" кодированием в зависимости от прогресса в выполнении процедуры дифференциации.

Как видно из рис. 34, процесс дифференциации ансамблевой се-ти с двумерными поплавками приводит к достижению значительно

138

Рис. 34. Распознающая способ-ность ансамблевой сети на раз-ных этапах выполнения про-цедуры дифференциации. меньшего процента оши-бок распознавания букв сетью по сравнению со случаем сети с одномер-ными (вертикальными) нейронными поплавками. Этот факт можно объ-яснить следующим обра-

зом. В условиях использования "радиального" набора признаков двумерное "поплавковое" кодирование позволяет ансамблевой сети формировать более адекватные описания классов букв в ее подсетях за счет следующих обстоятельств. Во-первых, благодаря двумерному "поплавковому" кодированию в сети в большей степени учитывается ориентационный разброс написания рукопис-ных букв. Во-вторых, двумерное "поплавковое" кодирование, увеличивая размер нейронного кода каждой буквы (и, соответ-ственно, количество внутриансамблевых связей) по сравнению со случаем одномерных нейронных поплавков, предоставляет ансамблевой сети больше возможностей для корректировки этих связей между нейронами подсетей в процессе дифференциации.

С другой стороны, вследствие расширения нейронного кода, к которому приводит двумерное "поплавковое" кодирование, увеличивается общее количество операций по корректировке весов связей, которые необходимо выполнить для успешного завершения процедуры дифференциации. Последнее утверждение подтвержда-ется такими экспериментальными данными. Суммарное количество операций по коррекции весов связей, необходимых для вырисовы-вания нижней кривой на рис. 34, составляет 121 770 операций. При этом вся процедура дифференциации занимает 729 эпох.

Таким образом, эксперименты, описанные в данном параграфе, демонстрируют, что ансамблевая сеть с двумерным "поплавковым" кодированием имеет явное преимущество перед сетью, использующей одномерный нейронный поплавок.

139

10.6. Относительное повышение распознающей способности ансамблевой сети в результате выполнения в ней процедуры дифференциации

Результаты экспериментов, представленные на рис. 30 и 34, дают основание для вывода о том, что процедура дифференциации является весьма эффективным средством повышения распознающей способности ансамблевой сети. Действительно, в соответствии с рис. 34 после завершения всех этапов процедуры дифференциации процент ошибок, допущенный ансамблевой сетью при распознавании тестовой выборки, уменьшается от 13,4% до 8,4%. Примем за начальную точку отсчета распознающей способности ансамблевой сети такой процент распознавания, который сеть достигает после завершения первого этапа процедуры дифференциации. Повторим, что в результате выполнения первого этапа процедуры дифференциации, ансамблевая сеть обучается безошибочно распознавать все примеры обучающей выборки при условии отсутствия внешнего противодействия процессу правильной классификации предъявленного образца, т.е. при Ω = 0. Введение указанной точки отсчета позволяет заключить, что в экспериментах, показанных на рис. 34, процесс дифференциации увеличивает распознающую способность ансамблевой сети на 37%.

Используя введенную относительную единицу измерения, можно представить кривые рис. 34 в другом виде, как это изображено на рис. 35. На этом рисунке показана динамика изменения относительной распознающей способности ансамблевой сети в зависимости от прогресса в выполнении процедуры дифференциации в ней. На рис. 35 по оси X отложен параметр Ω, а по оси Y – величина, характеризующая относительную распознаю-щую способность ансамблевой сети. Эта величина выражена в процентах относительно той распознающей способности, которую сеть достигает после выполнения в ней процедуры диффе-ренциации при значении параметра Ω равном нулю. Верхняя кривая, обозначенная треугольными точками, показывает изменение распознающей способности ансамблевой сети с двумерным "поплавковым" кодированием в зависимости от прогресса в выполнении в ней процедуры дифференциации. Нижняя кривая, обозначенная квадратными точками, представляет

140

Рис. 35. Относительная распоз-нающая способность ансамбле-вой сети на разных этапах выполнения процедуры диффе-ренциации. изменение распознающей способности ансамблевой сети с одномерным "поплавковым" кодирова-ниием на всех этапах выполнения процедуры дифференциации.

Здесь уместно будет отметить, что эксперименты, описанные ниже, демонстрируют, что форма кривой изменения распознающей способности (как абсолютной, так и относительной) ансамблевой сети существенно не изменяется при переходе к другим наборам признаков и/или к распознаванию других объектов (символов).

10.7. Образование тормозных связей во время выполнения процедуры дифференциации

Рассмотрим вопрос о функциональном смысле межнейронных связей, являющихся субстратом описаний классов, сформированных в каждой из подсетей аналоговой ансамблевой сети. После выполнения процедуры первичного обучения ансамблевой сети, т.е. после завершения процесса формирования нейронных ансамблей во всех подсетях ансамблевой сети, функциональный смысл этих связей легко поддается содержательной интерпретации. Вес каждой аналоговой связи между любыми двумя нейронами некоторой подсети ансамблевой сети представляет собой число совместной встречаемости пары значений признаков (представленных данными нейронами в подсети) во всех образцах обучающей выборки соответствующего класса. Тогда, сущность алгоритма распознавания ансамблевой

141

сети, еще не оптимизированной с помощью процедуры дифференциации, может быть описана как подсчет суммарного количества совместной встречаемости всех пар значений признаков, выделенных из тестового образца, предъявленного для распознавания. Иными словами, на этапе первичного обучения ансамблевая сеть выполняет простой статистический анализ доступной обучающей выборки. Стоит отметить, что многие алгоритмы распознавания, описанные в литературе, ограничивают-ся только статистическим анализом обучающей выборки, хотя делают такой анализ намного более тщательно (см., например, Шлезингер, Главач, 2005). Как было отмечено выше в параграфе 10.1, экспериментальное тестирование ансамблевой сети с аналоговыми связями показывает, что после проведения процедуры ее первичного обучения сеть не обладает минимально необходимой распознающей способностью. Отсюда следует вывод, что для достижения сетью высоких процентов распознавания не достаточно формирования в ней вторичных признаков на основе взаимовстречаемости между парами признаков.

Процесс дифференциации значительно изменяет структуру межнейронных связей во всех подсетях ансамблевой сети. Более того, как упоминалось выше, процедура дифференциации приводит к образованию тормозных связей между нейронами одной и той же подсети ансамблевой сети. В ходе рассмотренных выше экспериментов по дифференциации, параллельно проводилась регистрация тормозных связей, измерение их весов и выявление в ансамблевой сети тормозной связи с максимальным весом. В результате этого было обнаружено, что в процессе дифференциа-ции в ансамблевой сети образуется множество тормозных связей, причем максимальный вес образованных тормозных связей на всех этапах выполнения этой процедуры сохраняет примерное равенство с максимальным весом возбуждающих связей.

Полученные экспериментальные результаты трудно интерпре-тировать с точки зрения гипотезы Хебба о нейронных ансамблях. Действительно, в соответствии с уравнением (28) тормозные связи могут образовываться только между нейронами, являющимися представителями признаков, выделенных из одного и того же образца обучающей выборки. Иными словами, тормозные связи образуются между парами признаков, реально присутствующими в составе каких-либо образцов обучающей выборки. Казалось бы, все пары признаков, имеющиеся в составе образцов обучающей выборки некоторого класса, должны свидетельствовать в пользу

142

принадлежности образца к данному классу и поэтому всегда должны быть связаны возбуждающими связями. Эксперименты же показывают, что процедура дифференциации приводит к тому, что многие из таких пар становятся отрицательно коррелированными, т.е. становятся признаками, свидетельствующими о не принадлеж-ности к данному классу. С другой стороны, не подлежит сомнению тот факт, что именно тормозные связи, образованные в ансамблевой сети в процессе выполнения в ней процедуры дифференциации, являются одной из причин высокой эффективности этой процедуры.

10.8. Задача распознавания рукописных цифр

В предыдущих параграфах данной главы в экспериментах по распознаванию рукописных букв украинского алфавита была показана высокая эффективность процедуры дифференциации для улучшения распознающей способности аналоговой ансамблевой сети. Однако выводы, сделанные на основании проведенных экспериментов, могут рассматриваться, лишь, как предваритель-ные, поскольку была использована недостаточно обширная база данных. Для повышения достоверности этих выводов, следовало бы выполнить эксперименты на иных объектах распознавания, с применением других алгоритмов выделения признаков, и на более обширной базе данных. Кроме того, было бы целесообразно сравнить распознающую способность ансамблевой сети с мировыми достижениями в этой области.

Сравнение процентов распознавания, достигнутых разными распознающими устройствами при использовании одной и той же базы данных, является способом, позволяющим в какой-то степени сопоставить друг с другом различные распознающие устройства. С одной стороны, этот способ дает возможность интегрально оценить и сравнить между собой преимущества и недостатки распознающих устройств, работающих на совершенно различных принципах. С другой стороны, этот способ не позволяет вполне корректно осуществлять сравнение между самими алгоритмами распознавания, поскольку для такого сравнения, кроме использования одной и той же базы данных, необходимо было бы применение еще одного и того же набора признаков. Тем не менее,

143

сравнение различных распознающих систем по критерию процента распознавания на одной и той же базе данных в настоящее время широко распространено.

Все сформулированные выше пожелания относительно дополнительной проверки процесса дифференциации, удовлетво-ряются при использовании в экспериментах базы MNIST. Как упоминалось выше, эта база данных содержит огромное количество образцов как в обучающей, так и в тестовой выборке, так что экспериментальные результаты, полученные на ней, должны рассматриваться, как статистически достоверные. В последующих параграфах данной главы описано эксперименталь-ное исследование процесса дифференциации в ансамблевой сети на задаче распознавания отдельных рукописных арабских цифр базы MNIST. Таким образом, процедура дифференциации тестируется на ином объекте распознавания: цифрах. Кроме того, в этих экспериментах был использован другой набор признаков для описания рукописных символов, условно названный "радиально-интегральным".

10.9. "Радиально-интегральный" набор признаков для описания формы рукописных символов

До сих пор в данной книге (как в задаче распознавания текстур, так и в задаче распознавания рукописных символов), все признаки, выделяемые из изображения, преобразовывались в паттерн начальной нейронной активности ансамблевой сети с помощью метода "поплавкового" кодирования, т.е. посредством активации нейронных поплавков в нейронных колонках. В результате могло сложиться впечатление, что для применения в ансамблевой сети признаки обязательно должны быть представлены методом "поплавкового" кодирования. Это ложное впечатление, свидетель-ством чего является описываемый ниже в настоящем параграфе набор "радиально-интегральных" признаков, который представля-ется в ансамблевой сети без использования метода "поплавкового" кодирования.

"Радиально-интегральный" набор признаков имеет ряд общих черт с "радиальным" набором, описанным в параграфе 10.3.

144

Для выделения "радиально-интегральных" признаков из цифр базы MNIST, каждое исходное изображение цифры первоначально преобразуется в двоичную форму (см. параграф 9.8 и рис. 25). Таким образом, алгоритм выделения признаков, описанный ниже, применяется к цифрам, нарисованным единичными пикселями в двоичной квадратной матрице, размером 32×32 пикселей.

Нейронная структура, включающая в себя 32×32 нейронов, служит для представления в ансамблевой сети набора "радиально-интегральных" признаков, выделенных из изображения. Каждая такая нейронная структура является одной из подсетей ансамблевой сети. Структура состоит из 32-х нейронных колонок, каждая из которых содержит по 32 нейрона. В совокупности нейроны структуры образуют, нейронный квадрат. Набор выделенных из изображения признаков представляется активацией определенного паттерна нейронов внутри такого квадрата.

"Радиально-интегральный" набор признаков состоит из двух частей. Для представления первой части признаков служат 16 нейронов верхней половины каждой из 32-х нейронных колонок. Нижние 16 нейронов всех нейронных колонок используются для представления второй части набора признаков.

Выделение "радиально-интегральных" признаков из некоторого символа начинается с того, что символ центрируется в двоичной квадратной матрице (растре), для чего предварительно вычисляются координаты центра тяжести символа.

Первая часть рассматриваемого набора признаков выделяется из анализируемого символа посредством преобразования его исходного, двоичного изображения с помощью серии операций, последовательно описанных ниже. Первая операция серии заключается в расширении двоичного, центрированного изображения символа процедурой, описанной в работе (Goltsev, 1992). Процедура расширения выполняется над символом последовательно, в течение нескольких тактов. Смысл этой процедуры заключается в следующем. Каждый пиксель двоичной двумерной матрицы (за исключением граничных пикселей) имеет 8 соседних пикселей. Один такт процедуры двоичного расширения состоит в присваивании единичных значений всем 8 соседям каждого единичного пикселя матрицы, независимо от их значений на предыдущем такте. В результате выполнения нескольких тактов двоичного расширения символ превращается в расплывшееся сплошное пятно, форма которого лишь отдаленно напоминает

145

форму исходного символа. Существенно, что все внутренние области символа (если таковые имеются) заполняются, при этом, единицами.

Из полученного двоичного расплывшегося пятна вычитается изображение исходного символа. Эта процедура выполняется с помощью операции логического вычитания. В результате внутри расплывшегося пятна, нарисованного единицами (единичными пикселями), на растре появляется изображение исходного символа, нарисованное нулями (нулевыми пикселями).

Тридцать две прямые линии различных ориентаций (радиальных лучей) рисуются в рассматриваемой двоичной матрице; все линии выходят из центра матрицы (который совпадает с центром тяжести символа). Линии продолжаются до пересечения с одной из границ растра. Углы между соседними линиями равны между собой.

В процессе движения от границы растра к центру тяжести символа вдоль одного из радиальных лучей обнаруживается первый единичный пиксель символа. Вычисляется расстояние между найденным пикселем и центром тяжести символа. Эта операция выполняется для всех 32-х лучей, проведенных в двоичной матрице. Среди 32-х измеренных расстояний вычисляется максимальное, которое определяет максимальный радиальный размер символа. В дальнейшем, все вычисленные расстояния нормализуются относительно максимального радиального размера символа.

"Радиально-интегральный" набор признаков принимает во внимание только те единичные пиксели преобразованного изображения символа, которые пересекаются 32-мя радиальными лучами, проведенными в двоичной матрице.

Признаки первой части рассматриваемого набора образуются из пикселей расширенного изображения символа, лежащих на 32-х радиальных лучах. Измеряется расстояние от центра тяжести символа до каждого из единичных пикселей, пересекаемого одним из лучей. Все измеренные расстояния нормализуются относительно максимального радиального размера символа. Каждое нормализованное расстояние между единичным пикселем и центром тяжести символа вдоль k-го радиального луча ставится в соответствие определенному нейрону, находящемуся в составе 16 верхних нейронов k-й нейронной колонки. При обнаружении нескольких единичных пикселей с одинаковыми параметрами в нейронной колонке активируется один и тот же нейрон.

146

Положение активированного нейрона внутри колонки зависит от расстояния от пикселя до центра тяжести символа. Чем дальше от центра тяжести находится единичный пиксель, лежащий на k-м радиальном луче, тем выше в k-й нейронной колонке располагается соответствующий ему активированный нейрон.

Рис. 36,а дает зрительное представление о преобразованиях, которым подвергается символ в процессе выделения первой части "радиально-интегрального" набора признаков, на примере цифры 5. В соответствии с приведенным выше описанием, рисунок отобра-жает только те единичные пиксели преобразованного изображения символа, которые пересекаются 32-мя радиальными лучами, выходящими из ее центра тяжести и используемыми для выделения признаков.

Рис. 36. "Радиально-интегральный" набор приз-наков.

Для выделения вто-рой части "радиально-интегрального" набора признаков, исходное изображение символа вновь помещается на ту же двоичную матрицу размером 32×32 пиксе-лей и центрируется в ней. Центрированное изображение пересека-ется теми же 32-мя радиальными лучами, выходящими из центра

тяжести символа (совпадающего с центром матрицы). Как и в рассмотренном выше случае, в признаки преобразуются только такие единичные пиксели, которые лежат на радиальных лучах. Расстояние, измеренное между каждым единичным пикселем символа и его центром тяжести и нормированное относительно максимального радиального размера символа, становится одним из

147

признаков второй части "радиально-интегрального" набора. Для представления этого признака служит определенный нейрон, находящийся в составе нижних 16 нейронов нейронной колонки, соответствующей радиальному лучу, с помощью которого был выделен данный признак.

Таким образом, все признаки обоих частей "радиально-интегрального" набора признаков, образованные из пикселей, лежащих на k-м радиальном луче представляются, в k-й нейронной колонке (состоящей из 32-х нейронов).

На рис. 36,б показан паттерн нейронной активности одной из подсетей ансамблевой сети, в который трансформируется все "радиально-интегральные" признаки, выделенные из цифры 5. Как видно из этого рисунка, подсеть состоит из 32-х нейронных колонок, каждая из которых содержит по 32 нейрона.

Паттерн нейронов, активированный в нейронной структуре после выделения из символа "радиально-интегральных" признаков, является описанием формы символа. Это описание, очевидно, инвариантно относительно сдвига и изменения размеров символа и устойчиво относительно деформации символа. Однако это описание не инвариантно к повороту изображения. В отличие от описания, сделанного с помощью "радиальных" признаков (см. параграф 10.3), данное описание является более полным, поскольку принимает во внимание как внешние, так и внутренние части символа.

10.10. Экспериментальное исследование процесса дифференциации на задаче распознавания рукописных цифр

В данном параграфе описываются эксперименты по дифференциации аналоговой ансамблевой сети на задаче распознавания рукописных цифр базы MNIST. Для проведения экспериментов использовалась ансамблевая сеть с аналоговыми весами связей и с упрощенным статическим алгоритмом распознавания. Сеть была разделена на 10 подсетей в соответствии с количеством классов арабских цифр.

Эксперименты по дифференциации ансамблевой сети на задаче распознавания цифр проводились в полном соответствии с описанием, представленном в параграфе 10.4, и состояли в

148

следующем. Прежде всего, в процессе первичного обучения сети, в ней были сформированы нейронные ансамбли, каждый из которых представлял собой один из образцов обучающей выборки (см. главу 3). Таким образом, поскольку обучающая выборка базы MNIST состоит из 60 000 экземпляров рукописных цифр, в 10 подсетях ансамблевой сети было сформировано всего 60 000 нейронных ансамблей. Та же обучающая выборка использовалась в процессе дифференциации ансамблевой сети. В результате выполнения первого этапа процедуры дифференциации ансамблевая сеть обучалась безошибочно распознавать все образцы обучающей выборки. Все последующие этапы процедуры дифференциации были связаны с увеличением параметра Ω, т.е. происходило ужесточение условий сходимости для сети в процессе дифференциации. После завершения каждого этапа процедуры дифференциации, распознающая способность ансамблевой сети измерялась с использованием всех 10 000 образцов тестовой выборки базы MNIST. Динамика изменения процента ошибок в зависимости от параметра Ω показана на рис. 37, который организован аналогично рис. 30 и 34. На этом рисунке по оси X отложен параметр Ω, т.е. противодействие правильному распознаванию, подаваемое на сеть в процессе дифференциации; по оси Y отложен процент ошибок, которые допускает ансамблевая сеть при распознавании полной тестовой выборки.

Рис. 37. Распознающая способ-ность ансамблевой сети на раз-ных этапах выполнения про-цедуры дифференциации.

Как следует из рис. 37, после выполнения не-скольких этапов процеду-ры дифференциации (обу-словленных возрастанием

параметра Ω), количество ошибок, допускаемых ансамблевой сетью, уменьшилось до минимального значения – 207 ошибок (среди 10 000 образцов тестовой выборки). Таким образом, ансамблевая сеть продемонстрировала 97,93% правильного

149

распознавания. Кроме того, график на рис. 37 показывает, что в результате выполнения процедуры дифференциации, процент ошибок, допускаемый ансамблевой сетью, был снижен от 3,36% до 2,07%. Этот же результат может быть выражен в относительных процентах, введенных в параграфе 10.6. Используя такие относительные единицы можно констатировать, что процедура дифференциации повышает распознающую способность ансамблевой сети на те же 37 относительных процентов, что и в экспериментах с рукописными буквами (см. параграф 10.6).

Интересно сравнить график рис. 37, построенный по результатам дифференциации ансамблевой сети на задаче распознавания цифр, с кривыми рис. 30 и 34, которые получены в таких же экспериментах на задаче распознавания букв. Сравнение рисунков дает следующие результаты. На всех рисунках кривые имеют примерно одинаковую форму. Из этого факта следует, что динамика процесса дифференциации в ансамблевой сети существенно не изменяется при использовании разных наборов признаков и/или разных объектов распознавания. Кривые на рис. 37 и 34, описывающие изменение распознающей способности ансамблевой сети в зависимости от значения параметра Ω, несколько возрастают после перехода через минимум. Как упоминалось выше (см. параграф 9.10), этот эффект описан в литературе под названием переобучения; он проявляется как в ансамблевой сети с двоичными весами связей (см. рис 28), так и в ансамблевой сети с аналоговыми связями.

В дополнение к приведенному выше описанию процедуры дифференциации следует упомянуть, что форма кривых на рис. 30, 31, 34, 35 и 37 может незначительно изменяться при изменении шага приращения параметра Ω.

Необходимо, также, отметить, что хотя выполнение всех этапов процедуры дифференциации в ансамблевой сети длится очень долго, однако, результирующий процесс распознавания тестовой выборки сетью занимает совсем немного времени. Так, все 10 000 образцов тестовой выборки базы MNIST компьютерная модель ансамблевой сети обрабатывает за 2,5 мин. на PC с тактовой частотой 2 000 МГц. Здесь указано чистое время работы модели ансамблевой сети, из которого исключена длительность процедуры выделения признаков из цифр.

Таким образом, обе серии экспериментов с разными объектами распознавания, описанные в данной главе, демонстрируют, что

150

выполнение процедуры дифференциации в ансамблевой сети приводит к значительному повышению распознающей способности сети (как абсолютной, так и относительной). Причем, увеличение относительной распознающей способности сети не зависит от набора признаков, примененных для описания распознаваемых объектов.

10.11. Обсуждение процедуры дифференциации

В данной главе описана процедура дифференциации, целью которой является повышение распознающей способности ансамблевой сети. Процедура дифференциации осуществляется после завершения первичного обучения сети и в процессе своего выполнения компенсирует все диспропорции между описаниями разных классов, образовавшиеся во время первичного обучения сети. Процедура дифференциации производится посредством адаптивного изменения весов связей в подсетях ансамблевой сети. При этом веса многих связей значительно изменяются, в частности, образуются тормозные связи внутри подсетей. Таким образом, процедура дифференциации делает структуру связей каждой подсети более специфической, со своим особым паттерном межнейронных связей. В результате этого различия между подсетями ансамблевой сети значительно увеличиваются, что облегчает процесс распознавания.

Эксперименты, описанные в данной главе, продемонстрирова-ли, что процедура дифференциации является весьма эффективным средством повышения как абсолютной, так и относительной распознающей способности ансамблевой сети. В частности, в экспериментах по распознаванию как букв, так и цифр было показано, что выполнение процедуры дифференциации повышает относительную распознающую способность сети на одинаковое значение – 37%. Причем, одинаковый рост относительной распознающей способности сети наблюдался при использовании различных наборов признаков. Этот факт позволяет высказать предположение, что примерно одинаковое относительное увеличе-ние распознающей способности ансамблевой сети в результате выполнения в ней процедуры дифференциации должно происходить при использовании любых признаков. Конечно,

151

абсолютное значение такого увеличения в значительной степени зависит от типа используемых признаков и от значений таких параметров процесса обучения сети, как, например, размер обучающей выборки.

Описанная в данной главе процедура дифференциации является очень надежной в смысле сходимости. В ходе проведения экспериментов сеть достигала нулевого процента ошибок (на любой обучающей выборке) во всех без исключения случаях (конечно, ценой очень большого количества итераций). Причем, следует подчеркнуть, что хотя обучающая выборка базы MNIST включает в себя большое количество двусмысленных образцов, эксперименты продемонстрировали, что структура ансамблевой сети обладает способностью адекватно адаптироваться в процессе выполнения процедуры дифференциации и, в результате этого, формировать однозначные описания для всех классов. Таким образом, факт достижения сходимости ансамблевой сети на огромной обучающей выборке базы MNIST свидетельствует об особо высокой надежности процедуры дифференциации.

Как следует из рис. 31, процедура дифференциации является весьма трудоемкой и требует для своего завершения выполнения многих тысяч циклов (эпох), в каждом из которых просматриваются все образцы обучающей выборки. Дело в том, что в процессе выполнения этой процедуры производится множество операций коррекции весов, в результате чего веса многих связей многократно изменяются во всех подсетях ансамблевой сети. Причем, изменения весов, сделанные на этапе рассмотрения одного из образцов обучающей выборки, могут оказывать влияние на результаты распознавания многих других ее образцов. Поэтому на каждом цикле процедуры дифференциации должна осуществляться проверка всех образцов обучающей выборки, в том числе и тех из них, которые на предыдущем цикле были распознаны безошибочно.

В заключение этой главы необходимо подчеркнуть, что выполнение процедуры дифференциации является совершенно обязательным условием нормального функционирования ансамблевой сети с аналоговыми связями, поскольку без ее выполнения ансамблевая сеть показывает очень низкий процент распознавания.

152

Глава 11 МОДЕЛЬ РАСПОЗНАВАНИЯ РУКОПИСНЫХ СЛОВ

Распознавание рукописных символов значительно облегчается, если эти символы объединены в последовательности (слова), количество которых ограничено сравнительно небольшим словарем. Этот факт демонстрируется моделью, описанной ниже, которая состоит из совокупности ансамблевой сети и простого линейного персептрона с двоичными связями; материал этой главы опубликован в работе (Goltsev, Rachkovskij, 2005).

Известно, что многие люди пишут очень неразборчиво. При этом буквы, находящиеся в составе рукописных слов и рассматриваемые отдельно от них, имеют, иногда, настолько искаженную форму, что не могут быть правильно распознаны даже людьми, написавшими эти слова. В то же время, эти же буквы, рассмотренные в контексте слова (и предложения), распознаются без труда. Этот факт, очевидно, свидетельствует о том, что использование дополнительной информации о возможном составе слова значительно увеличивает вероятность правильного распознавания всех букв, составляющих слово. В случае неразборчивости отдельных слов, необходимая дополнительная информация может быть получена из синтаксического и грамматического анализа предложения.

Ниже описывается простая нейронная сеть персептронного типа, которая, при совместной работе с ансамблевой сетью позволяет использовать дополнительную информацию, содержащуюся в символьных последовательностях (словах), для более правильного распознавания символов, составляющих эти последовательности. Для проверки эффективности модели, была рассмотрена задача распознавания цифровых последовательностей, образованных посредством объединения цифр базы MNIST. Все

153

полученные последовательности цифр (слова) были представлены в нейронной структуре сети. Задача заключалась в том, чтобы распознать все изображения цифр, содержащиеся в тестовой выборке базы MNIST, при условии, что каждая цифра находится в составе одной из последовательностей.

Задача распознавания слов рассматривается здесь в таком, не совсем обычном, виде, по следующим причинам. Разделение реальных рукописных слов на отдельные буквы представляет собой весьма трудную проблему, которая должна решаться параллельно с распознаванием отдельных букв. Использование отдельных символов (цифр), собранных в базе MNIST, для формирования искусственных слов позволяет обойти эту проблему. Широкое применение базы MNIST для сравнения между собой разных методов распознавания делает наглядным выигрыш, получаемый данной моделью от дополнительной информации, закодированной в словах. Использование этой дополнительной информации позволяет снизить вплоть до нуля процент ошибок при распознавании рукописных цифр базы MNIST, объединенных в слова.

11.1. Структура "символьной" нейронной сети и алгоритм ее обучения

Для представления слов, образованных из отдельных символов, предлагается следующая нейронная сеть, имеющая вид двухслойного персептрона. Для идентификации такой сети среди других нейронных сетей персептронного типа, описанных в данной книге, эта сеть названа "символьной". В рассматриваемой ниже модели, слова, состоящие из одинакового количества символов, запоминаются в одной, специально предназначенной для этого, "символьной" нейронной сети. Другая "символьная" сеть с аналогичной структурой служит для представления слов, содержащих иное количество символов.

Структура "символьной" нейронной сети включает в себя два нейронных слоя и связи, направленные от нейронов первого слоя к нейронам второго слоя. Пусть слово содержит m символов. Тогда, первый слой сети состоит из m нейронных колонок. Каждая нейронная колонка содержит M нейронов, где M – это размер алфавита символов, из которых составлены слова. В данном

154

случае, т.е. в случае слов, образованных из цифр базы MNIST, размер алфавита равен, очевидно, 10. Таким образом, все нейронные колонки первого слоя описываемой "символьной" сети содержат по 10 нейронов. Нейроны всех нейронных колонок, имеющие одинаковые внутриколончатые номера, представляют одинаковые символы (цифры) этого алфавита.

Все нейронные колонки первого слоя сети пронумерованы так, что их номера соответствуют порядку символов в слове: первому символу слова соответствует первая нейронная колонка, второму символу слова – вторая нейронная колонка, последнему символу слова – последняя нейронная колонка.

В первом слое сети слово из m символов представляется активацией паттерна, состоящего из m нейронов. При этом в каждой из m нейронных колонок находится один активированный нейрон: в первой нейронной колонке активируется нейрон, соответствующий первому символу слова, во второй колонке активируется нейрон, соответствующий второму символу слова и т.д. Поскольку каждая из нейронных колонок содержит полный алфавит символов, то любое слово, состоящее из m символов, однозначно представляется в m нейронных колонках.

Рис. 38 иллюстрирует приведенное описание.

Рис. 38. Структура первого слоя "символьной" нейронной сети, предназначенной для запомина-ния и распознавания слов, состоя-щих из 6 символов.

Этот рисунок изобража-ет первый слой "символь-ной" нейронной сети, предназначенной для запо-

минания и распознавания слов, состоящих из шести символов каждая. Для примера, на рис. 38 показан паттерн нейронной активности, представляющий числовую последовательность (слово) 4, 2, 6, 3, 3, 9.

Запоминание слов в "символьной" нейронной сети осущест-вляется согласно следующему алгоритму. Для запоминания каждого слова во втором слое сети выделяется один нейрон,

155

который представляет это слово в последующем процессе распознавания. В соответствии с приведенным выше описанием, предъявление сети некоторого слова, вызывает активацию некоторого паттерна нейронной активности в первом слое сети. Процедура запоминания слова заключается в проторении возбуждающих связей единичной проводимости, направленных от всех нейронов паттерна, активированного в первом слое сети, к нейрону, выделенному для представления этого слова во втором слое сети. Таким образом, после запоминания всех J слов, составляющих словарь распознаваемых слов, во втором слое "символьной" нейронной сети оказывается J нейронов, каждый из которых является получателем специфического паттерна возбуждающих единичных связей, направленных к нему от нейронов первого слоя сети.

Обозначим общее количество нейронов, составляющих первый слой "символьной" нейронной сети N, обозначим, также, совокупность связей, проторенных в соответствии с данным алгоритмом в процессе обучения сети и направленных от всех N нейронов первого слоя сети ко всем J нейронам второго ее слоя, двоичной, двумерной матрицей W.

Как упоминалось выше, в данной работе слова формируются из цифр тестовой выборки базы MNIST. Задача формирования слов решается наиболее простым способом, т.е. слова составляются в соответствии с порядком следования изображений цифр в этой выборке. Первое слово из m символов создается из первых m цифр тестовой выборки, второе слово образуется из следующих m цифр (без пересечения между ними) и так до конца выборки. Поскольку известно, что все цифры в базе MNIST расположены совершено случайно, то, очевидно, что принятый метод формирования словаря слов эквивалентен случайному выбору цифр в составе каждого слова словаря.

Для каждого цикла экспериментов используются слова, имеющие разную длину. Поскольку количество цифр, содержащихся в тестовой выборке базы MNIST, фиксировано, постольку количество слов, образованных в соответствии с данным алгоритмом, варьирует от одного цикла экспериментов к другому. Описанный способ генерации случайных цифровых слов обеспечивает использование одной и той же, полной тестовой выборки изображений цифр базы MNIST в каждом цикле экспериментов. Это позволяет сравнивать результаты эксперимен-тов по распознаванию цифр базы MNIST объединенной сетью как

156

друг с другом, так и с процентом распознавания, достигнутым одной ансамблевой сетью, т.е. без использования "символьной" нейронной сети и информации о словах.

В экспериментах, описанных ниже, все последовательности (слова), образованные из цифр и включенные в состав словаря, запоминались в "символьной" нейронной сети в соответствии с рассмотренным выше алгоритмом. Необходимо особо подчеркнуть, что в запоминании символьного состава последовательностей участвует только "символьная" нейронная сеть, а ансамблевая сеть не имеет никакой связи с этим процессом.

11.2. Функционирование объединенной нейронной сети в процессе распознавания слов

Задача для распознающего устройства, которое представляет собой объединение ансамблевой и "символьной" сетей в одну сеть, формулируется следующим образом. На объединенную сеть подается последовательность из m изображений цифр тестовой выборки базы MNIST. Сеть должна правильно распознать цифры, представленные на этих изображениях, при условии, что соответствующее слово, состоящее из m символов, находится в составе словаря, т.е. было предварительно фиксировано в "символьной" нейронной сети в виде паттерна единичных связей, направленных к одному из нейронов второго слоя этой сети. Таким образом, задача для "символьной" нейронной сети состоит, фактически, в том, чтобы определить этот нейрон.

Повторим еще раз, что в процессе обучения "символьной" нейронной сети происходит запоминание символьных последовательностей (слов). В ходе же тестовой проверки объеди-ненной сети на ее вход подается последовательность конкретных изображений цифр тестовой выборки базы MNIST, которые необходимо распознать, т.е. превратить в символы. Информация о всех возможных словах, фиксированная в "символьной" нейронной сети, облегчает эту задачу по сравнению с задачей распознавания тех же изображений цифр, взятых по отдельности.

В составе объединенной сети использовалась аналоговая ансамблевая сеть с упрощенным статическим алгоритмом распоз-навания, подробно описанная в главах 7 и 9. Для распознавания

157

формы цифр применялся "радиально-интегральный" набор призна-ков (см. параграф 10.9). Ансамблевая сеть, была предварительно обучена распознаванию изображений цифр базы MNIST посредством формирования в ней 60 000 нейронных ансамблей, представляющих все образцы обучающей выборки базы. После этого распознающая способность ансамблевой сети была улучшена с помощью нескольких этапов процедуры дифференциации вплоть до достижения показателя – 97,93% правильного распознавания тестовой выборки базы MNIST (см. параграф 10.10).

Объединенная сеть работает следующим образом. Процесс распознавания слова начинается с того, что на вход ансамблевой сети подается изображение первой цифры этого слова. Ансамблевая сеть выполняет процесс распознавания этой цифры, но не доводит его до конца, т.е. до классификации цифры. Точнее, не выполняется последняя операция в процедуре распознавания, т.е. выбор R-нейрона, имеющего максимальную активность (см. параграф 7.1). Вместо этого, уровни активности всех R-нейронов ансамблевой сети, достигнутые ими в ходе выполнения процедуры распознавания изображения, передаются на нейроны первой колонки первого слоя "символьной" нейронной сети, где сохраняются в течение всей процедуры анализа данного слова. После этого, на вход ансамблевой нейронной сети подается изображение второй цифры распознаваемого слова. Ансамблевая сеть вновь выполняет процесс распознавания предъявленного изображения, включая этап формирования паттерна активности всех R-нейронов сети. Этот паттерн активности переносится во вторую нейронную колонку "символьной" нейронной сети. Таким же образом обрабатываются все m изображений, входящих в состав слова. После завершения этого процесса каждый нейрон первого слоя "символьной" нейронной сети приобретает некоторый уровень активности, характеризующий вероятность присутствия соответ-ствующей цифры в определенном месте слова.

На рис. 39 представлен паттерн активности всех 10 R-нейронов ансамблевой сети во время распознавания цифры 5 в процессе проведения описанных ниже экспериментов. Высота каждого столбика на этом рисунке показывает активность соответствую-щего R-нейрона.

На заключительном этапе распознавания слова нейронная активность всех нейронов первого слоя "символьной" нейронной сети распространяется через единичные связи к нейронам ее вто-рого слоя, создавая в слое некоторый новый паттерн активности

158

Рис. 39. Уровни активности 10 R-нейронов ансамблевой сети в процессе распознавания цифры 5. активности. Обозначим активность всех нейронов второго слоя "символьной" нейронной сети аналоговым вектором Pj;

j = 1, 2, 3, ..., J. Тогда, активность j-го нейрона второго слоя может быть выражена следующей формулой:

в которой вектором R обозначена активность нейронов первого слоя "символьной" нейронной сети; W – матрица связей, направленных от нейронов первого слоя "символьной" нейронной сети к нейронам ее второго слоя, которая была сформирована в процессе обучения сети; N – общее количество нейронов в первом слое "символьной" нейронной сети.

Устройство типа СУТ сравнивает между собой активности всех нейронов второго слоя "символьной" нейронной сети и определяет среди них нейрон с максимальной активностью. В результате выполнения этой операции, во втором слое сети выбирается один нейрон, который является представителем определенного слова. Очевидно, что выбор этого нейрона однозначно определяет символьный состав слова, предъявленного для распознавания.

11.3. Эксперименты с компьютерной моделью

Как упоминалось выше, для каждого цикла экспериментов использовались слова, имеющие разную длину так, что количество слов, запоминаемых в "символьной" нейронной сети, изменялось от одного цикла экспериментов к другому. Однако при этом в каждом цикле экспериментов производилось распознавание всего множества изображений, содержащихся в тестовой выборке базы

∑=

=N

ij i,ij

1(29), WRP

159

MNIST. Благодаря этой особенности проведения экспериментов, их результаты оказывается возможным сравнить по критерию процента распознавания всех изображений тестовой выборки базы MNIST как с результатами, демонстрируемыми отдельной ансамблевой сетью, так и с результатами, полученными данной моделью, обученной на слова разной длины.

График на рис. 40 показывает полученные в экспериментах проценты распознавания всех изображений цифр тестовой выборки базы MNIST (ось Y) в зависимости от длины слов, сформирован-ных из них (ось X). Рис. 40. Зависимость количества ошибок распознавания, допуска-емых объединенной сетью при распознавании полной тестовой выборки базы MNIST, от длины слов, на которые была обучена соответствующая "символьная" нейронная сеть.

Как видно из рис. 40, процент распознавания возрастает с увеличением длины слова и достигает 100% правильного распознавания всех изображений тестовой выборки при длине слова равной 6 символов.

11.4. Обсуждение модели распознавания рукописных слов

В данной главе была описана "символьная" нейронная сеть, которая позволяет извлечь и использовать информацию, содержащуюся в символьных словах, для более правильного распознавания символов, из которых состоят эти слова. Экспери-менты с компьютерной моделью объединенной сети показали, что

160

такая сеть безошибочно распознает все 10 000 примеров рукописных цифр тестовой выборки базы MNIST при условии, что все эти цифры были организованы в символьные слова, которые, в свою очередь, были запомнены в "символьной" нейронной сети, причем размер слов превышал пять символов. Этот результат демонстрирует, во-первых, как много информации содержится в символьных словах, и, во-вторых, тот факт, что эта информация успешно извлекается из слов с помощью простой персептронной архитектуры "символьной" нейронной сети.

Из описания процесса функционирования объединенной сети следует, что ансамблевая сеть не является обязательной ее составляющей и может быть заменена любым другим распознающим устройством, способным обеспечить промежуточ-ный результат распознавания изображений в форме, показанной на рис. 39. Однако, включение "символьной" нейронной сети в состав модели является необходимым условием успешного распознавания слов объединенной сетью.

Потребность в описанной модели распознавания слов может появиться в случае, когда какое-либо распознающее устройство не справляется с задачей безошибочного распознавания отдельных рукописных символов и имеется возможность использования сочетаний или последовательностей, образованных из таких символов. Очевидным примером такой задачи является задача распознавания рукописных слов и предложений. Однако, как упоминалось выше, рассмотренная модель не содержит механиз-мов для сегментации рукописных слов на отдельные буквы и поэтому обладает способностями только для решения значительно более легкой задачи распознавания символьных слов, искусственно составленных из отдельных рукописных символов. Тем не менее, данная модель может служить полезным прототипом для разработ-ки алгоритмов распознавания рукописных слов и предложений.

161

ЗАКЛЮЧЕНИЕ Преимущества биологических нейронных сетей по сравнению с техническими устройствами, созданными для решения конкретных задач, состоят в универсальности, надежности и параллельном характере обработки информации в сетях. Действительно, зрительные анализаторы живых организмов способны обрабатывать любую зрительную информацию, в то время как все существующие технические устройства работают только с тем узким классом изображений, для которых они предназначены. Надежность работы нейронной сети выражается в том, что сеть может функционировать на приемлемом уровне эффективности даже при условии отказа значительной части составляющих ее нейронов. Однако такого рода надежность не является значимым преимуществом нейросетевых устройств в условиях их реализации в виде компьютерных программ. Благодаря тому, что нейронная сеть обрабатывает информацию параллельно, она работает сравнительно быстро. Однако это преимущество нейронных сетей также реализуется только при условии их моделирования на многопроцессорном нейрокомпьютере, а не в виде последователь-ной программы для однопроцессорного компьютера.

Данная работа была выполнена в рамках подхода к моделированию нейронных сетей, который предполагает только функциональное моделирование нейронных механизмов мозга, без детального копирования нервных сетей живых организмов. Однако даже такой весьма упрощенный подход накладывает некоторые ограничения на множество операций и процедур, используемых при моделировании. Рассмотрим этот вопрос подробнее.

К настоящему времени свойства отдельных нейронов досконально изучены. Хорошо известно, что каждый биологичес-кий нейрон представляет собой довольно грубое (по сравнению с

162

возможностями электронных схем) адаптивное, аналоговое или аналого-цифровое устройство. Биологический нейрон не способен к выполнению точных вычислительных операций, поскольку его параметры значительно изменяются в зависимости от многих факторов. В составе нейронной сети отдельный биологический нейрон используется для осуществления ограниченного набора простых операций, выполняемых с небольшой точностью. При этом высокая точность решения задачи организмом достигается благодаря совместной деятельности огромного количества нейронов – нейронной сети. Организация сети, состоящей из множества однородных, но довольно грубых элементов – нейро-нов, организация, которая позволяет сети достигать очень высокой точности при решении многих задач – это проблема, которую пытаются решить исследователи в области нейрофизиологии и в области искусственных нейронных сетей.

Важная особенность настоящей работы состоит в следующем. Все операции, механизмы и алгоритмы, используемые в моделях нейронных сетей, являются биологически реализуемыми. Последняя фраза вовсе не означает, что эти модели претендуют на подобие с какими-либо реальными биологическими нейронными сетями. Эта фраза означает только, что модели используют лишь такие операции и процедуры, которые могли бы быть, в принципе, выполнены биологическими нейронными сетями. Такое ограниче-ние множества механизмов, используемых моделями, должно, по идее, увеличить вероятность реконструкции действительных функциональных механизмов мозга.

Проиллюстрируем изложенное на одном примере. Прогресс в области искусственных нейронных сетей в течение многих лет в значительной мере был связан с сетями с обратным распространением ошибки (back-propagation) (см., например, Van Ooyen, Nienhuis, 1992; Magoulas et al., 1997; Caruana et al., 2000; Каллан, 2001). В то же время известно, что механизмы, необходимые для выполнения ключевой для данного метода операции обратного распространения ошибки, отсутствуют в биологических нейронных сетях и, следовательно, этот метод физически не может быть реализован в живых организмах. Этот факт должен был бы послужить основанием для отказа от использования нейронных сетей с обратным распространением ошибки в рамках рассматриваемого подхода, несмотря на доказанную высокую эффективность этого метода.

163

На сайте базы данных MNIST (см. MNIST database в списке литературы) имеется таблица, в которой собраны результаты распознавания тестовой выборки этой базы данных с использованием разных методов и технологий. Сравнительный анализ различных алгоритмов в задаче распознавания цифр базы MNIST проводится, также, в работах (Bottou et al., 1994; LeCun et al., 1998). Из этих источников следует, что лучшие распознающие устройства демонстрируют менее 1% ошибок при распознавании всех 10 000 образцов цифр тестовой выборки базы MNIST. Оценивая результат в 2,07% ошибок, достигнутый ансамблевой сетью в соответствующих экспериментах (см. параграф 10.10), следует отметить, что в этих экспериментах не применялись никакие искусственные методы для повышения процента распознавания, такие, например, как расширение обучающей выборки посредством добавочного искажения формы цифр, содержащихся в ней. В то же время известно, что этот прием был использован для повышения процента распознавания у многих распознающих устройств, упомянутых в таблице сайта MNIST. Таким образом, результат распознавания цифр базы MNIST, показанный ансамблевой сетью, является одним из лучших результатов, достигнутых на исходной обучающей выборке.

Одной из причин того, что процент распознавания, демонстри-руемый ансамблевой сетью в экспериментах по распознаванию цифр базы MNIST, не достигает лучших мировых показателей, может состоять в наличии большого количества двусмысленных и ложных образцов в обучающей выборке базы MNIST. Действитель-но, в работе (Bottou et al., 1994) упоминается, что согласно проведенным исследованиям тестовая выборка этой базы данных содержит настолько искаженные образцы цифр, что даже люди не способны правильно распознавать все эти образцы, допуская при распознавании 0,2% ошибок. Для правильной оценки данного факта следует принять во внимание, что человек использует в этом процессе распознавания цифр все свои интеллектуальные возможности (опыт, анализ, интуицию и т.д.). Поскольку тестовая и обучаемая выборки базы MNIST формировались одинаковым способом, а также из простого просмотра обучаемой выборки базы MNIST очевидно следует, что обучаемая выборка этой базы также содержит немалое количество ложных образцов. Предположим, что процентное содержание ложных образцов в обучаемой выборке базы MNIST такое же, как и в ее тестовой выборке. Тогда можно заключить, что в обучаемой выборке имеется, примерно, 120

164

образцов цифр, неправильно классифицируемых человеком, т.е. ложных образцов.

Однако наличие ложных образцов в обучаемой выборке ансамблевой сети значительно искажает структуру описаний классов, формируемых в подсетях ансамблевой сети, как на стадии формирования нейронных ансамблей в сети, так, особенно, и на стадии дифференциации. Применение процедуры дифференциации для улучшения распознающей способности ансамблевой сети, предъявляет особенно высокие требования к качеству обучающей выборки. Действительно, рассмотрим случай наличия образца v-го класса в обучающей выборке m-го класса. В процессе дифферен-циации структура m-й подсети деформируется, адаптируясь к ложному образцу. В результате этого сеть обучается классифици-ровать этот ложный образец неправильно, настолько неправильно, что в процессе его распознавания выходной потенциал Rm-нейрона будет превышать выходные потенциалы всех остальных R-нейронов сети (и правильного Rv-нейрона, в том числе) на, заданное параметром Ω, количество процентов (например, на 20%). Таким образом, чем больше двусмысленных и ложных образцов содержит обучающая выборка, тем в большей степени может быть ослаблена распознающая способность ансамблевой сети после выполнения в ней процедуры дифференциации.

Еще одно замечание, связанное с базой данных MNIST. В отличие от искусственных нейронных сетей, человек (и высшие животные) способен обучаться распознаванию объектов на малом числе примеров. Для всех же, без исключения, методов распознавания, включенных в таблицу сайта MNIST, обязательным условием достижения высокого процента распознавания является огромная обучающая выборка. Чем больше размер обучающей выборки, тем выше процент правильного распознавания. Дело в том, что практически все современные методы распознавания (и искусственные нейронные сети, в том числе) используют для распознавания, по сути, статистические методы. Из того факта, что искусственные нейронные сети не способны эффективно обучаться на малом числе образцов, можно сделать вывод, что все известные модели нейронных сетей используют механизмы, функционально отличные от механизмов, работающих в биологических нейронных сетях. С сожалением приходится признать, что сказанное, в полной мере, относится и к ансамблевым сетям. Действительно, тщатель-ная подгонка весов межнейронных связей, которая осуществляется

165

в ансамблевой сети в ходе первичного формирования ансамблей и, особенно, в процессе выполнения последующей процедуры дифференциации, является, фактически, выявлением статистичес-ких особенностей каждого из распознаваемых классов из доступ-ной обучающей выборки. В то же время, человек применяет при распознавании явно не статистические методы. Поэтому приведен-ные рассуждения можно рассматривать как обоснование для пожелания, использовать в будущем при сравнении различных типов нейронных сетей обучающие выборки небольшого размера.

В отличие от обучающихся машин, в которых признаки формируются параллельно самому процессу обучения, ансамбле-вые сети относятся к категории устройств, использующих предварительно заданные алгоритмы для выделения признаков из исходных данных. Для распознающего устройства такого типа процент распознавания, достигнутый им, в большей степени зависит от качества используемого набора признаков, чем от метода или алгоритма распознавания. Чем лучше набор признаков, тем выше процент распознавания. Поэтому можно утверждать, что процент распознавания отдельных рукописных цифр базы MNIST, продемонстрированный ансамблевой сетью в данных эксперимен-тах, характеризует в значительной степени набор признаков, названный в параграфе 10.9 "радиально-интегральным", а не только собственно распознающую способность ансамблевой сети.

Выше упоминалось, что разработка набора признаков, однозначно описывающих все распознаваемые объекты разных классов, является, как правило, невыполнимой задачей. Поэтому к достоинствам ансамблевой сети следует отнести тот факт, что, алгоритмы ее функционирования, изложенные в данной книге, гарантируют надежное достижение приемлемого процента распознавания сетью при использовании различных и не совсем идеальных признаков.

В книге рассмотрены четыре набора признаков, служащих для описания формы рукописных символов: "секториальный" (параграф 9.4), "прямоугольный" (параграф 9.8), "радиальный" (параграф 10.3) и "радиально-интегральный" (параграф 10.9). Результаты экспериментов с этими наборами позволяют сделать вывод, что "радиально-интегральный" набор является самым эффективным из них для описания формы рукописных символов. Логично было бы предположить, что должны существовать более адекватные наборы признаков для символов. Поэтому конструиро-вание более совершенных наборов признаков остается актуальной

166

для будущей работы, имеющей целью повышение процента распознавания в задаче распознавания рукописных символов.

Основная цель настоящей работы заключалась в разработке и исследовании механизмов функционирования ансамблевой сети. В книге рассмотрены различные алгоритмы распознавания, способные обеспечивать высокую распознающую способность ансамблевой сети. В экспериментах с ансамблевыми сетями, описанными выше, в большинстве случаев использовался упрощенный статический алгоритм распознавания, поскольку это самый простой алгоритм, требующий при компьютерной реализации наименьших вычислительных и временных затрат, что является его значительным преимуществом.

В ходе первичного обучения ансамблевой сети осуществляется процесс обобщения признаков, который является важным достоинством сети, поскольку выполняется раздельно для каждого класса в подсети, специально предназначенной для этого класса. После завершения процесса обобщения, основой которого является образование пересечений нейронных ансамблей, в каждой подсети формируется структурное описание соответствующего класса. Следует подчеркнуть, что явление обобщения – это свойство, внутренне присущее ансамблевой сети, а не механизм, искусственно привнесенный в нее извне.

Однако в результате первичного обучения сети и раздельного обобщения описаний классов, ансамблевая сеть еще не становится эффективным распознающим устройством. Для повышения распознающей способности ансамблевой сети с аналоговыми связями применяется процедура вторичного обучения или дифференциации. Цель процедуры дифференциации заключается в добавочном разделении классов в пространстве признаков по сравнению с тем разделением, которое было достигнуто в результате первичного обучения сети. Эта цель достигается посредством подгонки аналоговых весов связей между нейронами внутри подсетей ансамблевой сети. Операция по подгонке весов связей выполняется таким образом, чтобы сеть могла безошибочно распознавать все образцы обучающей выборки при условии подачи искусственного внешнего воздействия, препятствующего их правильному распознаванию. Процесс вторичного обучения приводит к изменению всей структуры связей внутри подсетей ансамблевой сети, в результате чего улучшается качество описаний классов и происходит значительное повышение распознающей способности ансамблевой сети. Таким образом, после завершения

167

двух этапов обучения – первичного и вторичного – ансамблевая сеть становится эффективным распознающим устройством.

Необходимо подчеркнуть, что механизмы функционирования ансамблевой сети, описанные в данной книге, не претендуют на моделирование процессов, протекающих в нервных сетях живых организмов. В первую очередь это утверждение относится к процедуре вторичного обучения в ансамблевой сети. Действитель-но, процедура дифференциации в том виде, в котором она описана в настоящей работе, не имеет, очевидно, аналогов в биологических нейронных сетях, поскольку требует повторного рассмотрения всех образцов обучающей выборки в течение многих сотен и тысяч раз.

Важным достоинством ансамблевой сети является практически полное отсутствие в ней параметров, нуждающихся в настройке в ручном режиме. Иными словами, ансамблевая сеть может служить универсальным распознающим устройством, поскольку при переходе от одной задачи распознавания к другой ни структура, ни алгоритмы, ни какие-либо другие характеристики самой ансамблевой сети не требуют никакого изменения. Действительно, изменяемыми параметрами ансамблевой сети являются веса обучаемых связей, которые подбираются автоматически в процессе первичного, а затем и вторичного обучения, а для осуществления эффективного обучения сети не требуется ничего, кроме наличия достаточного количества образцов обучающей выборки. Таким образом, ансамблевая сеть может использоваться в качестве простого и универсального устройства для распознавания практически любых объектов, входящих в состав ограниченного количества заранее заданных классов. Отметим, что приведенные выше утверждения относятся к ансамблевой сети с любым алгоритмом распознавания.

Ценным качеством ансамблевой сети является также тот факт, что в процессе ее обучения и последующего функционирования используются только очень простые операции и процедуры, не требующие никаких сложных математических вычислений.

Ансамблевая нейронная сеть, разделенная на подсети, – это нейронная структура, обладающая богатыми возможностями для реализации в ней многих видов адаптивного обучения и сложных алгоритмов функционирования; эти возможности далеко не полностью раскрыты настоящим исследованием. Чтобы показать справедливость последнего утверждения, стоит упомянуть о возможности параллельной работы в этой структуре и ансамблевой сети, и персептрона. Действительно, согласно описанию,

168

приведенному в параграфе 8.7, для осуществления персептронного принципа работы в структуру ансамблевой сети (сохраняющую обучаемые связи между признаковыми нейронами внутри ее подсетей) достаточно добавить обучаемые связи с аналоговыми весами, направленные от признаковых нейронов каждой подсети к соответствующим R-нейронам. Веса этих связей могут быть проторены в ходе отдельной процедуры обучения, проведенной в персептронной части структуры независимо от процесса формирования нейронных ансамблей в ее ансамблевой части. Причем эта отдельная процедура обучения персептронной части структуры должна включать в себя как стадию первичного обучения, так и стадию вторичного обучения (дифференциации), каждая из которых выполняется по аналогии с соответствующими операциями, рассмотренными выше для ансамблевой сети. В нейронной структуре, содержащей как персептронные, так и ансамблевые связи, возможна совместная работа динамического алгоритма распознавания с одним из персептронов, описанных в параграфах 8.6 и 8.7. Точно такая же возможность существует и для совместного функционирования (в той же структуре) ансамблевой сети с алгоритмом распознавания на основе метода ближайшего соседа и каждого из упомянутых персептронов. Следует повторно отметить, что механизм параллельной работы нескольких алгоритмов в структуре ансамблевой сети, разделенной на подсети, кратко описан здесь только для демонстрации богатых потенциальных возможностей этой структуры и вне связи с вопросом о целесообразности такой кооперации.

Таким образом, исследование ансамблевых нейронных сетей далеко не исчерпывается данной работой. Множество проблем остались нерешенными. В числе важнейших можно назвать вопрос об оптимальном алгоритме распознавания для ансамблевой сети. В будущем предполагается продолжить работу над созданием более "интеллектуальных" ансамблевых сетей, включающих в себя, в частности, несколько иерархических уровней.

169

Приложение А АНСАМБЛЕВАЯ СЕТЬ С АЛГОРИТМОМ РАСПОЗНАВАНИЯ НА ОСНОВЕ МЕТОДА БЛИЖАЙШЕГО СОСЕДА

В данном приложении описывается алгоритм распознавания ансамблевой сети, которой значительно отличается как от динамического алгоритма распознавания (см. параграф 4.1), так и от всех версий статического алгоритма распознавания (см. главу 7). Рассматриваемый здесь алгоритм имеет много общего с методом ближайшего соседа. Метод ближайшего соседа является популярным, чрезвычайно простым и при этом довольно эффективным методом, широко применяемым для решения различных задач распознавания образов; множество модификаций этого метода предложено разными авторами (Gates, 1972; Дуда, Харт, 1976; Kohonen, 1982; Geva, Sitte, 1991; Zhao, Higuchi, 1996). Из-за легкости своей реализации метод ближайшего соседа часто используется в качестве тестового для оценки эффективности распознающих устройств, работающих на других принципах.

Алгоритм распознавания ансамблевой сети, работающий на основе метода ближайшего соседа, был разработан для сетей с двоичными связями; этот алгоритм описан в работе (Goltsev, Húsek, Frolov, 2005). Экспериментальная проверка ансамблевой сети с алгоритмом распознавания на основе метода ближайшего соседа показала, что эта сеть демонстрирует меньший процент распознавания по сравнению с ансамблевой сетью с аналоговыми связями и завершенной многоэтапной процедурой дифференциации. Тем не менее описание алгоритма распознавания на основе метода ближайшего соседа включено в данную книгу в качестве приложения. Причина состоит в том, что рассматриваемый ниже алгоритм, будучи совершенно оригинальным и вполне работоспособным, может послужить прототипом для проектирования новых, более эффективных алгоритмов в будущем. Кроме того, анализ процесса функционирования ансамблевой сети с алгоритм распознавания на основе метода ближайшего соседа добавляет много новых интересных деталей в понимание внутренней структуры ансамблевых нейронных сетей и процессов, протекающих в них.

170

Как упоминалось выше, ансамблевая сеть на основе метода ближайшего соседа является сетью с двоичными связями. Сеть также разделена на подсети, количество которых равно количеству распознаваемых классов. Признаки, выделяемые из образцов, представляются в сети с помощью метода "поплавкового" кодирования (см. главу 2). Первичное обучение сети, т.е. формирование нейронных ансамблей в ней, производится в соответствии с алгоритмом, приведенным в параграфе 3.1, и формулой (1). Таким образом, описание архитектуры рассматриваемой модели ансамблевой сети и процесса ее первичного обучения полностью подпадает под описание, приведенное в главах 1–2 и параграфе 3.1. В этом описании есть одна деталь, особенно важная для рассматриваемой модели. Использование метода "поплавкового" кодирования признаков, выделенных из изображений, является необходимым условием функционирования алгоритма распознавания на основе метода ближайшего соседа. Причем в процессе "поплавкового" кодирования этих признаков в каждой нейронной колонке обязательно должен активироваться обширный нейронный поплавок, состоящий всегда из равного количества нейронов q, q > 1.

При таком условии, все нейронные ансамбли, сформированные в сети в процессе первичного обучения, содержат одинаковое количество нейронов U = qH, где H – это количество нейронных колонок в одной подсети, или количество типов признаков, выделяемых из изображения. Отметим, также, что внутренняя структура каждого ансамбля, сформированного в сети, оказывается совершенно однородной, поскольку она состоит из возбуждающих связей, соединяющих друг с другом все нейроны ансамбля и имеющих одинаковые единичные веса. Благодаря пересечениям нейронных ансамблей, принадлежащих к одному классу и сформированных в одной и той же подсети, в каждой подсети образуется связное семейство ансамблей, являющееся описанием соответствующего класса. Внутренняя структура такого семейства ансамблей также состоит из единичных связей.

В кратком изложении алгоритм распознавания ансамблевой сети на основе метода ближайшего соседа модели состоит в следующем. Некоторый набор признаков выделяется из тестового изображения. Этот набор признаков активирует одинаковый паттерн начальной нейронной активности G в каждой из подсетей модели. Такая начальная нейронная активность распространяется через структуру связей сети (однократно) и формирует некоторое вторичное распределение входных возбуждений по всем нейронам сети. На этом этапе в работу включается СУТ (см. главу 4 и рис. 5). Задача СУТ состоит в том, чтобы найти среди всех нейронных ансамблей, сформированных в сети, такой ансамбль, который в наибольшей степени похож на паттерн начальной нейронной активности G, т.е. на входной набор признаков. Расположение найденного нейронного ансамбля в определенной подсети определяет класс изображения, предъявленного для распознавания.

171

Формирование семейств пересекающихся ансамблей в процессе первичного обучения сети

Как неоднократно упоминалось выше, в процессе первичного обучения ансамблевой сети, т.е. насыщения каждой подсети ансамблевой сети нейронными ансамблями, принадлежащими одному классу, ансамблями неизбежно пересекаются. В ансамблевой сети с двоичными связями образование таких пересечений приводит к появлению некоторого количества дополнительных возбуждающих связей с единичными весами, соединяющих нейроны пересекающейся части ансамбля с другими нейронами подсети. Эти дополнительные связи выполняют функцию обобщения наиболее часто встречающихся признаков и их комбинаций и формируют некоторое связное семейство нейронных ансамблей в подсети. Внутри этого связного семейства нейронных ансамблей даже может образоваться новый ансамбль. Такой ансамбль состоит из частей других ансамблей, сформированных в подсети ранее. Назовем такой новый ансамбль привнесенным, поскольку он не находится в соответствии ни с одним из образцов обучающей выборки, а является побочным продуктом пересечения ансамблей.

Кроме того, следствием пересечений нейронных ансамблей является образование внутри связного семейства ансамблей целого спектра различ-ных промежуточных ансамблеподобных структур. Термин "ансамбле-подобная структура (или образование)" вводится здесь для обозначения группы нейронов, соединенных некоторым количеством единичных возбуждающих связей, причем количество этих связей может быть меньше, чем в полноценном ансамбле. Напомним, что в соответствии с определением нейронным ансамблем называется группа нейронов, объединенная возбуждающими связями, соединяющими друг с другом все без исключения нейроны этой группы. Таким образом, понятие "ан-самблеподобная структура" шире, чем понятие "нейронный ансамбль".

В ансамблевой сети на основе метода ближайшего соседа формирование семейств пересекающихся ансамблей в ее подсетях затрудняет процесс распознавания. Дело в том, что в этой сети распознавание предъявленного образца производится посредством выявления нейронного ансамбля, наиболее похожего на предъявленный образец. А выделение отдельного ансамбля из связного семейства пересекающихся ансамблей является непростой задачей. Поскольку, разделение ансамблевой сети на подсети значительно уменьшает количество пересечений между ансамблями и, следовательно, степень однородности семейств пересекающихся ансамблей, постольку такое разделение облегчает задачу выделения отдельного ансамбля в сети.

172

Алгоритм распознавания на основе метода ближайшего соседа

В модели ансамблевой сети с алгоритмом распознавания на основе метода ближайшего соседа используются пороговые нейроны с аналоговым входом и двоичным выходом; выходная активность всех нейронов сети определяется порогом L. Аналогичные нейроны использовались в ансамблевой сети с динамическим алгоритмом распознавания (см. параграф 4.1). Введем двоичный вектор Pm из N компонент для обозначения выходной активности всех N нейронов m-й подсети.

Как и в описанных выше моделях, в ансамблевой сети на основе метода ближайшего соседа процедура распознавания предъявленного образца тестовой выборки начиняется с выделения из него признаков. Набор выделенных признаков, трансформируется в активацию одинакового паттерна начальной нейронной активности G во всех подсетях ансамблевой сети. В соответствии с методом "поплавкового" кодирования паттерн начальной нейронной активности G состоит из нейронных поплавков, активированных в колончатой структуре каждой подсети ансамблевой сети. Начальная нейронная активность распространяется (только один раз) через структуру связей, сформированную внутри всех подсетей ансамблевой сети в процессе ее первичного обучения, создавая некоторое вторичное распределение входных возбуждений на входах всех нейронов сети.

Сущность алгоритма распознавания предъявленного изображения в рассматриваемой ансамблевой сети состоит в нахождении наиболее возбужденного ансамблеподобного образования, имеющегося в сети. Обоснованием для такого алгоритма являются следующие рассуждения. В соответствии с основной идеей метода ближайшего соседа классификацию распознаваемого изображения следовало бы проводить по принадлежности такого нейронного ансамбля, который в наибольшей степени похож на паттерн начальной нейронной активности G. Естественно предположить в качестве первого приближения, что таким ансамблем должен быть ансамбль, имеющий наибольший размер пересечения с паттерном G. Отличительным признаком этого ансамбля является то обстоятельство, что после того, как начальная нейронная активность распространится по сети, создав в ней некоторое распределение входных возбуждений, нейроны именно этого ансамбля будут иметь наибольшие уровни входных возбуждений. Это означает, что именно этот ансамбль окажется наиболее возбужденным среди всех ансамблей в сети. Однако эксперименты с компьютерными моделями рассматриваемой ансамблевой сети показали, что в реальных условиях практически невозможно отличить полноценный нейронный ансамбль от сильно-связного ансамблеподобного образования. Поэтому в приведенной выше формулировке говорится об ансамблеподобном образовании, а не о

173

нейронном ансамбле. Ниже обсуждение этого вопроса будет еще продолжено.

Поиск наиболее возбужденного ансамблеподобного образования в сети выполняется с помощью СУТ. Хотя алгоритм работы СУТ в рассматриваемой модели значительно отличается от алгоритма, описанного в параграфе 4.1, тем не менее, непосредственное управление процессами, протекающими в сети, СУТ также осуществляет посредством изменения порога L, определяющего состояние активности одновременно всех нейронов сети.

Ансамблевая сеть с алгоритмом распознавания на основе метода ближайшего соседа, в дополнение к единичным возбуждающим связям, проторенным в процессе формирования ансамблей в сети, использует аналоговые, тормозные, необучаемые связи, соединяющие между собой нейроны одной и той же нейронной колонки. Структура внутриколончатых тормозных связей будет рассмотрена ниже. Здесь же для учета этих связей в формуле, описывающей функционирование ансамблевой сети, введем M тормозных матриц Tm (m = 1, 2, 3, …, M) по одной для каждой из M подсетей ансамблевой сети.

Итак, после однократного распространения начальной нейронной активности по сети паттерн вторичной нейронной активности в m-й подсети описывается следующей формулой:

В соответствии с этой формулой нейроны с уровнями входных

возбуждений, превышающими текущее значение порога L, переходят в активное состояние и их выходные потенциалы становятся равными единице. Менее возбужденные нейроны остаются неактивными с выходными потенциалами равными нулю.

Паттерн вторичной нейронной активности, образованный в каждой подсети, анализируется на предмет наличия в нем подходящего ансамбле-подобного образования. (Определение выражению "подходящее ансамблеподобное образование" будет дано несколько позже.) Если подходящее ансамблеподобное образование присутствует в паттерне, то процесс поиска прекращается. В противном случае, значение порога L немного уменьшается, после чего в соответствии с формулой (30) во всех подсетях ансамблевой сети возникает новый паттерн вторичной нейрон-ной активности. Новый паттерн анализируется (в каждой подсети) на предмет выявления в нем подходящего ансамблеподобного образования. Процесс поиска, вызываемый постепенным уменьшением порога L, продолжается до тех пор, пока, наконец, подходящее ансамблеподобное образование не будет обнаружено в паттерне вторичной нейронной активности какой-либо подсети ансамблевой сети.

∑∑=

−

=

−=N

j

mijxj

N

j

mijxj

mi LL

1)30( ,)(

1 ,)( .)( TGWG1P

174

После окончания процедуры поиска, нейроны, входящие в состав найденного ансамблеподобного образования, остаются в активном состоянии, в то время как любая другая нейронная активность в сети принудительно гасится. Назовем паттерн нейронной активности, образовавшийся в ансамблевой сети после этого, финальным паттерном и обозначим его Pфин. Классификация распознаваемого изображения выполняется с помощью подсчета количества активных нейронов в каждой из M подсетей ансамблевой сети; подсеть, содержащая максимальное количество активных нейронов, становится победителем и определяет класс распознаваемого изображения.

Вернемся, теперь, к рассмотрению некоторых деталей описанного выше процесса распознавания изображения ансамблевой сетью для более подробного их анализа.

Допустим, что в колончатой структуре m-й подсети ансамблевой сети был бы сформирован только один нейронный ансамбль. Пусть в соответствии с представленным выше алгоритмом распознавания паттерн начальной нейронной активности Gm распространяется через единичные внутриансамблевые связи этого единственного ансамбля подсети. Тогда все нейроны ансамбля будут иметь одинаковый уровень входного возбуждения, равный размеру пересечения между вектором Gm и этим единственным ансамблем.

В реальных условиях, в подсети ансамблевой сети содержится множество пересекающихся ансамблей. После распространения активности от начального паттерна G уровни входных возбуждений нейронов одного и того же ансамбля будут отличаться друг от друга, поскольку эти нейроны, являясь членами многих ансамблей, имеют различное количество единичных связей с нейронами, составляющими паттерн начальной нейронной активности G. В реальной подсети ансамблевой сети распределение большого количества единичных внутриансамблевых связей среди нейронов каждой подсети приобретает черты случайного распределения. Это обстоятельство значительно усложняет задачу выявления наиболее возбужденного ансамбля сети. Следует отметить, однако, что, несмотря на разное количество связей, приходящих на входы нейронов рассматриваемого ансамбля, этот ансамбль остается полностью связным нейронным графом и поэтому минимальный уровень входного возбуждения каждого нейрона этого ансамбля равен размеру пересечения этого ансамбля с вектором G.

В начале процесса распознавания устанавливается максимальный уровень порога: Lmax = U – 1. Напомним, что в соответствии с обозначе-ниями, введенными выше, U – это размер каждого нейронного ансамбля, сформированного в сети, U = qH, где q – это размер нейронного поплавка, а H – это количество нейронных колонок, из которых состоит каждая подсеть ансамблевой сети. Такое значение порога соответствует полному совпадению между искомым ансамблем и вектором G. В соответствии с алгоритмом распознавания изложенным выше, после сравнения всех

175

нейронов сети с порогом Lmax в сети возникает некоторый вторичный паттерн активности, вычисляемый по формуле (30). Затем в полученном вторичном паттерне каждой из подсетей ансамблевой сети производится проверка наличия "подходящего ансамблеподобного образования".

Паттерн нейронной активности считается подходящим при выполне-нии следующих двух условий. Во-первых, сплошной (без промежутков) поплавок активных нейронов должен присутствовать в каждой нейронной колонке подсети. Во-вторых, размер этого цельного поплавка должен быть не меньшим, чем размер нейронного поплавка q, использованного для формирования ансамблей в ходе первичного обучения сети.

Процедура распознавания цельного нейронного поплавка активных нейронов выполняется раздельно в каждой нейронной колонке каждой подсети ансамблевой сети. Она заключается в последовательном сравнении паттерна активности данной нейронной колонки со всеми возможными нейронными поплавками, состоящими из q нейронов каждый, по-разному размещенных в колонке.

Если цельная и достаточно обширная область нейронной активности обнаруживается во всех без исключения нейронных колонках какой-либо подсети, то поиск "подходящего ансамблеподобного образования" считается успешно завершенным и процесс классификации предъявлен-ного изображения переходит в финальную стадию. Если же "подходящее ансамблеподобное образование" не было найдено в паттерне нейронной активности P(Lmax), то СУТ уменьшает уровень порога Lmax на малую величину ∆L, т.е. L = Lmax – ∆L. Затем, формируется новый вторичный паттерн нейронной активности P(L), и поиск "подходящего ансамбле-подобного образования" повторяется в нем в соответствии с изложенным описанием. Постепенное уменьшение порога L продолжается до тех пор, пока искомое ансамблеподобное образование не будет обнаружено в одной или нескольких подсетях. Паттерн нейронной активности, классифицированный, как "подходящий" остается в активном состоянии в сети, в то время, как вся остальная нейронная активность принудительно гасится. Таким образом, после завершения процесса поиска в сети остается одно или несколько "подходящих ансамблеподобных образований", составляющих финальную активность сети Pфин.

В случае, если финальная нейронная активность присутствует только в одной подсети ансамблевой сети, то классификация распознаваемого образца не составляет труда, его класс соответствует подсети, содержащей активные нейроны. Если же активные нейроны паттерна Pфин оказываются распределенными среди нескольких подсетей, то это означает, что модель не может с уверенностью классифицировать изображение, предъявленное для распознавания. Чтобы принять решение и в этом случае, производится подсчет количества активных нейронов в каждой подсети ансамблевой сети отдельно; подсеть с максимальным количеством нейронов определяет класс предъявленного для распознавания образца.

176

Из изложенного следует, что величина Lmax – Lфин может служить априорной мерой надежности правильного распознавания предъявленного образца. Чем меньше эта разность, тем больше уверенности в правильности распознавания.

Рассмотрим, теперь, что собой представляет нейронная структура, в которой сохраняется финальная активность подсети-победителя после окончания процедуры распознавания. Это может быть нейронный ансамбль, представляющий один из образцов обучающей выборки. Это может быть привнесенный нейронный ансамбль, образованный из частей других ансамблей в процессе первичного обучения. Наконец, это может быть ансамблеподобное образование, нейроны которого связаны достаточно большим количеством единичных возбуждающих связей как друг с другом, так и с паттерном начальной нейронной активности G. Рассматриваемый алгоритм распознавания не предусматривает выяснения того, в какой именно из этих трех возможных структур остается финальная активность подсети-победителя, поскольку выяснение этого вопроса является весьма сложной и трудоемкой задачей.

Как было упомянуто выше, ансамблеподобное образование возникает в подсети ансамблевой сети вследствие обобщения признаков и их комбинаций, выделенных из образцов обучающей выборки соответствующего класса. Поэтому выявление такого ансамблеподобного образования в качестве результата распознавания вместо полноценного нейронного ансамбля, представляющего один из образцов обучающей выборки, не рассматривается как недостаток модели. Обнаружение такого ансамблеподобного образования в сети рассматривается как свидетельство того, что в результате процесса обобщения внутри подсети сформировалась нейронная структура, которая, являясь составляющей описания соответствующего класса в подсети, служит адекватным заменителем отсутствующего образца обучающей выборки этого класса.

На рис. 41 показаны два вектора G и Pфин в одной из подсетей ансамблевой сети в эксперименте по распознаванию текстур, описанном ниже. На этом рисунке паттерн начальной нейронной активности G обозначен штриховкой с левым наклоном, а паттерн финальной нейронной активности Pфин – штриховкой с правым наклоном.

Сущность алгоритма распознавания ансамблевой сети на основе метода ближайшего соседа состоит в следующем. Образование в процессе распознавания, цельной и достаточно обширной области нейронной активности во всех без исключения нейронных колонках некоторой подсети рассматривается как убедительное свидетельство того, что найденный нейронный паттерн активности не является случайным, а содержит в своем составе нейронный ансамбль или сильно связное ансамблеподобное образование. Основанием для этого служит следующее рассуждение. Вероятность случайной активации одновременно H сплошных нейронных поплавков, каждый из которых содержит, не ме-нее, чем q нейронов, очень мала. Поэтому, обнаружение "подходящего

177

Рис. 41. Пример паттерна начальной нейронной активности G (штриховка с левым наклоном) и паттерна финальной нейронной активности в Pфин (штриховка с правым наклоном). ансамблеподобного образования" в сети указывает на наличие выражен-ной закономерности в распределении единичных внутриансамблевых связей между нейронами подсети, закономерности, являющейся следст-вием процесса формирования семейства пересекающихся ансамблей в ней. Более подробное рассмотрение вопроса о возможности случайной активации "подходящего ансамблеподобного образования" в сети вынесено в отдельный параграф (см. ниже).

Итак, как следует из приведенного выше описания, рассматриваемая ансамблевая сеть распознает предъявленные образцы посредством алгоритма, который имеет много общего с методом ближайшего соседа. Чтобы сделать метод ближайшего соседа быстрее, многие авторы стараются уменьшить количество прототипов, используемых для сравнения с входными данными (см., например, Gates, 1972; Zhao, Higuchi, 1996). В рассматриваемой ансамблевой сети количество прототипов (нейронных ансамблей) не изменяется после завершения процедуры первичного обучения сети, и все они принимают участие в процессе сравнения с входными данными. Однако процедура сравнения с прототипами (поиск "подходящего ансамблеподобного образования") выполняется в ансамблевой сети параллельно, вследствие чего количество прототипов (нейронных ансамблей), распределенных в сети, прямо не влияет на скорость ее работы.

178

Латеральные тормозные связи внутри нейронных колонок

Латеральные тормозные связи вводятся в каждую нейронную колонку для того, чтобы более точно реализовать в ансамблевой сети метод ближайшего соседа и тем самым увеличить способность ансамблевой нейронной сети к распознаванию. Следующие рассуждения обосновывают введение таких связей.

Основная идея метода ближайшего соседа, применительно к рассматриваемой ансамблевой сети, может быть выражена следующим образом. В ансамблевой сети каждый образец обучающей выборки, представляющий собой некоторый набор из H аналоговых параметров (значений признаков), фиксирован в виде нейронного ансамбля. Задан входной паттерн, состоящий из таких же H аналоговых параметров. Этот паттерн нужно классифицировать (распознать) посредством нахождения такого образца обучающей выборки, который в наибольшей степени похож на входной набор параметров. Рассмотрим два набора параметров, каждый из которых содержит по H. Согласно методу ближайшего соседа все H пар соответствующих параметров обоих наборов должны иметь близкие значения для того, чтобы эти два набора считались похожими.

Однако алгоритм распознавания, описанный выше, учитывает только количество совпадающих значений соответствующих параметров в H парах и совсем не принимает во внимание пары с различными значениями параметров. Поэтому нельзя сказать, что этот алгоритм полностью реализует идею метода ближайшего соседа. Согласно этому алгоритму в ансамблевой сети вполне может быть выделено "подходящее ансамблеподобное образование", содержащее нейроны, представляющие такие значения признаков, которые значительно отличаются от значений признаков, выделенных из входного изображения (при сравнении внутри соответствующих пар). Иными словами, алгоритм распознавания, рассмотренный выше, не содержит механизма, предотвращающего выбор (активацию) "подходящего ансамблеподобного образования" не похожего на входное изображение. Тормозные связи, реализующие тормозные взаимовлияния между нейронами одной и той же колонки, выполняют роль такого механизма.

На рис. 42 показана структура тормозных связей, посредством которой один из нейронов колонки (номер 16 на рис. 42) оказывает тормозное воздействие на все остальные нейроны этой колонки. Такой тип взаимодействия хорошо известен в нейрофизиологии, где он носит название латерального торможения. Все нейроны всех нейронных колонок всех подсетей ансамблевой сети имеют аналогичную структуру тормозных связей. Веса взаимных тормозных связей, соединяющих два нейрона колонки, зависят от расстояния между этими нейронами внутри колонки: чем больше расстояние, тем больше вес связи.

179

Рис. 42. Структура латеральных тормозных связей одного из нейронов нейронной колонки с остальными нейронами этой колонки.

Стоит отметить, что тор-мозные связи, рассматривае-мые здесь, выполняют совер-шенно другие функции по сравнению с тормозными связями, введенными для обеспечения тормозного вза-имодействия между различ-ными подсетями ансамблевой сети (см. главу 6). Эти последние тормозные связи также могут быть использованы для увеличения процента распознавания в ансамблевой сети на основе метода ближайшего соседа.

Смысл введения латеральных тормозных связей между нейронами одной и той же колонки состоит в следующем. Любое ансамблеподобное образование, составленное из признаков, намного отличающихся от значений, представленных в паттерне начальной нейронной активности, будет тормозиться латеральными тормозными связями. Чем больше расстояние внутри колонки между нейронами паттерна начальной нейронной активности и нейронами, принадлежащими рассматриваемому ансамблеподобному образованию, тем в большей степени латеральные тормозные связи будут препятствовать активации этого образования.

Вероятность случайной активации "подходящего ансамблеподобного образования" в ансамблевой сети

В этом параграфе описаны эксперименты по измерению вероятности случайной активации "подходящего ансамблеподобного образования" в ансамблевой сети в процессе распознавания.

Пусть некоторый набор из H признаков подан на сеть для распознавания. Выделим для анализа одну из подсетей ансамблевой сети. Рассмотрим следующее событие: определенный нейрон подсети активируется в составе финального паттерна активности в результате выполнения процедуры распознавания в сети. В соответствии с

180

алгоритмом распознавания, описанном выше, данное событие происходит только в том случае, если уровень входного возбуждения рассматриваемого нейрона превышает порог L, установленный СУТ в процессе распознавания.

Предположим, что единичные возбуждающие связи, образующие структуру связей подсети, распределены между ее нейронами случайно. Тогда, активация определенного нейрона, которая происходит вследствие распространения активности от паттерна начальной нейронной активности G, может считаться чисто случайным событием. Обозначим вероятность этого события p. Вероятность того, что не меньше, чем один нейрон подсети будет активирован в каждой из H нейронных колонок подсети, будет, очевидно, значительно меньше. А вероятность того, что сплошной нейронный поплавок из q соседних нейронов активируется в каждой нейронной колонке подсети, оказывается, очевидно, совсем малой. Для того, чтобы доказать последнее утверждение, была создана компьютерная программа, моделирующая одну из подсетей ансамблевой сети. Подсеть содержала H = 16 нейронных колонок, по 32 нейрона в каждой колонке. Нейроны этой подсети активировались случайно, с вероятностью p. Значение p изменялось в каждой серии экспериментов; одна серия экспериментов состояла из 300 000 проб. Случайная активация одного (или более) нейрона во всех 16 нейронных колонках подсети была зарегистрирована при p = 0,022. Появление сплошных нейронных поплавков, содержащих не меньше, чем q = 5 нейронов в каждой из 16 нейронных колонок, было зарегистрировано, только, когда значение p было увеличено до p = 0,55.

Из полученных экспериментальных результатов можно сделать следующий вывод. Паттерн финальной нейронной активности, состоящий из сплошных нейронных поплавков, размером не меньше, чем q каждый, не может появиться во всех нейронных колонках подсети ансамблевой сети в результате случайного распределения единичных связей между нейронами подсети. Активация такого паттерна в качестве финального свидетельствует о наличии выраженной закономерности в распределении единичных внутриансамблевых связей между нейронами подсети. И чем больше размер нейронного поплавка q, использованного для формирования нейронных ансамблей в сети, тем меньше вероятность активации случайного паттерна активности.

181

Экспериментальная проверка функционирования ансамблевой сети на основе метода ближайшего соседа

Работоспособность алгоритма распознавания на основе метода ближайшего соседа была проверена на компьютерной модели ансамблевой сети, решающей задачу распознавания (сегментации) текстурных изображений (см. главу 5). Эксперименты с моделью были проведены в полном соответствии с описанием, приведенным в главе 5. Были использованы те же текстурные изображения и те же обучающие и тестовые выборки. Поскольку модель предназначалась для распознавания четырех текстурных классов, то ансамблевая сеть была разделена на четыре подсети. Ансамблевая сеть имела такие же параметры, как и сеть, описанная в главе 5. Те же 17 признаков выделялись из изображения с помощью текстурного окна размером 11×11 пикселей.

Эксперименты показали работоспособность рассмотренного выше алгоритма распознавания. Ансамблевая сеть на основе метода ближайшего соседа сегментировала текстурные изображения, представленные на рис. 7,а–9,а и 11,а–13,а, почти точно так же, как и ансамблевая сеть с динамическим алгоритмом распознавания и тормозными связями между подсетями ансамблевой сети. Различия были незначительными. Поэтому, рис. 11–13 вполне могут служить иллюстрациями к этим экспериментам.

Следует отметить, что тормозные связи между различными подсетями ансамблевой сети не использовались в рассматриваемой модели, хотя они могли бы несколько повысить способность сети к распознаванию, как это показано в главе 6.

Эксперименты с компьютерной программой, моделирующей ансамблевую сеть с алгоритмом распознавания на основе метода ближайшего соседа, показали, что она имеет следующую особенность. Процедура распознавания различных изображений, предъявленных сети для распознавания, занимает разные промежутки времени, длительность которых может различаться на порядки. Для иллюстрации этой особенности стоит упомянуть, что распознавание семи точек изображения, показанного на рис. 7 и 11, занимало столько же времени, сколько и всех остальных 430 точек тестовой выборки. Причина данной особенности процедуры распознавания заключается в следующем. Если набор признаков, выделенный из изображения и поданный для распознавания, похож на какой-нибудь нейронный ансамбль, фиксированный в сети в ходе предшествующего первичного обучения, то процесс распознавания занимает совсем немного времени. Если же распознаваемый набор признаков не имеет аналогов, фиксированных в сети в виде ансамблей, то поиск наиболее похожего ансамблеподобного образования в сети (обусловленный постепенным снижением порога L)

182

длится очень долго. Таким образом, необходимым условием для быстрой работы ансамблевой сети на основе метода ближайшего соседа является большая обучающая выборка, т.е. выборка, покрывающая все типичные позиции распознаваемых классов.

Обсуждение ансамблевой сети на основе метода ближайшего соседа

Фактически ансамблевая сеть с алгоритмом распознавания на основе метода ближайшего соседа в наибольшей степени соответствует исходным представлениям Хебба о структурно-функциональной организации нейронных сетей в виде нейронных ансамблей (Hebb, 1949). Действительно, два других алгоритма распознавания, описанные в данной книге, не предполагают выделения на стадии распознавания отдельного нейронного ансамбля из нейронной структуры, сформированной в подсети ансамблевой сети. Вместо этого указанные алгоритмы используют в процессе распознавания интегрированные нейронные структуры, служащие описаниями классов в подсетях ансамблевой сети, без выделения из них отдельных ансамблей. Тем не менее, эксперименты, описанные в основной части книги, демонстрируют, что эти алгоритмы делают ансамблевую сеть более эффективным распознающим устройством, чем алгоритм, реализующий метод ближайшего соседа.

183

Приложение Б МАКСИМАЛЬНОЕ КОЛИЧЕСТВО НЕЙРОННЫХ АНСАМБЛЕЙ, КОТОРОЕ МОЖЕТ БЫТЬ РАСПРЕДЕЛЕНО В АНСАМБЛЕВОЙ СЕТИ

Вопрос о максимальном количестве нейронных ансамблей, которое может быть распределено в нейронной сети, рассматривался в книге (Palm, 1982). Этот вопрос тесно связан с задачей подсчета информационной емкости ансамблевой сети. Информационная емкость нейронных сетей с ансамблевой организацией исследовалась, в частности, в таких работах, как (Frolov et al., 1995, а; Frolov et al., 1995, б; Kartashov et al., 1997; Байдык, 2001; Frolov et al., 2002).

При проведении исследований информационной емкости нейронных сетей с ансамблевой организацией состав каждого нейронного ансамбля, как правило, задается с помощью процедуры случайного выбора среди нейронов сети. При этом (в процессе насыщения сети ансамблями), раньше или позже, в сети образуется полносвязный участок, в котором ансамбли становятся неразделимыми друг от друга. Образование такого полносвязного участка в сети свидетельствует о достижении предела информационной емкости сети, что обнаруживается с помощью специальных тестов.

Случайный выбор нейронов ансамбля, практикуемый, обычно, в работах, связанных с подсчетом информационной емкости сети, находится в некотором противоречии с нейрофизиологическими данными, согласно которым в мозге высших животных существует довольно жесткая предорганизация. Не вдаваясь в излишние подробности, можно описать ее следующим образом. Мозг поделен на сравнительно небольшое количество участков (функциональных образований). Некоторые из этих участков связаны друг с другом мощными пучками связей. Между другими функциональными образованиями прямые связи практически отсутствуют. Очевидно, что введение такого типа предорганизации в нейронную сеть, налагает определенные ограничения на процесс формирования ансамблей в ней, что, в свою очередь, не позволяет считать полностью корректной процедуру чисто случайного выбора состава нейронов формируемого ансамбля.

184

Наличие в мозге определенной предорганизации, в общих чертах описанной выше, дает некоторое основание для предположения о том, что может существовать регулярная нейронная структура, предназначенная для распределения в ней особо большого количества нейронных ансамблей. Структура, описанная ниже, является попыткой реализации этого предположения.

Рассмотрим нейронную сеть, состоящую из пороговых нейронов с аналоговым входом и двоичным выходом; все нейроны сети соединены друг с другом обучаемыми связями с двоичными весами. В соответствии с исходной гипотезой Хебба, определим ансамбль, как группу нейронов, объединенную всеми без исключения взаимными возбуждающими связями с единичными весами, включая связь, соединяющую выход нейрона с его входом. В теории графов подобная структура называется кликой. Задача состоит в нахождении такой нейронной структуры (сети), чтобы количество ансамблей, содержащихся в ней, было максимальным при условии, что каждый ее нейронный ансамбль мог бы быть активирован (выделен) отдельно от остальной сети. Поскольку, очевидно, невозможно разделять нейронные ансамбли в полносвязной сети, то эта формулировка задачи, подразумевает, что в результате выполнения процедуры формирования всех нейронных ансамблей в такой структуре, никакой ее участок, размер которого превышает ансамбль, не должен превратиться в полносвязный граф.

Предположим, для начала, что для раздельной активации нейронного ансамбля в ансамблевой сети необходимо, чтобы один ансамбль отличался от другого не менее, чем на один нейрон. Регулярная структура, в которой может быть распределено очень много одинаковых по размеру ансамблей, при условии удовлетворения данного условия, предложена Куссулем Э.М. (Гольцев, 1976; Гольцев, 1989). Эта структура представлена на рис. 43.

Рис. 43. Регулярная нейронная структура, содержащая очень большое (см. в тексте) количество одинаковых по размеру нейронных ансамблей.

На этом рисунке каждый нейронный ансамбль состоит из трех нейронов; каждая пара взаимных внутриансамблевых связей между любыми двумя

нейронами ансамбля изображена одной линией.

185

Структура организована следующим образом. Нейроны сети делятся на n непересекающихся групп, каждая из которых содержит разное коли-чество нейронов: X1, X2, …, Xn, соответственно. В процессе обучения сети, запрещено образование связей между нейронами одной и той же группы. В ходе формирования нейронных ансамблей в данной структуре все нейроны каждой группы соединяются взаимными возбуждающими связями (с единичными весами) со всеми нейронами всех других групп. Тогда, после окончания процедуры обучения, в такой структуре ансамблем будет любой комплекс, содержащий по одному нейрону из состава каждой группы. При этом суммарное количество нейронных ансамблей в сети K, распределенных в сети, подсчитывается по формуле

Известно, что если

Тогда, для увеличения числа K, все группы должны состоять из равного количества нейронов. При этом K вычисляется по формуле

где N – это суммарное количество нейронов в сети.

Естественно, возникает вопрос об оптимальном выборе величины n (размере ансамбля). Рассмотрим непрерывную функцию y(x) = (N/x)x. Максимум этой функции приходится на значение x = N/e, где e – это основание натуральных логарифмов. Отсюда можно сделать вывод, что для распределения в сети максимального количества ансамблей, сеть необходимо разделить на n непересекающихся групп, n = N/e. При этом в сети оказывается распределено Kmax ансамблей,

Разумеется, количество ансамблей, определяемое формулой (33),

является недостижимым верхним пределом. На практике для получения наибольшего количества ансамблей в рассматриваемой структуре сеть должна быть разделена на целое число групп, максимально приближенное к числу N/e.

(32) , )( nnNK =

(31)1

.П i

n

iXK

==

(33) max .)(expeNK =

., , 11

любыхприто П ii

n

in

n

ii XXXnXX

==

≥=∑

186

Рассматриваемая структура обладает следующей особенностью. Каждый нейрон любого нейронного ансамбля, находящегося в активном состоянии, получает n единиц возбуждающего воздействия от нейронов, составляющих этот ансамбль. В то же время на вход всех остальных нейронов сети поступает также одинаковое возбуждающее воздействие, равное (n – 1) единицам возбуждения.

Для раздельной активации нейронного ансамбля в реальной сети может оказаться недостаточным, чтобы уровень возбуждения нейронов активированного ансамбля превышал уровень возбуждения всех остальных нейронов сети только на одну единицу. Допустим, что для раздельной активации ансамбля, эта разница должна составлять не менее q единиц. Ниже описывается модификация структуры рис. 43, позволяющая удовлетворить это требование.

Рассмотрим нейронную сеть, разделенную на n групп. Пусть, во всех этих группах сформированы непересекающиеся элементарные ансамбли из q нейронов, так, что каждый, такой элементарный ансамбль объединяется взаимными возбуждающими связями с единичными весами. Всего в сети формируется N/q элементарных ансамблей. Каждый элементарный ансамбль становится новой функциональной единицей сети и служит заменой отдельному нейрону в рассмотренной выше структуре. Это означает, что в процессе обучения сети, каждый новый ансамбль образуется из таких элементарных ансамблей. Недостижимый предел количества ансамблей, которое может быть распределено в сети, уменьшается по сравнению с количеством, определенным формулой (33):

Нейронные ансамбли, образованные в рассматриваемой регулярной структуре из элементарных ансамблей, обладают способностью к самовосстановлению. Это означает, что стимуляция части нейронов ансамбля приводит при определенных условиях к его активации в полном составе. Для доказательства этого утверждения рассмотрим один из ансамблей сети. Этот ансамбль состоит из n элементарных ансамблей, каждый из которых расположен в одной из n групп, на которые поделена сеть. Пусть одинаковое внешнее воздействие подается на некоторое множество нейронов сети, находящихся в составе этих n элементарных ансамблей. Ансамбль восстанавливается при условии, что внешнее воздействие подается как минимум на один нейрон из состава всех этих n элементарных ансамблей. Пусть внешней стимуляцией охвачено всего d нейронов сети, причем d << nq. Поскольку эти d нейронов находятся в составе нейронного ансамбля, состоящего из nq нейронов, то на вход каждого из них поступает ровно d единиц возбуждения. При этом все остальные нейроны сети получают разное для разных групп, но заведомо

(34) max .)(expeqNK =

187

меньшее возбуждение. Его значение зависит от того, сколько нейронов возбуждено в элементарном ансамбле, находящемся в составе этой группы. Если в данной группе внешнее возбуждение подано на b нейронов элементарного ансамбля, то все нейроны этой группы, за исклю-чением рассматриваемого элементарного ансамбля, получают (d – b) единиц возбуждения от остальных нейронов сети. Поэтому, если задать порог активации для нейронов сети равный d, то произойдет активация всех nq нейронов обсуждаемого нейронного ансамбля. В то же время, все остальные нейроны сети, имеющее входное возбуждение (d – b) окажутся в неактивном состоянии. Таким образом, при n = 10 и q = 10, нейронный ансамбль из 100 нейронов восстанавливается при стимуляции всего 10 нейронов этого ансамбля при условии, что каждый из них находится в составе одного элементарного ансамбля одной из групп, на которые разделена сеть.

Максимальное количество нейронных ансамблей, которое может быть распределено в модифицированной ансамблевой структуре, уменьшается по сравнению с числом, определяемым формулой (34). При этом формула (34) преобразуется следующим образом:

Для иллюстрации возможностей обсуждаемой регулярной

ансамблевой структуры рассмотрим пример. Разделим сеть из 990 нейронов на 33 группы. Пусть каждая группа состоит из трех непересека-ющихся элементарных ансамблей по 10 нейронов каждый. Таким образом, размер нейронных ансамблей, размещаемых в структуре, равен 330 нейронам. Максимальное количество нейронных ансамблей, которое может содержать эта структура, подсчитывается, очевидно, по формуле (35), в которую нужно подставить следующие параметры: N = 990, n = 33, q = 10. Следовательно, K = 333. При этом каждый нейронный ансамбль отличается от любого другого ансамбля сети не меньше, чем на 10 нейронов. Любой из этих ансамблей восстанавливается из входного паттерна, состоящего не менее чем из 33-х нейронов, каждый из которых должен находиться в составе одного элементарного ансамбля, содержащегося внутри одной из 33-х групп, на которые разделена сеть.

В заключение следует отметить, что вопрос о максимальном количестве нейронных ансамблей, которое может быть распределено в ансамблевой сети, имеет чисто теоретическое значение, и рассмотрен здесь только для иллюстрации потенциальных возможностей ансамблевых сетей.

(35) .)( nqnNK =

188

СПИСОК ЛИТЕРАТУРЫ Амосов Н.М. Моделирование мышления и психики.–Киев : Наук. думка, 1965. –

304 с. Амосов Н.М. Искусственный разум.–Киев : Наук. думка, 1969.–154 с. Амосов Н.М. Моделирование разума // Кибернетика.–1972.– 5.–С. 25–32. Амосов Н.М. Алгоритмы разума.–Киев : Наук. думка, 1979.–223 с. Амосов Н.M., Куссуль Э.M. Возможная схема системы усиления-торможения //

Вопросы эвристического моделирования.–Киев: Ин-т киберн. АН УССР.–1969.–С. 3–11.

Амосов Н.М., Гольцев А.Д., Куссуль Э.M. Функциональная организация информационных процессов мозга и их связь со структурами нейронных сетей // Кибернетика.–1988.–5.–С. 113–119.

Амосов Н.М., Касаткин А.М., Касаткина Л.М., Талаев С.А. Автоматы и разумное поведение.–Киев : Наук. думка, 1973.–375 с.

Амосов Н.М., Куссуль Э.М., Касаткин Ф.М., Касаткина Л.М. Стохастические нейроподобные сети с ансамблевой организацией.–Киев : Препринт 89-25. Ин-т киберн. АН УССР, 1989.–30 с.

Амосов Н.M., Байдык T.Н., Гольцев A.Д., Касаткин A.M., Касаткина Л.M., Куссуль Э.M., Рачковский Д.A. Нейрокомпьютеры и интеллектуальные роботы.–Киев : Наук. думка, 1991.–269 c.

Артыкуца С.Я., Байдык Т.Н., Куссуль Э.М., Рачковский Д.А. Распознавание текстур с помощью нейрокомпьютера.–Киев : Препринт 91-8. Ин-т киберн. АН Украины, 1991.–20 с.

Байдык Т.Н. Нейронные сети и задачи искусственного интеллекта.–Киев : Наук. думка, 2001.–263 с.

Бондарев В.Н., Аде Ф.Г. Искусственный интеллект.–Севастополь : Изд-во СевНТУ, 2002.–613 с.

Васильев В.И. Распознающие системы.–Киев : Наук. думка, 1983.–421 с. Гаврилей Ю.К., Самарин А.И., Шевченко М.А. Активный анализ изображений в

системах с фовеальным восприятием // Нейрокомпьютеры – разработка и применение.–2002.–7–8.–C. 34–46.

Галушкин А.И. Теория нейронных сетей. Кн. 1.–М. : ИПРЖ "Радиотехника", 2000.–416 с.

Галушкин А.И. Нейрокомпьютеры. Кн. 3.–М. : ИПРЖ "Радиотехника", 2000.–528 с. Гладун В.П. Процессы формирования новых знаний.–София : СД Педагог, 1994.–

192 с.

189

Гладун В.П. Целеустремленные человеко-машинные системы // Искусственный интеллект.–1999.–2.–С. 51–59.

Гладун В.П. Партнерство с компьютером.–Киев : Изд-во "Port-Royal", 2000.–128 с. Головко В.А. Нейронные сети: обучение, организация и применение.–М.: ИПРЖР

"Радиотехника", 2001.–256 с. Гольцев A.Д. Исследование принципов и механизмов ансамблевой организации в

нейроподобных сетях : Автореф. дис. канд. техн. наук.–Киев, 1976.–46 с. Гольцев A.Д. Устойчивость ансамбля в нейроподобной сети с СУТ // Нейроподоб-

ные сети в робототехнике.–Киев : Ин-т киберн. АН УССР.–1979.–C. 12–19. Гольцев A.Д. Устойчивость системы ансамблей в нейроподобной сети с СУТ //

Нейроподобные сети в робототехнике.–Киев : Ин-т киберн. АН УССР.–1979.–C. 19–26.

Гольцев A.Д. Механизм и динамика перераспределения активности между двумя пересекающимися ансамблями нейроподобных элементов // Нейробионика и моделирование биосистем.–Киев : Ин-т киберн. АН УССР.–1980.–C. 74–85.

Гольцев A.Д. Анализ процесса перераспределения активности между двумя пересекающимися ансамблями в нейроподобной сети // Биологическая кибернетика и бионика.–Киев : Ин-т киберн. АН УССР.–1981.–C. 74–79.

Гольцев A.Д. К вопросу о динамике процесса перераспределения активности в ансамблевой сети // Биологическая, медицинская кибернетика и бионика.–Киев : Ин-т киберн. АН УССР.–1984.–C. 43–51.

Гольцев A.Д. Структурно-функциональная организация нейроподобной сети, предназначенная для распознавания зрительных образов // Автоматика.–1989.–5.–C. 48–52.

Гольцев A.Д. Структурированная нейроподобная сеть с обучением, предназначенная для текстурной сегментации изображений // Кибернетика и системный анализ.–1991.–6.–C. 149–161.

Гольцев A.Д. Нейроподобная сеть с ансамблевой организацией, предназначенная для текстурной сегментации изображений.–Киев : Препринт 91-31. Ин-т киберн. АН Украины, 1991.–21 с.

Гольцев A.Д. Текстурная сегментация изображения нейроподобной сетью с ансамблевой организацией // Нейроподобные сети и нейрокомпьютеры.–Киев: Ин-т киберн. АН Украины.–1992.–C. 32–39.

Гольцев A.Д. Использование тормозных связей в ансамблевых сетях // Нейросетевые системы обработки информации.– Киев : Ин-т киберн. НАН Украины.–1996.–C. 35–41.

Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере.–Новосибирск : Наука, 2000.

Дуда Р., Харт П. Распознавание образов и анализ сцен.–М.: Мир, 1976.–511 c. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его приложения в экономике и

бизнесе.–М.: Изд-во МИФИ, 1998.–224 с. Каллан Р. Основные концепции нейронных сетей.–Москва; Санкт-Петербург;

Киев : Издательский дом "Вильямс", 2001.–287 с. Касаткин А.М. О представлении знаний в системах искусственного интеллекта

роботов // Кибернетика.–1979.–2.–C. 57–65. Касаткин А.М. Активные семантические сети в системе знаний роботов.–Киев :

Знание, 1981. Кириченко Н.Ф., Резник А.М., Щетенюк С.П. Псевдообращение матриц в

проблеме проектирования ассоциативной памяти // Кибернетика и системный анализ.–2001.–3.–С. 18–27.

190

Коган А.Б. Функциональная организация нейронных механизмов. – Л.: Медицина, 1974.–224 с.

Комарцова Л.Г., Максимов А.В. Нейрокомпьютеры.–М.: Изд-во МГТУ им. Баумана, 2002.–320 с.

Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика (2-е изд.).–М.: Изд-во "Горячая линия - Телеком", 2002.–382 c.

Куссуль Э.M. Средства и методы построения нейроподобных сетей для управления роботом : Автореф. докт. техн. наук.– Киев, 1981.–366 c.

Куссуль Э.M. Ассоциативные нейроподобные структуры.–Киев : Наук. думка, 1992.–143 с.

Куссуль Э.M., Федосеева Т.В. О распознавании звуковых сигналов в нейроподобных ансамблевых структурах.–Киев : Препринт 87-28. Ин-т киберн. АН УССР, 1987.–20 с.

Куссуль Э.M., Байдык Т.Н. Разработка архитектуры нейроподобной сети для распознавания формы объекта на изображении // Автоматика.–1990.–5.–C. 56–61.

Куссуль Э.M., Байдык Т.Н. Структура нейронных ансамблей // Нейрокомпьютер.–1992.–1.–C. 16–23.

Куссуль Э.M., Байдык Т.Н., Лукович В.В., Рачковский Д.А. Нейронные классификаторы с распределенным кодированием входной информации // Нейрокомпьютер.–1994.–3–4.–C. 13–24.

Люгер Д.Ф. Искусственный интеллект. Стратегии и методы решения сложных проблем (четвертое издание).–Москва; Санкт-Петербург; Киев : Издательский дом "Вильямс", 2003.–863 с.

Милнер П.М. Физиологическая психология.– М.: Мир, 1973.–647 c. Назаров А.В., Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и

оптимизации систем.–Санкт-Петербург : Наука и Техника, 2003.–384 c. Осовский С. Нейронные сети для обработки информации.–М.: Финансы и

статистика, 2002.–343 с. Рачковский Д.А., Федосеева Т.В. Программно-аппаратный нейрокомпьютерный

комплекс для распознавания звуковых сигналов // Нейроподобные сети и нейрокомпьютеры.–Киев : Ин-т киберн. АН Украины.–1991.–C. 62–68.

Розенблатт Ф. Принципы нейродинамики. Перцептроны и теория механизмов мозга.–М.: Мир, 1965.–480 с.

Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления.–М.: Высш. школа, 2002.–183 с.

Фролов А.А., Муравьев И.П. Нейронные модели ассоциативной памяти.–М.: Наука, 1987.–166 с.

Хьюбел Д., Визель Т. Центральные механизмы зрения // Мозг. М.: Мир, 1982.–С. 167–198.

Хьюбел Д. Глаз, мозг, зрение.–М.: Мир, 1990.–239 с. Шапошников Д.Г., Головань А.В., Подладчикова Л.Н., Шевцова Н.А., Гао К.,

Гусакова В.И., Гизатдинова Ю.Ф. Применение поведенческой модели зрения для инвариантного распознавания лиц и дорожных знаков // Нейрокомпьютеры – разработка и применение.–2002.–7–8.–C. 21–33.

Шлезингер М., Главач В. Десять лекций по статистическому и структурному распознаванию.– Киев : Наук. думка, 2004.–535 с.

Экклз Дж. Тормозные пути центральной нервной системы.–М.: Мир, 1971.–168 с.

191

Amari S. Characteristics of sparsely encoded associative memory // Neural Networks.–1989.–2.–P. 445–457.

Amit D.J. The Hebbian paradigm reintegrated: Local reverberations as internal representations // Behavioral and Brain Sciences.–1995.–18.–P. 617–657.

Austin J., Stonham, T.J. Distributed associative memory for use in scene analysis // Image and Vision Computing.–1987.–5.–N4.–P. 251–260.

Boccignone G., Chianese A., Cordella L.P., Marcelli A. Recovering dynamic information from static handwriting // Pattern Recognition.–1993.–26.–P. 409–418.

Bottou L., Cortes C., Denker J., Drucker H., Guyon I., Jackel L., LeCun Y., Muller U., Sackinger E., Smard P., Vapnik V. Comparison of classifier methods: a case study in handwritten digit recognition // Proceedings of the 12th IAPR international conference on pattern recognition.–2. Conference B: Computer vision & image processing.–1994.–Jerusalem, Israel.–P. 77–82.

Bovik A.C., Clark M., Geisler W.S. Multichannel texture analysis using localized spatial filters // IEEE Transactions on Pattern Analysis and Machine Intelligence, PAMI-12.–1990.–P. 55–73.

Braitenberg V. Cell assemblies in the cerebral cortex // Lecture Notes in Biomathematics.–1978.–21.–P. 171–188.

Braitenberg V. Some arguments for a theory of cell assemblies in the cerebral cortex.– In: Neural connections, mental computation // Cambridge, Massachusetts : MIT Press.–1989.–P. 137–145.

Caelli T., Reye D. On the classification of image regions by color, texture and shape // Pattern Recognition.–1993.–26.–P. 461–470.

Carpenter G.A., Milenova B.L., Noeske B.W. Distributed ARTMAP: a neural network for fast distributed supervised learning // Neural Networks.–1998.–11.–N5.–P. 793–813.

Caruana R., Lawrence S., Giles L. Overfitting in neural nets: Backpropagation, conjugate gradient, and early stopping.–In: Advances in neural information processing systems, 13. Denver, Colorado : Morgan Kaufmann.–2000.–P. 402–408.

Cheng-Lin Liu, Nakashima K., Sako H., Fujisawa H. Handwritten digit recognition using state-of-the-art techniques // Proceedings of the 8th international workshop on frontiers in handwritten recognition.–2002.–Ontario, Canada.–P. 320–325.

Cho S.-B. Neural-network classifiers for recognizing totally unconstrained handwritten numerals // IEEE Transactions on Neural Networks.–1997.–8.–P. 43–53.

Daugman J.G. Uncertainty relations for resolution in space, spatial frequency, and orientation optimized by two-dimensional visual cortical filters // Journal of the Optical Society of America.–1985.–2.–P. 1160–1169.

Duda R. O., Hart P. E., Stork D. G. Pattern classification (second edition). New York : John Wiley and Sons, 2001.

Ezhov A.A., Vvedensky V.L. Object generation with neural networks (when spurious memories are useful) // Neural Networks.–1996.–9.–N9.–P. 1491–1495.

Frégnac Y. Habbian synaptic plasticity.–In: The handbook of brain theory and neural networks (second edition) // Cambridge, Massachusetts; London, England : MIT Press.–2003.–P. 515–522.

Frolov A., Kartashov A., Goltsev A., Folk R. Quality and efficiency of retrieval for Willshaw-like autoassociative network: I Correction // Network: Computation in Neural Systems.–1995.–6.–P. 513–534.

Frolov A., Kartashov A., Goltsev A., Folk R. Quality and efficiency of retrieval for Willshaw-like autoassociative network: II Recognition // Network: Computation in Neural Systems.–1995.–6.–P. 534–549.

192

Frolov A.A., Rachkovskij D.A., Húsek D. On informational characteristics of Willshaw-like auto-associative memory // Neural Network World.–2002.–12.–N2.–P. 141–157.

Fukumi M., Omatu S., Nishikawa Y. Rotation-invariant neural pattern recognition system estimating a rotation angle // IEEE Transactions on Neural Networks.–1997.–8.–P. 568–581.

Fukushima K., Okada M., Hiroshige K. Neocognitron with dual C-cell layers // Neural Networks.–1994.–7.–P. 41–47.

Fukushima K. Neocognitron: A model for visual recognition.–In: The handbook of brain theory and neural networks (second edition) // Cambridge, Massachusetts; London, England : MIT Press.–2003.–P. 715–719.

Gates G. W. The reduced nearest-neighbor rule // IEEE Transactions on Information Theory.–1972.–18.–P. 431–433.

Gascuel J.-D., Moobed B., Weinfeld M. An internal mechanism for detecting parasite attractors in a Hopfield network // Neural Computation.–1994.–6.–P. 902–915.

Geva S., Sitte J. Adaptive nearest neighbor pattern classification // IEEE Transactions on Neural Networks.–1991.–2.–P. 318–322.

Goltsev A. Brightness image segmentation by a neuron-like network // Neurocomputing.–1992.–4.–P. 9–15.

Goltsev A., Kartashov A., Folk R. Neural assembly architecture for texture recognition. // Proceedings of the 12th meeting on cybernetics and systems research "CYBERNETICS AND SYSTEMS’1994".–1994.–Vienna, Austria.–P. 1743–1749.

Goltsev A. An assembly neural network for texture segmentation // Neural Networks.–1996.–9.–N4.–P. 643–653.

Goltsev A., Wunsch D.C. Inhibitory connections in the assembly neural network for texture segmentation // Neural Networks.–1998.–11.–N5.–P. 951–962.

Goltsev A. A process of generalization in the assembly neural network // Proceedings of ICONIP’2001.–2001.–Shanghai, China.–P. 47–52.

Goltsev A., Rachkovskij D. A recurrent neural network for partitioning of hand drawn characters into strokes of different orientations // International Journal of Neural Systems (IJNS).–2001.–11.–N5.–P. 463–475.

Goltsev A., Húsek D. Some properties of the assembly neural networks // Neural Network World.–2002.–12.–N1.–P. 15–32.

Goltsev A., Wunsch D.C. Generalization of features in the assembly neural networks // International Journal of Neural Systems (IJNS).–2004.–14.–N1.–P. 39–56.

Goltsev A., Kussul E., Baidyk T. A process of differentiation in the assembly neural network // Lecture Notes in Computer Science.–2004.–3316.–P. 452–457.

Goltsev A. Secondary learning in the assembly neural network // Neurocomputing.–2004.–62.–P. 405–426.

Goltsev A., Rachkovskij D. Combination of the assembly neural network with a perceptron for recognition of handwritten digits arranged in numeral strings // Pattern Recognition.–2005.–38.–N3.–P. 315–322.

Goltsev A., Húsek D., Frolov A. Assembly neural network with nearest-neighbor recognition algorithm // Neural Network World.–2005.–15.–N1.–P. 9–22.

Graham B., Willshaw D. Probabilistic synaptic transmission in the associative net // Neural Computation.–1999.–11.–P. 117–137.

Grossberg S., Wyse L. (1991). A neural network architecture for figure-ground separation of connected scenic figures // Neural Networks.–4.–P. 723–742.

Hebb D.O. The organization of behavior.–New York : John Wiley, 1949.–319 p.

193

Hetherington P.A., Shapiro M.L. Simulating Hebb cell assemblies: The necessity for partitioned dendritic trees and a post-nor-pre LTD rule // Network: Computation in Neural Systems.–1993.–4.–P. 135–153.

Heutte L., Paquet T., Moreau J.V., Lecourtier Y., Olivier C. A structural/statistical feature based vector for handwritten character recognition // Pattern Recognition Letters.–1998.–19.–P. 629–641.

Hild M., Shirai Y. Extraction of texture elements from images of shaded scenes // Pattern Recognition.–1993.–26.–P. 1177–1191.

Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities // Proceedings of the National Academy of Sciences USA.–1982.–79.–P. 2554–2558.

Jacobs R.A. Increased rates of convergence through learning rate adaptation // Neural Networks.–1988.–1.–P. 295–307.

Kaplan S., Sonntag M., Chown E. Tracing recurrent activity in cognitive elements (TRACE): A model of temporal dynamics in a cell assembly // Connection Science.–1991.–3.–P. 179–206.

Kartashov A., Frolov A., Goltsev A., Folk R. Quality and efficiency of retrieval for Willshaw-like autoassociative network: III Willshaw-Potts model // Network: Computation in Neural Systems.–1997.–8.–N1.–P. 71–86.

Kohonen T. Self-organized formation of topologically correct feature maps // Biological Cybernetics.–1982.–43.–P. 59–69.

Kohonen T. Self-organization and associative memory.– Berlin : Springer, 1984.–255 p. Kussul E.M., Rachkovskij D.A. Multilevel assembly of neural network for sequence

recognition and synthesis // Proceedings of international workshop "NEUROCOMPUTERS AND ATTENTION".–1989.–Pushchino, USSR.–P. 178–179.

Kussul E.M., Rachkovskij D.A., Baidyk T.N. On image texture recognition by associative-projective neurocomputer // Proceedings of ANNIE’1991 conference. Intelligent engineering systems through artificial neural networks.–1991.–New York : ASME Press.–P. 453–458.

Kussul E.M., Baidyk T.N., Lukovitch V.V., Rachkovskij D.A. Adaptive neural network classifier with multifloat input coding // Proceedings of the 6th international conference Neuro-Nimes’1993.–1993.–Nimes, France.–P. 209–216.

Kussul E., Baidyk T., Kasatkina L., Lukovich V. Rosenblatt perceptrons for handwritten digit recognition // Proceedings of international joint conference on neural networks IJCNN’2001.–2001.–Washington DC.–P. 1516–1521.

Kussul E., Baidyk T. Improved method of handwritten digit recognition tested on MNIST database // Proceedings of the 15-th international conference on vision interface.–2002.–Calgary, Canada.–P. 192–197.

Kussul E., Baidyk T. Permutative coding technique for handwritten digit recognition system // Proceedings of international joint conference on neural networks IJCNN’2003.–2003.–Portland, Oregon.–P. 2163–2168.

Lawrence S., Giles C.L., Tsoi A.C. Lessons in neural network training: Overfitting may be harder than expected // Proceedings of the 14th national conference on artificial intelligence "AAAI’1997".–1997.–Menlo Park, CA.–P. 540–545.

Lee S., Pan J. C.-J. Unconstrained handwritten numeral recognition based on radial basis competitive and cooperative networks with spatio-temporal feature representation // IEEE Transactions on Neural Networks.–1996.–7.–P. 455–474.

194

Lee S.W., Song H.H. (1997). A new recurrent neural-network architecture for visual pattern recognition // IEEE Transactions on Neural Networks.–1997.–8.–P. 331–340.

Leonardis A., Bischof H. An efficient MDL-based construction of RBF networks // Neural Networks.–1998.–11.–N5.–P. 963–973.

LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-based learning applied to document recognition // Proceedings of the IEEE.–1998.–Vol. 86.–11.–P. 2278–2324.

Malik J., Perona P. Preattentive texture discrimination with early vision mechanisms // Journal of the Optical Society of America A.–1990.–7.–P. 923–932.

Magoulas G.D., Vrahatis M.N., Androulakis G.S. Effective backpropagation training with variable stepsize // Neural Networks.–1997.–10.–P. 69–82.

Milner P. M. The cell assembly: Mark 2 // Psychological Review.–1957.–64.–P. 242–252.

Milner P.M. The autonomous brain. A neural theory of attention and learning.– Mahwash, NJ; London : Lawrence Erlbaum Associates, 1999.–155 p.

MNIST database: http://yann.lecun.com/exdb/mnist/ Noelle D.C., Cottrell G.W. In search of articulated attractors // Proceedings of the 18th

annual conference of the cognitive science society.–1996.–Mahwah, NJ : Lawrence Erlbaum Associates.–P. 329–334.

Noelle D.C., Zimdars A.L. Methods for learning articulated attractors over internal representations // Proceedings of the 21th annual conference of the cognitive science society.–1999.–Mahwah, NJ : Lawrence Erlbaum Associates.–P. 480–485.

Nothdurft H.C. Sensitivity for structure gradient for texture discrimination tasks // Vision Research.–1985.–25.–P. 1957–1968.

O'Reilly R.C. Generalization in interactive networks: The benefits of inhibitory competition and Hebbian learning // Neural Computation.–2001.–13.–N6.–P. 1199–1241.

Oja E. Neural networks, principal components, and subspaces // International Journal of Neural Systems (IJNC).–1989.–1.–P. 61–68.

Palm G. On associative memory // Biological Cybernetics.–1980.–36.–P. 19–31. Palm G. Neural assemblies: an alternative approach to artificial intelligence // Studies of

Brain Functions.–1982.–7.–Berlin; Heidelberg; New York : Springer-Verlag. Paquet T., Lecourtier Y. Recognition of handwritten sentences using a restricted lexicon

// Pattern Recognition.–1993.–26.–P. 391–407. Parallel models of associative memory // Hillside, NJ : Lawrence Erlbaum Associates.–

1981. Penz P.A. The closeness code: an input integer to binary vector transformation suitable

for neural network algorithms // Proceedings of IEEE first international conference on neural networks.–1987.–San Diego, CA.–P. 515–522.

Plaut D.C., McClelland J.L., Seidenberg M.C., Patterson K.E. Understanding normal and impaired word reading: Computational principles in quasi-regular domains // Psychological Review.–1996.–103.–P. 56–115.

Poggio T., Girosi F. Networks for approximation and learning // Proceedings of the IEEE.–1990.–78.–P. 1481–1497.

Rachkovskij D. A., Fedoseyeva T. V. On audio signals recognition by multilevel neural network. // Proceedings of the international symposium on neural networks and neural computing NEURONET'1990.–1990.–Prague, Czechoslovakia.–P. 281–283.

Rachkovskij D.A., Kussul E.M. Binding and normalization of binary sparse distributed representation by context-dependent thinning // Neural Computation.–2001.–13.–N2.–P. 411–452.

195

Rätsch G, Onoda T, Müller K-R. An improvement of AdaBoost to avoid overfitting. // Proceedings of the 5th international conference on neural information processing ICONIP’1998.–1998.–Tokyo, Japan.–P. 506–509.

Rybak I.A., Gusakova V.I., Golovan A.V., Podladchikova L.N., Shevtsova N.A. A model of attention-guided visual perception and recognition // Vision Research.–1998.–38.–N15/16.–P. 2387–2400.

Schwabe L., Obermayer K. Modeling the adaptive visual system: a survey of principled approaches // Neural Networks (Special Issue Neuroinformatics).–2003.–16.–N9.–P. 1353–1371.

Schwenk H., Milgram M. Structured diabolo-networks for hand-written character recognition // Proceedings of the international conference on artificial neural networks.–1994.–Sorrento, Italy.–Vol. 2.–P. 985–988.

Shen H.C., Bie C.Y.C., Chiu D.K.Y. A texturebased distance measure for classification // Pattern Recognition.–1993.–26.–P. 1429–1437.

Shi Z., Govindaraju V. Segmentation and recognition of connected handwritten numeral strings // Pattern Recognition.–1997.–30.–P. 1501–1504.

Turner M., Austin J. Matching performance of binary correlation matrix memories // Neural Networks.–1997.–10.–N9.–P. 1637–1648.

The handbook of brain theory and neural networks. Second edition.–Cambridge, Massachusetts; London, England : MIT Press, 2003.–1290 p.

Van der Smagt P.P. Minimization methods for training feedforward neural networks // Neural Networks.–1994.–7.–P. 1–11.

Van Hulle M.M., Tollenaere T. A modular artificial neural network for texture processing // Neural Networks.–1993.–6.–P. 7–32.

Van Ooyen A., Nienhuis B. Improving the convergence of the back-propagation algorithm // Neural Networks.–1992.–5.–P. 465–471.

Vogel D.D. Auto-associative memory produced by disinhibition in a sparsely connected network // Neural Networks.–1998.–11.–N5.–P. 897–908.

Vogel D., Boos W. Sparsely connected Habbian networks with strikingly large storage capacities // Neural Networks.–1997.–10.–P. 671–682.

Voorhees H., Poggio T. Computing texture boundaries from images // Nature.–1988.– 333.– P. 364–367.

Willshaw D. Holography, associative memory, and inductive generalization.–In: Parallel Models of Associative Memory.–Hillside, NJ : Lawrence Erlbaum Associates.–1981.–P. 83–104.

Wolpert D.H. On the connection between in-sample testing and generalization error // Complex Systems.–1992.–6.–P. 47–94.

Wu C.M., Chen Y.C. Malti-threshold dimension vector for texture analysis and its application to liver tissue classification // Pattern Recognition.–1993.–26.–P. 137–144.

You J., Cohen H.A. Classification and segmentation of rotated and scaled textured images using texture "turned" masks // Pattern Recognition.–1993.–26.–P. 245–258.

Zhao Q., Higuchi T. Evolutionary learning of nearest-neighbor MLP // IEEE Transactions on Neural Networks.–1996.–7.–P. 762–767.

196

ОГЛАВЛЕНИЕ ВСТУПИТЕЛЬНОЕ СЛОВО …………………………………..…..………5 ПРЕДИСЛОВИЕ …………………………...………………….…………… 7 ВВЕДЕНИЕ ……………………...…………………..…………………….. 10 Глава 1. АНСАМБЛЕВАЯ НЕЙРОННАЯ СЕТЬ .……………………. 21 Глава 2. ПРЕДСТАВЛЕНИЕ ПРИЗНАКОВ

В АНСАМБЛЕВОЙ СЕТИ С ПОМОЩЬЮ МЕТОДА "ПОПЛАВКОВОГО" КОДИРОВАНИЯ ...………………......….… 28

Глава 3. ПЕРВИЧНОЕ ОБУЧЕНИЕ

АНСАМБЛЕВОЙ СЕТИ (ПРОЦЕСС ФОРМИРОВАНИЯ НЕЙРОННЫХ АНСАМБЛЕЙ) ……………………………..…..….. 32

3.1. Алгоритм первичного обучения ансамблевой сети с двоичными связями ……………………..…….... 34

3.2. Алгоритм первичного обучения ансамблевой сети с аналоговыми связями …………………………... 35

3.3. Первичное обучение в ансамблевой сети со стохастическим кодированием аналоговых связей двоичными связями ……..……….…………….... 36

3.4. Обсуждение механизмов первичного обучения ансамблевой сети ……………….…….……..... 38

Глава 4. АНСАМБЛЕВАЯ СЕТЬ

С ДИНАМИЧЕСКИМ АЛГОРИТМОМ РАСПОЗНАВАНИЯ …..……………………………………………... 39

4.1. Динамический алгоритм распознавания …………………….….……. 39 4.2. Процедура дифференциации в ансамблевой сети

с динамическим алгоритмом распознавания ……………..….…….... 44

197

Глава 5. РАСПОЗНАВАНИЕ ТЕКСТУР И СЕГМЕНТАЦИЯ ТЕКСТУРНЫХ ИЗОБРАЖЕНИЙ АНСАМБЛЕВОЙ СЕТЬЮ С ДИНАМИЧЕСКИМ АЛГОРИТМОМ РАСПОЗНАВАНИЯ …….………………………………….….…….. 48

5.1. Постановка задачи для ансамблевой сети ……………….…………... 49 5.2. Выделение текстурных признаков ………………………….………... 50 5.3. Эксперименты по распознаванию текстур …………………..……..... 52 5.4. Обсуждение результатов сегментации

текстурных изображений ансамблевой сетью ……………………..... 58 Глава 6. ТОРМОЗНЫЕ СВЯЗИ МЕЖДУ

ПОДСЕТЯМИ АНСАМБЛЕВОЙ СЕТИ ...…………………..…… 59 6.1. Отрицательные признаки …………………………………………...… 60 6.2. Обучение тормозных связей ………………………………………….. 62 6.3. Ограниченность применения отрицательных признаков …………... 64 6.4. Экспериментальная проверка результатов

введения тормозных связей между подсетями ансамблевой сети ………….………………………………. 67

Глава 7. АНСАМБЛЕВАЯ СЕТЬ СО СТАТИЧЕСКИМ

АЛГОРИТМОМ РАСПОЗНАВАНИЯ …….………………….…… 73 7.1. Статический алгоритм распознавания ……………………………….. 73 7.2. Упрощенный динамический алгоритм распознавания ……………... 76 7.3. Упрощенный статический алгоритм распознавания …………...…… 77 7.4. Сравнение алгоритмов распознавания …………………………..…… 79 Глава 8. АРХИТЕКТУРА АНСАМБЛЕВЫХ СЕТЕЙ ……..…..…..… 82 8.1. Разделение ансамблевой сети на подсети ………………………….… 82 8.2. Ансамблевая сеть для задачи XOR …..………………….…………… 83 8.3. Неразделенная на подсети ансамблевая сеть,

предназначенная для задачи XOR ………………………………….… 86 8.4. Обсуждение архитектуры ансамблевой

сети, разделенной на подсети ……………………………………..….. 87 8.5. Разделение ансамблевой сети

на подсети в процессе ее обучения ………..…..................................... 88 8.6. Представление ансамблевой сети

со статическим алгоритмом распознавания в виде персептрона ..…………………………..……………….…….... 90

8.7. Представление ансамблевой сети с упрощенным статическим алгоритмом распознавания в виде персептрона …………………………..…………..……..........… 94

8.8. Сводится ли ансамблевая сеть к персептрону? .………………….….. 97

198

Глава 9. ОБОБЩЕНИЕ В АНСАМБЛЕВЫХ СЕТЯХ ………..…....... 99 9.1. Обобщение в ансамблевой сети, разделенной на подсети ………… 100 9.2. Обобщение в ансамблевой сети, не разделенной на подсети ...…… 102 9.3. Экспериментальное исследование процесса

обобщения в ансамблевой сети с двоичными связями …….…….… 103 9.4. "Секториальный" набор признаков

для описания формы рукописных символов .…………………...….. 104 9.5. Исследование процесса обобщения

в ансамблевых сетях в экспериментах с буквами ……..………..………………..…….…... 106

9.6. Влияние размера нейронного поплавка на процесс обобщения в ансамблевой сети, использующей метод "поплавкового" кодирования ………..…...…. 112

9.7. Необходимость в дополнительных экспериментах ………………... 113 9.8. "Прямоугольный" набор признаков

для описания формы рукописных символов …....………………..… 114 9.9. Исследование процесса обобщения

в ансамблевых сетях в экспериментах с цифрами ………………..…………………........... 116

9.10. Эксперименты по распознаванию цифр ансамблевой сетью с двоичными связями ……………..................… 122

9.11. Обсуждение феномена обобщения в ансамблевых сетях ………... 124 Глава 10. ПРОЦЕДУРА ВТОРИЧНОГО ОБУЧЕНИЯ

(ПРОЦЕСС ДИФФЕРЕНЦИАЦИИ) В АНСАМБЛЕВОЙ СЕТИ С АНАЛОГОВЫМИ ВЕСАМИ СВЯЗЕЙ И УПРОЩЕННЫМ СТАТИЧЕСКИМ АЛГОРИТМОМ РАСПОЗНАВАНИЯ ……….……………..….… 126

10.1. Необходимость в процессе дифференциации …………………..… 127 10.2. Алгоритм процедуры дифференциации ………….……………….. 128 10.3. "Радиальный" набор признаков

для описания формы рукописных символов .………...…………..… 130 10.4. Экспериментальное исследование

процесса дифференциации на задаче распознавания рукописных букв …..……..………….…... 133

10.5. Двумерный нейронный поплавок ………………………………..… 135 10.6. Относительное повышение

распознающей способности ансамблевой сети в результате выполнения в ней процедуры дифференциации ….………………………………..….... 139

10.7. Образование тормозных связей во время выполнения процедуры дифференциации …….……….... 140

10.8. Задача распознавания рукописных цифр …….………………….... 142 10.9. "Радиально-интегральный" набор признаков

199

для описания формы рукописных символов ……………………...... 143 10.10. Экспериментальное исследование

процесса дифференциации на задаче распознавания рукописных цифр ……………………...… 147

10.11. Обсуждение процедуры дифференциации …………………….… 150 Глава 11. МОДЕЛЬ РАСПОЗНАВАНИЯ

РУКОПИСНЫХ СЛОВ …….........................................................… 152 11.1. Структура "символьной" нейронной сети

и алгоритм ее обучения …………….……….…………..………….... 153 11.2. Функционирование объединенной нейронной сети

в процессе распознавания слов ……….…...……………….…..……. 156 11.3. Эксперименты с компьютерной моделью ………………………… 158 11.4. Обсуждение модели распознавания рукописных слов …………... 159 ЗАКЛЮЧЕНИЕ ….…………………………………...……...................... 161 Приложение А. АНСАМБЛЕВАЯ СЕТЬ

С АЛГОРИТМОМ РАСПОЗНАВАНИЯ НА ОСНОВЕ МЕТОДА БЛИЖАЙШЕГО СОСЕДА ……………………………………..…. 169

Формирование семейств пересекающихся ансамблей в процессе первичного обучения сети ……………...……….……… 171

Алгоритм распознавания на основе метода ближайшего соседа ………..……….…………..… 172

Латеральные тормозные связи внутри нейронных колонок …………… 178 Вероятность случайной активации

"подходящего ансамблеподобного образования" в ансамблевой сети ……………………………………………...…… 179

Экспериментальная проверка функционирования ансамблевой сети на основе метода ближайшего соседа …………...………...…..……. 181

Обсуждение ансамблевой сети на основе метода ближайшего соседа ………………….....…….…... 182

Приложение Б. МАКСИМАЛЬНОЕ КОЛИЧЕСТВО

НЕЙРОННЫХ АНСАМБЛЕЙ, КОТОРОЕ МОЖЕТ БЫТЬ РАСПРЕДЕЛЕНО В АНСАМБЛЕВОЙ СЕТИ ……………………………………..….. 183

СПИСОК ЛИТЕРАТУРЫ……..…………….…………...………….….. 188

200

Наукове видання Олександр Дмитрович ГОЛЬЦЕВ НЕЙРОННІ СІТКИ З АНСАМБЛЕВОЮ ОРГАНІЗАЦІЄЮ (Російською мовою) Київ, видавництво „Наукова думка”, 2005 Художній редактор Є.І. Муштенко Коректор І.Л. Макаренко Здано до набору 10.05.2005. Підп. до друку 19.08.2005. Формат 60×90/16. Папір офс. 1. Гарн. Таймс. Друк офс. Ум.-друк. арк. 12,5. Ум. фарбо-відб. 12,5. Обл.-вид. арк. 11,7. Тираж 500 прим. Зам. 5-39 Видавництво „Наукова думка” Р.с. 05417561 від 15.03.95 01601 Київ 1, вул. Терещенківська, 3 Видавництво „ЛОГОС” 01030 Київ 30, вул. Богдана Хмельницького, 10