-mail: [email protected] METHODS OF GLOBAL OPTIMIZATION AND INCREASE PROPOTES OF COMPUTER...

16
В. Д. КОШУР Институт космических и информационных технологий, Сибирский федеральный университет, г. Красноярск E-mail: [email protected] МЕТОДЫ ГЛОБАЛЬНОЙ ОПТИМИЗАЦИИ И ПОВЫШЕНИЕ АДАПТИВНЫХ СВОЙСТВ ВЫЧИСЛИТЕЛЬНЫХ АЛГОРИТМОВ. ИНТЕЛЛЕКТУАЛИЗАЦИЯ ПОИСКА ЭКСТРЕМУМОВ Аннотация Представлены некоторые концептуальные идеи, которые лежат в основе раз- работки вычислительных алгоритмов глобальной оптимизации с повышен- ными адаптивными свойствами. Рассмотрены системы роевого интеллекта (swarm intelligence) как мультиагентные системы, которые в определенной степени моделируют поведение роя пчел, стаи птиц, колонии муравьев. От- мечены перспективные направления разработок методов глобальной опти- мизации для целевых функций в виде «черного ящика». V. D. KOSHUR Institute of Space and Information Technology, Siberian Federal University, Krasnoyarsk E-mail: [email protected] METHODS OF GLOBAL OPTIMIZATION AND INCREASE PROPOTES OF COMPUTER ALGORITHMS ADOPTETION. INTELLIGENCE SEARCHING TO EXSTREMUM Abstract Some conceptual ideas concerning a development basis of computing algorithms for global optimization with enhanced adaptive characteristics are presented. Swarm intelligence systems as multi-agent ones are considered. These systems simulate in some way the behavior of swarm of bees, flock of birds and ant colonies. Prospective development trends are discussed for global optimization techniques with regard to black-box-type objective function. 46 УДК 001(06)+004.032.26 (06) Нейронные сети

Transcript of -mail: [email protected] METHODS OF GLOBAL OPTIMIZATION AND INCREASE PROPOTES OF COMPUTER...

В. Д. КОШУР

Институт космических и информационных технологий,Сибирский федеральный университет, г. Красноярск

E-mail: [email protected]

МЕТОДЫ ГЛОБАЛЬНОЙ ОПТИМИЗАЦИИ ИПОВЫШЕНИЕ АДАПТИВНЫХ СВОЙСТВ

ВЫЧИСЛИТЕЛЬНЫХ АЛГОРИТМОВ.ИНТЕЛЛЕКТУАЛИЗАЦИЯ ПОИСКА ЭКСТРЕМУМОВ

Аннотация

Представлены некоторые концептуальные идеи, которые лежат в основе раз-работки вычислительных алгоритмов глобальной оптимизации с повышен-ными адаптивными свойствами. Рассмотрены системы роевого интеллекта(swarm intelligence) как мультиагентные системы, которые в определеннойстепени моделируют поведение роя пчел, стаи птиц, колонии муравьев. От-мечены перспективные направления разработок методов глобальной опти-мизации для целевых функций в виде «черного ящика».

V. D. KOSHUR

Institute of Space and Information Technology,Siberian Federal University, Krasnoyarsk

E-mail: [email protected]

METHODS OF GLOBAL OPTIMIZATION AND INCREASEPROPOTES OF COMPUTER ALGORITHMS ADOPTETION.

INTELLIGENCE SEARCHING TO EXSTREMUM

Abstract

Some conceptual ideas concerning a development basis of computing algorithmsfor global optimization with enhanced adaptive characteristics are presented.Swarm intelligence systems as multi-agent ones are considered. These systemssimulate in some way the behavior of swarm of bees, flock of birds and antcolonies. Prospective development trends are discussed for global optimizationtechniques with regard to black-box-type objective function.

46 УДК 001(06)+004.032.26 (06) Нейронные сети

В.Д.КОШУР

Введение

Способность системы адаптироваться или приспосабливаться к изменя-ющимся внешним условиям, «разумно» или рационально действовать вусловиях неопределенности можно отнести к первой ступени искусствен-ного интеллекта (ИИ). Для развитого ИИ свойственно умение накапли-вать знания и самообучаться. Одной из главных тенденций в развитии исоздании современной техники, новых высокоэффективных информацион-ных технологий является желание разработчиков придать новым объектам,операционным системам, вычислительным алгоритмам некоторые свой-ства «разумности». Направление ИИ представляет собой весьма широкийспектр знаний, методов и достигнутых результатов в различных областяхисследований, одной из объединяющих концепций для которых являетсяпонятие интеллектуальных агентов [1].

В лекции рассматриваются различные варианты реализации интеллек-туальных агентов и роевого интеллекта при создании новых и совершен-ствовании разработанных численных методов и алгоритмов при решениизадач глобальной оптимизации (ГО). Роевой интеллект представляет собойколлективное поведение самоорганизующихся систем. Взаимодействую-щие элементы этих систем называются агентами, рациональными агентамиили интеллектуальными агентами, для которых определяется функция аген-

та (отображение последовательности актов восприятия агента на некото-рые его действия) и программа агента (внутреннее описание и конкретнаяреализация, действующая в рамках архитектуры агента). Важным аспек-том при разработке таких систем является моделирование рационального

поведения агентов.

Методы роя частиц и роевой интеллект

Рассматривается глобальная оптимизация целевой функции (ЦФ) f(X) вобласти (n-мерный параллелепипед) в пространстве Rn. Следуя осново-полагающей работе Kennedy and Eberhart [2], посвященной оптимизацииметодом роя частиц (PSO — Particle Swarm Optimization) и обзора [3], кано-ническая или базовая схема итерационного процесса PSO представляетсяв форме изменения положения множества частиц fPj ; j = 1; 2; : : : ; Ng скоординатами Xtj = (xt1;j ; xt2;j ; : : : ; xtn;j) в дискретные моменты времени

УДК 001(06)+004.032.26 (06) Нейронные сети 47

ISBN 978–5–7262–1897–7 ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕt = 0; 1; 2; : : : и выражается в следующей формеXt+1j = Xtj + V t+1j ; (1)V t+1j = �V tj + �U [0; 1℄ (Xtj;b �Xtj) + U [0; 1℄ (Xtj;g �Xtj): (2)

Здесь U [0; 1℄ — n-мерный вектор псевдослучайных чисел в интервале[0; 1℄, — символ покомпонентного умножения векторов, Xtj;b — коорди-наты частицы Pj с наилучшим значением целевой функции f(X) за всевремя поиска, Xtj;g — координаты лучшей частицы в рое или топологиче-ской окрестности частицы Pj за все время поиска, �, �, — параметрыалгоритма. Обычно рекомендуемые значения для коэффициента � состоятв последовательном снижении его значения от 0:9 до 0:4 «инерционной»составляющей, � = �= 1:5. Второе слагаемое в (2) называют «когнитив-ной» компонентой, а третье — «социальной» компонентой в реализациипростейшего роевого интеллекта на основе PSO.

Несмотря на простоту представления функции агента (частицы) алго-ритм (1), (2) показал свою работоспособность и получил широкое распро-странение в прикладных исследованиях. С точки зрения развития роевого

интеллекта представляется целесообразным придать частицам - агентамдополнительные свойства, ввести измеряемые показатели, на основе кото-рых можно оценить степень рационального поведения агентов, повыситьих производительность или ввести деградацию и, возможно, добавить эле-

менты обучения. Эти вопросы будут обсуждаться ниже.Дальнейшие модификации PSO были главным образом направлены на

улучшение функции агента за счет учета дополнительной информации. Такв методе роя частиц с «полной информацией» FIPS (Fully Informed ParticleSwarm) [4] скорость смещения частицы определяется в видеV t+1j = Æ(V tj + ' (Y tj;g �Xtj); ' = �U [0; 1℄ + U [0; 1℄; (3)Y tj;g = Pk ('k Xtk;b)Pk 'k ; k 2 Nj ; 'k = �jNj jU [0; 1℄: (4)

Здесь Nj — множество номеров частиц, опредеямых как соседние длячастицы Pj , jNj j — количество номеров в множестве Nj . В основе методаFIPS лежит наблюдение, что поведение частицы-агента определяется нетолько положением наиболее успешного соседа, но и всей совокупностисоседей. Координаты Y tj;g представляют собой стохастическое усреднение

48 УДК 001(06)+004.032.26 (06) Нейронные сети

В.Д.КОШУР

лучших положений всех соседних частиц. Иного типа усреднение можетбыть проведено ранжированием частиц или с введением весовых коэффи-циентов, значение которых учитывает соответствующие значения целевойфункции, т. е. больший вклад имеет частица с меньшим значением f(X)для задачи минимизации.

Следует отметить модификацию метода роя частиц, которая основанана отношении «значение – расстояние» FDR PSO (Fitness-Distance RatioBased PSO) [5]. Эта модификация заключается в добавлении к канониче-ской форме PSO (1), (2) дополнительного стохастического смещения частиц�U [0; 1℄ (Xtq(j) �Xtj): (5)

Добавление в формулу (2) дополнительного слагаемого (5) позволяетучесть направление максимального изменения целевой функции для части-цы Pj в ее окрестности с выбором направления движения частицы Pj внаправлении частицы Pq(j) по информации о положении других частиц изначениях ЦФ. При этом номер q(j) соответствует минимуму выраженияFDR(Xtj ; Xtk) = f(xtk)� f(xtj)kxtk � xtjk ; k 2 Nj ; (6)

при f(Xtk) 6 f(Xtj) и k 6= j. Выражение (6) связано с локальной оценкойконстанты Липшица в окрестности частицы PjLtj = max jf(xtk)� f(xtj)jkxtk � xtjk ; k 2 Nj : (7)

Использование параметров Ltj позволяет дополнить движение части-цы Pj как в направлении частицы Pq(j) при f(Xtq(j)) < f(Xtj) так и в

противоположном направлении при f(Xtq(j)) > f(Xtj).Определенные надежды исследователей на повышение работоспособ-

ности методов PSO были связаны с заданием и выбором топологии сосед-ства частиц [6]. Для проведения вычислительных экспериментов в методахГО чаще всего используются следующие топологии соседства частиц: кли-

ка (для каждой частицы соседями являются все другие частицы, образуяполносвязный граф), кольцо (каждая частица имеет только двух соседей),двумерный тор, кластерная топология. Каждой из перечисленных топо-логий соседства частиц присущи как сильные, так и слабые стороны для

УДК 001(06)+004.032.26 (06) Нейронные сети 49

ISBN 978–5–7262–1897–7 ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕ

РИС. 1. Использование инверсных зависимостей (пунктирная линия)в предсказании улучшенной координаты точки P �4 по пяти пробнымточкам для функции y = x2

выделенных классов целевых функций и поставленных задач поиска ло-кальных и глобальных экстремумов. Использование изменяющихся топо-логий соседства частиц еще не являются достаточно разработанными [3].Изменение соседства частиц может быть реализовано моделирование од-новременно нескольких роев частиц с возможностью обмена частицамимежду роями.

Гибридные и многороевые методы оптимизации

Не останавливаясь подробно на особенностях муравьиного, пчелиного идругих алгоритмов, которые относятся к понятию роевого интеллекта,выделим те алгоритмы, которые используются в гибридных методах PSO.К таким алгоритмам следует отнести классический метод Хука-Дживса,метод усреднения координат [7], методы дифференциальной эволюции [8–11], методы эволюционных вычислений [12–14], а так же ряд нейросетевых

50 УДК 001(06)+004.032.26 (06) Нейронные сети

В.Д.КОШУР

РИС. 2. Изменение положения предсказанной точки с лучшим зна-чением целевой функции по итерациям алгоритма при минимизациифункции Экли

методов [15, 16].В работах [17–21] проведены исследования нейросетевого предсказания

положения точек с улучшенными значениями целевой функции на основенейросетевых аппроксимаций инверсных зависимостей «значение функции— координата» На рис. 1 показана схема предсказания координат улучшен-ной точки. На рис. 2 и рис. 3 приведены численные результаты процессаминимизации функции Экли и функции Растригина для двух переменных.

Гибридизация PSO с методом усреднения координат [7] в сочетании сFDR и методом Хука-Дживса рассмотрены в работах [23, 24]. Такое соче-тание методов позволило значительно обогатить поисковые возможностигибридной функции агента-частицы, а введение нескольких роев частиц— настраивать алгоритм на одновременный поиск нескольких локальныхминимумов. В качестве иллюстраций на рис. 4 и рис. 5 показаны результа-ты минимизации функции Розенброка и негладкой четырехэкстремальнойфункции (ЧЭФ).

Для данного расчета было использовано 36 частиц, в начальном поло-жении размещенных в узлах регулярной сетки 6 � 6 расчетной области.Следует отметить, что движение роя частиц здесь напоминает физическийпроцесс постепенного скатывания капель воды в пологом желобе.

УДК 001(06)+004.032.26 (06) Нейронные сети 51

ISBN 978–5–7262–1897–7 ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕ

РИС. 3. Изменение положения предсказанной точки с лучшим зна-чением целевой функции по итерациям алгоритма при минимизациифункции Растригина

Переход к большим размерностям варьируемых переменных, естествен-но, приводит к необходимости значительного роста количества пробных то-чек или частиц в рое. Ориентир на возможность проведения параллельныхвычислений, указывает на целесообразность использования в алгоритменескольких семейств роев частиц. На рис. 6 показаны результаты итера-ционного процесса вычисления глобального минимума после 10 итерацийдля размерности n = 50 негладкой четырехэкстремальной функции (ЧЭФ),показанной на рис. 5. В расчете были использованы 50 роев частиц по 100частиц в каждом рое; усреднение координат проводилось по всем части-цам; значения координат лучшей частицы в каждом рое улучшались про-цедурой Хука-Дживса с начальным шагом h0 = 1:1 и пятью внутреннимиитерациями.

Для данного варианта расчета на рис. 7 показано распределение зна-чений целевой функции по частицам одного роя и значения координатлучшей частицы (с номером 37), которая достигла глобального минимумав точке x = 0. Проведенные вычислительные эксперименты по минимиза-ции функции ЧЭФ при n = 100 показали, что если не увеличивать общее

52 УДК 001(06)+004.032.26 (06) Нейронные сети

В.Д.КОШУР

РИС. 4. Процесс минимизации функции Розенброка

количество частиц, то гибридный алгоритм приводит к одному из локаль-ных минимумов, чаще всего попадая в точку, где все координаты равны2. Это объясняется тем, что у этого локального минимума наиболее ши-рокая область притяжения, поэтому с большей вероятностью хотя бы однаиз частиц попадает в эту область и оказывает максимальное влияние надальнейшее поведение роя частиц. Поэтому целесообразно проведение ис-следований таких модификаций алгоритма с адаптацией, которые направ-лены на улучшение «баланса между исследованием и использованием» (abalance between exploration and exploitation).

Введение понятия виртуальных частиц, которые представляют поло-жения роя частиц в предыдущие моменты времени [25] и сохраняютсяв памяти, позволило расширить обрабатываемые информационные пото-ки и ввести экспертно-эвристическое нечеткое управление процессом по-иска экстремумов без существенного увеличения количества вычислений

УДК 001(06)+004.032.26 (06) Нейронные сети 53

ISBN 978–5–7262–1897–7 ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕ

РИС. 5. Движение частиц одного роя (пунктирные линии) и изме-нение усредненных координат (линии с маркерами) в вычислитель-ном процессе минимизации негладкой четырехэкстремальной функ-ции (ЧЭФ). Начальное положение частиц выбрано в узлах регулярнойсетки 6� 6 расчетной области.

целевой функции. Это привело к заметной экономии количества частицв проводимых расчетах. Анализ значений локальных констант Липшица(6) по рассматриваемым слоям виртуальных частиц, позволяет отбиратьдля дальнейшего поиска «базовый» рой частиц, который является наибо-лее перспективным по оценке наибольшей изменяемости целевой функциипри дальнейшем движении частиц этого роя. На рис. 8 показаны результа-ты поиска глобального минимумы для многоэкстремальной функции [25].В расчетах использовались 3 слоя виртуальных частиц.

В дальнейшем представляет интерес проведение исследований по се-лективному формированию базового роя частиц из полной системы вирту-

54 УДК 001(06)+004.032.26 (06) Нейронные сети

В.Д.КОШУР

РИС. 6. Минимизация функции ЧЭФ для 50 переменных, горизон-тальная ось — число итераций, вертикальная ось — значение ЦФ;верхняя пунктирная линия — изменения максимальных значений ЦФв списке частиц; сплошная линия — изменение значений ЦФ в усред-ненных координатах; сплошная линия с маркерами — изменения ми-нимальных значений ЦФ в списке частиц.

альных частиц, а также уточнение правил базы знаний для экспертного вы-деления наиболее перспективного слоя частиц для проведения дальнейше-го поиска. Разработка и исследование вариантов адаптивного управленияпараметрами алгоритма может также обеспечить возможность дальнейше-го повышения роевого интеллекта.

Методы дифференциальной эволюции [8–11] сами представляют ин-тенсивно развивающееся направление эвристических методов решения оп-тимизационных задач на основе эволюционных вычислений. В работе[26] предложен гибридный метод оптимизации на основе сочетания PSOв виде многороевой системы, эволюционных вычислений в форме EDA(Estimation of Distribution Algorithms) [12] и метода дифференциальной эво-

УДК 001(06)+004.032.26 (06) Нейронные сети 55

ISBN 978–5–7262–1897–7 ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕ

РИС. 7. На верхнем рисунке показано распределение значений целевойфункции по частицам одного роя, нижний рисунок — значения 50координат лучшей частицы, которая достигла глобального минимумафункции ЧЭФ.

люции DE (Differential Evolution) [11]. Гибридизация состоит в использова-нии EDA для уточнения области поиска, а эффективное задание начальныхскоростей движения частиц проводится на основе DE. Эффективность ги-бридного метода несколько выше, каждого метода его составляющего нанаборе тестовых функций [27].

Рациональное поведение агентов

Как уже отмечалось, для усиления роевого интеллекта необходимо обра-тить внимание на моделирование рационального поведения агентов-частици агентов-роев. Для этого целесообразно оценивать «успешность» поведе-ния агентов на каждом итерационном шаге или после небольшого заданно-

56 УДК 001(06)+004.032.26 (06) Нейронные сети

В.Д.КОШУР

РИС. 8. Процесс поиска глобального минимума многоэкстремальнойфункции. Начальное положение роя частиц — в узлах регулярнойсетки 5� 4 расчетной области.

го числа итераций по изменению функции «живучести» (fitness function),которая связывается с улучшением значений ЦФ. В случае успешной рабо-ты агента ему присваивается бонус, например в виде продления заданногодля него жизненного цикла, или штрафа — уменьшения его жизненногоцикла или других схем селекции.

Задача выбора показателей производительности агентов предполага-ет множественные реализации, в которых целесообразно учитывать какуспешность работы каждого агента, так и роя в целом. Например, штра-фовать или уничтожать агента-частицу с относительно высоким значениемцелевой функции, в окрестности которой имеется частица со значительноменьшим значением ЦФ не всегда уместно, т. к. эта пара содержит важнуюинформацию об изменяемости ЦФ, что связано с локальной оценкой кон-

УДК 001(06)+004.032.26 (06) Нейронные сети 57

ISBN 978–5–7262–1897–7 ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕ

станты Липшица (6). Поэтому формулировка успешности агента-частицы,группы частиц или роя не является тривиальной. Дальнейшего развитиятребует понимание и реализация таких понятий как накопление «знаний»агента в процессе его работы, которые могут быть использованы для дости-жения ожидаемой максимальной оценки его производительности. Что каса-ется среды, в которой действуют агенты-частицы, то кроме области поискав пространстве Rn к параметрам среды относятся вычисляемые значенияЦФ в текущих координатах частиц, а также в предыдущие моменты време-ни. Параметры среды также следует доопределять вычисляемыми оценоч-ными значениями локальных констант Липшица (6), которые характеризу-ют изменяемость ЦФ. Усредненные значения ЦФ по области поиска иливыделенным подобластям, а также группам частиц также целесообразноучитывать как свойства среды. Приведенные аспекты при моделированииагентов и среды, в которой они действуют, в значительной степени вли-яют на выбор функций агентов, формирование экспертно-эвристическогоуправления и введения элементов обучения агентов рациональному поведе-нию.

Заключение

Повышение адаптивных свойств вычислительных алгоритмов и усилениероевого интеллекта в мультиагентных системах, предназначенных для ре-шения задач глобальной оптимизации, главным образом связано с необхо-димостью эффективного моделирования рационального поведения агентови требует дальнейших исследований. В силу того, что лекция носит обзор-ный характер, необходимые детали и математические подробности могутбыть восстановлены по цитируемым работам.

Литература

1. Рассел С., Норвиг П. Искусственный интеллект: современный подход, 2-е изд.:Пер. с англ. — М.: Издательский дом «Вильямс», 2006. – 1480 с.

2. Kennedy J., Eberhart R. Particle swarm optimization // Proceedings of IEEEInternational Conference on Neural Networks. – 1995. – pp. 1942–1948.

3. Карпенко А. П., Селиверстов Е. Ю. Обзор методов роя частиц (Particle SwarmOptimization) // Электронное научно-техническое издание «Наука и образова-ние». – 2009, №3. URL: http://technomag.edu.ru/doc/116072.html

58 УДК 001(06)+004.032.26 (06) Нейронные сети

В.Д.КОШУР

4. Mendes R., Kennedy J., Neves J. The fully informed particle swarm: Simpler, maybebetter // IEEE Transactions on Evolutionary Computation. – 2004, v. 8, pp. 204–210.

5. Veeramachaneni K., Peran Th., Mohan Ch., Osadciw L. Optimization using particleswarm with near neighbor interaction // Lecture Notes Computer Science. SpringerVerlag, 2003.

6. Kennedy J., Mendes R. Neighborhood topologies in fully informed and best-of-neighborhood particle swarms // IEEE Trans. on Systems, Man, and Cybernetics. —Washington, IEEE Computer Society, pp. 1671–1676.

7. Рубан А. И. Глобальная оптимизация методом усреднения координат. – Красно-ярск: ИПЦ КГТУ, 2004. – 302 с.

8. Storn R., Price K. Differential evolution — a simple and efficient heuristic for globaloptimization over continuous spaces // Journal of Global Optimization. – No. 11,1997. – pp. 341–359.

9. Zhang J., Sandercon A. JADE: Adaptive Differential Evolution with OptimalExternal Archive. // IEEE Transactions on Evolutionary Computation, 2009. –pp. 1051–1065.

10. Storn R. Differential evolution research — trends and open questions.// Advances in Differential Evolution, Studies in Computation Intelligence, Vol. 143,2008. – pp. 1–31.

11. Qin A., Huang K., Suganthan P. Differential evolution algorithm with strategyadaptation for global numerical optimization. // IEEE Transactions on EvolutionaryComputation, Vol. 13, No. 2, 2009. – pp. 398–417.

12. Larranaga P., Lozano J. Estimation of distribution algorithms, a new tool forevolutionary computation. – Kluwer Academic Publishers, 2011.

13. Hingston P., Barone L., Michalawicz Z. Design by Evolution, Natural ComputingSeries. – Springer, 2008.

14. Simon D. Evolutionary optimization algorithms. – Wiley, 2013.

15. Рутковская Д., Пилинский М., Рутковский Л. Нейронные сети, генетическиеалгоритмы и нечеткие системы. – М.: Горячая линия – Телеком, 2004.

16. Кошур В. Д. Вычислительные технологии на основе мягких вычислений// Журнал Вычислительные технологии, Том 10, Специальный выпуск, 2005.С. 78–83.

17. Кошур В. Д. Адаптивный алгоритм глобальной оптимизации на основе взве-шенного усреднения координат и нечетко-нейронных сетей // Нейроинформа-тика. Электронный рецензируемый журнал. – 2006. – Т. 1, № 2. – С. 106–124.URL: http://www.niisi.ru/iont/ni/Journal/N2/Koshur.pdf

УДК 001(06)+004.032.26 (06) Нейронные сети 59

ISBN 978–5–7262–1897–7 ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕ

18. Кошур В. Д., Пушкарёв К. В. Глобальная оптимизация на основе инверсных со-отношений и обобщенно-регрессионных нейронных сетей // X Всероссийскаянаучно-техническая конференция «Нейроинформатика-2008». Сборник науч-ных трудов. Ч. 2. Москва: МИФИ, 2008. – С. 182–192.

19. Koshur V., Kuzmin D., Legalov A., Pushkaryov K. Solution of large-scale problemsof global optimization on the basis of parallel algorithms and cluster implementationof computing processes // Parallel Computing Technologies, 10th InternationalConference, PaCT 2009. Novosibirsk, 2009. – pp. 121–125.

20. Кошур В. Д., Пушкарёв К. В. Дуальные обобщенно-регрессионные нейронныесети для решения задач глобальной оптимизации // XII Всероссийская научно-техническая конференция «Нейроинформатика-2010»: Сборник научных тру-дов. Ч. 2. Москва: НИЯУ МИФИ, 2010. – С. 219–227.

21. Кошур В. Д., Пушкарёв К. В. Глобальная оптимизация на основе нейросете-вой аппроксимации инверсных зависимостей // XIII Всероссийская научно-техническая конференция «Нейроинформатика-2011». Сборник научных тру-дов. Ч. 1. Москва: НИЯУ МИФИ, 2011. – С. 89–98.

22. Koshur V. D., Pushkaryov K. V. Global optimization via neural networkapproximation of inverse coordinate mappings // Optical Memory and NeuralNetworks (Information Optics), 2011, Vol. 20, No. 3, pp. 181–193.

23. Кошур В. Д. Мультиагентные системы и поиск глобального минимума неглад-ких потенциальных функций // Материалы III Международной научно-практической конференции «Системный анализ. Информатика. Управление»,САИУ-2012, (Украина, Запорожье, 14–16 марта 2012г.) / Мин. обр. и наукиУкраины, АН ВШ Украины, Классический приватный университет. – Запоро-жье: КПУ, 2012. – С. 157–159.

24. Кошур В. Д. Глобальная оптимизация на основе гибридного метода усреднениякоординат и метода роя частиц // Журнал Вычислительные технологии, 2013,Том 18, № 4, с. 36–48.

25. Кошур В. Д., Рыжикова Е. О. Роевой интеллект, нечеткий логический выводи мультиагентные технологии в методе глобальной оптимизации // Сбор-ник научных трудов XV Всероссийской научно-технической конференции«Нейроинформатика-2013», Часть 2, М.: НИЯУ МИФИ, 2013. – с. 12–21.

26. Rohler A. B., Chen S. Multi-swarm hybrid for multi-modal optimization// WCCI 2012 IEEE World Congress on Computational Intelligence, June, 10–15,2012. — Brisbane, Australia. - pp. 1759–1766.

27. Hansen N., Finck S., Ros R., Auger A. Real-parameter black-box optimizationbenchmarking 2009: Noiseless functions definitions // INRIA Technical Report RR-6829, 2009.

60 УДК 001(06)+004.032.26 (06) Нейронные сети

В.Д.КОШУР

Владимир Дмитриевич КОШУР, доктор физико-математических наук,профессор, работает на кафедре Вычислительной техники в Институте кос-мических и информационных технологий СФУ (г. Красноярск), занимаетсяподготовкой магистров по направлению «Информатика и вычислительнаятехника». Область научных интересов: компьютерное моделирование за-дач механики сплошных сред и композиционных материалов; адаптивноеуправление и оптимизация систем и процессов; численные методы; па-раллельные и мягкие вычисления; искусственные нейронные сети, методыглобальной оптимизации, искусственный интеллект. Автор более 160 пуб-ликаций и двух монографий.