Снитюк В.Е., Юрченко К.Н. Интеллектуальное управление...

Глава 2. Онтологии учебных курсов и структуризация материала 1

Снитюк В.Е., Юрченко К.Н.

Интеллектуальное управление оцениванием знаний

Монография

Черкассы 2013

2 Интеллектуальное управление оцениванием знаний

ББК 32.815 C. 53 УДК 004.896 ISBN 978-966-2200-28-7 Снитюк В.Е., Юрченко К.Н. Интеллектуальное управление оцениванием знаний. − Черкассы, 2013. − 262 с. Динамика современного мира является причиной и основани-ем внедрения новых методов обучения и контроля знаний. На сме-ну каноническим парадигмам приходят новые технологии: он-лайн-обучение, видеоконференции, обучение «в течении жизни» и др. Эффективность их внедрения и использования зависит от мно-гих факторов, главным среди которых является интеллектуализа-ция процессов обучения и контроля знаний. В монографии рассмотрены аспекты создания технологичных автоматизированных систем обучения и оценивания. Предложены модели и методы структуризации учебного материала, его онтоло-гического представления, а также разработана технология адап-тивного определения уровня подготовленности обучаемого. Полу-ченные результаты позволяют сократить время контроля знаний, оптимизировать планы обучения и самообучения, объективизиро-вать процессы оценивания. Кроме обучения и контроля знаний, они могут быть применимы при проведении экспертиз, определе-нии компетентности экспертов, осуществлении профессиональной подготовки и создании различного рода экспертных компьютер-ных систем. Для научных сотрудников, преподавателей, специалистов в области создания и использования автоматизированных систем обучения и контроля знаний, моделирования процессов обучения, адаптивных систем контроля знаний, а также тех лиц, деятельность которых связана с преподаванием, проведением экспертиз, про-фессиональной подготовкой и оцениванием знаний. Табл. 16. Рис. 24. Библиогр. 191 наим.

Р е ц е н з е н т ы: Волошин О.Ф., доктор технических наук, профессор (Киевский национальный университет им. Т. Шевченко) Тимченко А.А., доктор технических наук, профессор (Черкасский государственный технологический универси-тет)

Монография утверждена к печати ученым советом Черкасского государственного технологического университета, протокол № 7 от 15.04.2013 и ученым советом Академии пожарной безопасности имени Героев Чернобыля, протокол № 6 от 22.03.2013

Содержание 3

СОДЕРЖАНИЕ Стр.

СПИСОК СОКРАЩЕНИЙ……………………………… 6 ВВЕДЕНИЕ…………………………………………………..

7

Глава 1

СОВРЕМЕННЫЕ ЭЛЕМЕНТЫ ИНТЕЛЛЕКТУАЛЬ- НЫХ КОМПЬЮТЕРНЫХ ТЕХНОЛОГИЙ ОЦЕНИ-ВАНИЯ. ПРОБЛЕМЫ И АСПЕКТЫ ИХ РЕШЕНИЯ

11 1.1. Проблема и задачи проектирования и использования

интеллектуальных систем профессиональной подго-товки……………………………………………………….…

11 1.2. Экспертные системы как базовая структура оценива-

ния знаний……………………………………………........... 15

1.3. Анализ информационных технологий, применяемых в процессах оценивания знаний и умений…………....

22

1.4. Структурно-логические элементы построения авто- матизированных систем контроля знаний и обуче-ния……….……………………………………………………

35 Резюме……………………………………………………….. 40

Глава 2

ОНТОЛОГИИ УЧЕБНЫХ КУРСОВ И СТРУКТУ-РИЗАЦИЯ УЧЕБНОГО МАТЕРИАЛА……….………..

42

2.1. Теоретические и прикладные аспекты применения онтологий………………………………..…………..………

42

2.2. Обзор предметных областей разработки и использо-вания онтологий…………………………………………….

48

2.3. Проектирование и управление процессом контроля знаний на основе онтологии предметной области.......

53

2.4. Принципы разработки и подходы к созданию систем контроля знаний с использованием онтологий……....

60

2.5. Контроль знаний с использованием онтологии учеб-ного курса…………………………………….………………

76

2.6. Элементы структуризации учебного материала…...… 82 Резюме…………………………………………………..…… 92

Глава 3

КЛАССИФИКАЦИЯ ВОПРОСОВ ДЛЯ КОНТРОЛЯ ЗНАНИЙ…………………………………………..…………

95


3.1. Формализация типов вопросов, используемых при контроле знаний…………………………………………….

95

3.2. Элементы логических схем контроля знаний………… 98 3.3. Некоторые аспекты оценивания знаний………………. 105 3.4. Модели и методы определения компетентности

экспертов на базе аксиомы несмещенности…………...

108 Резюме……………………………………………………….. 133

Глава 4

ОБЪЕКТИВИЗАЦИЯ И ОПТИМИЗАЦИЯ КОН- ТРОЛЯ ЗНАНИЙ…………………..……………………….

134

4.1. Необходимые условия построения эффективных ин-теллектуальных систем профессиональной подготов-ки…………………….………………………………………..

134 4.2. Восходящая и нисходящая схемы контроля знаний.

Эффективность и адаптивность…………………………

140 4.3. Построение логической схемы контроля знаний……. 145 4.4. Модели определения профессиональной направлен-

ности обучаемых…………………………………………..

149 4.5. Элементы структуризации учебного материала как

следствие процесса контроля знаний…………………...

158 Резюме………………………………………………………... 164 Глава 5

ЭЛЕМЕНТЫ АДАПТИВНОЙ ТЕХНОЛОГИИ ОЦЕ- НИВАНИЯ …………….…………………………………....

166

5.1. Технология определения адекватности логической схемы тестирования………………………………………..

167

5.2. Метод корректировки уровня сложности вопросов в режиме реального времени……………………………….

169

5.3. Адаптация сложности вопросов при закрытом кон-троле знаний………………………………………………..

175

5.4. Модели для определения корректности оценок и адаптации сложности вопросов…………………………

178

5.5. Модели контроля знаний с учетом критерия времени 187 5.6. Аспекты интегральной оценки корректности логиче-

ской схемы контроля знаний……………………………..

196 Резюме………………………………………………………... 197

Содержание 5

Глава 6

ЭЛЕМЕНТЫ ПАРАДИГМЫ ПРОЕКТИРОВАНИЯ ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМ ПРОФЕССИО-НАЛЬНОЙ ПОДГОТОВКИ……………………………..

199 6.1. Системный подход к проектированию экспертных

систем………………………………………………………..

199 6.2. Структуризация процесса интегрального оценива-

ния знаний в экспертных системах……………………..

203 6.3. Принципы формирования и структура базы знаний

интеллектуальной системы профессиональной под-готовки «ПрофКонтроль»…………………………………

212 6.4. Структурно-функциональная схема системы

«ПрофКотроль»……………………………………………..

220 6.5. Экспериментальное определение адекватности логи-

ческой схемы контроля знаний………………………….

226 6.6. Экспериментальная верификация результатов кон-

троля знаний с использованием адаптивных схем…...

230 Резюме………………………………………………………... 235 ЗАКЛЮЧЕНИЕ…………………………………………….. 237 ГЛОССАРИЙ……………………………………………….. 240 СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ….... 241 ПРИЛОЖЕНИЯ……………………………………………. 258


СПИСОК СОКРАЩЕНИЙ

IRT – Item Response Theory. ЛПР – Лицо, принимающее решение. ИАС – Информационно-аналитическая система. БУМ АСУ СППР ЭС ИСПП

– Блок учебного материала. – Автоматизированная система управления. – Система поддержки принятия решений. – Экспертная система. – Интеллектуальная система профессиональной подготовки.

МЧС – Министерство чрезвычайных ситуаций. ФП – Функция принадлежности. ОСС – Оперативно-спасательная служба. АСОКЗ – Автоматизированная система обучения и контроля знаний. КСПП – Компьютерная система профессиональной подготовки. ОСП – «Организация службы и подготовки». ПТ – «Пожарная тактика». ОРК ОППР

– «Организация роботы с кадрами». – «Организация пожарно-профилактической роботы».

ПТХ – «Пожарная техника».

Введение 7

ВВЕДЕНИЕ

Проблема повышения эффективности учебного процес-са неразрывно связана с необходимостью учета современных тенденций развития науки и техники, а также общественных и социально-экономических процессов. Наличие консерва-торов, не приемлющих внедрения новых форм обучения, и новаторов, ратующих за их безотлагательное внедрение и использование, создает широкое поле для дискуссий. Благо-даря паритету мнений осуществляется уход от резких шагов в сторону применения той или иной парадигмы обучения, реализуется эволюционный путь развития, вследствие чего сфера образования не остается в стороне от достижений научно-технического процесса и не теряет личностно-ориентированной направленности.

Монография посвящена решению проблемы повышения эффективности процессов обучения и контроля знаний с ис-пользованием компьютерной техники как в коллективах с учителем, так и при индивидуальном обучении и самообу-чении. Главное внимание уделено технологичности процес-сов обучения и оценивания знаний. При этом показано ре-шение двух задач: структурирования учебного материала, являющегося базисом для проведения автоматизированного контроля знаний и обучения, а также обеспечения адаптив-ности таких процессов с ориентаций на особенности обучае-мого или группы обучаемых.

В первой главе выполнен анализ процессов автоматизи-рованного обучения и контроля знаний, позволивший сде-лать вывод об отсутствии системных исследований по струк-туризации и систематизации учебного материала и его пред-ставления в базах знаний автоматизированных систем обу-чения и контроля знаний. Указаны отличия отечественных и зарубежных систем, предложено большее внимание уделять осуществлению обратной связи, т.е. влиянию знаний обуча-емых на формирование базы знаний с целью выработки наилучшего управления процессом обучения.

Во второй главе показана необходимость разработки технологий, направленных на систематизацию, классифика-


цию и разработку иерархий учебного материала. Предложен новый подход к разработке автоматизированных систем обу-чения и контроля знаний, базирующийся на использовании онтологий и интеллектуализации процесса оценивания. Со-ответствующие системы получили название «интеллекту-альные системы профессиональной подготовки». В основе их функционирования лежит композиция четырех составляю-щих. Первая из них – логическая схема учебного курса, яв-ляющаяся базовым элементом при определении по-следовательности задаваемых вопросов. Вторая – онтология предметной области, предназначенная для формирования логической схемы контроля знаний и составляющих ее во-просов. Классификация вопросов, предусматривающая фор-мализацию вопросов в зависимости от типа ответов, образует третью составляющую. На последнем этапе используется процедура определения промежуточных и интегральной оценок экзаменуемого. Определены особенности формиро-вания логической схемы контроля знаний на принципах ин-цидентности структуре онтологии. Разработаны базовые элементы проведения контроля знаний индуктивного и де-дуктивного характера.

Предложенный индуктивный подход к формированию логической схемы контроля знаний позволяет: объективизи-ровать процесс оценивания знаний, обеспечить полноту оценивания, автоматизировать процедуру формирования множества вопросов и их задаваемых последовательностей, минимизировать время контроля знаний.

Формализация типов вопросов в зависимости от ответов выполнена в третьей главе. Предложены модели оценивания знаний, исходя из вероятностных конструкций ответов. Раз-работана процедура определения компетентности экспертов, как частной задачи контроля знаний, в условиях неопреде-ленности на базе аксиомы несмещенности, согласно которой экспертное заключение большинства компетентно. Авторы утверждают, что предложенная процедура не претендует на абсолютность, как и все другие методы оценивания субъек-тивных характеристик.

В четвертой главе дано определение эффективной и

Введение 9

технологичной интеллектуальной системы профессиональ-ной подготовки. Рассмотрены восходящий и нисходящий подходы к представлению учебного материала на основе графовой схемы построения и разработаны соответствующие оптимизированные методы контроля знаний обучаемых. Предложены модели и метод определения профессиональ-ной направленности обучаемых, базирующиеся на использо-вании продукционных правил. Разработан метод построения плана обучения в зависимости от результатов входного или промежуточного тестирования, базирующийся на определе-нии приоритетности и статуса блока учебного материала. Такой план позволит оптимизировать структуру процесса самообучения при дистанционном образовании, а также позволит осуществить обучение на желаемом уровне, ука-занном обучаемым.

Модели и методы, позволяющие обеспечить адаптив-ность и объективность оценивания знаний, предложены в пятой главе. Разработана технология, позволяющая опреде-лить адекватность логической схемы тестирования знаний. Построены формальные и конструктивные модели коррек-тировки уровня сложности вопросов, а также модели для определения корректности оценивания и адаптивности сложности вопросов. Для обучаемых по специальным про-граммам разработаны модели корректировки сложности во-просов с учетом многокритериальности процесса оценива-ния.

В последней главе рассмотрены аспекты проектирования интеллектуальных систем профессиональной подготовки. Определены принципы создания таких систем, рассмотрены их задачи, структура базы знаний и элементный состав. При-ведены результаты экспериментов, которые позволили сде-лать многочисленные выводы в пользу применения предло-женных идей и конструктивных элементов создания интел-лектуальных систем профессиональной подготовки.

Эффективность полученных результатов заключается: – в минимизации времени проведения экспертиз и контроля знаний; – в объективизации полученных решений, базирующейся на


автоматизации процесса экспертного анализа; – более полном охвате предметной области и уменьшении информационной избыточности тестовых вопросов и их по-следовательностей; – непрямом формировании у экспертов и обучающихся представлений о структуре предметной области, ее базовых элементах и их функциональных взаимосвязях.

Глава 1. Современные элементы интеллектуальных технологий 11

Глава 1 СОВРЕМЕННЫЕ ЭЛЕМЕНТЫ ИНТЕЛЛЕКТУАЛЬНЫХ КОМПЬЮТЕРНЫХ ТЕХНОЛОГИЙ ОЦЕНИВАНИЯ. ПРОБЛЕМЫ И АСПЕКТЫ ИХ РЕШЕНИЯ

1.1. Проблема и задачи проектирования и использования интеллектуальных систем профессиональной подготовки

Последнее столетие и, особенно, его последние десятиле-

тия отмечены качественным рывком в разработке и исполь-зовании информационных технологий. Такой вывод базиру-ется на трех «китах»: создании вычислительной техники, разработке соответствующего программного обеспечения и применении первых двух составляющих к решению все бо-лее сложных прикладных задач. Развитие глобальной сети и телекоммуникаций – еще один аспект, определяющий совре-менное состояние производственной сферы и инфраструк-туры. Широкое проникновение информационных техноло-гий во все области жизнедеятельности человека привело к тому, что значительная часть мировых финансовых потоков генерируется и проходит через информационно-коммуника-ционную сферу. В связи с этим возникло обоснованное пред-ложение считать современный этап развития «информаци-онным обществом». С другой стороны, экспоненциальный рост информации в мире и ее распространение через сеть Интернет, а также развитие самой сети и ее новые сервисы дают основания называть этот этап «обществом без границ». Свободное распространение информации, рост хранилищ данных, извлечение новых знаний и использование для этих целей территориально удаленных кластерных и Grid-систем, указывает на формирование «общества, базирующегося на знаниях» [85, 88].

Динамика причинно-следственных процессов современ-ного мира является одним из главных факторов, определяю-щих необходимость эффективного профессионального ро-


ста его субъектов. Такой тезис является особенно актуальным для стран с переходной экономикой. Особенности их эконо-мического развития оказывают влияние на выбор и реализа-цию технологий производства, обусловливая гибкость и воз-можность переориентации на выпуск новой продукции в со-ответствии с рыночными условиями. Такие новые техноло-гии и определенная ресурсно-материальная база требуют но-вых знаний об особенностях их реализации, характеристи-ках, преимуществах и недостатках. Страны, не желающие оказаться в стороне от мирового научно-технического про-гресса, пытаются принимать все меры для изучения и ис-пользования таких технологий, что позволит не только уве-личить эффективность национальных экономик, но и предотвратить всевозможные катастрофы как непременные атрибуты современности.

В последние десятилетия наблюдается рост объемов под-готовки специалистов, однако их компетентность, способ-ность адекватно реагировать на вызовы современности, при-нимать правильные решения остается под сомнением. Со временем все больше учебных дисциплин, в т.ч. относящихся к профессиональной подготовке, изучается с использованием компьютерной техники. В связи с этим возникает необходи-мость создания методологических основ применения интел-лектуальных технологий в обучении, вообще, и в професси-ональной подготовке, в частности. Подготовка специалистов в высших учебных заведениях, а также повышение их ква-лификации на различных курсах заканчивается процессом оценивания знаний. Существует значительное количество научных исследований, в которых отражены различные под-ходы к обучению, контролю знаний и созданию автоматизи-рованных систем обучения и контроля знаний (АСОКЗ).

Одной из наиболее сложных задач является объективиза-ция процесса оценивания знаний и умений. Ее решение со-провождается необходимостью разработки АСОКЗ при усло-вии выполнения ряда предпосылок, а именно, предвари-тельного определения: – принципов, которые должны быть учтены и на которых бу-

дут базироваться такие системы;


– структур, которые будут лежать в основе их построения; – технологий проведения автоматизированного контроля

уровня знаний и (или) профессиональной подготовленно-сти.

Актуальными также являются задачи: – проведения анализа моделей, методов и инструментальных

средств, используемых в процессах контроля знаний и оце-нивании компетентности специалистов;

– определения принципов, которые будут положены в осно-ву создания многокритериальной технологии оценивания и определения профессиональной пригодности специали-стов;

– разработки моделей целевых функций, исходя из значений которых будет определяться оценка обучаемого или специ-алиста, предусмотрев возможность обработки информа-ции, заданной в качественной форме;

– разработки методов интегрального оценивания знаний обучаемых и компетентности специалистов с учетом раз-нородной информации и влияния внешней среды;

– определения принципов создания и разработки структуры базы знаний для оценивания знаний и определения компе-тентности специалистов;

– выполнения экспериментальной верификации разработан-ных моделей и методов.

Профессиональная подготовка является необходимым условием карьерного роста, высокой заработной платы, ува-жения в коллективе и т.п. С другой стороны, что более важ-но, квалифицированный специалист является составной ча-стью профессионального ядра любого предприятия или учреждения, залогом его эффективного функционирования. Заметим, что в некоторых службах и ведомствах высокая ква-лификация и профессиональная подготовленность сотруд-ника – непременное условие преодоления или мини-мизации негативных последствий критических ситуаций.

Аналитический обзор методов контроля уровня профес-сиональной подготовленности сотрудников различного про-филя, а также обучаемых свидетельствует о преимуществен-ном использовании традиционных методов обучения и кон-


троля знаний. В частности, контроль знаний происходит в форме зачетов, экзаменов или тестирования. В то же время такое оценивание знаний для представителей некоторых от-раслей является неполным и имеет низкий уровень объек-тивности. Такой вывод, в частности, имеет место для пред-ставителей оперативно-спасательных служб, которые долж-ны принимать решения в сложных критических условиях, вызванных пожарами, техногенными и экологическими ка-тастрофами, следствием которых могут быть многочислен-ные человеческие жертвы и значительный материальный ущерб. Поэтому при контроле знаний целесообразно было бы учитывать сопутствующие обстоятельства и ориентиро-ваться на использование современных информационных технологий [23, 62, 82]. Проведенный анализ релевантных технологий и их элементной базы, применяемых для оценки знаний и умений, свидетельствует о низком уровне разра-ботки технологий контроля знаний и на недостаточное ме-тодическое обеспечение такого процесса.

В большинстве случаев в таких системах реализован жесткий каркас организации подачи учебного материала или тестирования. Соответственно, рассматриваемые систе-мы характеризуются информационной недостаточностью и информационной избыточностью. Информационная недо-статочность связана с тем фактом, что успешное прохожде-ние теста не гарантирует полного знания учебного материа-ла, а информационная избыточность заключается в присут-ствии в тестах вопросов, которые повторно "перекрывают" предметную область.

Еще одним недостатком большинства современных АСОКЗ является отсутствие ориентации на обучаемого и со-ответствующих адаптивных механизмов. В то же время в Германии создаются системы, функционирование которых ориентировано также и на психоэмоциональное состояние пользователя [5].

Все указанные выше аспекты являются причиной и осно-ванием для разработки экспертных и обучающих систем, в которых интегрированы возможности глобальной сети, уда-ленного обучения и получения новой информации. Сегодня


сложно представить вид деятельности, где не была бы задей-ствована компьютерная техника и, где бы ни осуществлялись попытки применения экспертных систем.

1.2. Экспертные системы как базовая структура оценивания знаний

Разработка экспертных систем (ЭС) относится к основ-

ному и наиболее раннему направлению искусственного ин-теллекта. Первые ЭС, базирующиеся на использовании вы-числительной техники, известны с 60-х годов прошлого сто-летия. Сегодня сложно назвать отрасль науки или производ-ства, где бы они ни использовались. Известно, что первые ЭС были предназначены для решения задач диагностики и классификации [7, 24, 138]. Промышленное применение ЭС в 80-е годы прошлого столетия связывалось с процессами при-нятия решений в энергетике, промышленности и военной отраслях [22, 49, 56, 62, 105].

Оптимизация процессов проектирования, создания, функционирования и сопровождения ЭС является важной задачей теории искусственного интеллекта и методов приня-тия решений. В каждом конкретном случае ее решение ра-ционально осуществлять с использованием технологий, бази-рующихся на методологии системного анализа, онтологиях предметных областей, принципах и методах самоорганиза-ции. Как уже было указано выше, стремительное движение по этапам <общество без границ>→<информационное обще-ство>→<общество, базирующееся на знаниях> и лавинопо-добный рост количества информации значительно услож-нили адекватное использование ЭС, что связано с неполно-той и нечеткостью информации, ее субъективностью. Воз-никли проблемы представления знаний экспертов, оптими-зации процессов получения заключений в ЭС, определения полноты информационных баз.

Выполним краткий анализ, определим характеристики и составные части процесса создания ЭС. Известно, что пред-посылкой и побудительным мотивом получения новых зна-ний является идея или необходимость. В случае ЭС такая


необходимость заключается в получении некоторого вывода, являющимся одним из определяющих факторов при приня-тии решений. С помощью АСОКЗ, как одного из типов ЭС, оценивают также и уровень знаний. Проиллюстрируем про-цесс создания ЭС при помощи трех методологических струк-турных единиц, которыми являются онтология ( )O , систем-

ный анализ ( )CA и технологии самоорганизации ( )CO .

Следуя этапам проведения CA , в соответствие с [17, 86, 88, 132], определим цель создания ЭС как средства, атрибу-том которого является способность накапливать экспертные знания и впоследствии возможность заменить экспертов в процессах принятия решений [116]. Задачи, решаемые для достижения цели, определяются предметной областью. В частности, для АСОКЗ такими задачами являются контроль знаний, определение их уровня и, частично, их приобрете-ние. Функционирование ЭС определяется внешней средой, из которой поступает информация в виде тем, вопросов, воз-можных ответов, правил вывода и в которую передается ре-зультат – оценка уровня знаний.

Как сложную систему, ЭС можно представить тремя мо-делями [164]: строения, функционирования и развития. Мо-дель строения является теоретико-множественной моделью

, (1.1)

в которой отображен элементный базис системы: ин-

формационная таблица тем контроля знаний; таблицы

вопросов (в зависимости от типов вопросов их может быть несколько); таблицы возможных ответов с указанием гра-

дации их правильности; совокупность правил вывода,

иногда представляемая некоторой процедурой или алгорит-мом.

Модель функционирования определяет процесс дости-жения цели системой, который осуществляется ее элемента-ми, подсистемами, целостной ЭС

1 2, , , , ,..., ,f t q a nM O O O P P P A , (1.2)

где динамические операции, сопровождающие процесс

0 0, , ,t q aM I I I R

tI

qI

aI

0R

tO


выбора темы; динамические операции выбора множе-

ства вопросов; aO динамические операции формирования

множества возможных ответов и их оценки; сово-

купность операций, реализующих последовательность пере-ходов при тестировании; алгоритм оценивания знаний.

Модель развития отражает движение ЭС, обладающей атрибутами открытости, мобильности, системного и инфор-мационного единства, комплексности по этапам ее жизнен-ного цикла

, (1.3)

где логическая дизъюнкция или конъюнкция, про-

цедуры адаптации к изменению внешних условий; mA про-

цедуры модернизации и использования новых технологий; процедуры частичной или полной утилизации; ме-

ханизмы обратной связи, позволяющие с учетом будущих процессов производить изменения в ЭС на всех этапах ее жизненного цикла.

С внедрением персональных компьютеров в сферу обра-зования началась разработка систем контроля знаний, а да-лее и обучения. Существующие сегодня автоматизирован-ные системы являются интегральными средствами как обу-чения, так и контроля знаний. В них пытаются реализовать принципы адаптивности с использованием различных кри-териев [5, 21, 25, 29, 45, 74, 94], но вместе с тем, остается ряд тенденций, которые уже несколько десятилетий сопровож-дают процессы создания и использования таких систем. В частности: – перечень вопросов составляется преподавателем, исходя из

субъективных предпочтений и заключений; – вопросы чаще всего имеют замкнутый тестовый характер; – для получения оценки необходимо ответить на некоторое

заранее определенное количество вопросов; – трудоемкость реализации адаптивных элементов приводит

к отсутствию практических приложений с внедренными теоретическими наработками.

Первые шаги в создании экспертных систем в сфере об-

qO

, 1,iP i n

A

,d d m u rM A A A B

dA

uA rB


разования сводились к разработке систем тестового контроля знаний учащихся [60]. И сегодня почти в каждом высшем учебном заведении используют одну, а то и несколько таких систем автоматизированного контроля знаний. На следую-щем этапе предлагались системы обучения, которые с разви-тием мультимедийных технологий вывели на новый уровень преподавание отдельных дисциплин. Интеграция систем обучения и контроля позволила замкнуть цикл обучения. Жесткость такой структуры стала причиной внедрения в ав-томатизированные системы адаптационных механизмов, ба-зирующихся на различных принципах и моделях [50, 80, 99, 128].

Анализ многочисленных научных публикаций зарубеж-ных и отечественных авторов свидетельствует об их интересе к разработке систем дистанционного обучения и контроля знаний. При этом отметим, что первые, в подавляющем большинстве, сосредоточены на системах электронного обу-чения (E-learning) и них почти отсутствуют упоминания о системах контроля знаний. Украинские и российские иссле-дования, в основном, посвящены именно системам контроля знаний, в основе которых лежат традиционные схемы тести-рования.

Современные мировые тенденции мотивируют создание таких АСОКЗ, которые ориентированы на определенную мо-дель пользователя. Недостаточно изученной является про-блема объективизации уровня сложности задаваемых вопро-сов и, соответственно, определения интегральной оценки знаний [126]. Одним из проявлений современных информационных технологий в образовании является внедрение дистанцион-ного обучения. В Украине его распространение тормозится слабым развитием коммуникационной инфраструктуры и, не в последнюю очередь, отсутствием единой методологии контроля и оценивания знаний обучаемых. Эта проблема является сложной, слабоструктурированной и, в значитель-ной мере, субъективизированной. Идеи и принципы ди-станционного образования могут быть успешно реализован-ными лишь при минимизации априорной неопределенно-


сти процесса оценивания и внедрении АСОКЗ. Большинство АСОКЗ имеет довольно простую структу-ру, в основе которой лежат тесты. Каждый тест состоит из определенного количества вопросов. За верный ответ на один вопрос учащийся получает "1", за неправильный ответ - "0". Числовой отрезок возможных результатов разбивается на интервалы, каждому интервалу отвечает определенная оценка. В лучшем случае вопросы имеют весовые коэффици-енты. Такой подход к созданию и использования АСОКЗ имеет ряд важных причин: – создают программные реализации систем контроля знаний,

чаще всего, специалисты в компьютерных науках, которые имеют довольно слабые знания педагогики и ее подходов к тестированию, а педагоги не имеют возможности ни оцен-ки тестов из-за их специализированности, ни самостоя-тельного создания АСОКЗ из-за незнания основ програм-мирования;

– динамика перемещения дисциплин в учебных планах и кадрового состава приводит к отсутствию адекватной ста-тистики оценки знаний учащихся и, как следствие, невоз-можности создания качественных заданий и эффективных систем контроля знаний;

– полное отсутствие единой теории построения АСОКЗ, мо-делей и методов, на которых она должна быть основана; из-вестные только отдельные подходы, которые базируются на элементарной алгебре и, в лучшем случае, элементах ста-тистики;

– задачи АСОКЗ являются неформализованными, отсутству-ет понятие оптимального теста, не разработаны методы са-моорганизации информационной базы в процессе функ-ционирования системы, а также, в зависимости от вида контроля, условия его прерывания.

Рассмотрим АСОКЗ, которые используются для завер-шающего контроля. Они включают в себя: задачи, правила получения ответов на них, сами ответы, оценки решений за-дач и рекомендации по интерпретации результатов. Целевая функция, которая определяет эффективность ( )E контроля


знаний, тогда имеет вид

1 2 3( , , , , )E F H H H T K , (1.4)

где 1H априорная энтропия, которая определяется уровнем

знаний студента и его интуицией, 2H энтропия, которая

присуща преподавателям при оценке знаний студента и ба-зируется на результатах АСОКЗ, опыте и интуиции, 3H

композиционная энтропия внешней среды, студента и пре-подавателя, T время контроля, K количество задач. Оче-видно, что создание эффективной АСОКЗ равносильно ре-шению задачи

maxE (1.5) или совокупности задач

min, 1,3, min, miniH i T K . (1.6)

Процесс решения совокупности задач (1.6) должен базиро-ваться на следующих принципах: – необходимым условием эффективного функционирования

АСОКЗ является построение структурно-логической схемы учебного курса и его отображение на логическую схему контроля знаний;

– достаточное условие – единая методология оценивания с использованием интеллектуальных технологий.

Эффективное использование АСОКЗ возможно лишь при наличии синергетических процедур, направленных на повышение технологичности процесса оценивания.

Типичным представителем ЭС являются АСОКЗ по дис-циплинам, связанным с информационными технологиями. Не останавливаясь на задачах верификации тестов и оценки результатов, отметим, что в них в полной мере отражены все вышеуказанные проблемы. В дальнейшем изложении будем руководствоваться выводом [8] о том, что ―основным прин-ципом инженерии знаний является то, что возможности ре-шателя задач интеллектуального агента в первую очередь определяются его информационным базисом и лишь во вто-рую используемым методом вывода‖. Учитывая приведенные недостатки, определим основ-ные принципы создания эффективных АСОКЗ:


– база знаний должна содержать блоки учебного материала (БУМ) как минимальные единицы учебных текстов и муль-тимедиа для изучения, которые в полном объеме «покры-вают» учебный курс;

− база вопросов должна содержать почти все типы вопросов, которые может задать человек, а не только вопросы с отве-тами типа "Да-Нет";

− предусмотрение возможности ответов как количе-ственного, так и качественного характера, а также их ана-лиз;

− интеграции систем обучения и контроля, их взаимосвязи и взаимозависимости;

− наличия адаптивных механизмов обучения и контроля; − ориентация структуры процесса обучения на конечного

пользователя; − наличие градации оценок сложности вопросов; − представление множества вопросов в виде графа, имеюще-

го иерархическую "И-Или" структуру; − предусмотрение возможности многокритериального оце-

нивания, что важно именно для профессиональной подго-товки.

Процесс обучения рационально осуществлять на основе структурно-логической схемы, которая является основным интегрирующим элементом разработки и использования ав-томатизированной системы контроля знаний. Ее первой со-ставляющей является методика оценивания (определения компетентности) в условиях неопределенности [144, 150]. Не-определенность присуща многим процессам принятия ре-шений [149, 153] и является следствием непредсказуемости динамики внешней среды, отсутствия или неполноты ин-формации, невозможности осуществления адекватной оцен-ки ситуации в критических условиях, субъективизмом выво-дов лица, принимающего решения (ЛПР).


1.3. Анализ информационных технологий, применяемых в процессах оценивания знаний и умений

В последние десятилетия в центре внимания исследовате-лей находятся задачи и аспекты применения новых инфор-мационных технологий в процессах контроля знаний, ведь одна из важных общественных задач в образовании – повы-шение его качества на всех уровнях. Достичь этого возможно, внедряя новые прогрессивные методы управления учебным процессом. Эффективным инструментом такого подхода яв-ляется контроль знаний и через обратную связь – адаптив-ные технологии обучения. Развитие этого направления началось в 1954 году, когда профессор B.F. Skinner [32] пред-ложил идею программируемого обучения, которая заключа-лась в повышении эффективности управления учебным процессом путем внедрения кибернетических элементов и его коррекцией в соответствии с психологическим состояни-ем обучаемого лица. Основы адаптивного программируемо-го обучения были разработаны в 50-х годах прошлого века Г. Паском [37, 166], который считал, что учебная программа должна поддерживает оптимальный уровень сложности учебного материала индивидуально для каждого обучаемо-го, тем самым автоматически адаптируясь к человеку. Контроль знаний в форме тестирования является одним из наиболее технологичных. Его можно считать параметри-ческой формой проверки и оценивания подготовленности обучаемого. Никакая другая из известных форм контроля знаний не имеет такого арсенала вариативных возможно-стей. В то же время не нужно абсолютизировать тестирова-ние, которое имеет и ряд недостатков, на которые будет ука-зано ниже.

Рассмотрим классические и современные формы кон-троля знаний в системе профессиональной подготовки. Наиболее известным подходом к созданию тестов и интер-претации их результатов является педагогическая теория из-мерений IRT (Item Response Theory), которая развивается с 60-х годов прошлого века за границей [1]. Заметим, что те-стирование в его классической форме применялось еще с


начала 20-го века. В работе [41] указывается на то, что в 1936 году M.W Richardson, анализируя результаты тестирования 1200 студентов в 12 группах, обратила внимание на то, что часть неправильных ответов в разных группах напоминает

логистическую кривую (1 )x xy e e (рис. 1.2).

0

0,2

0,4

0,6

0,8

1

1,2

-3

-2,7

-2,4

-2,1

-1,8

-1,5

-1,2

-0,9

-0,6

-0,3 0

0,3

0,6

0,9

1,2

1,5

1,8

2,1

2,4

2,7 3

сложность задания

Рис. 1.1. Часть неправильных ответов (логистическая кривая)

В 1943 году D.N. Lawley в университете Эдинбурга пока-

зал, что много конструктивов классической теории тестов могут быть представлены как элементы параметров характе-ристической кривой [19]. Эта работа стала истоком теории IRT как теории измерений. Систематизировал теорию IRT, осуществил ее алгоритмизацию и внедрил в практику тести-рования проф. F.M. Lord, соответствующие результаты отоб-ражены в [20, 21]. В далеких 60-х годах прошлого столетия проф. B.D. Wright указал [37] на важность работ по измере-ниям датского математика D. Rasch [30] и с того времени его результаты играют определяющую роль в IRT. Проф. В.А. Аванесов утверждает, что ведущая идея IRT заключается в прогнозировании результатов тестирования на заданиях разного уровня сложности, что особенно необходимо в си-стемах профессионального отбора, адаптивного обучения и адаптивного тестового контроля [43]. Основной эвристикой


IRT является то, что вероятность правильного ответа на зада-ние у хорошо подготовленного лица должна быть большей, чем у слабо подготовленного. К определяющим понятиям IRT относят уровень сложности задания, подготовленность обучаемого и дифференцирующий параметр задания. Ис-пользование IRT позволяет решить три задачи: − найти параметры заданий; − найти параметры знаний обучаемых; − подобрать функцию для определения вероятности пра-

вильного ответа на вопрос теста. Преимуществами IRT являются: − стандартизированный характер как оценки уровня подго-

товленности, так и сложности заданий, что позволяет объ-ективизировать процесс оценивания, сравнивать знания разных лиц и устанавливать объективные рейтинги;

− полученные оценки не зависят от уровня подбора заданий, что положительно влияет на качество оценивания;

− простота компьютеризации расчетов; − относительная инвариантность значений уровня знаний и сложности заданий, их стойкость. К такому же направлению исследований относятся работы В.П. Беспалько, Л.В. Макаровой, В.І. Михеева, Б.У. Родионова и других ученых. Рассмотрим основные идеи и результаты, полученные в направлении автоматизации процессов контроля знаний и обучения. Важное направление оптимизации процесса со-здания АСОКЗ заключается в структуризации и системати-зации учебного материала. На сегодня практически отсут-ствуют системные исследования способов представления знаний из учебных текстов в электронных базах данных. В то же время активно разрабатываются технологии компьютер-ного тестирования. Развитие дистанционного обучения, ин-формационных ресурсов сети Интернет является основой, мотивом разработки и использования компьютерных обуча-ющих систем и систем удаленного контроля знаний. Основ-ными задачами, которые решаются при их создании, явля-ются:


– разработка рациональной технологии создания в процессе автоматизированного обучения и контроля знаний ин-формационного ресурса системы управления учебным процессом;

– разработка структуры информационной базы системы обучения и контроля знаний;

– разработка программных средств обучения и контроля зна-ний как элемента системы управления учебным процессом.

Таких систем в последние годы разработано немало, но декларативно-технический подход к их созданию свидетель-ствует о необходимости создания действительно эффектив-ных компьютерных систем, особенно в области профессио-нальной подготовки. В [81] отмечено, что методы оценки знаний делятся на математические и классификационные. В частности, в основании первых лежат: простые модели; мо-дели, в которых учитываются параметры заданий; модели, базирующиеся на уровне изучения; кусочно-линейные мо-дели и модели на основе вероятностных критериев. В простейшей модели оценка определяется по формуле

1

,k

i

i

R R n

где iR – правильный ответ на i -е задание, k – ко-

личество правильных ответов на n предложенных. Характе-ристики контрольных вопросов учитываются в модели на основании параметров заданий. В частности, таким парамет-ром может быть время выполнения заданий. Характеристи-кой задания в модели на основании уровней изучения и есть уровень изучения, для определения которого он предназна-чен. Задания делятся на 5 групп, которые отвечают уровням усвоения: понимание, распознавание, воссоздание, примене-ние, творческая деятельность. Каждый из этих уровней оце-нивается. В методе кусочно-линейной аппроксимации алгоритм оценивания базируется на классификации заданий согласно их значимости, сложности и спецификации. Указанные ха-рактеристики имеют соответствующие коэффициенты. В ос-нове же модели на базе вероятностных критериев лежит утверждение о зависимости вероятности правильного ответа


обучаемого от уровня его подготовленности и от параметров задания. При вычислении вероятности оценки обучаемого учитываются: сложность и время выполнения задания; число предложенных заданий; число неправильно выполненных заданий и т.д.

Классификационные модели предназначены для отне-сения обучаемого к одному из устойчивых, заранее опреде-ленных классов, исходя из близости его характеристик к эта-лону. При этом используется алгоритм, предложенный Ю.И. Журавлевым [77]. В нем создается учебная таблица, каждая строка которой содержит данные о количестве предложен-ных заданий; среднем балле; количестве попыток выполнить задание; количестве обращений к справочной информации; ранге. Согласно определенному критерию оценивается рас-стояние значений характеристик обучаемого до значений строк таблицы и находится наименьшая. К соответствующе-му классу и относится обучаемый. В работе [106] рассматривается контроль знаний при ди-станционном обучении, причем дистанционное образование рассматривается как совокупность бизнес-процессов. Автор указывает, что такое представление позволяет повысить эф-фективность обучения за счет выбора разных вариантов ор-ганизационно-экономических процедур дистанционного обучения. Особенностью разработанных топологических моделей является анализ частично правильных ответов обу-чаемого. Предложены также элементы адаптивности, основ-ная сущность которых заключается в том, что по результатам контроля проводится ориентированное на конкретное лицо обучение. Существуют попытки создать общую методологию раз-работки тестовых заданий для контроля знаний [40, 43, 170]. Утверждается, что на сегодня отсутствуют отечественная научная теория педагогических (математических) измерений и математико-статистические методы для проверки соответ-ствия тестов научно-обоснованным критериям качества. Те-стирование дает объективную, сопоставимую и количествен-ную оценку качества подготовки. Всячески подчеркиваются преимущества тестового контроля, к главным из которых от-


носят: высокую содержательную, прогностическую и крите-риальную валидность; высокую надежность; возможность стандартизации; дифференциацию шкалы тестовых баллов; единственность требований ко всем обучаемым; всесторон-ность и объективность; индивидуальный характер контроля и возможность регулярного систематического его проведе-ния [170]. Тестовый контроль имеет и недостатки, к которым отно-сятся: использование вопросов только тестового характера, отсутствие адаптивности и реального применения инфор-мационных технологий. Учебный процесс также предлагается проводить на базе самоорганизующихся средств контроля знаний и обучения [125]. Автором сделано предположение о взаимоопределяю-щих связях между всеми вопросами информационной базы. Указывается, что ее структура предварительно не определе-на, а формируется как следствие процесса автоматического распознавания структурных связей в предметной области. Утверждается, что реализация АСОКЗ на таком принципе автоматизации позволяет минимизировать время контроля, хотя очевидно, что построение структуры на множестве по-нятий является длительным и трудоемким процессом.

Разрабатывается подход, в соответствие с которым моде-ли и методы обучения и контроля знаний являются элемен-тами общей автоматизированной системы управления учеб-ным процессом [190]. Задача определения объема тестовых заданий для объективной оценки знаний, рассматривается с учетом того, что все тестовые вопросы имеют одинаковую сложность. Минимальное количество вопросов теста предла-гается определять как величину обратную частоте непра-вильных ответов. Заметим, что здесь не указано на принципы формирования тестовых вопросов, их полноту, возможную разнотипность ответов. Исследование сужено к упрощенной схеме тестирования и использование его результатов воз-можно лишь при условии полноты тестовых вопросов и вы-полнении ряда дополнительных условий.

Большинство исследований базируется на тезисе о том, что контроль знаний является составляющей процесса обу-


чения [68]. Исходя из этого, предложено характеризовать тест как эффективный, если он является валидным, надежным, дискриминантным и в нем используются шкалы интервалов с наличием нормативных данных. Формирование тестов в таком случае абсолютно оторвано от учебного материала, и тест может быть определен как эффективный, если он сфор-мирован по небольшой его части.

Важную роль в процессе оценки играет логическая схема контроля знаний, важным элементом которой являются формы представления вопросов и ответов. В.С. Аванесов так классифицирует вопросы, исходя из вариантов ответов [42, 43]: - закрытые: выбор одного или нескольких вариантов ответов; - определение порядка вариантов ответов; - открытые: числовые или текстовые ответы, которые кон-

струируются; - определение соответствия двух множеств.

Детализация такой схемы приведена в [157], где решается задача определения компетентности экспертов в условиях неопределенности и соответствующие вопросы классифици-руют по ответам таких типов: «Да-Нет», «один из несколь-ких», «несколько из многих», «число», «интервал», «нечеткий интервал», «слово», «предложение». Такая классификация, в отличие от приведенной в [42, 44], является конструктивной и позволяет предложить методы оценки ответов на вопросы. Рационально оценивать ответы на вопросы, класси-фицированные в [42], выполняя измерения отклонения мно-жества ответов, данных обучаемым, от множества правиль-ных ответов [92]. Такой подход является правильным, но от-сутствие конструктивизма нивелирует его положительный эффект.

Очевидно, что существует зависимость результата кон-троля знаний от формы представления задач, а также прояв-ляется его связь с индивидуальными психофизическими осо-бенностями обучаемых [137].

Для определения результирующей оценки за тест, исхо-дя из оценок ответов на каждый вопрос, могут использовать-ся и нечеткие модели [38, 39, 48, 123]. Адаптивность здесь по-


нимают как корректировку оценок ответов на основе коэф-фициентов отсечения для термов «норма», «медленно», «очень медленно», что значительно сужает содержание этого понятия. Почти все полученные результаты являются след-ствием экспертных заключений, что значительно субъекти-визирует процесс оценивания.

Для моделирования структуры учебного материала, си-стематизации его понятий предлагается применять матема-тический аппарат теории графов, а именно, адаптивные се-мантические модели учебного материала как многоуровне-вые иерархические структуры в виде семантических сетей, представленных ориентированным графом, в вершинах ко-торого находятся понятия предметной области, а дуги обо-значают связи (отношения) между ними [180].

Из других идей и технологий, которые релевантны ис-следуемой теме, отметим использование автоматизирован-ной системы контроля знаний для обеспечения оперативной связи и корректировки учебного процесса [69], технологии текущего и итогового контроля знаний на основе методов экспертных систем [73, 147], машинное оценивание знаний в системе управления дистанционным обучением [4, 28, 75, 92, 98, 108, 136], управления контролем знаний как составной ча-стью процесса оптимизации управления высшим учебным заведением [93, 114, 115, 140, 162], адаптивное тестирование в практике диагностики способностей и знаний [89, 100, 158], многослойное тестирование знаний [101] и оценивание па-раметров тестов [106], проектирование компьютерных систем для образовательной сферы на основе методов программной инженерии [49, 74] .

По разным причинам реализация перспективных идей, приводимых в статьях и диссертациях, остается на низком уровне. Определим доминантные характеристики современ-ных инструментальных средств обучения и контроля на примере нескольких систем, активно представленных в гло-бальной сети.

Первая из них – система «x-TLS». Как утверждают ее раз-работчики [135], система «x-TLS» – современное инструмен-тальное средство для создания автоматизированных обуча-


ющих и контролирующих систем на основе расширенных мультимедийных тестовых заданий. На самом деле, система предназначена для контроля знаний, и только, если считать выбор одного варианта ответа на вопрос из нескольких обу-чением, то тогда такое утверждение может претендовать на справедливость. В «x-TLS» реализованы вопросы с ответами, предусматривающие выбор одного (двух) вариантов из не-скольких. Правильность выбора ответа определяется в про-центах (например, 100% и 20%).

Другая система «Аргус-М» является системой интерак-тивного контроля и дистанционного образования [46], она имеет те же недостатки, что и «x-TLS». Вопросы должны быть только закрытого типа, т.е. с жестко заданными вариантами ответов с необходимостью выбора одного правильного отве-та. Отсутствуют элементы адаптивных технологий и тесты носят программированный характер.

Известный программный продукт SunRav TestOfficePro предназначен для создания тестов, проведения тестирования и обработки результатов тестирования [33]. В нем реализован выбор пяти типов вопросов: одиночный выбор, множествен-ный выбор, открытый, соответствие, упорядоченный список. Выбор вопросов осуществляется случайно, вопросы могут иметь весовые коэффициенты и ограничение времени на ответы. Авторы утверждают, что в процессе тестирования присутствуют элементы адаптивности, но конструктивный путь ее реализации не указан.

Анализ украинских и российских АСОКЗ свидетельству-ет о том, что они являются отражением той информацион-ной среды, которая их порождает. В них отображена попытка стандартизировать подходы к проектированию, разработке и использованию инструментальных средств автоматизиро-ванного обучения и контроля знаний. Одной из основных проблем создания АСОКЗ является разработка структуры информационной базы, основной составляющей являются алгоритмы статистической обработки значений матрицы те-стирования и определения надежности тестов. Примеры функционирующих систем свидетельствуют об их локаль-ной используемости.


Другие акценты доминируют в зарубежных программ-ных продуктах [31, 36]. В частности, в Немецком исследова-тельском центре искусственного интеллекта (DFKI) выпол-нен ряд проектов по разработке систем дистанционного обу-чения и контроля знаний. К таким проектам относятся [5, 29]: - Le Active Math, где скомбинированы семантический Web и

адаптивные гипермедиа технологии с интеллектуальными методами обучения, такими как открытое учебное модели-рование и учебные диалоги;

- IClass, в котором интегрирована концепция продолженного обучения с моделированием и анализом действий;

- WISDOM - сетевой проект поддержки адаптации к ре-гиональным структурным изменениям рынка труда и осу-ществления инновационной профессиональной деятель-ности;

- TEAL, в котором реализована интеграция Е-обучения и ме-неджмента знаний, что позволяет сотрудникам компаний решать проблемы эффективно и автономно;

- PROLEARN - проект, который финансировался Европей-ской комиссией, предназначенный для реализации техно-логии продленного профессионального обучения.

Очевидно, что главное внимание в указанных проектах уделено концепции «обучения в течение жизни», мультиме-дийным технологиям и использованию в промышленных условиях.

Подавляющее большинство отечественных систем обу-чения и контроля знаний реализуют ту же стратегию, что и рассмотренные системы «x-TLS» и «Аргус-М». Они имеют те же характеристики и их трудно назвать эффективными ин-струментальными средствами. Такой вывод следует из того, что хоть их использование и является атрибутом объективи-зации процесса контроля знаний, но отсутствие методологи-ческой составляющей приводит к негативным результатам, в частности, к отсутствию логической схемы обучения и сме-щенности оценок обучаемых.

Выполненный анализ современных технологий управ-ления процессом обучения и контроля знаний позволяет


сделать следующие выводы. В последние десятилетия значи-тельное количество научных исследований посвящается ав-томатизированным системам обучения и контроля знаний. Такой интерес объясняется развитием компьютерной техни-ки, сети Интернет и дистанционного обучения. Еще одной важной причиной этого является стремление избежать зна-чительной субъективизации процессов принятия решений при оценивании знаний обучаемого.

В основу функционирования автоматизированных си-стем контроля знаний положено тестирование обучаемого. Наряду с определенным положительным эффектом, кото-рый заключается в объективизации оценки и возможности удаленного доступа, такие системы имеют ряд недостатков, на которые почти не обращается внимание. Их перечень приведен в [148], он включает в себя: неструктурированность учебного материала, по которому проводится контроль зна-ний; информационную избыточность и недостаточность; от-сутствие возможности использования вопросов, отличных от тестовых; необоснованность методов формирования инте-гральной оценки и т.д.

Мировые образовательные процессы определяют в про-цессах обучения и контроля знаний как приоритетное направление ориентацию на обучаемого. Составляющей та-кого подхода является реализация принципа адаптивности в широком смысле этого понятия. Проблема создания эффек-тивных автоматизированных систем обучения и контроля знаний является многогранной и различные ее грани отме-чены во многих публикациях. Вместе с тем проблема адек-ватности схемы оценивания, правильности ее построения ЛПР, почти не отражена. Одним из ее аспектов является кор-ректировка сложности вопросов и их адаптация к уровню знаний группы обучаемых, что является как минимум ин-формативным фактором для ЛПР, или, как максимум, важ-ным констатирующим пунктом оценивания.

В современных обучающих системах важное место долж-ны занять подсистемы контроля знаний, тестирующие си-стемы, которые, в первую очередь, реализуют основной принцип автоматизации - обратную связь, т.е. влияние реак-


тивной подсистемы выхода системы обучения (в нашем слу-чае, качества знаний обучаемых) на ее вход (базу знаний) с целью выработки наилучшего управления (методологиче-ской составляющей) процессом обучения.

Важное направление оптимизации процесса создания систем обучения и контроля знаний заключается в структу-ризации и систематизации учебного материала. Необходимо применение системного подхода к разработке электронных баз данных как основы современных ЭС. Под системным подходом понимают научно-прикладную методологию ре-шения сложных проблем, составляющими которой является систематизация, формализация и целеориентация [164].

На начальных этапах применение принципов разработки ЭС к созданию АСОКЗ привело к разработке низкоэффек-тивных систем, использование которых, тем не менее, имеет два преимущества: меньшее время контроля знаний и уменьшение субъективизма оценки. Вместе с тем, в АСОКЗ остается еще ряд недостатков, которые едва ли не полностью перекрывают вышеупомянутые преимущества. Такие недо-статки указывают на почти полное отсутствие технологиче-ских элементов, которые обеспечили бы действительно эф-фективный процесс обучения и контроля знаний.

Выполнив анализ научных источников, можно утвер-ждать, что на сегодня почти отсутствуют: элементы отече-ственной научной теории педагогических (математических) измерений и управления процессом контроля знаний; мате-матико-статистические методы для проверки соответствия тестов научно обоснованным критериям качества. Чаще кон-троль знаний осуществляется в форме неадаптивного тести-рования при сильных априорных ограничениях. При этом не указываются принципы формирования тестовых вопро-сов, не определяется их полнота, отсутствует реализация разнотипности ответов. Такая упрощенная схема тестирова-ния является эффективной лишь при условии полноты множества тестовых вопросов и выполнения ряда дополни-тельных условий. Одновременно заметим, что предпосылкой этого является построение структуры на множестве понятий, являющееся длительным и трудоемким процессом.


Учитывая количество научно-педагогических работни-ков и их заинтересованность в создании АСОКЗ, отметим, что количество и публикаций, и созданных систем является значительным. За последние двадцать лет только в Украине защищены десятки диссертаций, посвященных тем или иным аспектам создания и использования АСОКЗ. Подавля-ющее большинство таких научных работ ориентировано на решение задач оценивания знаний обучаемого. Примером исследований в этом направлении является работа [99], в ко-торой рассматривается задача определения оптимального количества вопросов, задаваемых обучаемому, в зависимости от последовательности его ответов. Выше отмечено, что каж-дое высшее учебное заведение использует одну или несколь-ко систем типа АСОКЗ. Значительное их количество содер-жит только подсистему контроля знаний в форме тестирова-ния с фиксированным количеством вопросов и ответов на них [168]. Анализ моделей, методов и инструментальных средств обучения и контроля знаний свидетельствует об от-сутствии единого методологического подхода к их разработ-ке и реализации, а также об отсутствии оптимизационных процедур при формировании стратегии обучения и кон-троля знаний [169].

Еще один важный вывод заключается в том, что профес-сиональная подготовка специалистов в различных предмет-ных областях осуществляется без учета особенностей их бу-дущей деятельности. Однокритериальность оценивания знаний и умений значительно нивелирует результативность процесса обучения и не соответствует уровню практической подготовленности специалистов. Особенно это актуально для работников оперативно-спасательной службы, для кото-рых определяющими критериями эффективной деятельно-сти является правильность и время принятия решений [159]. За рубежом проверка знаний и умений специалистов осу-ществляется с использованием тренажеров и симуляторов, где в режиме реального времени определяется уровень про-фессиональной подготовленности. В Украине такие системы внедряются медленно из-за их значительной стоимости, по-


этому рациональным является использование программных моделирующих систем. 1.4. Структурно-логические элементы построения автоматизированных систем контроля знаний и обучения

Структура, содержание и принципы контроля уровня

знаний является информационной основой дальнейшего управления качеством обучения. Контроль уровня про-фессиональной подготовленности является технологическим процессом, включающим в себя комплекс методов, алгорит-мов, организационных форм и средств, которые являются необходимым условием совершенствования качества обуче-ния.

Выполнив анализ существующей системы подготовки специалистов, необходимо отметить, что: - традиционные технологии контроля знаний и умений ба-

зируются на оценке уровня подготовленности специалиста, причем такой процесс не является достаточно объектив-ным и диагностическим, его результаты не поддаются ком-плексному анализу;

- результаты контроля знаний, полученные из разных источ-ников (оценки на экзаменах по профильным предметам), анализируются и обобщаются, как правило, изолированно, что не позволяет получить целостной картины и сделать выводы относительно профессиональной направленности обучаемого;

- показатели, подлежащие оценке, недостаточно обоснованы и не в полной мере отражают корреляцию между различ-ными элементами контроля знаний;

- полученная в результате контроля знаний, информация ис-пользуется только для оперативного управления, в то же время тактические и стратегические ее аспекты остаются непроанализированными и неиспользованными, в частно-сти, и для оптимизации учебного процесса.

Дадим формальные определения, которые буду исполь-зоваться в дальнейшем изложении.

Интеллектуальной системой профессиональной подго-


товки (ИСПП) называется автоматизированная знаниеори-ентированая система, предназначенная для обучения, мно-гокритериального оценивания и определения уровня про-фессиональной направленности обучающихся, в которой накапливается, обрабатывается и хранится информация в виде фактов, правил вывода и процедур применения таких правил. С одной стороны, ИСПП является экспертной систе-мой, поскольку в ней «сохраняется» экспертный опыт, а с другой - это система поддержки принятия решений, по-скольку она является определяющим звеном в процессе оце-нивания знаний. Очевидно, что указанными функциями функционирование ИСПП не ограничивается.

Особо важную роль играют ИСПП сотрудников опера-тивно-спасательных служб, поскольку от уровня их подго-товки зависит масштаб негативных последствий аварий и ка-тастроф. Аналитический обзор методов контроля уровня профессиональной подготовленности таких сотрудников свидетельствует о преимущественном использовании тради-ционных методов обучения и контроля знаний. В частности, контроль знаний происходит в форме экзаменов или тести-рования. В то же время такое оценивание знаний работников оперативно-спасательных служб является не полным и имеет низкий уровень объективности. Последние выводы связаны с тем, что спасатели должны принимать решения в сложных критических условиях, вызванных пожарами, техногенными и экологическими катастрофами, следствием которых могут быть многочисленные человеческие жертвы и значительный материальный ущерб. Поэтому при контроле знаний целе-сообразно было бы учитывать такие обстоятельства и ориен-тироваться на использование современных информаци-онных технологий [57, 61, 62]. Проведенный анализ реле-вантных технологий и их элементной базы, применяемых для оценки знаний и умений специалистов, указывает на низкий уровень как разработки средств контроля, так и на недостаточное методическое обеспечение этого процесса.

Процесс профессиональной подготовки работников оперативно-спасательных служб предлагается осуществлять на основе структурно-логической схемы, которая является


основным интегрирующим элементом разработки и исполь-зования автоматизированной системы контроля знаний. Ее первой составляющей есть методика определения компе-тентности специалистов в условиях неопределенности. Не-определенность присуща многим процессам принятия ре-шений и является следствием непредсказуемости динамики внешней среды, отсутствия или неполноты информации, не-возможности осуществления адекватной оценки ситуации в критических условиях.

Таким образом, повышение эффективности процессов обучения и определения уровня профессиональной подго-товленности связано с успешным решением задач и учетом аспектов: - построения логико-иерархической схемы контроля знаний; - структурирования учебного материала по результатам кон-

троля знаний и определения его приоритетности; - разработкой адаптивных моделей оценки знаний и коррек-

ции сложности вопросов, в т.ч. с учетом критерия времени; - определение профессиональной направленности специали-

стов. Построение ИСПП базируется на определенных идеях и

априорных принципах. В частности, для классификации во-просов контроля знаний выбрано схему, приведенную в ра-ботах [151, 154, 156, 157]. Для каждого из предложенных там типов вопросов разработаны процедуры оценки, исходя из отклонения ответов обучаемого от правильных ответов, и ме-тод формирования интегральной оценки [150]. В работе [156] было предложено осуществлять структуризацию предметной области, которой, являются предметные области учебных курсов, что позволило оптимизировать процессы тестирова-ния за счет самоорганизации множества вопросов, задавае-мых обучаемым. Аспекты создания эффективных ИСПП как одного из видов АСОКЗ рассмотрены в [148], где определено, что такие системы должны удовлетворять требованиям: ми-нимизации времени обучения и контроля знаний; полноты контроля знаний; отсутствия или минимального наличия информационной избыточности и информационной недо-статочности; максимально возможной объективизации ре-


зультатов оценивания. Исследования последних лет ориентируют на внедрение

принципа адаптивности в теорию и практику создания АСОКЗ. Понимание этого принципа у разработчиков раз-лично. Чаще адаптивными АСОКЗ считаются системы, кото-рые ориентированы на модель обучаемого [181]. Нераскры-тым остается принцип адаптивности в применении к созда-нию ИСПП и его использование в процессе проектирования соответствующих баз данных.

Подготовка работников оперативно-спасательных служб в высших учебных заведениях, а также повышение их ква-лификации на различных курсах заканчивается процессом оценивания знаний. Сложной проблемой является объекти-визация процесса оценивания знаний и умений. Ее решение сопровождается необходимостью разработки систем кон-троля уровня подготовленности сотрудников при условии выполнения ряда предпосылок, а именно определение: - принципов, которые будут учитываться и на которых будут

базироваться такие системы; - структуры, которая будет лежать в основе их построения; - технологии проведения автоматизированного контроля

уровня подготовленности. Структурно-логическая схема проектирования эффек-

тивных ИСПП с учетом указанных аспектов и задач содер-жит такие этапы. Во-первых, необходимо проведение анали-за технологий, которые используются для обучения и кон-троля знаний в определенной предметной области. Его ре-зультатом станет определение их особенностей, указание на преимущества и недостатки. В его основу положен вывод о локальности положительных особенностей методов и ин-струментальных средств, а также о глобальности проблемы отсутствия единой методологической парадигмы, которая бы стала основой реализации технологических схем обучения и оценивания, особенно при подготовке специалистов опера-тивно-спасательных служб.

Выполненный анализ позволяет сформулировать соот-ветствующие принципы и задачи, состоящие из трех основ-ных частей. На первом этапе повышения эффективности


процесса обучения и контроля знаний предложено осу-ществлять оптимизацию логических схем контроля знаний и обучения. Для этого дано определение эффективной систе-мы обучения и контроля знаний и показано как достичь оп-тимальности ее составляющих характеристик. Выполнение структуризации логической схемы контроля знаний станет необходимым условием минимизации времени оценивания. Базовые методы проведения контроля знаний будут базиро-ваться на нисходящей и восходящей схемах оценивания.

Кроме определения уровня профессиональной подго-товленности необходимо установить еще и профессиональ-ную направленность специалистов [117], для чего будут предложены модели на основе продукционных правил. Учи-тывая результаты контроля знаний, будет разработан метод определения приоритетности учебного материала, который станет основой планирования индивидуализированного учебного процесса.

Определению адекватности схемы контроля знаний, а именно соответствия сложности вопросов в комплексе уров-ню знаний обучающихся, и разработке соответствующих мо-делей посвящен второй этап исследования. В зависимости от типа вопросов будет разработан метод оценки знаний спе-циалистов на основе моделей уровня знаний и разработаны модели адаптивной корректировки сложности вопросов в режиме «реального времени», который предусматривает ее пересчет после прохождения контроля знаний каждым обу-чаемым. Поскольку для специалистов оперативно-спасательной службы одним из основных критериев оценки является минимизация времени на принятие решений, то в дальнейшем выполнена модификация моделей с учетом критерия времени.

На третьем этапе исследования будут предложены прин-ципы и разработана структура базы знаний интеллектуаль-ной системы профессиональной подготовки, с использова-нием которой проведены эксперименты и верифицированы теоретические результаты исследования.

В комплексе реализация всех этапов структурно-логической схемы исследования создаст предпосылки утвер-


ждать, что на основе анализа известных технологий автома-тизированного контроля знаний и обучения определена необходимость создания методологических основ разработки эффективных интеллектуальных систем профессиональной подготовки. Учитывая необходимость специалистов опера-тивно-спасательных служб принимать решения в условиях неопределенности, базовыми технологиями будем считать технологию предвидения и прогнозирования [83, 146], моде-лирования процессов [91], подходы к решению сложных проблем [133], теоретические основы контроля знаний, в т.ч. статистические [129, 143], интеллектуальное управление с учетом неопределенности [78, 79, 167, 172, 191]. Полученные модели и методы составят основу адаптивной технологии, что позволит реализовать многокритериальное оценивание, минимизировать его время и определять профессиональную направленность специалистов оперативно-спасательной службы.

РЕЗЮМЕ

В первой главе выполнен анализ процессов автоматизи-рованного обучения и контроля знаний, начиная с концеп-ции программированного обучения, IRT-теории и заканчи-вая аналитическим обзором современных научных результа-тов. Сделан вывод об отсутствии системных исследований по структуризации и систематизации учебного материала и его представление в базах знаний автоматизированных систем обучения и контроля знаний.

Определены доминантные характеристики современных инструментальных средств обучения и контроля на примере украинских и зарубежных систем. Показано, что преимуще-ственное внимание в первых системах сосредоточено на кон-троле знаний при почти полном отсутствии адаптивных тех-нологий и технологий индивидуализированного обучения. В зарубежных программных продуктах доминируют элементы концепции «обучения в течение жизни», мультимедийные технологии и ориентация на использование в промышлен-ных условиях.


Проведенный анализ свидетельствует об отсутствии единого методологического подхода к созданию автоматизи-рованных систем обучения и контроля знаний и необходи-мости реализации основного принципа автоматизации - обратной связи, т.е. влияния реактивной системы выхода си-стемы обучения (в нашем случае, знаний обучаемых,) на ее вход (базу знаний) с целью выработки наилучшего управле-ния (методологической составляющей) процессом обучения.

Разработана структурно-логическая схема исследования, в основу которой положена методология системного анализа. Основными ее этапами определено разработку логических схем оценивания и обучения, элементов адаптивного кон-троля знаний и планирования процесса обучения, а также принципов разработки и формирования структуры базы знаний интеллектуальных систем профессиональной подго-товки.


Глава 2

ОНТОЛОГИИ УЧЕБНЫХ КУРСОВ И СТРУКТУРИЗАЦИЯ УЧЕБНОГО МАТЕРИАЛА

2.1. Теоретические и прикладные аспекты применения онтологий

Переход от постиндустриального к информационному

обществу и далее к обществу, базирующемуся на знаниях, происходит в условиях лавиноподобного роста количества информации, содержащейся в базах данных и знаний. Необ-ходимым условием осуществления такого перехода является создание автоматизированных систем, в которых интегриро-ван экспертный опыт, выполняются процедуры систематиза-ции, классификации и прогнозирования.

Разработка ЭС как одного из видов автоматизированных систем является приоритетным направлением искусственно-го интеллекта. В них осуществляется сбор, хранение, обра-ботка, анализ данных и знаний. Экспертные системы исполь-зуются для решения широкого круга задач, к которым, в первую очередь, относятся интерпретация, прогнозирова-ние, диагностика, проектирование, планирование, монито-ринг и управление в медицине, математике, машинострое-нии, обороне, образовании и т.д.

Современные ЭС присутствуют почти в каждой отрасли, где есть необходимость в поддержке процессов принятия решений. Вместе с тем, их эффективность по сравнению с возможным потенциалом остается чрезвычайно низкой. Развитие информационного общества определило пер-спективы существования систем, которые взаимодействуют, и является пространственно разнесенными. В то время, когда проблемы коммуникационного характера в значительной мере решены, информационно-аналитическое сопрово-ждение функционирования таких систем, к которым отно-сятся виртуальные предприятия, системы дистанционного


обучения, "электронные дома" и т.д., оставляет желать луч-шего. Для оптимизации информационно-консультативного сопровождения процессов принятия решений, составной ча-стью которого является применение ЭС, рациональным яв-ляется использование системного подхода [164] и формиро-вание логической схемы задач. Элементный базис такой схе-мы определяется реализацией следующих составляющих: - классификации и исследования эффективности современ-ных методов и средств проведения экспертиз; - выполнения классификации и обоснования полноты струк-турных элементов понятийной базы в зависимости от направления использования ЭС; - разработки стратегии формирования дерева экспертного анализа (установка перечня и порядка формирования после-довательности правил) на основе понятийной базы; - выполнения анализа современных методов формирования онтологий и соответствующих предметных областей; - разработки принципов, структуры и элементного базиса для создания онтологий предметных областей; - разработки моделей и методов автоматизированного созда-ния онтологий, основываясь на E-представлении данных; - разработки метода композиционной оценки результатов экспертного анализа; - определения принципов, структуры, элементной базы ин-формационного наполнения системы экспертного анализа, включая средства представления исходной информации и результатов; - выполнения экспериментальной верификации предложен-ных моделей и методов на базе разработанной ЭС.

Известно [105], что в ЭС выполняются операции на осно-ве целей и на основе данных, соответствующие поиску в глу-бину и в ширину. Специфика ЭС определяет ее направлен-ность на решение задач нахождения закономерностей, к ко-торым относятся: ассоциация, последовательность, кластери-зация, классификация и прогнозирование [182] .

Ассоциация имеет место в том случае, когда несколько элементов, событий, семантических элементов связаны меж-ду собой. Если между ними существует связь во времени, го-


ворится о существовании последовательности. С помощью классификации определяют группу, которой принадлежит новый элемент. При выполнении кластеризации группы яв-ляются неизвестными и только формируются. Прогнозиро-вание возможно при условии существования информации об объекте с привязкой ко времени.

Одной из технологий, которая позволяет осуществлять эффективную обработку информации на основе знаний, яв-ляется использование онтологий [124]. Понятие онтологии, заимствованное из философии, в последние годы активно используется в информатике. Одни исследователи рассмат-ривают онтологию как концептуальную семантическую сущность, другие – как специальный семантический объект.

Главное внимание в релевантных многочисленных пуб-ликациях сосредоточено в областях, связанных с информа-ционным поиском, решением задач формализации, структу-ризации и классификации разрозненного материала. Стре-мительное развитие глобальной мировой сети Интернет со-здало предпосылки для разработки, функционирования и развития дистанционно удаленных программных систем, базирующихся на использовании онтологий.

В работе [13] онтология определена как точная специфи-кация концептуализации. Разные точки зрения на такое определение обсуждаются в [12, 15]. В частности, обозначены онтологии верхнего уровня, онтологии предметной области, онтологии задач и онтологии приложений.

Общепринято онтологию предметной области представ-лять тройкой элементов

, ,O X R F , (2.1) где X − конечное множество концептов, R − множество от-ношений между концептами, F − множество функций ин-терпретации концептов и отношений.

Графически онтология имеет вид сети, вершины кото-рой являются терминами и отношениями, а ребра указывают на связи между ними. Построение онтологии полезно для использования в: - системах обучения при поиске нужной информации [109];


- поисковых системах с использованием семантически зна-чимых фрагментов текста [122];

- научных исследованиях при отслеживании полезных дан-ных и знаний в потоках информации [179];

- системном анализе при исследовании предметной области [97, 130];

- интеграции данных и знаний при композиции информа-ционных баз [124].

Таким образом, созданию эффективной ЭC долж-но предшествовать формирование онтологии предметной области (рис. 2.1). В свою очередь, это становится возможным при условии существования базы данных, содержащей всю необходимую информацию об объекте или процессе. Буду-щий пользователь такой системы (заказчик) определяет набор и структуру правил, а эксперт определяет соответ-ствующую онтологию, создавая тем самым фиксированную иерархическую систему вывода. Для того, чтобы иметь воз-можность масштабирования ЭС необходимо также создать онтологии средств представления входящей и исходящей информации, а также программных элементов.

Взаимодействие эксперта, аналитика и оператора проис-ходит через общение. При этом возникает ряд лингвистиче-ских проблем и задач, к которым отнесем: – 1S − формирование общего словаря общения, где одинако-

вые объекты идентифицируются одинаковыми именами, как для аналитика, так и для эксперта. Словарь включает общенаучные термины, специальные понятия, профессио-нальные неологизмы;

– 2S − формирование понятийных структур, соответствую-

щих существующим ассоциативным и семантическим свя-зям, и являющимися иерархическими составными частями онтологии;

– 3S − разработка словаря, который позволит создавать дру-

жественный интерфейс для работы эксперта (пользовате-ля).


Рис. 2.1. Структурная схема экспертной системы на базе онтологии

База знаний

База правил Применение

правил вывода

Интерпретация иначе Если 1A , то 1B ,

если 2A , то 2B

Пользователь

Онтологии

Правила

Предметная область

Оператор Электронный

конспект, книга

База данных, тезаурус

А Б В Ю

Числа, надписи, формы, …

Средства представления

Прикладная программа

Эксперт


Решение вышеуказанных задач сводится, в основном, к оценке семантических связей, структуризации элементной базы и является предпосылкой эффективной разработки ЭС, их использования и дальнейшей модификации.

В современном мире информационных технологий он-тологии – формальные явные описания терминов предмет-ных областей и отношений между ними.

В сети Internet онтологии используются для категориза-ции сайтов (Yahoo.com), товаров и их характеристик (Amazon.com), создания словарей в области медицины, об-щецелевой терминологии товаров и услуг.

Онтологии создаются для того, чтобы [26]: - программные агенты понимали структуру информации; - существовала возможность повторного использования зна-

ний в предметной области; - сделать допущения в предметной области явными; - отделить знания в предметной области от оперативных

знаний; - анализировать знания в предметной области. Разработка онтологий не является самоцелью, она по-добна определению набора данных и их структуры для ис-пользования другими программами. Отмечая определенное сходство создания онтологий с проектированием классов в объектно-ориентированном программировании, заметим, что программист сосредотачивается на операторных свой-ствах класса, а разработчик онтологии - на структурных свойствах.

Онтология вместе с экземплярами классов образует базу знаний. На практике разработка онтологии включает: - определение классов; - размещение классов в таксономическую иерархию; - определение слотов и описание их допустимых значений; - заполнения значений слотов экземплярами.

Традиционно рекомендуется начинать разработку онто-логии с определения ее области и масштаба, для чего необ-ходимо определить перечень вопросов для проверки ее ком-петентности [14], а также проверить, не создавалась ли ранее подобная онтология. Следующий этап - разработка иерар-


хии классов [34], которая бывает нисходящей, восходящей и комбинированной.

Важными являются задачи определения принципов со-здания и структуры онтологий, которые служат основой раз-работки ЭС на базе унифицированного представления предметной области и правил вывода.

Модели (1.1)-(1.3) являются дополнительным информа-ционным фактором, позволяющим осуществлять структури-зацию процесса создания и функционирования ЭС. Заметим, что эффективно функционировать будет та ЭС, как уже ука-зано выше, которая имеет адекватно сформированный ин-формационный базис. В его качестве рационально использо-вать онтологию как достаточно сложную организованную структуру знаний о предметной области с одной стороны, с другой как исходный материал для получения новых зна-ний [64]. Построение и использование онтологии в ЭС бази-руется на том, что: - онтология в таком случае совместно используется коллекти-

вами агентов; - знания о предметной области используются неоднократно; - знания о предметной области отделены от процесса и алго-

ритма экспертизы.

2.2. Обзор предметных областей разработки и использования онтологий

Научные работы, посвященные онтологиям, делятся на два класса: к первому классу относятся работы по проблема-тике разработки онтологий и их усовершенствованию, вто-рой класс определяется задачами их применения.

Анализ спектра научных источников позволяет утвер-ждать, что необходимость разработки онтологий определя-ется потерями времени на поиск необходимой информации; инкапсуляцией ценной информации; повторяемостью оши-бок из-за недостаточной информированности и игнориро-вания предыдущего опыта. При выполнении онтологическо-го инжиниринга достигаются свойства системности, инфор-мационного единства и научности, что является необходи-


мым условием разработки и использования эффективных ЭС.

Идея использования онтологий при решении различных интеллектуальных задач не является новой. Анализ лишь публикаций и докладов на XII-й международной конферен-ции "Knowledge-Dialogue-Solution", состоявшейся в июне 2006 года в Варне, показал значительный интерес ученых к разра-ботке и применению онтологий при решении многих при-кладных задач. Рассмотрим основные работы, которые мож-но отнести к первому классу (разработка онтологий и их усо-вершенствование).

В частности, автор статьи [175] обращает внимание на то, что при разработке информационных систем создается ряд артефактов, начиная с модели предметной области и закан-чивая набором тестов. Автоматизация процесса создания ар-тефактов актуальна при разработке подобных систем и по-этому необходимо осуществлять определенную универсали-зацию, которая может быть достигнута за счет повышения уровня абстрагирования. Очевидна инцидентность этой идеи процессу разработки ЭС в образовании. Для таких си-стем важной является оценка их качества, что объясняется изоморфизмом основных элементов при разработке анало-гичных приложений.

Отметим, что проф. Т. Гавриловой предложены принци-пы концептуального баланса и ясности [63], которые состав-ляют методическую основу разработки онтологий в пред-метных областях учебных курсов, и являются такими: - понятия одного уровня иерархии связанны с родительским

концептом одним и тем же типом отношений; - глубина ветвей онтологического дерева должна быть при-

мерно одинаковой (2); - общая картина онтологии должна быть достаточно сим-

метричной; - перекрестные ссылки должны быть по возможности ис-

ключены; - максимальное число концептов одного уровня или глубина

ветви не должно превышать число Ингве-Миллера (7 2);


- схема онтологии не должна быть перегруженной, поэтому рекомендуется опускать названия отношений.

Работы проф. Т. Гавриловой и соавторов также посвяще-ны дидактическому аспекту построения онтологий [52, 54, 55].

Описания решений прикладных задач с использованием онтологий занимает большую часть среди научных источни-ков. Разработка и использование онтологий на сегодняшний день не формализованы, для их построения существуют только некоторые фундаментальные правила. Вместе с тем, области применения онтологий и аспекты их развития до-статочно разнообразны, о чем свидетельствует анализ следу-ющих работ, где излагаются аспекты решения проблемы по-иска необходимой информации в локальных сетях и сети Интернет. Обеспечению независимости представления ин-формации от языка описания ресурса посвящена статья [141], где показано, что главным критерии выбора необходи-мых данных является их семантическое описание, которое и обеспечит пертинентность информационного поиска.

В работе [103] отмечено, что онтологии являются эффек-тивным базисом для использования в задачах поиска необхо-димых документов. Обратим внимание на то, что в статье от-ражены основные преимущества использования онтологиче-ского подхода при решении задач поиска: системность (представление целостного взгляда на предметную область); единство (знания представляют в инвариантной форме); це-лостность (построение онтологии позволяет восстановить недостающие логические связи предметной области).

Онтология оптимизации программ описана в [47]. Про-блемы разработки практической онтологии для формирова-ния интерфейсов рассмотрены в [11, 67]. Аспекты построе-ния онтологий в медицине и фармакологии отражены в [113]. В [64] построена онтология метода анализа иерархий Саати; в статье [72] для повышения интеллектуального ана-лиза текста предложено использовать взвешивание понятий в модели онтологии; авторы [102] рассматривают вопросы, связанные с представлениями в онтологии нечетких понятий и отношений; статья [176] посвящена исследованию оцени-


вания в процессе создания онтологий. Алгоритм сравнения интересов продавцов и покупателей в Интернет-магазинах предложен в работе [59]; в статье [65] рассмотрена задача разработки пользовательского интерфейса с использованием разных типов диалога, базирующихся на использовании он-тологий; процедура структурирования знаний в прикладной области изучается в [27].

В работе [165] предложена понятийно-тезисная модель представления знаний, на базе которой авторы планируют разработать систему автоматизированной генерации тестов для контроля знаний. Вместе с тем, в ней отсутствует упоми-нание о полноте такого представления информации и о полноте теста, который должен определять знание обучае-мым всего учебного курса. Другой подход к решению анало-гичной задачи [160, 161] базируется на использовании анали-за формальных понятий Вилле-Гантера и направлен на ав-томатическое формирование понятий, закономерностей и ассоциаций в предметной области. Доминирующее значе-ние в работе занимает модель состава-включения информа-ционных элементов, что, безусловно, не исчерпывает семан-тического разнообразия изложения учебного материала. Важным направлением является оптимизация поиска ин-формации в сети Интернет по критерию пертинентности, рассматриваемая в [142]. Предложенный подход, базирую-щийся на композиции онтологии и тезауруса, является, без-условно, актуальным, однако трудоемкость его практической реализации может перечеркнуть положительный эффект от внедрения.

Как показывает анализ первоисточников, практические направления применения онтологий являются разнообраз-ными: от разработки интерфейса программных систем [65] до генерации текста программ на основе онтологий [66]. В рассмотренных работах присутствует видение перспектив-ности двух основных направлений применения онтологий в практических приложениях. Одно из них связано с оптими-зацией информационного поиска, другое с повышением эффективности процесса приобретения знаний. Некоторая ограниченность рассмотрения проблемы контроля знаний в


существующих работах и актуальность разработки систем дистанционного контроля знаний свидетельствуют в пользу создания автоматизированных систем, базирующихся на структурированном представлении учебного материала, классификации вопросов, определении их полноты. Известно, что на современные процессы в природе и об-ществе оказывают доминирующее влияние такие факторы как лавиноподобный рост количества информации, количе-ства информационных источников, развитие всемирной глобальной сети и растущие потребности производителей материальных благ и услуг. В то же время, поиск необходи-мой информации наталкивается на большое количество не-релевантных данных, имеющих к рассматриваемой задаче весьма отдаленное отношение. Для решения такой пробле-мы в современных информационных технологиях возникли направления, именуемые инженерией знаний (Knowledge Ingeneering) и извлечением знаний из текстов (Text Mining). Некоторое отношение к ним имеет и электронное обучение (E-learning). Прикладными областями, в которых сосредото-чены главные соответствующие разработки, являются: - анализ информационных ресурсов в Интернет; - контроль знаний учащихся; - дистанционное обучение; Поскольку, как отмечено выше, знания о предметной об-ласти существуют отдельно от методов анализа, неизбежно возникает проблема их композиции. Такое взаимодействие в условиях информационной избыточности должно быть до-статочно эффективным по критерию минимизации време-ни. Однако в процессе решения этой задачи, вследствие си-нергетического эффекта [171], возникают структуры, объ-единяющие данные, вопросы, ответы и правила вывода, об-ладающие некоторой временной устойчивостью. Такие структуры во времени стремятся к положению с ―минималь-ной энергией‖. Но достижение указанного состояния проис-ходит в условиях неполной информации. Таким образом, с одной стороны существует информационная избыточность исходных данных и недостаток информации об оптимиза-


ции процесса и результатов контроля знаний (в АСОКЗ) с другой. Разрешить такое противоречие предлагается с ис-пользованием самоорганизации процесса переходов по уровням ЭС (последовательности вопросов для контроля знаний в АСОКЗ). Процедура самоорганизации функцио-нирования ЭС позволит рационализировать и интеллектуа-лизировать процесс обработки информации, необходимой для получения и контроля знаний.

Подводя итог анализу научных источников, отметим рост общего количества публикаций онтологического спек-тра, что свидетельствует о его актуальности. Важными направлениями применения онтологий являются ЭС, в ко-торых реализуются процедуры семантического поиска, раз-работки древовидных структур понятий и отношений между ними.

2.3. Проектирование и управление процессом контроля

знаний на основе онтологии предметной области

Предметом нашего исследования является процесс обу-чения и контроля знаний с помощью ЭС. В связи с распро-странением дистанционного образования, а также другими факторами возникает необходимость разработки и исполь-зования средств автоматизированного обучения и контроля знаний. При этом главное внимание обращают на особенно-сти разработки программного обеспечения, а проблемы оп-тимизации структуры учебного материала, а также разра-ботки методологии тестирования знаний и методов ее вери-фикации остаются в стороне.

Очевидно, что в подавляющем большинстве случаев кон-троль знаний сильно субъективизирован как по форме про-ведения, так и по содержанию. Его объективизация может быть достигнута и достигается в определенном объеме с по-мощью использования автоматизированных систем. Однако при традиционном подходе не гарантируется полнота охва-та учебного материала, качество его представления для кон-троля знаний, кроме того время проведения контроля зна-ний не является оптимизированным, а сам процесс оценива-


ния сопровождается информационной избыточностью. Современные системы АСОКЗ, по нашему мнению,

можно разделить на две категории, по способу реализации: − без использования онтологий; − с использованием онтологий.

В свою очередь, в основном, системы из первой катего-рии базируются на таких основных идеях и подходах к оце-ниванию знаний: − вопросы имеют вид тестов, с двумя или более вариантами

ответов; вопросы задаются в определенной или случайной последовательности; оценка определяется как отношение количества правильных ответов к количеству всех вопро-сов;

− вопросы имеют вид тестов; вопросы задаются в случайном порядке, но случайность определяется вероятностями ак-туальности того или иного вопроса (под актуальностью понимают наличие или отсутствие связи между настоящим и предыдущим вопросами, сложность вопроса и т.п.); об-щая оценка определяется как функция от правильности ответов на ―взвешенные‖ вопросы;

− вопросы классифицированы по типам; они задаются слу-чайным образом, но обязательно указанное количество во-просов определенного типа; для каждого типа вопросов существуют процедуры оценивания правильности ответа и общая оценка является интегральным показателем.

Онтологии в учебном процессе используются пока редко, что связано с большой трудоемкостью процесса их формиро-вания и процедурой использования для тестирования. Из-вестны подходы с использованием элементов онтологий: − обучаемый составляет из вопросов целостную картину

предмета с указанием концептов и отношений между ни-ми;

− на каждом шаге обучаемому предлагается несколько во-просов, из которых он выбирает один, наиболее на его взгляд частный, и на него отвечает, после чего переходит к более общему.

Значительное количество работ посвящено проблеме ис-пользования онтологий в электронном обучении, их обзор


приведен в [16]. Анализ релевантных публикаций свидетель-ствует о том, что идея применения онтологий в учебном процессе сосредоточена на повышении качества обучения и технологии контроля знаний с использованием онтологии предметной области и находится в инициальной стадии раз-работки. Один из методов контроля знаний на базе онтоло-гии заключается в том, что оценивание результатов тестиро-вания происходит в зависимости от того, насколько достиг-нута цель контроля знаний, т.е. правильно ли построена ло-гическая цепочка вопросов и отвечает ли она онтологии.

Рассмотренные варианты построения ЭС не обладают свойствами полноты представления и контроля знаний учебного материала, имеют информационную избыточность и не оптимизированы по критерию минимизации времени проведения контроля знаний. Большинство перечисленных недостатков отсутствуют в ЭС, базирующихся на использо-вании композиции логической схемы учебного курса и онто-логии предметной области, предложенной в работе [24].

Рассмотрим технологию оптимизации работы эксперт-ной подсистемы оценивания знаний в АСОКЗ. Ее эффек-тивное применение возможно при условии знания и исполь-зования принципов проведения технологичного контроля знаний и осуществления управления процессом такого кон-троля с применением в качестве информационного базиса онтологии предметной области. В качестве основополагаю-щей конструкции АСОКЗ используем онтологии предмет-ных областей (учебных курсов) как базис, который позволит определять структуру процесса тестирования, а также обес-печить его полноту и верифицированность. В соответствии с онтологией необходимо разрабатывать логическую схему контроля знаний.

Онтологии предметных областей выступают в качестве системных ресурсов для проектирования и функционирова-ния систем контроля знаний. На сегодняшний день они практически отсутствуют, что связано, прежде всего, со сложностью их формирования. Заметим, что существование онтологии – необходимое условие создания эффективных систем контроля знаний. Одним из возможных способов по-


строения онтологии является использование электронных конспектов и определения на их базе основных концептов курса, установка отношений между ними и разработка соот-ветствующей интерпретации концептов и отношений.

Для разработки онтологии используют два подхода: нис-ходящий и восходящий.

При нисходящем подходе на низшем (начальном) уровне находятся элементарные единицы. Например, для учебных курсов, в которых изучаются теории (например, теория вероятностей) это могут быть неопределяемые поня-тия. На следующих уровнях находятся аксиомы, определе-ния, теоремы, леммы, приложения. Применяя восходящий подход, на верхнем уровне размещают основные метапоня-тия курса, которые с теми или иными атрибутами много-кратно присутствуют в учебном материале.

Предполагая, что онтология построена, определим со-ставляющие задачи управления процессом контроля знаний: - сформировать базу вопросов и возможных ответов с учетом

особенностей построенной онтологии, при этом типы отве-тов определяются структурой вопросов;

- определить минимально и максимально возможное коли-чество вопросов, которые будут заданы одному обучаемо-му;

- разработать алгоритм прохождения контроля знаний (ло-гическую схему контроля знаний) обучаемым;

- определить процедуру оценивания знаний. Известно, что традиционные системы контроля знаний,

активно используемые в учебном процессе, базируются на случайном выборе тестовых вопросов из генеральной сово-купности, составленной преподавателем. Их функциониро-вание не гарантирует полного охвата всех тем курса, а также правильного оценивания. Поэтому важной задачей является реализация управления процессом контроля знаний с целью обеспечения робастности оценивания, которая заключается в том, чтобы при любых начальных условиях достичь верного результата - правильной оценки.

Первым этапом этого процесса является формирование базы данных DB . Очевидно, что она должна находиться в


определенном отношении Q с онтологией O , которая явля-

ется концентрированным выражением структуры курса с его элементами и отношениями между ними, представленными как древовидная структура. Приведем некоторые соображе-ния по поводу того, каким должно быть отношение Q .

Концепты онтологии из множества X между собой находятся в определенных отношениях из множества R . Вы-полним краткую интерпретацию этих отношений. Так, множество отношений является совокупностью

1 2 3 4, , , ,R R R R R где 1R − отношение состава (часть и целое,

частное и общее), 2R − отношение определения (есть), 3R −

отношение типа атрибута (который), 4R − отношение типа

действия (составляет, предназначенный для, выполняет, формирует, ...). Очевидно, что такой перечень отношений не является полным и работу в направлении такой формализа-ции необходимо продолжать. Как уже было указано выше, роль онтологии является определяющей при создании систем контроля знаний, по-скольку она является доминирующим фактором при опре-делении полноты и правильности оценивания. Заметим, что тестовые последовательности могут и должны быть различ-ными для разных обучающихся. Такое требование удовле-творяется путем установления различных стартовых точек тестирования и разработкой его алгоритма. Важным аспек-том такого алгоритма является субъективность процесса прохождения теста. Вместе с тем необходимо отметить суще-ствование некоторых инвариантных элементов и принципов, составляющих основу алгоритма. Поскольку онтология имеет древовидную структуру, то существование отношений между концептами накладывает определенный отпечаток и на последовательность вопросов, которые будут заданы обучаемому. Заметим, что онтология имеет нисходящую структуру, предусматривающую соглас-но принципам концептуального баланса [63] наличие на верхнем уровне 7 2 концептов, которые являются основ-ными структурными единицами учебного курса. На нижнем уровне находятся концепты, определяющие концепты выс-


ших уровней и, зачастую, являющиеся неопределяемыми понятиями в курсе. Преподаватель формирует стратегию контроля знаний, согласно которой характер опроса имеет индуктивный или дедуктивный характер, что является следствием восходящего или нисходящего характера последовательности вопросов со значительной степенью субъективности. Для его уравнове-шивания и объективизации предлагается учитывать этапы контроля знаний, которые будут заключаться в прохождении последовательности вопросов через определенные горизон-тальные уровни, отвечающие укрупненным концептуаль-ным фрагментам и обеспечивающие его полноту. Как правильно строить последовательность вопросов, исходя из онтологии? Опишем особенности нисходящего контроля знаний или контроля "от общего к частному". За-метим, что целенаправленно не будем отражать влияние процедуры бального оценивания знаний на прохождение контроля, для того, чтобы не усложнять восприятие его тех-нологии. Выбор вопросов на определенных этапах и их ко-личество случайны или задаются экспертом. Представить та-кую процедуру можно по аналогии с известным методом "се-веро-западного угла". На первом этапе выбирают один из во-просов, связанный с верхним уровнем онтологии, и, зача-стую, имеющий характер отношения 1R , 2R или 3R . При

правильном ответе на этот вопрос возможен переход на один уровень вниз или переход горизонтально вправо и на уро-вень вниз при появлении вопроса с отношением типа 4R .

При правильных ответах контроль знаний заканчивается, если достигнут нижний уровень онтологии и пройдены все горизонтальные этапы. Если же получен неправильный ответ на вопрос, который соотносится с верхним уровнем онтоло-гии, то происходит переход горизонтально и задается вопрос с тем же типом отношения; если неправильный ответ полу-чен на одном из нижних уровней, то переход осуществляется на верхний уровень и задается вопрос, связанный с последу-ющим концептом верхнего уровня. Если контроль знаний заканчивается вопросом "инцидентным" концепту верхнего


уровня онтологии, то это будет свидетельствовать о незна-нии хотя бы одной темы или одного определяющего вопроса и о непрохождении контроля знаний.

Восходящий контроль отличается тем, что мощность начального множества вопросов для контроля знаний значи-тельно больше и большинство концептов низшего уровня является инцидентными нескольким концептам верхнего уровня. Учитывая такую особенность, последовательность вопросов формируется уже методом "юго-западного угла". Дальнейшие шаги с незначительными модификациями ана-логичны предыдущему методу.

Верификация процессов контроля знаний является до-статочно сложной субъективизированной процедурой. Рас-смотрим подход к контролю знаний [152], базирующийся на объективизации оценки учащегося посредством автоматиза-ции процесса формирования множества вопросов и проце-дуры его реализации при соблюдении условия полноты. Композиция двух условий: полноты охвата учебного матери-ала и минимизации информационной избыточности выпол-няется за счет построения отображения онтологии предмет-ной области курса на формализованную схему проблемно-ориентированного представления учебного материала. В ре-зультате реализации структурно-онтологического подхода оптимизируется учебный процесс и повышается эффектив-ность контроля знаний. Рассмотрим аспекты формирования онтологий и струк-тур учебных курсов. В качестве базового примера приведем этапы создания онтологий известного стандарта IDEF5: 1. Изучение и систематизация начальных условий с установ-лением основных целей разработки онтологии. 2. Сбор и накопление исходных данных. 3. Обработка данных, при которой анализируется и группи-руется исходная информация. 4. Начальное развитие онтологии − формируется предвари-тельный вариант. 5. Уточнение и верификация онтологии. Создание онтологии предметной области учебного курса направлено на оптимизацию структуры и элементного бази-


са дисциплины с целью обеспечения полноты ее представле-ния и порядка структурных элементов. Такая онтология мо-жет быть использована в процессе обучения и в процессе контроля знаний. Кроме того, она является средством, спо-собствующим пониманию структуры курса учащимися. Традиционный метод формирования онтологии базиру-ется на опыте и знаниях преподавателя и осуществляется ―вручную‖. Его значительная трудоемкость свидетельствует в пользу разработки систем, автоматизирующих значитель-ную часть работы. Алгоритм, реализованный в них, может быть таким: 1. Определить типы отношений между понятиями предмет-ной области. 2. Определить частоты, с которыми встречаются в электрон-ном конспекте курса имена существительные. 3. Предложить процедуру исключения избыточных суще-ствительных и реализовать ее. 4. Считая полученные существительные определяющими понятиями, определить их отношение с другими терминами предметной области посредством получения соответствую-щего множества глаголов (есть, является, включает в себя, со-стоит, позволяет, формирует, делит,..). 5. Если уже зафиксированные понятия и отношения требуют интерпретации, то формировать толковый словарь предмет-ной области. 6. Сформировать множество определительных существи-тельных, имеющих отношение к определяемым существи-тельным. При этом зафиксировать их атрибуты. 7. Реализовать дополнительные процедуры, необходимые для уточнения, лучшего понимания и обеспечения полноты онтологии.

2.4. Принципы разработки и подходы к созданию систем контроля знаний с использованием онтологий

Известно, что онтология для учебного процесса – это структурная спецификация предметной области (учебного курса), ее формализованное представление, которое включа-


ет словарь указателей на понятия области и логические свя-зи, которые описывают, как они соотносятся друг с другом. Таким образом, онтологии включают в себя словарь для представления и обмена знаниями об изучаемой предметной области и множество связей, установленных между термина-ми этого словаря.

Как уже указано выше, различают формирование онто-логии O на базе целей и данных. Рассмотрим формирование онтологии предметной области, которой является учебная дисциплина, на базе целей (рис. 2.2).

Цель изучения курса, как правило, приведена в рабочей программе. Достигается она через изучение ряда тем

1 2( , ,..., )h h hnT T T , каждая из которых, в свою очередь, декомпозиру-

ется на вопросы 1 2( , ,..., ),i i ikP P P где i – номер темы, k – номер

вопроса в теме, 1,i n , 1, mk i , mi – количество вопросов в i -й

теме. Рассмотрение каждого вопроса, например, в направле-нии компьютерных наук включает в себя пятерку составля-ющих:

Вопрос

Вопрос Вопрос

Вопрос

.

.

.

.

Идеи Необходимость

Модели Методы Средства Алгоритмы

Применение Реализация

Рис. 2.2. Онтология предметной области на основе целей

Задачи

УЧЕБНЫЙ КУРС

Тема N Тема 2 Тема 1

Зн

ан

ия

Нав

ык

и


, , , ,P Z Mo Me A S , (2.1)

где Z− множество задач, Mo− модели, Me − методы, A− ал-горитмы, S − средства. Пятерка (2.1) также неявно отражает преобразование знаний в навыки.

Построение такой онтологии позволяет четко представ-лять структуру курса, место и роль того или иного понятия в общей схеме связей между его составляющими. Вместе с тем, такая семантическая совокупность в значительной степени является субъективизированной и отражает лишь один взгляд на структуру и наполнение ЭС.

Другой подход, связанный с использованием вычисли-тельной техники, базируется на анализе электронных источ-ников, используемых для изучения предметной области, во-обще, и дисциплины, в частности. В качестве иллюстрации такого подхода рассмотрим в качестве предметной области все учебные дисциплины по направлению "Компьютерные науки" (рис. 2.3).

Ранее уже указано, что в первую очередь необходимо по-считать частоты употребления отдельных слов-существительных предметной области. Нетрудно предполо-жить, что такими словами будут названия направлений, по которым осуществляется подготовка студентов: математика, программирование, информация, интеллект, моделирова-ние, системы, технологии и управление. При построении се-мантической сети эти понятия будут корневыми вершинами. На втором шаге подсчитываются частоты употребления уже двух слов, первое из которых установлено на первом ша-ге. Для каждого элемента, установленного на первом шаге, определяем пару наиболее употребляемых определяющих слов. Этот процесс продолжаем и получаем граф. В опреде-ленный момент будут обнаружены вершины, которые явля-ются общими для ребер с разных направлений. Сеть, полу-ченная таким образом, будет иметь пирамидальную струк-туру [88].


Рис. 2.3. Возможные составляющие конструкции онтологии

Программирование

модульное ООП

высшая прикладная

Математика

пр

ир

одны

е А

С

Си

стемы

матем

атич

еское и

ми

таци

онн

ое

Модели

рован

ие

в природе в обществе

Управление

функционирования развития

Технологии

пр

ир

одны

й

иску

сственн

ый

Ин

теллект

обработка

кодир

овани

е

Ин

фор

мац

ия


Построенная таким образом онтология на базе данных позволит создавать эффективные ЭС для контроля знаний студентов, поскольку определенная иерархия понятий в со-четании с алгоритмической составляющей исключает проце-дуры избыточного тестирования и увеличивает его инфор-мативность.

Следующим шагом в исследовании процесса разработки ЭС на базе онтологий является установление семантических связей между ее элементами, структурными частями ЭС и продуцирование выводов.

Продолжим решение задачи оптимизации процесса кон-троля знаний. Рассмотрим концепцию разработки ЭС, кото-рая будет базироваться на композиционном использовании онтологии предметной области, логической схемы контроля знаний и технологии оценивания.

Идея использования онтологий в учебном процессе ―ви-тает‖ в среде преподавателей и специалистов по информа-ционным технологиям уже не первый год. Вместе с тем, из-вестных примеров ее реализации не наблюдается. Очевидно, что причинами такого состояния являются недостаточное внимание к структурированности учебного материала, сложность формирования логических схем учебных курсов, трудоемкость процесса алгоритмизации и программирова-ния. В [95] предполагается, что онтологии в учебном процес-се могли бы быть использованы для построения учебных баз знаний и тестирующих систем, способных самостоятельно формулировать вопросы.

Принципы и первые шаги к созданию автоматизирован-ных систем контроля знаний на базе онтологий предложены в [117-119]. Анализ исследований по пространствам знаний в среде Интернет с рассмотрением алгоритмических и про-граммных средств выполнен в [18].

Теоретические исследования и растущая мировая науч-ная активность в области применения онтологий в учебном процессе свидетельствует об актуальности и важности про-блемы, поскольку ее решение позволяет оптимизировать преподавание, самостоятельное изучение и контроль знаний обучаемых. Системы, в которых будут интегрированы онто-


логии и процедуры оценивания, могут использоваться и для оценки компетентности экспертов, перспективности инве-стиций, проведения экспертиз и т.п. Их применение сопро-вождает и активизирует процесс изучения и понимания учебного материала за счет его структуризации по схеме <от целей − к средствам> и формализации его промежуточных этапов.

В вышеуказанных работах не содержится указаний на конструктивную реализацию ЭС, которые можно было бы использовать для проведения обучения и контроля знаний. Предпримем попытку представить аспекты разработки таких систем, укажем элементный базис и структуру проведения процесса контроля знаний посредством определения соот-ветствия между онтологией предметной области и логиче-ской схемой контроля знаний. Базовыми понятиями при разработке ЭС для контроля знаний являются: онтология, логическая схема контроля знаний и технология определения оценки обучаемого или учащегося.

Логическую схему контроля знаний можно представить как тройку

, , ,C E D K (2.2)

где E − базовые элементы процесса обучения и контроля знаний, D − логические конструкции, определяющие состав базовых элементов и отношения между ними, K − алгоритм определения оценки на контрольный вопрос.

Технология определения оценки уровня знаний базиру-ется на итерационной реализации оценивания на микро- и макроуровнях, а также заключительном этапе принятия ре-шения. На микроуровне выполняется оценка ответа на один вопрос, на макроуровне определяется комплексная оценка на заданную последовательность ответов. После ответа на каждый вопрос принимается решение о прекращении или продолжении контроля знаний.

При разработке онтологии, логической схемы контроля знаний и технологии оценивания необходимо учитывать


специфику среды функционирования ЭС. Поэтому, в про-цессе контроля знаний необходимо представить три состав-ляющие: знания, как воспроизведение элементов теории; навыки, как воспроизведение решений типовых задач; уме-ния, как способность решать творческие задачи.

Предложенные выше процедуры оценивания вопросов в зависимости от типов ответа для пошагового определения направления контроля знаний детально описаны дальше.

Рассмотрим задачу установления соответствия между он-тологией и логической схемой контроля знаний . Такое соответствие является необходимым условием полуавтома-тического формирования вопросов для контроля знаний, оно также оптимизирует сам процесс контроля, обеспечивая его полноту и адекватность.

При формировании онтологии и логической схемы кон-троля знаний будем использовать категории объектно-ориентированного анализа [2]: абстрагирование, инкапсуля-цию, модульность и иерархию. Определение наиболее важ-ных концептов учебного курса и их значимости для провер-ки знаний составляет содержание категории абстрагирова-ния. Необходимость обеспечения невозвратности к уже рас-смотренным концептам и их композиции учитывается через реализацию инкапсуляции. Оптимизировать процесс кон-троля знаний позволяет использование принципа модульно-сти, одно из применений которого заключается в разделении учебного материала на темы. Избежать повторений в про-цессе контроля знаний позволяет использование иерархий.

При разработке и онтологии, и логической схемы кон-троля знаний могут быть использованы индуктивный (ин-формационно-ориентированный) и дедуктивный (проблем-но-ориентированный) подходы. В дедуктивном подходе в большинстве предметов, связанных с информационными технологиями и принятием решений, ключевыми концепта-ми являются: ―Проблема‖, ‖Задача‖, ‖Метод‖, ‖Модель‖, ‖Алгоритм‖, ‖Приложение‖, ―Система‖, ‖Информация‖, ‖Интеллект‖, ‖Технология‖, ‖Проектирование‖ и некоторые другие. Такой подход позволяет осуществлять декомпозицию предметной области, начиная с определения проблемы и за-

O C


канчивая инструментальными средствами ее решения. Не-достатком рассматриваемой схемы является необходимость многократного учета и использования концептов, инцидент-ных нескольким ключевым концептам.

На первом этапе формирования онтологии предмет-ной области учебного курса определяют элементы множе-ства концептов . В работах [104] и [118] предложен автома-тизированный подход к решению такой задачи, сущность которого заключается в том, что в электронном курсе лекций осуществляется подсчет количества упоминаний имен суще-ствительных. Среди наиболее часто встречающихся имен существительных экспертным путем осуществляется отбор концептов.

Учитывая специфику онтологии учебного курса и ее дальнейшее использование для контроля знаний, определя-ем доминирующие отношения. Их типы: ―Атрибуты‖, ―Определения‖, ―Часть-Целое‖, ―Составная часть‖, ―Дей-ствия‖, ―Состояния‖ и другие.

Отдельно формируем толковый словарь предметной об-ласти, в котором будут содержаться интерпретации, опреде-ления сущностей, атрибутов и действий, не встречавшихся при изучении других предметов или понимание которых представляет для обучаемых определенные затруднения.

Полученная онтология является базовым элементом при формировании базы вопросов. Установление отображения

(2.3)

позволяет сформировать индивидуальную схему контроля знаний и осуществлять ее коррекцию в режиме реального времени.

Фрагмент онтологии, соответствующий учебному мате-риалу, который использовался для формирования логиче-ской схемы контроля знаний, приведен на рис. 2.4.

O

X

O C


Рис. 2.4. Фрагмент онтологии

Методы раскрытия неопределенности целей

Включают в себя

Метод линейной свертки

Метод сведения к системе уравнений

Идентификатор

Условие применимости

Не учитываются другие факторы

Атрибуты Отсутствует необходимость

свертки в обобщенную

функцию

Определяется количественное

воздействие каждого фактора

Границы применимости

Исключает влияние фактора субъективизма

Онтология содержит также толковый словарь, в котором приведено содержание методов линейной свертки и сведе-ния к системе уравнений, дано толкование понятия субъек-тивизма и указаны факторы неопределенности. Такой сло-варь используется на заключительном этапе контроля зна-ний и используется для уточнения оценки.

Указанные отношения позволяют непосредственно формировать вопросы и генерировать ответы. Если исполь-зуется такой тестирование, то неправильные ответы могут генерироваться из соответственных составляющих других концептов.


Онтологии допускают многократное использование в различных приложениях, они могут дополняться и модифи-цироваться. Для многих предметных областей, особенно в сфере товаров потребления, онтологии уже построены. Рас-смотрим особенности их создания для контроля знаний.

Предположим, что изучаемой дисциплиной является курс L по информационным технологиям. Исходя из про-блемно-ориентированного изложения материала, дисци-плина содержит лекции, практические и лабораторные заня-тия, что соответствует приобретению учащимися знаний , умений и навыков . Таким образом, изучение курса определяет реализацию отображения

, , .L Z U N (2.4)

Известно, что онтология это попытка всеобъемлющей и детальной формализации некоторой области знаний с по-мощью концептуальной схемы, которая состоит из иерархи-ческой структуры данных, содержащей все релевантные классы объектов, их связи и правила, принятые в этой обла-сти. Построение онтологии для ЭС, которой является АСОКЗ, начинается с определения границ предметной обла-сти, базирующееся на представлении места и роли учебного курса в общей структурной схеме предметов и, как след-ствие, выяснении априорной информации, являющейся ба-зисом изучения курса. Предметная область включает в себя основные понятия, а также перечень проблем, которые и очерчивают информационное поле курса (рис.2.5).

В соответствие с перечнем проблем необходимо опреде-лить концепты и построить иерархическую структуру. Кон-цепты верхнего уровня определяются путем экспертных до-пущений как главные, базовые понятия. Концептами низ-ших уровней будут определительные существительные или атрибуты концептов высшего уровня, например, ―проекти-рование интерфейса‖или ―математическая модель‖. Такое построение продолжается до достижения базовых элементов – структурных единиц, обладающих самостоятельной ценно-стью для изучения курса.

ZU N


Рис. 2.5. Структурная схема АСОКЗ на основе онтологии

Состоит из Имеет Достигается решением

Учебный курс

Практичес-кие

занятия

Лаборатор-ные

занятия

Лекции Цель Задачи

Ин

те

рп

ре

та

ци

я

Мо

дел

и М

етод

ы

1.Теоретико-множественные

1 2; ;s s

i j i jR K K R K K

2.Функционирования:

1

fR - использовать; 2

fR – представлять,…;

3.Развития

1

dR - предыдущий этап; 2

fR –

следующий этап, …

От

но

ше

ни

я

Мо

дел

и

Априорная

информация Основные понятия

Проблема 1

Проблема 2

Проблема N

…


Некоторую объективизацию в процесс построения онто-логии может внести автоматизированный анализ текста электронного конспекта лекций. Для этого на первом этапе необходимо подсчитать количество наиболее часто встреча-ющихся слов-концептов первого уровня. На втором этапе вычисляют количество наиболее часто встречающихся слов-атрибутов (прилагательных) или определительных понятий (существительных) концептов первого уровня. Третий этап (может инвертироваться со вторым) посвящается определе-нию часто встречающихся отношений функционирования концептов первого уровня (иногда совместно с концептами второго уровня), выражающихся глаголами действия и т. д. Автоматизированная обработка позволяет определить кон-цепты низших уровней, являющихся атрибутами, определя-ющими концептами для высших уровней. Результирующую онтологию получают, осуществляя композицию данных, по-лученных автоматизированно, и экспертных заключений.

В основе функционирования ЭС лежит технология ин-терактивного общения, предполагающая наличие ЛПР и пользователя (обучаемого), отвечающего на вопросы систе-мы. Рациональное проведение такого диалога, который на конечном этапе ведется между человеком и компьютером, возможно при выполнении таких условий: база данных во-просов и возможных ответов является достаточно полной для принятия решений; процедура контроля знаний является верифицированной; алгоритм контроля знаний должен быть оптимизированным по времени.

Традиционно, проведение процедуры контроля знаний полностью определялось ЛПР, следствием чего было реше-ние, базирующееся исключительно на субъективных пред-почтениях. В системах АСОКЗ преподаватель составлял спи-сок вопросов из разных тем курса, для контроля обучаемому случайным образом предлагалось их определенное количе-ство. За ответ на вопрос он получал баллы и их суммарное количество составляло оценку, которая, в общем случае, не гарантировала знание предмета, поскольку случайный вы-бор вопросов не отражал полную картину изучаемых про-блем и задач. Материал некоторых разделов оставался вне


теста, а некоторые вопросы с незначительными модифика-циями повторялись. В то же время при тестировании рационально использо-вать принципы самоорганизации [90, 112]: ―множественно-сти‖ моделей и свободы выбора. Их интерпретация по отно-шению к нашей задаче заключается в том, что существует множество упорядоченных последовательностей тестовых вопросов, приводящих к правильному результату, а также в том, что на любом этапе тестирования могут быть выбраны несколько вариантов его продолжения. Составляя последовательность тестирования, будем ру-ководствоваться структурой, определенной графом онтоло-гии. При этом возможны варианты выбора соответствия, приведенные на рис. 2.6.

Заметим, что в общем случае графы, представляющие онтологию, имеют нисходящую ориентацию. В то же время, процесс тестирования может иметь как нисходящий (дедук-тивный от общего к частному), так и восходящий (индук-тивный от частного к общему) характер.

На рис. 2.6 показаны фрагменты, соответствующие вос-ходящему подходу. Формирование последовательности во-просов в таком случае отвечает ―И-ИЛИ‖ структуре. Концеп-ты низшего уровня 1k и 2k (рис. 2.6а) составляют концепт K

и между ними можно поставить логическое ―ИЛИ‖. Тогда в последовательности вопросов должны быть обязательно во-просы по сущности обоих концептов, а правильные ответы на них предполагают знание сущности K и избавляют от вопросов по его содержанию. Заметим, что концепты низше-

а) б) в)

К К

1k 2k 1k

2k 2k 3k

1k

Рис. 2.6. Возможные составляющие конструкции онтологии

1K 2K


го уровня для 1k и 2k не имеют общих элементов, понятий,

функций. Если это не так (рис. 2.6б), то рационально зада-вать вопросы по сущности концепта, или его составляющей, являющимися общим для концептов одного уровня. Если концепты являются одноуровневыми (см. рис. 2.6в) и не имеют пересечения на более низких уровнях, то необходи-мым условием прохождения теста являются правильные от-веты на вопросы, инцидентные всем одноуровневым концеп-там.

Верификация процессов контроля знаний является до-статочно сложной субъективизированной процедурой. Рас-смотрим подход к контролю знаний, базирующийся на объ-ективизации оценивания обучаемого посредством автомати-зации процесса формирования множества вопросов и проце-дуры его реализации при соблюдении условия полноты. Композиция двух условий: полноты охвата учебного матери-ала и минимизации информационной избыточности реали-зуется за счет построения отображения онтологии предмет-ной области курса на формализованную схему проблемно-ориентированного представления учебного материала. В ре-зультате выполнения элементов структурно-онтологического подхода оптимизируется процесс обучения и повышается эффективность контроля знаний. Приведем аргументы в пользу такого утверждения.

Онтологии претендуют на определяющую роль в общей структуре инжиниринга знаний. Связано это с общностью подхода к формированию онтологий и приобретению зна-ний. Последний, в подавляющем большинстве случаев, име-ет четко выраженный дедуктивный характер – ―от общего – к частному‖. Такая же нисходящая процедура является атри-бутом составления онтологии, что наиболее четко проявля-ется в отношении ―целое-часть‖. Их дуализм указывает на возможность оптимизации учебных курсов путем их струк-турирования и реализации отображения ―онтология пред-метной области → структура учебного курса‖. Эффектив-ным следствием его реализации является оптимизирован-ный контроль знаний.


Представим учебный курс ( )V совокупностью

, , , , , ,V P G Z Mo Me S K (2.5)

где P − множество проблем, G − множество целей, Z− сово-купность задач, Mo , Me − множества моделей и методов, со-ответственно, S − множество средств, K − совокупность кри-териев для оценки элементов множеств ,Mo Me ,A . Посколь-ку процесс контроля знаний носит субъективизированный характер, то его оптимизация возможна в полной (почти полностью объективизированной) или частичной форме (ча-стично объективизированной). В первом случае ЛПР (препо-даватель) полностью устраняется от оценивания и контроль знаний осуществляется только ЭС. При этом возникает про-блема формирования множества вопросов . Очевидно, что множество должно быть полным, т.е. отображать содер-жимое всего курса. Утверждаем, что при этом в должны быть адекватно представлены сущности из V и O . Следую-щее требование является атрибутом процесса контроля зна-ний, а именно: последовательность вопросов для контроля знаний должна обладать свойством рационализма, смысл ко-торого, приблизительно, является таким: - последовательность вопросов для каждого учащегося со-

держит все структурные элементы курса; - при правильных ответах учащегося недопустимыми явля-

ются вопросы, один из которых является частным случаем другого, в некотором, возможно семантическом смысле;

- элементы множества вопросов и их задаваемая последова-тельность должна предполагать различные формы ответов (категории качественные и количественные, в форме слов и предложений, четких и нечетких чисел).

Таким образом, рассматриваемая задача сводится к определению аспектов отображений V O и O V , а так-же формированию процедуры преобразования ,V O при вышеизложенных ограничениях и особенностях пред-ставления разработки процедур формирования подмно-жеств i , где i − последовательность вопросов для i -

го тестируемого с реализацией алгоритма коррекции в ре-


альном времени, 1,i n , где n − количество тестируемых. Представляя онтологию нисходящей, иерархической

графоподобной структурой, заметим, что она имеет не дре-вовидный характер, одной из причин чего является наличие некоторых атрибутов у многих терминов. При формировании множества вопросов для одного обучаемого возможны два подхода. Первый из них базирует-ся на принципе непрерывности и означает, что тестирование производится непрерывно вне зависимости от количества правильных и неправильных ответов. Оценка выставляется по результатам анализа их соотношения. Недостатками тако-го подхода является информационная избыточность, приво-дящая к неоправданно большому времени тестирования в случае низкого уровня знаний; отсутствие градации вопро-сов, а также допуска нечеткости в ответах; отсутствие воз-можности адекватной реакции на неправильные ответы, за-ключающейся в уточнении вопросов, их детализации или, наоборот, обобщении.

Второй подход базируется на принципе управляемости и сопровождения тестируемого на каждом этапе контроля зна-ний. В частности, если на вопрос дан недостаточно правиль-ный (или неправильный) ответ, то принимается решение о продолжении или прерывании тестирования. Если тестиро-вание прерывается, то выставляется негативная оценка. В противном случае необходимо определить дальнейшие дей-ствия. Такими действиями могут быть продолжение локаль-ного тестирования (вопросы, связанные с определенным по-нятием, методом, темой и т.д.), необходимое для уточнения уровня знаний; переход на более низкий уровень по иерар-хии вопросов (вопросы, в которых рассматриваются частные случаи исходного понятия); переход на более высокий уро-вень (вопросы, в которых исходное понятие является част-ным случаем более общего понятия); переход к вопросам другой темы, о других понятиях и т.п. Преимуществом тако-го интерактивного подхода является минимизация времени тестирования, поскольку оно может быть прервано в случае критичности ―уровня незнания‖; использование онтологиче-


ского представления учебного курса позволяет наиболее полно отображать содержимое курса в задаваемых вопросах.

Использование второго подхода для контроля знаний требует выполнения ряда предусловий: - разработки онтологии учебного курса с учетом предложен-

ных принципов; - разработки алгоритма тестирования, реализующего интел-

лектуальные функции, заключающиеся в принятии реше-ний о его прекращении или продолжении и базирующего-ся на использовании представления логической схемы кон-троля знаний ―И-ИЛИ‖- графовой структурой;

- классификации вопросов тестирования с указанием града-ции правильности ответов на вопросы различных типов;

- разработки композиционного метода оценки ответов. Предложенный структурно-онтологический подход к контролю знаний обладает несомненными преимуществами перед другими методами оценивания знаний учащихся. Полнота охвата предметной области, отображенная в множе-стве вопросов и ответов, и базирующаяся на онтологии предметной области, объективизирует процесс тестирова-ния. Оптимизация процесса контроля знаний происходит за счет структурирования информации и реализации процеду-ры прерывания тестирования, а также определения в режиме реального времени последовательности дальнейших вопро-сов в зависимости от предыдущих ответов. Недостатком та-кого подхода является значительная трудоемкость процессов построения онтологии и реализации метода оценивания знаний.

2.5. Контроль знаний с использованием онтологии учебного курса При разработке инструментария контроля знаний на ба-

зе онтологии предметной области рационально использовать два подхода: проблемно-ориентированный (целеориентиро-ванный) и ориентированный на доминирующее изучение моделей и методов (объектно-ориентированный). В основе каждого из них лежит схема изложения материала учебного


курса. Для первого подхода характерна такая последователь-ность:

1 2 1 2 1 2

1 2

, ,..., , ,... , ,...,

, ,..., ,n k l

m

P Z Z Z Mo Mo Mo Me Me Me

S S S (2.6)

где P − проблема, 1 2, ,..., nZ Z Z − соответствующие ей задачи,

1 2, ,... kMo Mo Mo − модели, 1 2, ,..., lMe Me Me − методы,

1 2, ,..., mS S S − средства решения указанных задач. Такой под-

ход имеет нисходящий характер. Во втором случае логиче-ская цепочка представления учебного материала будет та-кой:

1 2 1 2 1 2

1 2 1 2

, ,... , ,..., , ,...,

, ,..., , ,..., .k l n

q m

Mo Mo Mo Me Me Me Z Z Z

P P P S S S (2.7)

В этом случае в начале курса предлагается к изучению опре-деленная совокупность моделей и методов, далее рассматри-ваются задачи, которые решаются с использованием уже изу-ченных моделей и методов и которые сами являются состав-ляющими частями множества проблем. Заканчивается учеб-ный курс рассмотрением соответствующих инструменталь-ных средств. В дальнейшем изложении будем базироваться на представлении (2.6).

В качестве иллюстрации рассмотрим схему и алгоритм проведения контроля знаний для учебного курса ―Основы автоматизированного проектирования сложных объектов и систем‖. Главной проблемой, которой посвящено изложение материала курса, является повышение эффективности про-цесса проектирования путем использования человеко-машинных систем. Для ее решения используется несколько известных парадигм: модульное проектирование, в котором главное внимание уделено эффективному решению отдель-ных задач; объектно-ориентированное проектирование [2], во главу угла в котором поставлены объекты проектирования и отношения между ними; системное проектирование, ак-центированное на оптимизации самого процесса проектиро-вания [164]. В основе последней парадигмы лежит такое


определение. Системное проектирование – процесс получения проек-

та системы в базисе системных свойств, системных ресурсов и структур жизненного цикла.

На рис. 2.7 представлено фрагмент логической схемы курса, имеющего проблемно-ориентированное построение. Соответствующая структура имеет вид графа «И-ИЛИ». Особенностью такого графа является наличие большого ко-личества элементов с отношением дизъюнкции на нижних уровнях и конъюнкции− на верхних. Логическая схема курса соответствует последовательности изложения материала преподавателем. Ее графовая модель имеет иерархическую структуру, что дает основание для проведения контроля знаний по уровням и этапам (в ширину и в глубину). Уров-невый контроль позволяет определить уровень знаний обу-чаемого по отдельному учебному элементу, в роли которого выступает тема, задача, модель, метод, приложение, некото-рый атрибут и т.п. Этапный контроль предусматривает ана-лиз знаний различных элементов обучения, имеющих оди-наковую семантическую нагруженность (например, методы оптимизации – дискретной и непрерывной, приложения для анализа данных − Matlab и Mathcad). Контроль в глубину не-обходим для уточнения оценки знаний, в то время как кон-троль в ширину используется для предварительного оцени-вания и определения необходимости дальнейшего оценива-ния.

Стратегию проведения контроля знаний определяет преподаватель, однако в большинстве случаев рационально придерживаться такой последовательности действий: Шаг 1. Первый вопрос − выбирается случайным образом. Шаг 2. Анализ ответа. Если ответа нет, его оценка или сум-марная оценка является недостаточной для продолжения контроля знаний, то перейти на шаг 6. Если оценка доста-точно высока, то перейти на вопрос обязательно другого, случайно выбранного этапа, если нет − переход на вопрос этого же этапа, но низшего уровня. Шаг 3. Если выполнено условие остановки алгоритма, то пе-рейти на шаг 7.


Основы автоматизированного проектирования сложных объектов и систем

Проблема

Повышение эффективности процесса проектирования путем использования человеко–машинных систем

Атрибуты Задачи Модели Методы Средства

Системное проектирование

Модульное проектирование

ООП

Рис. 2.7. Фрагмент логической схемы задач курса

Средства

Системные свойства

Атрибуты

Атрибуты

Задачи Модели Методы Средства

Внешние

Эффективность

Атрибуты

Определение

Системные ресурсы Жизненный цикл


Внутренние


maxE Е=F(P, C, S)

Приложения

Методы оптимизации


Шаг 4. Если достигнут последний вопрос в логической схеме контроля знаний, то выполнить случайный переход на лю-бой вопрос, но другой ветки. Шаг 5. Переход на шаг 2. Шаг 6. По решению преподавателя (формализованному ал-горитмически) оценка является неудовлетворительной и осуществляется переход на шаг 7, либо необходимо еще один раз выбрать случайным образом вопрос и перейти на шаг 2. Шаг 7. Конец алгоритма. Вывод результатов. То, как формулировать вопрос, определяется, исходя из структуры онтологии, соответствующий фрагмент которой изображен на рис. 2.8. Так, например, установим соответ-ствие между системным атрибутом «Эффективность», при-веденным в логической схеме курса и соответствующим кон-цептом онтологии. Если на одном из шагов вышеприведен-ного алгоритма необходимо задать вопрос, связанный с эф-фективностью, то он может быть одним из таких: 1. Истинно ли утверждение: «Численным выражением эф-фективности является значение критерия эффективности»? Возможные ответы: «Да, Нет». В этом случае критерий эф-фективности является атрибутом понятия эффективности. 2. «Какие из перечисленных показателей включает в себя по-нятие эффективности?» Возможные ответы: «рентабель-ность, фондовооруженность, управляемость, энергоемкость, наблюдаемость». В этом случае возможные ответы находятся в отношении «включает в себя» с понятием эффективности. 3. «Дайте определение понятия «эффективность». Опреде-ление эффективности включает в себя такие тезисы: «эф-фективность- среднее значение качества системы; эффек-тивность − отображение функции построения системы; эф-фективность − определяющая характеристика процесса про-ектирования». Приведены ответы, которые находятся в от-ношении «часть» с понятием эффективности.


Рис. 2.8. Фрагмент онтологии

Основы автоматизированного проектирования сложных объектов и систем

Проблема

Определение

Описание

Состоит из …

Задача 1

Задача 2

Задача n

Включает Методологическая

база

Состоит из ...

Исходные данные

Ограничения

Критерии

Модели

Методы

Опреде-ление

Часть …

Включает …

Атрибуты …

Основные понятия

Понятие 1

Понятие 2

Понятие n

Включает

ООП

МП

СП


2.6. Элементы структуризации учебного материала

Проектирование систем контроля знаний необходимо осуществлять на базе системного подхода в категориях целе-полагания и целедостижения [163]. Атрибутами этого про-цесса являются: – определение системных свойств создаваемой системы, ос-

новным из которых является верифицированность процес-са контроля знаний, включающая в себя полноту представ-ления предметной области курса в последовательности во-просов;

– информационное единство представления вопросов, отве-тов, алгоритма проведения экспертизы (контроля знаний);

– комплексность и открытость, что указывает на признак за-вершенности тестовой последовательности и на возмож-ность внесения изменений и дополнений в соответствии с изменением структуры и содержания учебного курса;

– установление этапов жизненного цикла учебного курса, что особенно актуально для дисциплин, связанных с изучени-ем информационных технологий.

Формируя множество вопросов Q к учебному курсу,

необходимо строить зависимости W , учитывая при этом элементную базу отношений R . Таким образом, задача формирования DB главной составляющей имеет установле-ние отношений

1 1 2 2 3 3 4 41 2 1 1 1 1{ , ,..., } { ,..., , ,..., , ,..., , ,..., }W

n p mp p np p kp p lpQ q q q R r r r r r r r r

(2.8)

где jip

r − i е отношение j -го типа. Решение задачи (2.8)

означает, что контрольные вопросы должны достаточно пол-но отражать отношения, которые являются "скелетом" онто-логии. Один из первых и главных элементов реализации управ-ления процессом контроля знаний заключается в формиро-вании логической схемы контроля знаний, который инте-грирует знания всего учебного курса и, в то же время, явля-ется оптимизированным по критерию времени проведения


контроля знаний. Решение такой задачи предлагается вы-полнять с помощью онтологии предметной области, причем определено два подхода. Первый подход заключается в том, что осуществляется суперпозиция иерархической структуры онтологии и последовательности вопросов.

Его установки базируются на определении пересечений и объединений концептуальных множеств и применении "И-ИЛИ" схемы к принятию решения о включении вопроса в задаваемую последовательность при соответствующих начальных условий. Заметим, что при таком подходе пер-вичным является тестовое множество. Установка отображе-ния концептов онтологии на генеральную последователь-ность вопросов составляет основу другого подхода, при ко-тором главная роль отводится онтологии, а к множеству во-просов существует только требование полноты.

Авторами выполнены некоторые шаги в направлении формирования элементов методологии разработки АСОКЗ и проведения процессов обучения и контроля знаний. В част-ности, в роботе [157] в основу формирования базы данных АСОКЗ предложено положить классификацию вопросов в зависимости от типов ответов. Для каждого из определенных типов вопросов разработаны процедуры оценивания, исходя из отклонений ответов обучаемого лица от правильных отве-тов и метод формирования интегральной оценки [148]. Раз-работано метод структуризации предметной области, кото-рой, чаще всего, и есть учебные курсы, что позволило опти-мизировать процессы тестирования за счет самоорганизации множества вопросов, которые задаются обучаемому. Аспекты создания эффективных компьютерных систем профессио-нальной подготовки как одного из видов АСОКЗ рассмотре-но в [155], где определено, что такие системы должны удо-влетворять требованиям: минимизации времени обучения и контроля знаний; полноты контроля знаний; отсутствия или минимального присутствия информационной избыточности и информационной недостаточности, максимально возмож-ной объективизации оценивания. Структуру учебного курса обычно определяют по ин-дуктивной или дедуктивной схеме. Согласно первой из них


изложение учебного материала начинается с представления некоторых обобщенных моделей и методов. Затем рассмат-ривается конкретная задача, которая решается с их помо-щью. Возможно также знакомство с программно-алгоритмическими средствами предназначенными, в т.ч. и для решения подобных задач. Решение определенной сово-купности задач с помощью изученных методов и моделей формирует у обучаемого представление о предметной обла-сти курса.

Дедуктивная или проблемно-ориентированная структу-ра курса обладает рядом преимуществ, главным из которых является то, что учащийся априори анализирует проблем-ную ситуацию, изучает противоречия, альтернативы и про-цесс ее решения, в отличие от предыдущего подхода, на всех стадиях осуществляется при его активном участии. Будем определять проблему как расхождение между желаемым и реальным состоянием систем, объектов, процессов. Форму-лировка проблемы влечет определение цели, которая являет-ся воображаемым состоянием некоторого объекта, к которо-му субъект имеет намерение применить определенное воз-действие для перехода объекта из текущего состояния в вы-шеупомянутое воображаемое. Такой переход называется до-стижением цели.

Традиционно проблемно-ориентированный подход реа-лизуется по схеме: 1. Анализ проблемных ситуаций и формулировка проблемы. 2. Выдвижение гипотез и приобретение новых знаний. 3. Проверка гипотез. Отображение проблем на множество задач. 4. Поиск метода решения и, собственно, решение. 5. Верификация и метода, и результата. Осуществляя отображение классической схемы на учеб-ный процесс, получаем такие этапы (рис. 2.9): 1. В результате анализа предметной области курса осуществ-ляем формулировку проблем. 2. Для каждой из них формируем множество задач, решение которых свидетельствует о разрешении проблемы.


Рис. 2.9. Проблемно-ориентированная структура курса

Предметная область КУРС

Проблема № 1 Проблема № 2 Проблема № N …

Задача № 1 Задача № 2 Задача № K …

АР № 1 АР № 2 АР № L …

ПиН № 1 ПиН № 2 ПиН №J …

Элемент № 1 Элемент № 2 Элемент № M …

Модель № 1 Модель № 2 Модель № H …

Метод № 1 Метод № 2 Метод № G

Алгоритм № 1 Алгоритм № 2 Алгоритм № D

ПМО № 1 ПМО № 2 ПМО № U

…

…

…


3. Определяем аспекты решения (АР) каждой из задач, такие как требования к исходным данным, точность результата, скорость решения, тип результата и т.п. 4. Анализируем преимущества и недостатки (ПиН) различ-ных известных подходов к решению задач. Осуществляем ре-троспективный анализ (РА) задач-аналогов. 5. Рассматриваем модели и методы решения задач. 6. Представляем алгоритмизацию таких методов. 7. Изучаем известное программно-методическое обеспечение (ПМО) для решения поставленных задач рассмотренными методами, а также осуществляем разработку приложений. Пример использования такой схемы для курса ―Интел-лектуальный анализ данных‖ приведен на рис. 2.10. Пред-ставляется рациональным к ключевым понятиям онтологии такого учебного курса относить: ―Проблема‖, ‖Задача‖, ‖Ме-тод‖, ‖Модель‖, ‖Алгоритм‖, ‖Приложение‖. Представляя онтологию нисходящей, иерархической графоподобной структурой, заметим, что она имеет не древовидный харак-тер, одной из причин чего является наличие некоторых ат-рибутов у многих терминов.

Для оптимизации процесса тестирования, обеспечения его объективности и полноты предложено использовать три-единый механизм, включающий онтологию предметной об-ласти, логическую схему контроля знаний и интегрирован-ную систему оценивания [150]. При этом оставались невыяс-ненными элементы логической схемы контроля знаний в ча-сти формирования вопросов.

Предположим, что учебный курс содержит ряд блоков и его онтология уже сформирована (рис. 2.11). Рассмотрим определение сложной системы из [87]: "система - упорядо-ченное множество структурно взаимосвязанных и функцио-нально взаимосвязанных элементов. Введем следующие обо-

значения: 1A – "система", 21A – "множество", 31A – "упорядо-

ченное ", 32A – "элементы", 41A – "взаимосвязаны и функцио-

нально взаимосвязаны ". На рис. 2.11 буквами , , ....A B C обо-значено онтологические понятия, индексы указывают на уровень иерархии термов и их порядок.


Рис. 2.10. Фрагмент структуры курса ИАД

…

…

…юю

Кластеризация

Выполнение предобработки информации

Несмещенность

Временные ряды, авторегрессия

Комбинирован-ная зависимость

Искусственный интеллект ИАД

Прогнозирование Идентификация …

Анализ исходной информации и ее

формализация

Идентификация зависимости при

ограничениях

…

Точность Сходимость …

Линейная регрессия (МНК)

МГУА …

Периодическая зависимость

Полином …

Комбинаторный метод

Многорядный метод

Метод ПВТ

Реализация (критерий

несмещенности)

Реализация (критерий

регулярности)

Реализация (критерий балан-

са переменных

переменных)

Neuroshell Собственная разработка

Комбинирован-ное приложение


Введем отношение: 1 21-A A –"есть", 21 31-A A –

"какая", 21 32-A A –"состоит", 32 41-A A –"какие". Для

того чтобы контроль знаний был успешным, в нашем случае необходимо иметь положительные результаты знаний всех понятий.

Рассмотрим основные элементы логической схемы кон-троля знаний и процесс ее формирования. Вначале случай-ным образом выбирают уровень иерархии вопроса. Затем его формулируют, причем низший уровень соответствует пер-вому вопросу. Положительный ответ является пропуском к вопросам следующего порядка. В нашем случае их два. Далее переходят к следующему онтологическому понятию и про-цесс контроля продолжается. Логическая схема задач (ЛСЗ) разрабатывается препода-вателем и может быть построена аналогично предложенной в [147]. ЛСЗ имеет вид графа (рис. 2.12). На нижнем уровне находятся вопросы, которые имеют количественную интер-претацию, и ответы на них учитываются при определении дальнейшей структуры вопросов. При контроле вопросы нижнего уровня выбираются случайным образом. В графе есть вершины, которые имеют качественное представление результата, в общем случае, в виде предикатной функции и определяют переход к группе вопросов другой темы при наборе определенного количества баллов. Среди вершин

-

+

-

+

Рис. 2.11. Структурная схема исходной информации

1A

21A

32A 31A

41A

1B

21B

22B

23B

32B 31B 33B

1C

21C 22C

31C 32C

33C

41C


есть также такие, которые имеют логическое представление результата, формирующегося вследствие выполнения опре-деленных конъюнктивных или дизъюнктивных условий, и предусматривают прекращение теста как в случае отсутствия знаний у студента, так и в случае отличных знаний. Пра-вильное формирование структуры ЛСЗ и ее информацион-ное наполнение является первым фактором, который опре-деляет эффективное функционирование АСОКЗ.

Рис. 2.12. Логическая схема задач контроля знаний

Оценка

random

Рассмотрим процесс формирования логической схемы кон-троля с использованием индуктивного подхода. Его идея за-ключается в реализации схемы (рис. 2.13) <Модели>→<Методы>→<Задачи>→<Алгоритмы>→ <Сред-ства реализации>.


Рис. 2.13. Логическая схема учебного курса

Модели Методы

Если А, то В

База данных

1 2

1 2 3

( , ,..., )

( )

nY F X X X

Y A A A

1

1eM 1

2eM 1

3eM

2

3eM 2

2eM 2

1eM

3

1eM 3

2eM 3

3eM

1

1Z

2

1Z 2

2Z

1

2Z 2

3Z 2

4Z

Средства Алгоритмы


Чаще всего используются фреймовые, логические, про-дукционные модели данных и семантические сети. Значи-тельную часть составляют математические модели. Знание моделей обеспечивает необходимый базис для выбора и изу-чения методов, на множестве которых наиболее четко отра-жены процедуры агрегации и декомпозиции. Методы опре-деляются классическими задачами, при решении которых они применяются: методы оптимизации, синтеза, анализа, кластеризации, ассоциативного поиска, классификации и многие другие. Задачи, которые рассматриваются в учебных курсах, имеют прикладной характер и интегрируют в себе элементы многих классических проблем, а также нестан-дартные целевые функции и ограничения. С учетом этого факта осуществляется разработка алгоритмов и программно-алгоритмических средств.

Учитывая вышеприведенное изложение, одна из веток логической схемы задач могла бы быть такой:

На изображенной ветке показано, что множество моде-

лей 1 2 3{ , , }Mo Mo Mo составляет исходную информацию для

метода 1Me , причем и модель 2Mo , и метод имеют составля-

ющие элементы. Метод 1Me используется при решении двух

задач и с помощью алгоритма в двух информаци-

онно-аналитических системах и .

Рассмотрим элементы формирования логической схемы контроля знаний на примере темы «Раскрытие неопреде-ленностей в задачах системного анализа» из [87]. В теме рас-сматриваются три задачи:

− раскрытия неопределенности целей;

− раскрытия ситуационной неопределенности;

− раскрытия неопределенности в условиях взаимодей-

ствия или конфликта стратегий.

1 2 3{ , , }o o oM M M

1

02M

1eM

1 2

1 1e eM M

1 2{ , }Z Z

1

2Z

1{ }A

1S

2S

1Z 2Z 1A

1S 2S

1Z

2Z

3Z


При решении всех трех задач используются информаци-онные модели, представимые значениями в таблицах дан-ных. Кроме того, для каждой задачи существуют модели:

1 : ( ) max, 1,ix D

Mo f x i n

, где ( )if x − целевые функции, D − об-

ласть ограничений; 2 : ( , ) max, 1,Mo F x i n

, где − слу-

чайная величина – параметр, функция распределения кото-рой неизвестна; 3 1 2: ,Mo f f – целевые функции.

Задачу решают с помощью метода технических огра-

ничений 1

1Mo и метода Парето 2

1Mo ; – используя вероят-

ностные методы 1

1Mo и чебышевское приближение 2

1Mo ; –

с помощью метода Парето 1

3Mo и методов теории игр 2

3Mo .

Кроме того, известно, что − задачу определения ко-

эффициентов важности целей, которая решается методом

линейной свертки 21

1Mo , являющимся составной частью мето-

да 2

1Mo . Известно также, что , где 1

3Z – рас-

крытие неопределенности ситуации или несогласованности

действий, – раскрытие неопределенности взаимодействия

партнеров, – раскрытие неопределенности противодей-

ствия противников. Алгоритмы решения указанных задач соответствуют задачам и методам их решения и могут быть реализованы, например, в Matlab или Mathcad. Формирова-нием логической схемы контроля завершается первый этап формирования схемы контроля знаний.

РЕЗЮМЕ

Экспоненциальный рост информации в мире свидетель-ствует о необходимости разработки приложений, направлен-ных на ее систематизацию, классификацию и разработку ие-рархий [111]. Решение некоторых таких задач позволит сде-лать более эффективным процесс продуцирования знаний из данных, прогнозирования и, как следствие, более успеш-ным переход к обществу, базирующемуся на знаниях.

Во второй главе предложен новый поход к разработке ав-

1Z

2Z

3Z

11 1Z Z

1 2 33 3 3 3, , ,Z Z Z Z

23Z

33Z


томатизированных систем контроля знаний, основанный на онтологиях предметных областей, которыми в данном случае являются учебные курсы. Для процесса контроля знаний ха-рактерна значительная субъективность, уменьшить которую стремятся многие преподаватели и экзаменуемые. Необхо-димо отметить, что такие процессы являются разноаспект-ными, направления их исследования базируются на различ-ных концептуальных парадигмах. Автоматизация процесса оценивания в некоторой степени позволяет осуществлять объективизацию процесса оценивания. Вместе с тем, теряется полнота охвата учебного материала и разнообразие, выра-жаемое в семантической сущности задаваемых вопросов. Контроль знаний в большинстве случаев не оптимизирован по времени проведения и смысловой нагруженности вопро-сов.

Устранить указанные недостатки позволяет разрабаты-ваемая авторами концепция использования онтологий при реализации процессов контроля знаний. Идеи и принципы, лежащие в ее основе, указывают на композицию четырех со-ставляющих. Первая из них − логическая схема учебного курса, являющаяся базовым элементом при определении по-следовательности задаваемых вопросов. Вторая − онтология предметной области, предназначенная для формирования логической схемы контроля знаний и составляющих ее во-просов. Классификация вопросов, предусматривающая фор-мализацию вопросов в зависимости от типа ответов, образует третью составляющую. На последнем этапе используется процедура определения промежуточных и интегральной оценок экзаменуемого.

Интеграция указанных элементов позволяет структури-зовать учебный материал; выполнить достаточно полное его представление; прерывать контроль знаний в зависимости от условий, определяемых преподавателем; минимизировать информационную избыточность и время тестирования.

Процесс создания онтологий учебных курсов является достаточно трудоемкой процедурой, кроме этого существует еще проблема алгоритмизации процесса контроля знаний, поскольку существует много способов представления исход-


ной информации и подходов к проведению контроля зна-ний.

Дальнейшей его объективизации служит использование разнотемповых алгоритмов оценки ответов. Для их реализа-ции перспективной является разработка методов оценивания знаний студентов по нечеткой шкале, предусматривающей оценку на отрезке [0, 1], в отличие от традиционного тести-рования и оценок из множества {0, 1}. Тогда переходы по "уровням и этапам" онтологии осуществляются, исходя из суммарного количества предварительно набранных баллов. Необходимо также сосредоточиться на разработке общей схемы создания онтологии, поскольку перспективность раз-вития систем дистанционного образования на сегодня не вы-зывает сомнений. Предложенная технология актуальна для реализации практических приложений в различных отрас-лях. В частности, для создания экспертных систем, Internet-магазинов, информационно-поисковых и справочных си-стем.

Определены особенности формирования логической схемы контроля знаний на принципах инцидентности струк-туре онтологии. Разработаны базовые элементы проведения контроля знаний индуктивного и дедуктивного характера.

Предложенный индуктивный подход к формированию логической схемы контроля знаний позволит: − объективизировать процесс оценивания знаний за счет

минимизации влияния преподавателя или эксперта; − обеспечить полноту оценивания знаний вследствие при-

менения логической схемы контроля; − автоматизировать процедуру формирования множества

вопросов и определения последовательности их в тестах; − минимизировать время контроля, используя пошаговое

определение оценки. Формирование онтологии и логической схемы контроля

знаний позволяет структуризовать учебный материал, опре-делить темы и вопросы, представляющие трудности для обу-чаемых, а также разработать программную оболочку для унифицированного формирования систем контроля знаний по различным учебным курсам.

Глава 3. Класификация вопросов для контроля знаний 95

Глава 3 КЛАССИФИКАЦИЯ ВОПРОСОВ ДЛЯ КОНТРОЛЯ ЗНАНИЙ

3.1. Формализация типов вопросов, используемых при контроле знаний

Процедурами, направленными на оптимизацию кон-троля знаний, являются унификация оценки, обеспечение информационного и системного единства оценивания. Их реализация связана с формализацией типов вопросов, ком-позиционной процедурой их оценивания и критериями прерывания контроля.

Предположим, что общее количество вопросов, которые, в соответствии с онтологией, охватывают предметную об-ласть и составляют логическую схему, равно n . Все они раз-делены на k видов, определяемых типом ответа. Таким обра-зом, множество вопросов запишем так:

1 1 1 11 2 1 2 1 1( , ,..., ) ( , ,..., , ,..., , ,..., )

k k kn n n n n nQ Q Q Q Q Q Q Q Q Q Q

(3.1)

Вопросы первого типа формально представим таким об-разом:

1 , ({0,1}),1i iQ Q A (3.2)

где 1Q – подмножество вопросов первого типа, iQ – вопросы

первого типа, iA − множество возможных ответов на i -й во-

прос, 1 – количество ответов, которые необходимо выбрать из

множества значений iA , 11, .i n

Ко второму типу относятся следующие вопросы:

21 2, ( , ,..., ),1

ii i pQ Q A a a a , (3.3)

где 1 21, , ji n n a – возможные варианты ответов на вопросы

2-го типа, 1, ij p .


Третий тип вопросов определяется таким формализмом:

31 2, ( , ,..., ), ,i i p ii

Q Q A a a a d (3.4)

де 2 31, , ii n n d – возможное количество ответов, причем

2, ,i id const p что определяется a priori, или id – величина

переменная, 1, .i id p

Рассмотренные три первых типа вопросов имеют тесто-вый характер, который определяется тем, что варианты отве-тов известны. Другие типы вопросов характеризуются полной неопре-деленностью ответа. Формально четвертый тип вопросов можно представить следующим образом:

4 , ( ),1,(- , ) [ , ] ,i iQ Q A R a b (3.5)

де 3 41, i n n , ответ ( )iA R является числом, причем интер-

вал его варьирования [ , ]a b может быть задан или неизвестен.

Пятый тип вопросов определяется таким формализмом:

5 , (( , )),2,(- , ) [ , ] ,i iQ Q A c d a b (3.6)

где 4 51, , (( , ))ii n n A c d является интервалом, причем гра-

ницы интервала могут быть неизвестными или заданными. Очевидно, что ответы на такие вопросы содержат две состав-ляющие – начало ( )c и конец ( )d интервала.

Следующий тип вопросов является продолжением предыдущего в направлении учета субъективных предпо-чтений [120, 121, 127]. Формально его представим так:

6 , ( , , , , ),5 ,i iQ Q A m m h (3.7)

где 5 61, , ii n n A – ответ, который определяет трапецие-

видную функцию принадлежности с пятью параметрами. Заметим, что в качестве ответа могли бы быть и треугольная функция принадлежности, и гауссовская (2 параметра). Седьмой тип составляют вопросы «определяющего» ха-рактера:

71 2, ( , ,..., ),1 ,i i pi

Q Q A a a a (3.8)


где 6 71, , ii n n A – множество вариантов ответов, которые

являются словами или словосочетаниями с определенными синонимическими признаками. Восьмой тип отличается свободой формулировки и субъективизмом

8 , ,{1,2,..., } ,i i iQ Q A d (3.9)

где 7 81, , ii n n A – ответы, которые являются предложени-

ями, причем количество таких предложений может быть пе-ременной величиной для каждого обучаемого. Предложена формализация (3.1) – (3.9) вместе с онтоло-гией, логической схемой контроля знаний составляют основу объективной и полной проверки знаний предметной обла-сти. Завершающим этапом этого процесса является разра-ботка метода определения интегральной оценки и форми-рования критериев досрочного прерывания процесса кон-троля знаний в случае отличных знаний или полного незна-ния учебного материала. Предложенная классификация вопросов, на наш взгляд является полной. Отметим, что вопросов, имеющих тестовый характер, и которые активно используются в существующих АСОКЗ для эффективного контроля недостаточно, посколь-ку с их помощью невозможно полностью отразить существу-ющие проблемы и факты, которые изучаются в учебных кур-сах. Поэтому, как указано выше, рационально предлагать и использовать вопросы, ответами на которые могут быть чис-ла, интервалы, нечеткие множества, слова и предложения.

Вопрос каждого типа составляет определенную пробле-му при оценивании ответа на него, поскольку в совокупно-сти ответы на вопросы являются разнотипными. Если счи-тать, что вопросы всех типов имеют одинаковую важность при определении оценки, то разработка процедуры, позво-ляющей определять оценку в случае контроля знаний с по-мощью вопросов одного типа значительно упрощается. Не-обходимым условием эффективного оценивания является формализация задачи определения оценки для вопросов всех типов, а особенно для тех, которые имеют вербальный


характер ответов. Алгоритм ее решения базируется на опре-делении близости элементов "синонимического" ряда к пра-вильному ответу в виде слова. Заметим, что выполнять авто-матизированный анализ вопросов с ответами типа "предло-жение" на современном этапе интеллектуализации про-граммных средств невозможно, поэтому это единственный тип вопросов, анализ ответов на которые выполняется экс-пертом. Выполним формализацию типов вопросов и процес-са определения оценок в соответствии с (3.1).

3.2. Элементы логических схем контроля знаний

Первый тип вопросов имеет тестовый характер и чаще

всего применяется при проведении контроля знаний. Мно-жество ответов для таких вопросов состоит из двух элементов {"Да", "Нет"}. Поэтому процесс контроля знаний в этом слу-чае представляется схемой:

<Вопрос> → <Ответ> = <"Да", "Нет">. (3.10)

Без введения дополнительных атрибутов, таких как важ-ность вопроса, его влияние на дальнейший процесс контроля знаний и т.п., формально будем считать, что оценка опреде-ляется таким образом:

11, если ответ правильны ,

0, в противном случае,ij

йq

(3.11)

где i – номер студента, j – номер вопроса. Пример такого во-

проса: "Правда ли, что системное проектирование является процессом?" В (4.11) вместо 0 можно использовать (-1), что бу-дет означать наличие не только оценки за правильный ответ, но и штрафа за неправильный ответ. Если же учитывать до-полнительные атрибуты, то оценка (3.11) будет такой:

1

1

1

, если ответ правильный,

, впротивном случае,

j

ij

j

aq

b

(3.12)

где 1 10,1 , -1,0j ja b . Разобьем интервалы на промежутки


0 1[0,1] {0 ... 1}j j nj и - - -0 1[-1,0] { 1 ... 0}j j nj .

Тогда установленная экспертом принадлежность 1

1( , )j ij i ja

или 1 - -1( , )j kj k jb определяет дальнейший

характер контроля знаний как зависимости от правильности ответа.

Второй тип вопросов отличается от первого тем, что ко-личество ответов, в общем случае, больше двух. Среди отве-тов один правильный, остальные - неправильные, но "непра-вильность" имеет градацию. Процесс контроля знаний явля-ется отображением:

<Вопрос>→<Ответ>= 1 2, ,..., IV V V , (3.13)

где , 1, jV j I – варианты ответов, среди которых один являет-

ся правильным. Без учета дополнительных атрибутов запи-шем формальное представление:

2

2

1, если ответ правильный,

,если ответ неправильный,ij

jp

qb

(3.14)

причем показатель

2 2

1

(-1,1), 0,

j

I

jp jppp k

b b где jk – номер пра-

вильного ответа на j -й вопрос. Пример вопроса: "Какой цвет

является наиболее раздражительным для сетчатки глаза?" Очевидно, что для такой формализации существует града-ция и наименее неправильный ответ имеет оценку близкую к 1, а наиболее неправильный ответ – близкую к -1. Если же учитываются дополнительные атрибуты, то

2

2

'2

, если ответ правильный,

,если ответ неправильный,

j

ij

jp

aq

b

(3.15)

где ' 2

jpb – масштабируемое значение, полученное из 2

jpb умно-

жением на определенный коэффициент. Аналогично пер-вому типу вопросов, решение о дальнейшей структуре про-цесса контроля знаний принимается, исходя из того, на ка-


ком промежутке интервала (-1, 1] находится значение 2

jpq .

Отображение процесса контроля знаний, если вопросы имеют третий тип, будет таким:

<Вопрос>→<Ответ>= 1 2, ,..., IV V V , (3.16)

где jV – ответы, каждый из которых имеет балл правильно-

сти, 1, j I . В отличие от предыдущего типа, такие вопросы

предпо-лагают выбор нескольких вариантов ответа. Фор-мальное представление оценки является следующим:

3 3

1

Ij

ij jkk

q c

{обучаемый выбрал k -й ответ},

(3.17)

где jI – количество возможных ответов на j -й вопрос, 3

jkc –

показатель точности k -го ответа на j -й вопрос, 3

1

0I

j

jkk

c

,

{ }A − функция-индикатор, 1, если А правильно,

0, в противном случае.A

Пример вопроса: "Какие виды обеспечений являются атри-бутами системного проектирования?" Возможные варианты ответов: "Политическое, системное, информационное, мето-дическое, техническое, организационное". Заметим, что оценка ответов на вопросы третьего типа имеет накопитель-ный характер, причем выбор правильного ответа увеличива-ет оценку, неправильного – уменьшает. Определение даль-нейшего направления контроля осуществляется, исходя из

того, какому промежутку отрезка 3 3min max[ , ]j jc c

принадлежит значение 3

ijq , где 3 3 3min

1

{ 0},I j

j jk jkk

c c c

3 3 3max

1

{ 0}I j

j jk jkk

c c c

.

Четвертый тип вопросов уже не имеет тестового харак-тера как предыдущие три, в чем и заключается его основное отличие, поскольку те принципы и процедуры, которые предложены выше, не могут быть применены. Процесс кон-


троля знаний представим так:

<Вопрос>→<Ответ>=<Число>. (3.18)

Пример вопроса: "Какую высоту имеет самая высокая гора на Земле?" Для адекватной оценки ответа на такого типа вопрос эксперт должен установить определенные ограничения (предполагаем, что он знает точный ответ, хотя это условие является не обязательным, но тогда необходимо учитывать ретроспективную информацию определенного характера). В качестве ограничения на возможный ответ выступает интер-

вал 4 4( , )j ja b . Эксперт считает, что значение ответа обязатель-

но должно принадлежать этому интервалу. Формальное представление оценки для ответа на вопрос четвертого типа такое:

4 4

4 4 4

4 4 4, если ( , ),

1, в противном случае,

ij j

ij j j

ij j j

с bс a b

q b a

(3.19)

где 4

ijc – ответ i -го обучаемого. В зависимости от того, какому

промежутку интервала (-1, 1] принадлежит 4

ijq , принимается

решение о дальнейшей структуре процесса контроля зна-ний. Вопрос пятого типа от предыдущих вопросов отличают-ся некоторой свободой в определении ответов. Контроль знаний в этом случае осуществляется по схеме:

<Вопрос>→<Ответ>=<Интервал>. (3.20)

Пример вопроса: "В каком эшелоне высот осуществляется крейсерский полет самолета АН-140?" Очевидно, что оценка

ответа должна зависеть от интервала 5 5( , )j ja b , который явля-

ется правильным ответом и задается экспертом. Оценку отве-та на вопрос пятого типа осуществляем так:


5 5 5 5

5 5

5 5 5 5

5 5

5 5

5 5 5 5 5

5 5

5 5

5 5 5 5

5 5

5 5 5 5

1, если( , ) ( , ),

, если( , ) ( , ),

, если ,

, если ,

1, если( , ) ( , ) .

j j j j

j j

j j j j

j j

j j

ij j j j j

j j

j j

j j j j

j j

j j j j

c d a b

d cc d a b

b a

b cq a c b d

b a

d ac a d b

b a

c d a b

(3.21)

где 5 5( , )j jc d – интервал-ответ обучаемого. В случае учета до-

полнительных атрибутов, оценки масштабируются и резуль-тирующее значение направляет дальнейший контроль зна-ний. Оптимизировать оценки ответов на вопросы пятого ти-па можно путем введения порогового значения . Поскольку определенное совпадение правильного ответа и ответа обу-чаемого приводит к оценке из интервала (-1, 1] , то пороговое

значение 1

2 будет превращать 5 1

(0, )2

ijq в 5 (-1,0)ijq , а

5 1( ,1)2

ijq в 5 (0,1)ijq .

Вопросы, предполагающие субъективное суждение об определенной системе, объекте или процессе, довольно часто не имеют однозначного ответа, поскольку он является лишь результатом представлений, интуиции, определенного ана-лиза, осуществляемого экспертом [61]. Процесс контроля знаний осуществляется по схеме

<Вопрос>→<Ответ>=<Интервал>. (3.22)

Пример вопроса: "Каким, по Вашему мнению, должен быть средний уровень заработной платы в Украине в 2015 году?" Известно, что нечеткие интервалы описываются функциями


принадлежности, тип которых у обучаемого и ЛПР должны совпадать. Наиболее распространенными являются: треугольные функции принадлежности [76] с двумя пара-метрами ( , )a c , где a – значение, уверенность в получении

которого максимальна, а возможные значения сосредоточе-ны в интервале ( - , )a c a c ; трапециевидные функции при-

надлежности с пятью параметрами ( , , , , )m m h [76], где m –

нижнее модальное значение, m – верхнее модальное значе-ние, – левый коэффициент скошености, – правый коэф-

фициент скошенности, h – высота; гауссовской (колоколооб-разной) функции принадлежности с двумя параметрами { , }m , где m – математическое ожидание, – дисперсия.

Оценка ответа формально является следующей:

6 ( , ),ijq S E (3.23)

где – мера согласованности ответа обучаемого (S) и экс-

перта (E). Ее значение рассчитывается в зависимости от типа

функции принадлежности. Определенным образом упро-стим задачу и будем считать, что максимальная уверенность определяется единицей. Для треугольной функции принад-лежности возможные варианты изображены на рис. 3.1, где

1S – площадь под графиком функции принадлежности ЛПР,

2S – обучаемого. В первом варианте модальное значение от-

вета обучаемого 2( )ja и ответы ЛПР совпадают, но 1 2j jc c .

Тогда будем считать, что 26

1

j

ij

j

cq

c . Во втором случае 16

2

j

ij

j

cq

c .

Третий случай соответствует ситуации, когда 1 2j ja a . Тогда

6 3

1 2

ij

Sq

S S

, где 3S – площадь сечения. В четвертом случае

6 1 ijq . Заметим, что известные процедуры дефаззификации

и последующего сравнения результатов применять нельзя.


Рис. 3.1. Варианты размещений функций принадлежности обучаемого и ЛПР

1S 2S

2S 1S

1S 2S

1S 2S

Седьмой тип вопросов отличается от предыдущих тем, что необходимо оценивать ответы, которые не имеют число-вого представления. Процесс оценки в этом случае происхо-дит по такой схеме:

<Вопрос>→<Ответ>=<Слово (Словосочетание)>. (3.24)

Пример такого вопроса: "Как называется совокупность идей и принципов, позволяющих на единой мировоззренческой основе строить объективную картину мира? " Варианты от-ветов: "Концепция ", "Парадигма ", "Иллюзия", "Консенсус".

Эксперт, определяя такой вопрос, формирует область "содержательных синонимов", каждый из которых с опреде-ленной степенью достоверности может интерпретироваться как ответ. Ответы и оценки образуют множество:

7 7 71 1 2 2( ), ( ),..., ( )j j j j pj pjS a S a S a . (3.25)

Тогда оценка ответа на вопрос седьмого типа определяется так:

7 7

ij kjq a , (3.26)

если выбрано k -й вариант ответа. При оценивании ответов с влиянием дополнительных атрибутов нужно учитывать за-мечания к процедуре оценивания вопросов пятого типа. Наибольшую сложность для оценки представляют во-просы восьмого типа, которые определяют процесс контроля знаний по схеме:


<Вопрос>→<Ответ>=< (Предложения)>. (3.27)

Пример вопроса: "Дайте определение понятия "технология". Оценить с помощью автоматизированной системы ответ в виде предложения на современном уровне интеллектуализа-ции технических и программных средств невозможно. По-этому необходимо непосредственное участие ЛПР в процессе контроля знаний. Если полная объективность является необ-ходимым условием оценивания знаний, то тогда нужно избе-гать вопросов такого типа или выполнять редукцию их к другим типам.

3.3. Некоторые аспекты оценивания знаний

Разработка единой методологии оценки знаний в авто-матизированной системе базируется на классификации во-просов в зависимости от вариантов ответов. Как образец, можно использовать варианты вопросов с возможными отве-тами, предложенными в [157]. На взгляд автора, такая клас-сификация на сегодняшний день, является полной и даже несколько чрезмерной. Вопрос первого типа можно отнести ко второму, второго – к третьему, четвертого и пятого – к ше-стому типу. Но для удобства расчетов и сохранения структу-рированности схемы контроля знаний целесообразно эти во-просы рассматривать в отдельности. Главной проблемой на этом этапе является приведение оценок на контрольные во-просы к единой шкале. Очевидно, что ответы на вопросы ти-па "Да-Нет" оцениваются по {0, 1}-шкале. Оценки ответов на вопросы других типов также должны принадлежать отрезку [0; 1], при этом абсолютно правильный ответ имеет оценку "1", а неправильный – "0". Для вопросов второго типа "один из нескольких" за единственно правильный ответ оценка "1", за неправильные – "0". Рассмотрим вопрос 3-го типа "не-сколько из многих". Для правильного оценивания каждому правильному ответу предоставим балл так, чтобы сумма всех баллов равнялась единице. Каждый балл определяется, исхо-дя из правильности и важности ответа. Возможные ситуации и оценки приведены в табл. 3.1.


Таблица 3.1

Ситуация Балл

1. Одинаковое количество правильных и непра-вильных ответов независимо от бальности.

0

2. Все выбранные ответы имеют балл "0" (по умолчанию среди ответов есть хотя бы один не правильный).

0

3. Количество неправильных ответов превышает количество правильных.

0

4. Выбраны все ответы. 0

5. Количество tk правильных ответов (сумма бал-

лов ( 1 2 ...tt kS b b b ) превышает количество

nk неправильных.

L

1max( ... ).

nt i i kL S b b

Для того, чтобы адекватно оценить ответычисла, ЛПР должен задать средневероятное значение результата m и среднеквадратическое отклонение в случае симметрично-го распределения возможного результата, а также m , 1 и 2

, если распределение асимметрично. Тогда балл за ответ рас-считывается по следующим выражениям:

20

2

0

( )

21

( ) /0,99732

m x x m

m x

p e dx

, если 3 ,3p и 0p в

противном случае. Для асимметрического распределения

1

2

pp

p , причем при 0 1( 3 , )x m m

2

21

0

( )

21

x mm

x

p e dx

,

2

21

( )

22

3

x mm

m

p e dx

.

Если 0 2( , 3 )x m m , то

2

022

( )

21

x mx

m

p e dx

,

2

222

( )3

22

x mm

m

p e dx

, для


0 1( 3 , )x m m

2

21

0

( )

21

x mm

x

p e dx

,

2

21

( )

22

3

x mm

m

p e dx

.

Для 0 2( , 3 )x m m

2

022

( )

21

x mx

m

p e dx

,

2

222

( )3

22

x mm

m

p e dx

и 0p в противных случаях. При определении меры пра-

вильности ответа мы пользуемся правилом 3 , известным из теории вероятностей.

Следующим видом ответов является интервал. Если от-

ветом обучаемого будет интервал , , а преподаватель

считает, что в качестве правильного ответа нужно выбрать

,a b , то балл за ответ определяется следующим образом:

0p , если ( ) ( )a b ; 1p , если ( ) ( )a b ;

bp

b a

, если ( ) ( ) ( )a b b ;

ap

b a

, если

a b .

Наиболее сложным и дискуссионным в отношении оце-нивания является ответ в виде нечеткого интервала [78, 76].

Пусть обучаемый указывает на интервал ( , , , , )m m h как

верный, а ЛПР считает, что правильным является интервал

( , , , , )M M A B H . Сделаем рациональное упрощение 1h H ,

которое будет свидетельствовать о том, что уверенность в не-которых значениях и у обучаемого, и у ЛПР максимальная. Будем считать, что 0p , если

( ) ( )m M A M B m и 1 2p p p , где

1

([ , ] [ , ])

([ , ])

len m m M Mp

len M M ,

1 22

( ([ , ] [ , ])) ( ([ , ] [ , ])),

([ , ] [ , ])

k len пр m m M A M B k len пр m m M A M Bp

len M A M M M B

в противном случае, 1 2,k k – коэффициенты, которые отобра-

жают меры пересечения и скошенности графиков функций


принадлежности, (*)len – функция длины. Последняя фор-

мула является дискуссионной, но в первом приближении она дает непротиворечивые результаты и является открытой для внесения изменений и дополнений. Вопрос с ответами типа "слово" оценивается по синони-мическому признаку. Приведем пример такого типа вопроса: "Если объект имеет указанные свойства, то как он называет-ся?" Каждому словусинониму назначается балл оценка се-мантического соответствия правильному ответу. Единствен-ный абсолютно правильный ответ оценивается "1", непра-вильный "0". Правильный ответ имеет высший балл из ин-тервала (0;1) , если он является более синонимичным абсо-

лютно правильному ответу. Если вопрос предусматривает расширенный ответ в виде одного или нескольких предложений, то оценить его автома-тизированной системой на современном уровне развития технических и программных средств не представляется воз-можным. Он оценивается ЛПР эмпирически. Суммарный балл подсчитываем с использованием уже известных аддитивных или мультипликативных процедур, поскольку все оценки являются приведенными к [0;1]–

шкале, и в дальнейшем определяем оценку обучаемого. Та-ким образом, объединение двух формализованных схем: по-строения логической схемы задач и приведения к единой шкале оценивания всего разнообразия вариантов ответов да-ет возможность эффективного проектирования и создания интеллектуальных систем профессиональной подготовки.

3.4. Модели и методы определения компетентности экспертов на базе аксиомы несмещенности

Информационная неопределенность на начальных эта-

пах жизненного цикла сложных объектов и систем оказывает значительное влияние на дальнейшие процессы проектиро-вания и изготовления. Отсутствие полноценных исходных данных и ограничений, которые можно было бы получить на более поздних этапах, приводит к возрастанию роли экспер-


тов, имитационного моделирования и прогнозирования, до-определяющих априорную информацию и позволяющих перейти к реализации начальных этапов жизненного цикла. Учитывая высокую стоимость проектных и конструкторских работ и, как следствие, маловероятные уточнения результа-тов предварительных исследований, отметим, что определе-ние наиболее компетентных лиц, производящих оценки и определяющих стратегию исследований, является одной из важнейших задач.

На сегодняшний день известно достаточно много подхо-дов к исследованию компетентности экспертов, базирую-щихся, в значительной степени, на субъективных суждениях и использующих понятийный аппарат психологии и, в луч-шем случае, методы элементарной алгебры. Их недостатками является отсутствие системного подхода к формализации проблемы и классификации задач исследования, а также единого представления данных и результатов в автоматизи-рованных системах поддержки принятия решений. Далее будем проводить определение компетентности экспертов на базе аксиомы несмещенности [106], в которой утверждается, что мнение большинства компетентно и, как следствие, наиболее компетентным необходимо считать того эксперта, расхождение мнений которого с мнениями других экспертов минимально. Эксперты отвечают на многочисленные разнозначимые вопросы, которые классифицированы в соответствии с при-веденной выше схемой. Некоторые из них можно было бы включить в состав других, но учитывая, что вопросы с раз-ными вариантами ответов находятся на разных уровнях иерархии целевого дерева и имеют, соответственно, разные уровни значимости, целесообразно их разделять. Задача определения уровня компетентности экспертов имеет не-сколько вариантов постановки при следующих начальных условиях: – уровни компетентности экспертов априори не известны и

ЛПР не заданы; – начальные уровни компетентности задаются ЛПР; – начальные уровни компетентности есть средним арифме-


тическим оценки ЛПР и самооценки; – начальные уровни компетентности являются средними

арифметическими заключений других экспертов (отсут-ствие мнения – оценка 0,5);

– при определении компетентности оценки ЛПР равнознач-ны оценке группы экспертов;

– при определении компетентности учитывается оценка ЛПР как эксперта с заданным уровнем компетентности и т.д.

Постановка задачи. Пусть n - количество вопросов, m - ко-

личество экспертов, причем 8

1

,ii

n n

где in – количество во-

просов i -го типа, 1, 8,i в соответствии с вышеизложенной

классификацией. Необходимо определить уровни компе-

тентности экспертов , 1, .j j m

Модели и метод решения задачи. Сущность метода заклю-чается в определении матриц, содержащих значения рас-хождений выводов экспертов, их анализе и преобразованиях, в результате которых будут определены уровни компетент-ности экспертов. Заметим, что метод достаточно алгоритми-зирован, и без ограничения общности, в качестве базового варианта рассмотрим случай, когда уровни компетентности априорно неизвестны.

1. Методом экспертного опроса определим матрицу 1

1, 1( ) m n

ij i jL L

, где

1, если i-й эксперт дал положительный ответ на j-й вопрос,

0, в противном случае.ijl

Формируем последовательность треугольных матриц

11 1,

{ }

k m

k nT , где 1 , 1( )k k m

ij i jT t

и

при ,kij ik jkt l l i j (3.28)

при , где 1, если верно,

( )0, в противном случае.

BB

0 k

ijtji


Вычислим матрицу ' '

1 , 1

m

ij i jT t

,

1'

1

,n

ij ik jkk

t l l i j

, при

i j 0.k

ijt Нормируя матрицу , полу-

чим 1, 1

,m

iji j

T t

'

'

, 1

ij

ij m

ij

i ji j

tt

t

.

Если на этом этапе есть необходимость в предваритель-ном заключении о компетентности экспертов, то ее вычис-ляют по формуле

, 1 1 , 1

( ) ( ) ( ) ( )

,m m m

p ij iji j p i ji j i j

j p i p j p i p

t t

1, .p m

(3.29)

2. Лицо, принимающее решение, для каждого q -го во-

проса, 21,q m определяет количество ответов qk и присваи-

вает каждому ответу в вопросе определенный бал qla , где l –

номер ответа в q -м вопросе, 1

[0;1], 1qk

ql qll

a a

. (Пред-

полагается, что ответы на вопросы второго типа упорядоче-ны по возрастанию баллов, т.е. имеет место количественная или смысловая градация). Методом экспертного опроса

определяем матрицу ответов экспертов 2

1, 1( ) nm

ij i jA a , где

ija – бал i -го эксперта за ответ на j -й вопрос.


2

2 1,

k

k nT

, где 2 , 1( )k k m

ij i jT t

и

,kij ik jkt a a i j , (3.30)

при . Вычисляем матрицы ' ' '

2 , 1

1( ) ,mk k kij i j ij k

ij

T t tt

'

1T

0 k

ijtji


при i j и , если при i j 0kijt , то рационально по-

ложить , другие нулевые элементы оставим без

изменений. Вычисляем матрицу 2 , 1( ) m

ij i jT t , где

2

'

1

'n

kij ij

k

t t

при i j , при 0iji j t . Нормируя матрицу , получим

матрицу

2 , 1

'( ) ,

'

ijmij i j ij

iji j

tT t t

t

при i j .

Если по ответам на вопросы второго типа есть необходи-мость в предварительном заключении о компетентности экс-пертов, то ее вычисляют по последней формуле.

3. ЛПР для каждого p -го вопроса, 31, p n , определяет

количество ответов pk и присваивает каждому ответу опре-

деленный бал pla , где l – номер ответа в p -м вопросе,

0;1 ,pla 1

1pk

pl

l

a

. Справедливо предположение п. 2.

Методом экспертного опроса определяем матрицу

3 , 1 1( ) ,mn nm

ijq i j qL l где

и

1, если i-й эксперт на j-й вопрос дал q-й ответ,

0, в противном случае.ijql


33 1,

{ } ,k

k nT

где 3 , 1( )k k m

ir i rT t и

1

( ) ,pk

kir ikq rkq kq

q

t l l a i r

. (3.31)

Следующие шаги аналогичны с незначительными уточне-ниями шагам п. 2.

0kijt

0

'

'

min

2

ijt

k

ij

k

ijt

t

'

2T

max pp

nm k


4. Методом экспертного опроса формируем числовую

матрицу

4 n1, 1( ) ,m

ij i jL l где ijl ответ -го эксперта на -й во-

прос. Рассмотрим случаи, когда ЛПР назначает интервалы для ответов и не назначает. Пусть в первом случае возмож-ные интервалы для ответов [ ; ].j ja b Обозначим {1,2,..., }.zN z

Если [ , ],ij j jl a b то при .

Если и [ , ],qj j jl a b то

, .ij qjj

iq

j j

l lt i q

b a

(3.32)

Формула (3.32) имеет место и во втором случае, но в ней для

всех , . Дальнейшие рассужде-

ния аналогичны п. 2. 5. Методом экспертного опроса формируем матрицу

, где

5

5

левый конец интервала ответа i-го экспертана j-й вопрос,

где j=2k-1,k=1, ,

правый конец интервала ответа i-го экспертана j-й вопрос,

где j=2k,k=1, ,

ij

na

n


55 1,

{ } ,k

k nT

где 5 , 1( )k k m

ij i jT t и

1(min{ , } max{ , })

21 1

(min{ , } max{ , })( ),

kij il jl iq jq

il jl iq jq

il iq jl jq

t a a a a

a a a aa a a a

(3.33)

где , 52 1, 1, , ,q k k n i j при . Следую-

щие шаги аналогичны шагам п. 2. 6. Методом экспертного опроса определяем нечеткие ин-

тервалы [76] в виде пятерки элементов ( , , , , ),k k k k ki i i i im m h

i j

:4mn NjиNi 0jipt pi

ijl

4nj N iji

j la min iji

j lb max

52

1, 1

m n

ij i jA a

kl 2 0k

ijt ij


1, ,i m 61, .k n Для каждого эксперта и каждого вопроса вы-

числяем значение параметра

, (3.34)

уверенность в получении которого у эксперта максимальна. Заметим, что у каждого эксперта для всех вопросов существу-ет хотя бы одно значение, уверенность в получении которого максимальна (равна единице), противный случай мы не рас-сматриваем.

Вычисляем элементы матрицы 6 , 1( ) ,k k mij i jT t где

, 61, .k n (3.35)

Далее необходимо матрицы сложить и производить вы-

числения аналогично п. 2.

7. Методом экспертного опроса определим слова , ко-

торые являются ответом -го эксперта на -й вопрос, 1, ,i m 71, .k n Для каждого вопроса определим обобщенный ин-

дикатор

1

1

0, ,

, ,*( )

, ,

k

k

k

k kk

k

i Wk k

i Wk

i W

k k

i p Wp

W S

W W SW S

W W S

(3.36)

где kWS – множество синонимов, kp – количество синонимов

для слова-ответа на k -й вопрос,

7

1

1kp

j mj

k N . Далее про-

цесс определения матрицы 7T аналогичен определению мат-

рицы 2T .

8. Для восьмого типа вопросов предложить адекватную алгоритмическую процедуру оценки близости ответов экс-пертов не представляется возможным, поэтому матрица 8T

kik

i

k

ik

ik

i

k

ik

i

hmm

hw

42

, , 1, ,

max min

k ki jk

ij k ki i

i i

w wt i j m i j

w w

kT6

k

iW

i k


определяется ЛПР. Таким образом, складывая восемь матриц для определе-ния компетентности, получим результирующую матрицу ,T где ниже главной диагонали расположены оценки компе-тентности экспертов один другим. По известной процедуре (напр. п. 2) определяем компетентности экспертов. Если начальные уровни компетентности задаются ЛПР, то они находятся на главной диагонали матрицы T и равноправны с другими оценками экспертов. Уровни компетентности в таком случае вычисляются по формуле

, 1 1 , 1

( ) ( ) ( ) ( )

,m m m

p ij iji j p i ji j i j

j p i p j p i p

t t

1, .p n (3.37)

Если начальные уровни компетентности считать сред-ними арифметическими мнений других экспертов (отсут-ствие мнения – оценка 0,5), то необходимо сформировать

матрицу 00 0 , 1, ( ) m

ij i jT T t , где на главной диагонали находятся

нули, 0

ijt – оценка i -м экспертом j -го эксперта. Далее сум-

мируем элементы строк и делим на 1n . Полученные числа располагаем на главной диагонали T и используем (3.37). В случае равнозначности оценки ЛПР оценке группы экспер-тов, после определения уровня компетентностей по матрице T с нулевыми диагональными элементами, складываются и усредняются полученные оценки и оценки, данные ЛПР. Процедура определения компетентности, при которой учи-тывается оценка ЛПР как эксперта с заданным уровнем ком-петентности по отношению к группе экспертов, отличается от предыдущей тем, что при усреднении оценка ЛПР дом-ножается на весовой коэффициент.

Многочисленные публикации указывают на методы уточнения и повышения достоверности оценок компетент-ности экспертов: рекуррентные опросы, определение полез-ности, внесение противоречивых суждений и др. Показано [110], что, если эксперты не разбиваются на две враждующих группировки, которые считают друг друга совершенно не-компетентными, то итерационный процесс уточнения уров-


ней компетентности сходится. Реализация процедуры определения компетентности

экспертов эффективна только при использовании автомати-зированной системы, что связано с обработкой большого ко-личества матриц большого размера. Предложенный метод не претендует на абсолютность, как и все другие методы оцени-вания субъективных характеристик [41, 131], а предложенная классификация вариантов постановки задачи не является единственной.

Элементы предлагаемой технологии могут быть исполь-зованы для оценивания знаний студентов как составляющая часть модели управления высшим учебным заведениях [93].

Примеры. Вопросы первого типа. Задача заключается в определении компетентности экс-

пертов по знанию футбола. Пусть количество экспертов рав-но 4,m количество вопросов 5.n Вопросы такие: 1. Правда ли, что чемпионат мира по футболу в 1968 году со-

стоялся в Англии? 2. Продолжает ли карьеру игрока в киевском «Динамо» Мак-

сим Шацких? 3. Правда ли, что чемпионаты Европы по футболу прово-

дятся с 1960 года? 4. Правда ли, что Люксембург не имеет футбольной ко-

манды? 5. Правда ли, что в 2000 году чемпионом мира по футболу

стала сборная Бразилии? Шаги алгоритма определения компетентности будут такими:

С помощью экспертного опроса формируем табл. 3.2.

Таблица 3.2 Вопросы

L

эксперты 1 2 3 4 5

1 1 1 0 1 1 2 0 0 1 0 1 3 0 0 0 1 1 4 1 1 1 1 0


В таблице „1‖ соответствует положительному ответу на во-прос, „0‖ – отрицательному.


, 1,5jT j для каждого вопроса:

1

0,

0 1

1 0 0

T

2

0,

0 1

1 0 0

T

3

0,

1 0

0 1 0

T

4

0,

1 0

1 0 1

T

5

1.

1 1

0 0 0

T

В матрицах „1‖ соответствует случаю, когда ответы экспертов

совпадают, „0‖ – в противном случае. Все матрицы , 1,5jT j

складываем. Получим матрицу

Нормируем элементы матрицы ,T выполняя деление всех ее элементов на их сумму (в данном случае 12). Получим

1

12' .1 1

4 4

1 1 1

4 12 12

T

Находим значения компетентности экспертов (невзвешен-

ные): '

1

1 1 1 7

12 4 4 12 (складываются элементы матрицы ' ,T

1.

3 3

3 1 1

T


среди соответствующих индексов элементов которых есть 1,

т.е. ' '21 31, ,t t

'41t ); '

2

1 1 1 5;

12 4 12 12 '

3

1 1 1 7;

4 4 12 12 ( ' ' '

31 32 43, ,t t t ); '

4

1 1 1 5.

4 12 12 12

Нормируем значения компетентностей:

' ' ' ' '1 1 1 2 3 4

7 7 5 7 5 7/( ) /( ) ;

12 12 12 12 12 24

2 3 4

5 7 5; ; .

24 24 24

Компетентности экспертов будут такими:

1 2 3 4

7 5 7 5; ; ; .

24 24 24 24

Вопросы второго типа. Задача заключается в определении компетентности экс-

пертов по мобильной связи. Пусть количество экспертов 4,m количество вопросов 5.n Вместе с вопросами зада-

ются ответы с баллами, которые отвечают их правильности (правильность может быть неизвестной, тогда баллы задают-ся случайным образом, главное, чтобы баллы были разными, принадлежали отрезку [0,1] и в сумме составляли единицу).

Каждый эксперт на каждый вопрос указывает только один ответ из перечня возможных. Вопросы будут такими:

1. Когда появилась мобильная связь в Украине? (вариан-ты ответов: 1990-0,05; 1991-0,1; 1992-0,7; 1993-0,1; 1994-0,05).

2. Наиболее распространенными мобильными телефо-нами в Украине являются аппараты фирмы. (Nokia-0,3; Sony Ericcson-0,1; LG-0,1; Samsung-0,4; Philips-0,1).

3. Наибольшее мобильное покрытие в Украине обеспе-чивает оператор. (MTC-0,3; Kyivstar-0,4; Beeline-0,1; Life-0,1).

4. Наиболее приемлемые тарифы для разговоров с або-нентами других сетей имеет оператор. (MTC-0,2; Kyivstar-0,1; Life-0,3; Beeline-0,3; Telecom-0,1).

5. Стоимость мобильного Интернета является мини-мальной у такого оператора. (MTC-0,1; Kyivstar-0,2; Life-0,2; Beeline-0,2; Telecom-0,3).


Шаги алгоритма определения компетентности будут та-кими:

При помощи экспертного опроса формируем матрицу


L

эксперты 1 2 3 4 5

1 0,1 0,1 0,4 0,2 0,2 2 0,7 0,4 0,1 0,3 0,2 3 0,1 0,3 0,3 0,1 0,3 4 0,05 0,1 0,1 0,1 0,1

Формируем последовательность треугольных матриц ,jT

1,5j для каждого вопроса:

1

0,6,

0 0,6

0,05 0,65 0,05

T

2

0,3,

0,2 0,1

0 0,3 0,2

T

3

0,3,

0,1 0,2

0,3 0 0,2

T

4

0,1,

0,1 0,2

0,1 0,2 0

T

5

0.

0,1 0,1

0,1 0,1 0,2

T

Числа в матрицах являются абсолютной разностью меж-ду ответами экспертов. Так, в третьей матрице (ответов на 3-й вопрос) на позиции (3,2) находится число 0,2, которое являет-ся модулем разности ответов второго и третьего экспертов на третий вопрос (0,1-0,3).

Находим матрицы с обратными элементами

1

1,7,

40 1,7

40 1,5 40

T

2

3,3,

5 10

10 3,3 5

T

3

3,3,

10 5

3,3 10 5

T


4

10,

10 5

10 5 10

T

5

10.

10 10

10 10 5

T

Все матрицы , 1,5jT j складываем. Получим матрицу

'28,3

75 31,7

73,3 29,8 65

T

Нормируем значения матрицы ,T выполняя деление всех ее элементов на их сумму (в данном случае 303,1). Полу-чим

0,09.

0,25 0,1

0,24 0,1 0,21

HT

Находим значения компетентности экспертов (невзве-шенные): '

1 0,09 0,25 0,24 0,58, (складываются элементы

матрицы HT , среди соответствующих индексов которых есть

1, т.е. '21 ,t ' '

31 41,t t ); '2 0,09 0,1 0,1 0,29; '

3 0,25 0,1 0,21 0,56, ' ' '31 32 43( , , );t t t '

4 0,24 0,1 0,21 0,55.

Нормируя значения компетентностей, получим ' ' ' ' '

1 1 1 2 3 4/( ) 0,29; 2 3 40,15; 0,28; 0,28.

Следовательно, компетентности экспертов будут такими:

1 2 3 40,29; 0,15; 0,28; 0,28.

Вопросы третьего типа. Задача заключается в определении компетентности экс-

пертов в области общих знаний. Пусть количество экспертов 4,m количество вопросов 5.n Вместе с вопросами зада-

ются ответы с баллами, которые отвечают их правильности (правильность может быть неизвестной, тогда баллы задают-ся случайным образом, главное, чтобы баллы были разными,


принадлежали отрезку [0,1] и в сумме составляли единицу). Каждый эксперт на каждый вопрос может указать не-

сколько ответов с перечня возможных. Вопросы такие: 1. Какой цвет наиболее раздражает зрительные рецеп-

торы? (Варианты ответов: красный - 0,2; черный - 0,1; зеле-ный - 0,5; синий - 0,2).

2. Какое море наиболее подходит для жизни дельфинов? (Черное - 0,3; Баренцево - 0; Желтое - 0,1; Средиземное - 0,4; Карибское - 0,2).

3. Какая валюта, на взгляд мировых экспертов, имеет наилучший дизайн? (Гривна - 0,4; евро - 0,3; доллар США - 0,1; британский фунт - 0,1; болгарский лев - 0,1).

4. Какой, на взгляд студента, должна быть лекция пре-подавателя? (Профессиональной - 0,2; содержательной - 0,2; веселой - 0,3; с примерами - 0,2; с анекдотами - 0,1).

5. Кто из Нобелевских лауреатов внес наибольший вклад в науку? (Капица - 0,1; Бор - 0,2; Резерфорд - 0,2; Алферов - 0,1; Тесла - 0,4).

Шаги алгоритма определения компетентности будут та-кими. Поскольку существуют сложности с изображением трехмерной матрицы, ответы экспертов сведем в 5 двухмер-ных таблиц.

С использованием экспертного опроса формируем мат-рицу (табл. 3.4).

Вычисляем элементы последовательности треугольных

матриц , 1,5jT j для каждого вопроса:

1

0,1,

0,3 0,1

0,3 0,1 0,1

T

2

0,3,

0,1 0

0,4 0,3 0,1

T

3

0,4,

0,4 0,1

0,4 0,4 0

T

4

0,3,

0 0,1

0,3 0,5 0

T

5

0.

0,5 0

0,6 0 0,5

T



1E

От-веты

1 2 3 4 5 1 *(0,2) *(0,3) *(0,4) *(0,1) 2 *(0,1) *(0) *(0,3) 3 *(0,1) *(0,1) *(0,3) 4 *(0,2) *(0,1) 5 *(0,4)

Вопросы

2E

От-веты

1 2 3 4 5 1 *(0,3) 2 *(0,1) *(0) *(0,3) *(0,2) 3 *(0,5) *(0,1) *(0,3) *(0,2) 4 *(0,1) *(0,2) 5 *(0,1)

Вопросы

3E

Ответы

1 2 3 4 5 1 *(0,2) *(0,4) 2 *(0,1) *(0) *(0,2) 3 *(0,1) 4 *(0,1) *(0,1) 5 *(0,1) *(0,4)

Вопросы

4E

Ответы

1 2 3 4 5 1 *(0,3) * 2 *(0,1) *(0,3) 3 *(0,1) *(0,1) *(0,3) 4 *(0,2) *(0,4) *(0,2) *(0,1) 5 *(0,4)

Находим матрицы с обратными элементами

1

10,

3,3 10

3,3 10 10

T

2

3,3,

10 20

2,5 3,3 10

T

3

2,5,

2,5 10

2,5 2,5 20

T


4

3,3,

20 10

3,3 2 20

T

5

4.

2 4

1,7 4 2

T

Все матрицы jT , j = 1,5 складываем. Получим матрицу

'23,1

.37,8 54

13,3 21,8 62

T

Нормируем значения матрицы T , выполняя деление всех ее элементов на сумму (в данном случае 212). Получим

0,11.

0,18 0,25

0,06 0,1 0,29

HT

Находим значения компетентности экспертов (невзве-

шенные): '1 0,11 0,18 0,06 0,35, (складываются элементы


1, т.е.( ' ' '21 31 41, ,t t t ); '

2 0,11 0,25 0,1 0,46; '3 0,18 0,25 0,29 0,72;

( ' '31 32, ,t t '

43t ); '4 0,06 0,1 0,29 0,45.

Нормируя значения компетентностей, получим: ' ' ' ' '

1 1 1 2 3 4/( ) 0,18; 2 3 40,23; 0,36; 0,23.


1 2 3 40,18; 0,23; 0,36; 0,23.

Вопросы четвертого типа. Необходимо определить уровни компетентности экс-

пертов по географии. Задано четыре вопроса, ответами на которые будут числа. Предположим, что интервалы для воз-можных ответов не назначены.

1. Какое количество островов принадлежат к Новозе-ландскому архипелагу?


2. Сколько материков есть на Земле? 3. Назовите количество климатических зон на Земле. 4. Назовите количество морей на Земле. 5. Какая длина экватора Земли? Ответы экспертов сведены в табл. 3.5.

Таблица 3.5 Вопросы A

Эксперты

1 2 3 4 5 1 45 10 5 20 20000 2 30 6 7 50 15000 3 30 8 6 70 25000 4 20 5 8 60 25000

Формируем последовательность треугольных матриц для ка-

ждого вопроса. Элемент 1

21t рассчитывается как ((45-30)/(45-

20))= =15/25=0,6. Получим

15

0,6,

0,6 0

1 0,4 0,4

T

25

0,8,

0,4 0,4

1 0,2 0,6

T

35

0,66,

0,33 0,33

1 0,33 0,66

T

45

0,6,

1 0,4

0,8 0,2 0,2

T

55

0,2.

0,2 1

0,2 1 0

T

Вычисляем матрицы с обратными элементами

1

1,7,

1,7 5

1 2,5 2,5

T

2

1,25,

2,5 1,25

1 5 1,7

T

3

1,5,

3 3

1 3 1,5

T


4

1,7,

1 2,5

1,25 5 5

T

5

5.

5 1

5 1 10

T

Сумма матриц 5

kT будет такой:

11,15.

13,2 12,75

9,25 16,5 20,7

T

Нормированная матрица

0,13.

0,16 0,15

0,1 0,2 0,25

HT

Далее вычислим абсолютные значения уровней компе-тентности 1 0,39; 2 0,48; 3 0,56; 4 0,55. Нормируя

их, получим относительные уровни компетентности 1 0,2;

2 0,24; 3 0,29; 4 0,28.

Вопросы пятого типа. Необходимо определить уровни компетентности че-

тырех экспертов по финансам. Задано четыре вопроса, отве-ты на которые представимы в виде интервалов:

1. В каком интервале должен находиться дефицит госу-дарственного бюджета Украины?

2. В каком интервале должна находиться величина зара-ботной платы молодого специалиста по информационным технологиям?

3. В каких пределах должно находиться значение госу-дарственного долга Украины в процентах от ВВП?

4. Спрогнозируйте интервал колебаний курса доллара в 2013 году?

Ответы экспертов сведены в табл. 3.6.


Таблица 3.6 Возможные варианты ответов на вопросы

№ эксперта

Варианты ответов экспертов Вопросы

1 2 3 4 1 1-3 2,5-3 16-30 7,5-8,5 2 2-4 1,5-3 20-45 8-8,5 3 3-5 2-2,5 30-45 8,2-8,7 4 2-5 2,5-3,5 25-40 8-8,5


для каждого вопроса. Покажем, как рассчитать элемент 1

21t

матрицы 1T . Получим

121

1 1 1 1(min{3,4} max{1,2}) (min{3,4} - max{1,2}) ( ) .

2 3 - 1 4 - 2 2t

Далее вычисляем элементы и формируем матрицы 5

kT

по формуле (3.33):

15

0,5,

0 0,5

0,42 0,83 0,83

T

25

0,67,

0 0,67

0,75 0,42 0

T

35

0,56,

0 0,8

0,35 0,8 0,67

T

45

0,75.

0,45 0,75

0,75 1 0,6

T



2,42.

0,45 2,72

2,27 3,05 2,1

T

Находим абсолютные значения уровней ком-петентности 1 5,14; 2 8,19; 3 5,27; 4 7,42. Норми-

руя их, получим относительные уровни компетентности

1 0,2; 2 0,31; 3 0,2; 4 0,29.


Рассмотрим случай, когда ЛПР указывает варианты от-ветов. Необходимо определить уровни компетентности пяти экспертов. Задано пять вопросов, ответы на которые являют-ся интервалами:

1. В каких пределах будут осуществлены инвестиции в проект сложной технической системы (СТС) (грн)?

2. Через какое время будет выполнено проектирование СТС (месяцы)?

3. Какая прибыль ожидается в первый месяц функцио-нирования СТС (грн)?

4. Через какое время от начала функционирования СТС возникнет необходимость в модернизации (месяцы)?

5. Каким будет количество работающих на предприятии (чел.)?

Возможные варианты ответов и ответы экспертов сведе-ны в табл. 3.7

Таблица 3.7

Возможные варианты ответов на вопросы № от-вета

Вопросы

1 2 3 4 5

1 100000-200000 6-8 10000-30000 50-60 1000-1200 2 200000-300000 7-10 20000-30000 60-80 1100-1400 3 300000-400000 8-12 30000-40000 70-80 1300-1700 4 400000-600000 9-10 40000-50000 60-90 1400-1600 5 400000-700000 10-15 40000-60000 80-100 1500-1800

№ экс- перта

Варианты ответов экспертов

1 1 2 4 2 1 2 3 1 3 3 2 3 5 3 1 1 1 4 4 4 2 5 1 5 5 5 4 4 1

Далее вычисляем элементы и формируем матрицы 5

kT

по формуле (3.33):


15

0

0 0,

0 0 0

0 0 0 0,83

T

25

0,42

0 0,83,

0 0,67 0,63

0 0 0,45 0

T

35

0,75

0 0,

0 0 0

0 0 0 0,75

T

45

0

0 0,75,

0 0,83 0,67

0 0 0 0,42

T

55

0

0 0,75.

0 0,83 0,67

0 0 0 0,42

T



1,17

0 2,33.

0 2,33 1,97

0 0 0,45 2,87

T

Далее находим абсолютные значения уровней компе-тентности 1 1,17; 2 5,83; 3 4,75; 4 7,17; 5 3,32.

Нормируя их, получим относительные уровни компетентно-

сти 1 0,053; 2 0,26; 3 0,21; 4 0,32; 5 0,15. Если,

например, ЛПР считает, что уровень его компетентности от-носится к уровню компетентности группы экспертов как 2:3, и при этом он а рriori назначил экспертам уровни компе-

тентности 1 0,05;l 2 0,05;l 3 0,1;l 4 0,2;l 5 0,6,l то

окончательные уровни компетентности находим по формуле

5

1

(3 2 ) / (3 2 ).l l

i i ii i

i

Вопросы шестого типа. Необходимо определить уровни компетентности пяти

экспертов. Задано три вопроса, ответами на которые являют-ся нечеткие интервалы:

1. В каких пределах финансирование научных исследо-


ваний на промышленном предприятии (ПП) является опти-мальным?

2. Какие сроки будут оптимальными, по мнению экс-перта, для ввода ПП в эксплуатацию?

3. Какая прибыль ожидается в первый год функциони-рования ПП?

Ответы экспертов сведены в табл. 3.8.

Значения 6 , 1,3kw k получены по формуле (3.34). Далее

вычисляем элементы и формируем матрицы 6kT

16

0,19

0,80 1,

0,38 0,58 0, 42

0,58 0,8 0,23 0,19

T

26

0,28

1 0,72,

0,33 0,06 0,67

1 0,72 1 0,67

T

36

0, 47

0,3 0,13

0,67 0,2 0,33

0,36 0,8 0,67 1

T .

Получим матрицы, элементы которых являются обрат-

ными к элементам 6kT и просуммируем их

5,3 3,6 2,1 11

1,25 1 1 1,4 3,3 7,7 5,5 10,1 .

2,6 1,7 2,4 3 16,7 1,5 1,5 5 3 7,1 23,4 6,9

1,7 1,2 4,3 5,3 1 1,4 1 1,5 2,8 1,2 1,5 1 5,5 3,9 6,8 7 ,8

Находим абсолютные значения уровней компетентно-

сти 1 29,15; 2 48,4; 3 29,35; 4 45,2; 245 . Норми-

руя их, получим относительные уровни компетентности

1 0,16; 2 0,27; 3 0,17; 4 0,26; 5 0,14. Если, напри-

мер, ЛПР считает, что уровень его компетентности относится к уровню компетентности группы экспертов как 2:3, и при этом он a priori назначил экспертам уровни компетентности

1 0,05;l 2 0,05;l 3 0,1;l 4 0,2;l 5 0,6,l то, как и преды-


дущем случае, окончательные уровни компетентности вы-

числяются по формуле 5

1

(3 2 )

(3 2 )

l

i ii

l

i i

i

и они равны

1 0,11; 2 0,19; 3 0,14;

4 0,24; 5 0,32.

Таблица 3.8

Вопросы седьмого типа. Необходимо определить уровни компетентности четы-

рех экспертов. Задано четыре вопроса, ответами на которые являются слова-синонимы (или слова, близкие по значению):

1. Совокупность способов достижения цели называется (методологией – 0,6, технологией – 0,3, методикой – 0,1, мето-

№ экс

Номер вопроса 1

m m h 1iw

1 100 120 20 20 1 110 2 90 100 10 20 1 97,5 3 140 180 40 50 1 162,5 4 130 140 10 10 1 135 5 135 155 20 30 1 147,5 2

m m h 2iw

1 200 220 70 20 1 197,5 2 190 220 20 40 1 210 3 230 260 40 30 1 242,5 4 180 240 30 40 1 212,5 5 235 245 20 30 1 242,5 3 m m h 3

iw

1 70 75 10 15 1 73,75 2 60 70 25 25 1 65 3 50 80 20 30 1 67,5 4 55 65 10 15 1 61,25 5 75 80 5 15 1 80


дом - 0). 2. Назовите синоним к слову «альтруизм» (доброта – 0,1,

гуманность – 0,1, человечность – 0,1, бескорыстность – 0,5, щедрость – 0,2).

3. Научно-практическая методология исследования сложных систем называется (системным подходом - 0,2, си-стемным анализом - 0,8, системной технологией - 0, систем-ным бизнесом - 0).

4. Профессионализм руководителя определяется (зна-нием дела - 0,4, умением быстро реагировать на нестандарт-ные ситуации - 0,3, умением работать с персоналом - 0,1, по-рядочностью - 0,1, способностью к креативу - 0,1). С помощью экспертного опроса формируем табл. 3.9.

Таблица 3.9 Вопросы L

эксперты

1 2 3 4 1 (1) 0,6 (1) 0,1 (4) 0 (4) 0,1 2 (2) 0,3 (3) 0,1 (3) 0 (2) 0,3 3 (4) 0 (5) 0,2 (2) 0,8 (3) 0,1 4 (1) 0,6 (4) 0,5 (3) 0 (2) 0,3


, 1,5jT j для каждого вопроса:

1

0,3,

0,6 0,3

0 0,3 0,6

T

2

0,

0,1 0,1

0,4 0,4 0,3

T

3

0,

0,8 0,8

0 0 0,8

T

4

0,2.

0 0,2

0,2 0 0,2

T

Вычисляем матрицы с обратными элементами


1

3,3,

1,7 3,3

6,6 3,3 1,7

T

2

20,

10 10

2,5 2,5 3,3

T

3

2,5,

1,25 1,25

2,5 2,5 1,25

T

4

5.

10 5

5 10 5

T

Все матрицы , 1,5jT j складываем. Получим матрицу

'30,8

.22,95 19,55

16,6 18,3 11,25

T

Нормируем значения матрицы ,T выполняя деление всех ее элементов на сумму (в данном случае 119,45). Полу-чим

0,26.

0,19 0,16

0,14 0,15 0,09

HT

Находим значения компетентности экспертов (невзве-шенные):

'1 0,26 0,19 0,14 0,59, (складываются элементы


1, т. е. ' ' '21 31 41, ,t t t );

'2 0,26 0,16 0,15 0,57; '

3 0,19 0,16 0,09 0,44

( ' ' '31 32 43, ,t t t );

'4 0,14 0,15 0,09 0,38.

Нормируя значения компетентностей, получим: ' ' ' ' '

1 1 1 2 3 4/( ) 0,3; 2 3 40,29; 0,22; 0,19.



1 2 3 40,3; 0,29; 0,22; 0,19.

РЕЗЮМЕ

Предложено алгоритм определения компетентности экспертов на базе аксиомы несмещенности, согласно которой более компетентным считается тот эксперт, расхождение суждений которого с суждениями других экспертов мини-мально. Выполнена классификация вопросов анкеты для ее автоматизированной обработки и создания модели для определения меры близости ответов экспертов.

Реализация процедуры определения компетентности экспертов является эффективной только при ис-пользовании автоматизированной системы, что связано с об-работкой значительного количества матриц большого раз-мера. Предложенный метод не претендует на абсолютность как и все другие методы оценки субъективных характери-стик [10, 131], а предложенная классификация вариантов по-становки задачи является далеко не полной.


Глава 4 ОБЪЕКТИВИЗАЦИЯ И ОПТИМИЗАЦИЯ КОНТРОЛЯ ЗНАНИЙ

4.1. Необходимые условия построения эффективных

интеллектуальных систем профессиональной подготовки Традиционные экспертные системы базируются на реа-

лизации логических выводов "если 1A , то 1B или если 2A , то

2B " и т.д. Такие схемы, чаще всего, имеют некоторую ин-

формационную избыточность, связанную с семантическими или логическими связями, которые существуют между пред-условиями iA и заключениями iB . Кроме того, составляющие

элементы правил могут иметь иерархическую структуру и поэтому отпадает необходимость анализировать условия нижнего уровня, если ответ на предусловия высшего уровня является негативным.

Любая АСОКЗ является эффективной лишь тогда, когда она способная адекватно реагировать на действия конкрет-ного обучаемого, отвечающего на вопрос. Эта реакция долж-на предусматривать самоорганизацию как структуры логи-ческой схемы задач, так и наполнения информационной ба-зы. Синергетический эффект, который будет достигнут в результате реализации таких процедур, обеспечит опти-мальную работу обучаемого и преподавателя в процессе оценивания знаний. Вместе с тем, необходимо заметить, что необходимым условием построения эффективных АСОКЗ является компо-зиция знаний экспертов в трех предметных областях: педаго-гике, компьютерных науках и теории принятия решений. Сегодня объединение знаний всех трех направлений как ат-рибут одного специалиста является довольно редким. И именно поэтому "канонических" систем АСОКЗ в ближай-шем будущем не ожидается, что не является причиной пре-кращения работ по созданию новых и использованию суще-ствующих АСОКЗ. Мы движемся, к сожалению, медленно, в

Глава 4. Объективизация и оптимизация контроля знаний 135

направлении создания информационного общества на пер-вом этапе и к "обществу без границ" - на втором, что будет ускорять развитие дистанционного образования и использо-вание автоматизированных систем контроля знаний как в высшей, так и в средней школе.

Существующие автоматизированные системы, использу-емые при обучении в школах, университетах и в системе профессионального образования, а также при оценивании знаний преимущественно ориентированы на задания тесто-вого характера. Ответы на задания такого типа имеют тип „Да-Нет‖, иногда необходимо выбрать один правильный от-вет из нескольких предложенных. Очевидно, что задания та-ких типов не исчерпывают всего многообразия вопросов и задач, которые могут быть заданы лицу, знания которого оценивают, при устной или письменной форме контроля. Пытаясь приблизить компьютерное обучение и контроль знаний к другим формам обучения и контроля знаний, в [157] предложено использовать вопросы разных типов, в за-висимости от ответов. Конечно, при таком разнообразии за-даний обязательно возникает проблема формализации и приведения оценок ответов к одной шкале, что, за исключе-нием вопросов последнего типа, и сделано в [157]. К приве-денной классификации вопросов необходимо добавить еще и такие, ответами на которые является указание правильной последовательности (объектов, процессов, действий и т.п). Заметим, что такая классификация вопросов является доста-точно полной и вопросы других возможных типов могут быть сведены к уже предложенным.

Вышеприведенная композиция вопросов имеет все при-знаки слабоструктурированности, поскольку имеет как ко-личественные, так и качественные составляющие [87]. Для ее анализа необходимо использовать технологии искусственно-го интеллекта [6], доминирующими из которых в АСОКЗ яв-ляются продукционные правила [182] и элементы теории не-четких множеств [3, 9]. Отметим, что в своей диссертацион-ной работе Д.А. Шаров предложил модели для оценки во-просов открытого типа (т.е. те, ответы на которые являются содержательными и вводятся с клавиатуры) на основе сино-


нимической близости ответов [178]. Напомним, что исполь-зование синонимов для оценки ответов было предложено одним из авторов настоящей монографии ранее [148, 157]. Продолжая обсуждение аспектов реализации АСОКЗ необходимо обратить внимание на интеграцию подсистем обучения и контроля знаний, их взаимосвязь и взаимозави-симость. В большинстве современных систем эти подсистемы функционируют отдельно и независимо одна от другой. Та-кая независимость приводит к неэффективному контролю знаний, увеличению времени на его проведение. В то же время наличие взаимосвязи между подсистемами контроля и обучения позволило бы автоматически формировать зада-ния, проводить обучение по результатам контроля знаний, контроль знаний по окончанию обучения и определять адаптивную стратегию обучения, что является одним из ас-пектов создания эффективных ИСПП. Эффективной будем называть такую ИСПП, в кото-рой обучение и контроль знаний проходят за минимально возможное время ( )T , причем обеспечивается их полнота ( )C

, а также отсутствие или минимальное присутствие инфор-мационной избыточности ( )vL или недостаточности ( )uL и

максимально возможная объективизация полученных ре-зультатов ( )bO .

Известно, что численным выражением эффективности является критерий эффективности K . Решение задачи поис-ка максимального значения критерия эффективности связа-но с формализацией и оптимизацией указанных выше поня-тий: полноты, информационных избыточности и недоста-точности, объективизации результатов. Предваряя формали-зацию, отметим, что традиционными в обучении являются два подхода. В первом из них излагается проблема, далее определяются задачи, решение которых приводит к реше-нию проблемы. На следующих этапах формируются модели и определяются методы решения задач. Заканчивается обу-чение изучением инструментальных средств, моделировани-ем и анализом полученных результатов. Такой подход к обу-чению называется проблемно-ориентированным.


Для второго подхода (восходящего) характерно изучение задач, моделей, методов из определенной проблемной обла-сти. Далее показываются задачи, которые могут быть решены с использованием изученных методов, а также соответству-ющий инструментарий. Приводят список проблем, для ре-шения которых могут применяться такие модели, методы и средства и, возможно, в качестве примера приводится реше-ние одной из таких проблем. Заметим, что в современных учебных курсах присутствие элементов этих двух подходов возможно в завуалированной форме. Предположим, что имеет место нисходящий подход к изучению определенного учебного курса (например, основ некоторой теории). Известно, что примерная структура из-ложения учебного материала в этом случае будет такой: <основные неопределяемые понятия>→<аксиомы теории> →<определения>→<леммы, теоремы>→<следствия>→ <приложения>→<экспериментальная верификация, приме-ры>. Подробное представление такой схемы имеет графопо-добную структуру. Каждый отдельный факт (узел графа) назовем информационной единицей графа. Количество всех информационных единиц составляет информационную мощность фактов графа rP . Заметим, что ребра графа пред-

ставляют отношения между вершинами графа (включения, использования и т.п.). Ребра графа вместе с их информаци-онной нагруженностью определяют информационную

мощность структуры графа 1

l

S i ii

P p w

, где ip – ребра графа,

iw – их информационная нагруженность. Важным парамет-

ром является интерпретируемость фактов и отношений между ними. Отображая ее на граф, получим интерпретаци-онную мощность графа как функцию от информационной мощности фактов и структуры графа

( , )h r SP f P P . (4.1)

Тогда полнота изучения курса определяется показателем

( )/max( ), 1,i i i i i i ir S h r S hP P P P P P P i n , (4.2)


где i – номер обучаемого. Желаемое значение iP должно быть близким к единице, но ЛПР может устанавливать вели-чину отклонения такую, что

max( )i i i ir S hP P P P . (4.3)

Проектируя процесс обучения и контроля знаний, пред-полагаем графоподобное представление учебного материала и такое же представление множества вопросов. Устранение информационной недостаточности – процедура, предпола-гающая выполнение некоторой обязательной последова-тельности заданий. Так, например, в базе знаний могут со-держаться вопросы 1Q ={В каких задачах необходимо решать

квадратные уравнения?} и 2Q ={Как решается квадратное

уравнение?}. Очевидно, что области значений ответов на эти вопросы различны и вопросы должны находиться на одном уровне иерархии. Переход на следующий уровень зависит от ответов на оба эти вопросы, что является одним из способов устранения информационной недостаточности. Формально считаем, что коэффициент, указывающий на уровень взаи-мозависимости вопросов, 1 2( , ) 0q qk k Q Q и он указывает на

непересекаемость областей значений возможных ответов на

1Q и 2Q Еще один способ – отражение в базе знаний вопро-

сов, в которых присутствуют все факты, отношения между фактами и их интерпретация.

Информационная избыточность возникает вследствие неправильной реализации структуры процесса контроля знаний, особенно для тех вопросов, которые имеют 0.qk

Рассмотрим два вопроса: 3Q ={Приведите формулу для вы-

числения дискриминанта квадратного уравнения} и 4Q

={Опишите метод решения квадратного уравнения}. Оче-видно, что 3Q и 4Q не являются вопросами одного уровня

иерархии. Обозначим

1, если обучаемый дал правильный ответ на вопрос Q,( )

0, в противном случае.A Q (4.4)

Тогда в процессе контроля знаний возможны ситуации,


приведенные в табл. 4.1. В ней также приведены значения меры уверенности в выполнении того или иного продукци-онного правила и указано на необходимость перехода от од-ного вопроса к другому. Очевидно, что только в первых и по-следних двух случаях может быть осуществлен переход от одного уровня иерархии ко второму, причем эти переходы не равноценны. В первом случае имеем восходящий переход к следующему уровню иерархии и продолжению контроля знаний, во втором – переходим на нижний уровень с целью уточнения знаний и выполняем соответствующие записи в базе знаний, которую далее используем для составления учебного плана. Информационную избыточность будем считать преодоленной, если в случаях 3 6R R не осуществ-

ляются переходы 3 4Q Q и 4 3Q Q , а принимается необхо-

димое решение. Таблица 4.1

Возможные варианты ответов на вопросы ID пра-вила

Продукционное пра-вило

Мера уве-ренности

Переход

1R Если 3( )A Q , то 4( )A Q 0,7 3 4Q Q

2R Если 3( )A Q , то 4( )A Q 0,3 3 4Q Q

3R Если 3( )A Q , то 4( )A Q 0 Нет




7R Если 4( )A Q , то 3( )A Q 0,3 4 3Q Q

8R Если 4( )A Q , то 3( )A Q 0,7 4 3Q Q

Еще один аспект создания эффективной ИСПП – это объективизация результатов контроля знаний. Осуществить ее возможно за счет автоматизированной обработки ответов, их приведения к одной шкале и получения интегрального результата. В [157] приведены модели оценок разных типов вопросов, а в [148] предложена формула для расчета инте-грального показателя.


4.2. Восходящая и нисходящая схемы контроля знаний. Эффективность и адаптивность

Эффективная ИСПП, имея вышеизложенные атрибуты,

должна быть еще и адаптивной системой. В ней необходимо предусмотреть процедуры досрочного прекращения кон-троля знаний в случае неполучения правильного ответа на один или несколько ключевых вопросов, а также процедуры предложения более «трудных» вопросов по мере получения правильных ответов. Заметим, что важной задачей является формализация соотношений между уровнем сложности во-просов, уровнем их комплексности, принадлежности к раз-ным темам и уровнями иерархии, на которых они находятся. На нижнем уровне графа вопросов рационально размещать простые вопросы о свойствах объектах и процессов. На верх-них уровнях должны быть обобщающие вопросы, получение ответов на которые предусматривает не только интегральные знания, но и умение их применить к решению новых задач. Граф вопросов содержит три макроуровни: – творческий, предполагающий знание теоретического мате-

риала и умение решения новых задач; – воспроизведения, на котором находятся вопросы на знание

теории и воспроизведение процесса решения задач; – декларативный, содержащий вопросы на знание основных

теоретических положений учебного курса. Каждый из уровней может содержать несколько под-

уровней. Кроме горизонтальной структуры в графе вопросов присутствует и вертикальное разделение, с помощью которо-го чаще всего выделяются темы учебного курса.

Обсуждая далее методологические аспекты построения эффективных ИСПП, и, в частности, реализацию принципа адаптивности, отметим следующие доминантные положения (аксиомы): – адаптивные технологии позволяют реализовать учащемуся

индивидуальную траекторию обучения; – нет смысла предлагать легкие задания подготовленному

учащемуся в излишнем количестве, поскольку они снижа-ют мотивацию к учебе;


– трудные задания, симметрично, нерационально предлагать «слабым» учащимся по той же причине.

Известны три варианта адаптивного тестирования [35, 41]:

– всем учащимся в начале тестирования даются задания средней трудности и затем, в зависимости от ответов, каж-дому определяется задание сложнее или легче;

– контроль знаний начинается с любого уровня сложности заданий и далее итерационно приближается к реальному уровню сложности, соответствующему уровню знаний;

– существует база знаний, с вопросами, распределенными по уровням сложности. При правильном ответе следующее за-дание выбирается из группы более сложных заданий, при неправильном – из более «легких».

Датский математик Г. Раш ввел меру «логит» для сопо-ставления сложности заданий и уровня знаний [20, 21, 30], которая легла в основу теории адаптивного контроля зна-ний. Главная идея заключалась в том, что при правильном ответе следующим был более сложный вопрос, при непра-вильном – менее сложный. Анализируя вышеизложенные аксиомы и варианты, за-метим, что они не всегда справедливы, если имеет место ин-теграция систем обучения и контроля. Рассмотрим некото-рую формальную схему, использование которой позволит учесть их недостатки и реализовать адаптивность как обуче-ния, так и контроля. Пусть ( , , , , , )kQ i j k m l – вопрос, имеющий

i -й уровень сложности, находящийся на j -м уровне графа

вопросов (логической схемы), относящийся к k -й теме ( km -й

ветке) и имеющий показатель интегральности l (число l указывает на количество тем, знание которых необходимо для правильного ответа на вопрос), – интегрирующий по-казатель, в котором учтены неуказанные выше факторы, до-пускающие, в свою очередь, декомпозицию. Пусть количество уровней сложности вопросов равно I , количество уровней графа – J , количество тем учебного кур-

са – K , количество подтем – kM , максимальный показатель

интегральности, в общем случае, совпадает с количеством


тем и равен L . Такие характеристики имеют свои приорите-ты. Наиболее приоритетной является интегральность вопро-са, далее – его принадлежность теме, подтеме. Наименьший приоритет имеют сложность и уровень иерархии, на котором находится вопрос. Учитывая, что ответы на вопросы оцени-ваются по разным алгоритмам, будем считать, что на вопрос получен правильный ответ, если оценка ответа min , где

min – минимально достаточное значение оценки.

Выполняя ориентацию структуры процесса обучения на конечного пользователя (обучаемого) на первом этапе необ-ходимо выполнить предварительный контроль знаний. Предложим две схемы такого контроля: восходящую и нис-ходящую. Восходящая схема реализуется посредством сле-дующей последовательности шагов (алгоритма): Шаг 1. Пусть 1, 0, 0, 0ki k j m l U V (далее будет

задан вопрос низшего уровня иерархии, минимальной слож-ности и интегральности, принадлежащий к первой ветке первой темы). Шаг 2. Задать вопрос ( , , , , , )kQ i j k m l , где определяется

дополнительно, 0kV (суммарная негативная оценка вопро-

сов по k -й теме). Шаг 3. Если ( ( , , , , , )) 1kT Q i j k m l , то 1U U (количество

вопросов, на которые получены правильные ответы), ( ( , , , , , ))kQ i j k m l (формируемая оценка, в которой

учитывается и сложность вопроса) ( , , ), ( , , )i i g i U j j h j U

(индексы следующего вопроса, к которому будет осуществ-лен переход с учетом предыдущих результатов).

Шаг 3.1. Если maxU U или max , то перейти на шаг 5.

Шаг 3.2. Если i I и j J , то перейти на шаг 3.

Шаг 3.3. Если i I или j J , то 1k km m .

Шаг 3.4. Если k km M , то 1, 1i j и перейти на шаг 3.

Шаг 3.5. Если k km M , то 1k k .

Шаг 3.6. Если k K , то 1, 1, 1ki j m и перейти на шаг 3.

Шаг 3.7. Если k K , то перейти на шаг 5.


Шаг 4. Если ( ( , , , , , )) 0kT Q i j k m l , то

1, ( ( , , , , , )), ( , , )k k k k k km m Q i j k m l V V i j m ,

где ( , , )ki j m – негативная оценка ответа на вопрос, в которой

учтено сложность вопроса, уровень его иерархии и ветку те-мы, к которой принадлежит вопрос.

Шаг 4.1. Если k km M и maxk kV V , то 1, 1i j и перейти

на шаг 3. Шаг 4.2. Если k km M и maxk kV V , то 1, 1, 1,i j k k

0kV и перейти на шаг 3.

Шаг 4.3. Если k km M , то 1, k kk k V V V .

Шаг 4.4. Если maxV V , то перейти на шаг 5.

Шаг 4.5. Если k K , то 1, 1, 1ki j m и перейти на шаг 3.

Шаг 4.6. Если k K , то перейти на шаг 5. Шаг 5. Определение результатов контроля знаний в зависи-мости от значений , ,V U и составление плана обучения.

Нисходящий алгоритм содержит такие шаги:

Шаг 1. Пусть max0, 0, 1, 0, , 0, 0, 0kk ki j k m l l V V

(нулевые значения указывают на неопределенность или иг-норирование соответствующих переменных). Шаг 2. Задать вопрос ( , , , , , )kQ i j k m l (вопрос имеет инте-

гральный характер). Шаг 3. Если ( ( , , , , , )) 1kT Q i j k m l , то

( ( , , , , , )),kQ i j k m l k k l .

Шаг 3.1. Если max , то переход на шаг 8.

Шаг 3.2. Если k K , то перейти на шаг 8, иначе – на шаг 2. Шаг 4. Если ( ( , , , , , )) 0kT Q i j k m l , то

, , 1, 1, 0, ( , )ki I j J k m l V V k l .

Шаг 5. Задать вопрос ( , , , , , )kQ i j k m l (вопрос неинтеграль-

ного характера). Шаг 6. Если ( ( , , , , , )) 1kT Q i j k m l то

1, ( ( , , , , , ))k k km m Q i j k m l .

Шаг 6.1. Если max , то перейти на шаг 8.


Шаг 6.2. Если k km M , то перейти на шаг 5.

Шаг 6.3. Если k km M , то 1k k

Шаг 6.4. Если k K , то перейти на шаг 5, иначе – на шаг 8. Шаг 7. Если ( ( , , , , , )) 0kT Q i j k m l , то

( , , ), ( , , ), ( , , )k k ki i g i U j j h i U V V i j m .

Шаг 7.1. Если 1i или 1j , то 1k km m .

Шаг 7.2. Если k km M , то перейти на шаг 6.

Шаг 7.3. Если k km M , то 1k k .

Шаг 7.4. Если k K , то kV V V и перейти на шаг 2.

Шаг 8. Определение результатов контроля знаний в зависи-мости от значений ,V и составление плана обучения. И в первом, и во втором случае в базу знаний записыва-ется информация о каждом заданном вопросе и ответе обу-чаемого. В зависимости от ответов составляется план и про-водится дальнейшее обучение. Предложенный подход имеет адаптивный характер, поскольку сгенерированный учебный план не содержит лишних фрагментов обучения, в то же время в плане предусмотрено изучение вопросов, опреде-ленных в процессе предварительного тестирования, и на том уровне, который необходим учащемуся или предложен уча-щимся. В предложенных алгоритмах присутствует понятие сложности вопроса. Отметим, что первичное значение слож-ности задается преподавателем, экспертом или ЛПР. В про-цессе тестирования сложность каждого заданного вопроса динамически изменяется и записывается в базу знаний (об этом подробно в главе 5). Если обучаемый отвечает на вопрос правильно, то сложность вопроса уменьшается, в противном случае – увеличивается. Решение об изменении сложности вопроса принимается по окончанию процесса тестирования автоматически в зависимости от общего уровня знаний обу-чаемого.

4.3. Построение логической схемы контроля знаний


Интеллектуализация современных систем обучения и контроля знаний должна предусматривать реализацию от-слеживания уровня знаний в динамике, что повысит мотива-цию обучаемых. Важно разработать оптимальную структуру вопросов и заданий. Предлагаем реализовывать ее в виде графов типа «И-Или». Еще одним важным шагом к объекти-визации процессов обучения и контроля знаний является ав-томатическое или с минимальным присутствием преподава-теля формирование базы знаний, содержащей, в первую очередь, контрольные вопросы и задания. Использовать в этом процессе рационально онтологии [55] учебных курсов. Создание онтологий – трудоемкий процесс, но, как было указано раньше, и его можно автоматизировать, осуществив на первом этапе поиск наиболее употребительных существи-тельных и отношений между ними в электронных конспек-тах лекций и учебниках. Одним из подтипов ИСПП являются системы професси-ональной подготовки, которые, в отличие от традиционных АСОКЗ и, исходя из алгоритмов их функционирования, можно назвать многокритериальными. В случае профессио-нальной подготовки на общую оценку уровня подготовлен-ности обучаемого оказывают влияние не только уровень его знаний, ни и приобретенные умения, и навыки. Формально это может выражаться во времени, потраченном на прохож-дения контроля знаний, выполнении правильной последова-тельности операций, теоретической минимизации негатив-ных последствий принятых решений и т.п. В эффективных ИСПП должна реализовываться страте-гия подготовки, заключающаяся в решении многокритери-альной задачи оптимизации:

max, min, max, max, min, minvC I O V T (4.5)

при наличии многочисленных ограничений, обусловленных особенностями предметной области и процесса оценивания, где – оценка, при формировании которой учитывается сложность вопроса, V – суммарная негативная оценка ответов на вопросы.


Критерии (4.5) имеют различную природу и в той или иной степени противоречат один другому. Заметим, что первые четыре критерия задаются внешней системой более высокого уровня иерархии, чем субъект контроля знаний. Значения следующих двух критериев характеризуют уро-вень подготовки обучаемого, а последний критерий является дуальным и имеет место как при формировании структуры процесса контроля знаний, так и непосредственно при оце-нивании субъекта этого процесса.

Лицу, принимающему решения, эксперту, преподавате-лю необходимо находить компромисс, который будет реше-нием задачи оптимизации

min max max min min max max

( , , , , , , ) ,

, , , , , , ,

v u

v u

E E A I I O V T opt

A a I iv I iu O o V v T t

где E – интегральный критерий, min max max min min, , , , ,a iv iu o

max max,v t – некоторые критические значения.

Получить решение многокритериальной задачи (4.5) можно, реализуя и используя приведенные выше методоло-гические аспекты создания ИСПП. Результатом должны стать знаниеориентированные системы, базисом которых яв-ляется адекватный и рациональный подход к формирова-нию структур процесса обучения и контроля знаний. ИСПП являются интегральными системами обучения и контроля знаний. Процессы обучения и контроля знаний являются взаимосвязанными и взаимозависимыми. Такой вы-вод по отношению к ИСПП базируется на том, что по ре-зультатам изучения определенного учебного курса осу-ществляется контроль знаний, а по его результатам опреде-ляется объем и структура учебного материала, который необходимо изучить, что является аспектом реализации принципа адаптивности.

Предположим, что учебный курс состоит из тем

, 1, .iTh i m Тогда на нулевом (верхнем) уровне логической

схемы контроля знаний [189] находится процедура расчета оценки, на первом уровне – вопросы (возможно, задачи), ко-


торые являются достаточно сложными и ответы на которые требуют интегрированных знаний из нескольких тем (рис. 4.1). Второй уровень содержит вопросы, в которых ин-тегрированы знания из двух тем. Третий уровень образуют вопросы только одной из тем, но сравнительно сложные. Та-кая иерархия на аналогичных принципах продолжается до самого низшего уровня, на котором находятся вопросы те-стового характера из одной из тем.

Обучаемому задаются вопросы в соответствии с приве-денной схемой, которая является "И-Или" графом, по нисхо-дящему или восходящему алгоритму. Еще одним основным элементом процесса контроля знаний является база данных, содержащая вопросы, ответы и их атрибуты: N – номер вопроса (вопросы нумеруются слева направо и сверху вниз в соответствии с графом вопросов или логиче-ской схемой контроля знаний); ID – формулировка вопроса;

iA – поля, содержащие потенциальные ответы, 1,25i . Оче-

видно, что в отношении вопросов, ответом на которые явля-ются "Да" или "Нет", таких полей два.

Если нужно выбрать один вариант из нескольких, то стоит ограничиться семью полями, но такое заключение не является окончательным и указанное количество полей не является принципиальным; третий случай сводится ко вто-рому; если ответом является число, то поле будет только од-но; при ответе-интервале – полей два; если ответ – нечеткий интервал, то первое поле укажет на тип функции принад-лежности, другие поля будут содержать значения ее пара-метров, наибольшее их количество – пять в случае трапеци-еподобной функции принадлежности; если ответ - слово, то полей 7; если ответом будет предложение, то поле будет од-но. Двадцать пять полей нужно, если есть необходимость в выборе одного или нескольких ответов, которыми являются трапециеподобные нечеткие величины (каждая из них явля-ется пятипараметрической);


Рис. 4.1. Логическая схема контроля знаний

Оценка

Процедура формирования оценки

…

…

…

…

…

.. ..

.. ..

.. ..

..

..

..

..

..

..

v v

v v

v v

v v


iB – баллы за ответы на каждый из вопросов, 1,7i ;

maxNi – максимальное количество уровней иерархии в логиче-

ской схеме контроля знаний;

iD – номер темы учебного курса, 1,i l ;

iN – номер уровня иерархии, на котором находится вопрос;

– зарезервированная область, содержащая поля для отоб-ражения позиции вопроса в общей структуре вопросов; H – сложность вопроса (число от 0 до 1);

iG – коэффициенты, указывающие на значимость вопроса

при определении профессиональных знаний и навыков обу-

чаемого в одной из десяти профессий, 1,10i . Конечно, такая структура базы данных является непол-

ной, поскольку она должна содержать информацию о про-цессе прохождения контроля знаний обучающимся; стати-стику его ответов; элементы отчета, который будет форми-роваться по результатам контроля, и атрибуты будущего плана обучения. Поскольку ИСПП является адаптивной си-стемой, то одним из ее атрибутов является корректировка значение параметра сложности каждого из вопросов. Как следствие, в основе функционирования ИСПП должна ле-жать база знаний, содержащая правила вывода, определяю-щие необходимую корректировку.

4.4. Модели определения профессиональной направленности обучаемых

Особенностью, которую нужно учитывать при разработ-ке и использовании ИСПП, является определение способно-сти обучаемого к определенному виду профессиональной деятельности. Предположим, что количество видов деятель-

ности равно L . Отвечая на вопросы iQ , которые непосред-

ственно относятся к i -му виду профессиональной деятель-

ности, 1, ,i L будущий специалист пытается максимизиро-

вать соответствующую целевую функцию maxiF . Вместе с

тем, необходимо учитывать, что специалист, кроме отличных


знаний в узкоспециализированной области, должен обладать знаниями и в смежных областях, что можно выразить рядом

ограничений типа ( ) , i i i

j j jK I Q C 1, , j L j i , где ( )i

jI Q – уро-

вень знаний в области jQ специалиста в области , i

i jQ C - не-

которая положительная константа, которая определяет уро-вень знаний (например, суммарное количество баллов за от-вет на вопрос или интегральная оценка).

Таким образом, получив матрицу , 1( )i L

j i jK K , можно

сделать вывод о компетентности обучаемого в той или иной области; определить вид профессиональной деятельности, к которому наиболее склонен обучаемый, а также то, действи-тельно ли он является специалистом, исходя из выполнения заданных ограничений. Если соответствующие ограничения не выполняются или значение целевой функции является недостаточным, то значения элементов матрицы являются вспомогательным фактором при разработке стратегии и так-тики учебного процесса. Заметим, что использование соот-ветствующей ИСПП может быть ориентированным на реше-ние двух задач: определение уровня подготовленности обу-чаемого к выполнению одного или нескольких видов про-фессиональной деятельности и целенаправленное установ-ление уровня подготовленности обучаемого как специалиста в определенной предметной области. Рассмотрим еще один подход к определению професси-ональной подготовленности обучаемых. Предположим, что существует L видов профессиональной деятельности. Необ-ходимо определить уровень профессиональной подготов-ленности обучаемых относительно каждого из этих видов [185, 186]. Соответствующие выводы необходимо сделать по результатам контроля знаний из d предметов. В базе данных находится m вопросов, , .m L m d

Будем считать, что обучаемый наилучшим образом под-готовлен к i -му виду профессиональной деятельности, если

1,max ,i jj L

(4.6)


де j – общая оценка ответов на вопросы, относящиеся к j -

му виду деятельности. Будем учитывать, что специалист, кроме отличных знаний в узкоспециализированной области, должен иметь необходимый уровень знаний и в смежных об-ластях, что особенно актуально, например, для оперативно-спасательной службы. Такие требования выражаются рядом ограничений типа

, 1, , ,j jC j L j i (4.7)

где jC – некоторая положительная константа, которая опре-

деляет минимально достаточный уровень знаний вопросов, относящихся к j -му виду деятельности (суммарное количе-

ство баллов за ответ на вопрос или интегральная оценка). За-дача (5.6)-(4.7) описывает простейший случай определения профессиональной направленности обучаемых. На практике ее формулировка значительно сложнее, а решение находят с использованием экспертных заключений. Рассмотрим модели знаний в виде продукционных пра-вил, которые далее используем для определения профессио-нальной пригодности специалистов оперативно-спасательной службы:

если 1,

! maxi j

j L

& i

i & ,i k kk I то iA ,

если {1,2,..., } ,i

ii L то B ,

если 1,

! maxi jj L

& i

i & ,i k kk I то iB ,

если 1,

! maxi jj L

& i

i , то iB ,

если {1,2,..., } i

ii L & ,i k kk I то , {1,2,..., },iA i L

если {1,2,..., } i

ii L & ,i k kk I то , {1,2,..., },iB i L

если 1 21 2{ , ,.., } ...

jj k k kk k k &

{1,2,..., }ik k ki j k I &

1,! max ,

p qk kq j

то pkA ,

где i – минимальное пороговое значение оценки ответов на вопрос, относящийся к j -му виду деятельности как основ-


ному;

k – минимальное пороговое значение оценки ответов на во-

просы, относящиеся к k -му виду деятельности как дополни-тельному;

iI – множество индексов, определяющих наборы дополни-

тельных видов деятельности для i -го основного вида дея-тельности; B – консеквент, который означает, что обучаемый не приго-ден к выполнению ни одного из видов профессиональной деятельности;

iB – консеквент, который означает, что обучаемый не приго-

ден к выполнению i -го вида профессиональной деятельно-сти;

iA – консеквент, который означает, что обучаемый пригоден

к выполнению i -го вида профессиональной деятельности. Лицо, принимающее решение, формирует логическую схему для определения профессиональной направленности обучаемого, осуществляя такие шаги: Шаг 1. Определить, какие учебные дисциплины принадле-жат к основным для определения направленности на выпол-нение определенного вида деятельности и по каким дисци-плинам будет определяться решение задачи (4.6). Шаг 2. Определить, какие учебные дисциплины принадле-жат к дополнительным и по каким дисциплинам будет про-веряться выполнение ограничений (4.7). Шаг 3. Сформировать продукционные правила, указывая

пороговые значения j и k .

Шаг 4. Сформировать заключения относительно каждого обучаемого. Важным этапом в определении профессиональной направленности обучаемого является расчет оценок ответов на вопросы. Предположим, что обучаемый отвечает на все m вопросов, количество обучаемых – n . Вследствие оценивания ответов получим матрицу оценок

1 1 1 2{ } ( , ,..., ),i j

n m

ij dV v V V V

где


1

1

1

{ }

p

i

i lp

i

i

n k

p iji j k

V v – оценки ответов на вопросы из p -й учебной

дисциплины, 1, .p d Итоговая оценка знаний каждой дис-

циплины рассчитывается как отношение суммы полученных оценок к максимально возможной сумме и она принадлежит отрезку [0,1]. Если для определения профессиональной направленности к j -му виду деятельности необходимо зна-

ние нескольких учебных дисциплин, то оценки суммируют-ся и нормируются аналогично.

В случае, когда профессиональная направленность определяется путем адаптивного контроля знаний, необхо-димо предусмотреть большее количество вопросов для каж-дого обучаемого для того, чтобы уменьшить вероятность ошибки. Принципиальных отличий при обычном и адап-тивном контроле знаний с целью определения профессио-нальной направленности обучаемых нет.

Таким образом, по приведенным выше продукционным правилам делается вывод о компетентности обучаемого в той или иной области, определяется вид профессиональной дея-тельности, к которому он наиболее склонен, а также то, дей-ствительно ли он является специалистом, исходя из выпол-нения заданных ограничений. Если соответствующие огра-ничения не выполняются или значение целевой функции является недостаточным, то значения элементов матрицы оценок будут вспомогательным фактором при разработке стратегии и тактики учебного процесса. Заметим, что ис-пользование соответствующей ИСПП может быть ориенти-рованным на решение двух задач: определение уровня под-готовки обучаемого к выполнению одного или нескольких видов профессиональной деятельности и целенаправленное установление уровня подготовленности обучаемого как спе-циалиста в определенной предметной области. Рассмотрим особенности определения профессиональ-ной подготовленности сотрудников оперативно-


спасательной службы. К основным направлениям професси-ональной подготовки специалиста относятся знания теоре-тических основ организации и управления деятельностью противопожарной службы, параметров характеристик пожа-ров и горения, последствий техногенных или экологических катастроф, умения определить уровень пожарной безопас-ности здания или сооружения, оценить безопасность людей при пожаре, управлять силами и средствами пожаротуше-ния.

На практике будущими специалистами оперативно-спаса-тельной службы изучаются такие дисциплины: «По-жарная тактика (ПТ)», «Организация пожарно-профилактической работы (ОППР)», «Пожарная техника (ПТХ)», «Газодымозащитная служба», «Организация работы с кадрами (ОРК)», «Охрана труда», «Организация службы и подготовки (ОСП)». По результатам контроля знаний и вы-шеприведенным продукционными правилам осуществляет-ся определение профессиональной подготовленности в направлении перспективного занятия таких должностей: - начальник караула, - инспектор отдела, - специалист сектора по работе с персоналом, - специалист отдела по вопросам реагирования на чрезвы-

чайные ситуации, - специалист отдела материально-технического обеспечения, - специалист режимно-секретного сектора, - инспектор отдела организации службы и мобилизационной

работы, - специалист отдела организационно-контрольной работы, - инспектор отдела комплектования и прохождения службы, - специалист отдела социально-гуманитарной работы, - инспектор сектора связей с общественностью и средствами

массовой информации. Рассмотрим задачу определения профессиональной

направленности специалистов оперативно-спасательной службы. В отличие от нейросетевого метода определения профессиональных компетенций [107], результат использо-вания которого не позволяет интерпретировать структуру


процесса решения, продукционные модели допускают пол-ное понимание как решения, так и способа его получения.

Путем экспертного анализа определено, знание каких учебных дисциплин и насколько влияют на профессиональ-ные качества специалистов. В табл. 4.2 приведены коэффи-циенты, которые указывают важность знания того или иного учебного курса для профессиональной деятельности на определенной должности. Подсвечены серым цветом ячейки, соответствующие смежным областям знаний, и такие учеб-ные курсы считаются дополнительными. Эксперимент про-водился в группе из 35 человек. Поскольку осуществлялось адаптивный контроль знаний, то, в среднем, обучаемому за-давались 23-25 вопросов, исходя из дополнительного условия, что по каждой дисциплине должно быть задано не менее 4-х вопросов. Результаты контроля знаний первых одиннадцати обучаемых приведены в табл. 4.3. Оценками служат процен-ты от максимально возможной оценки, которую мог бы по-лучить обучаемый за знание учебной дисциплины.

Для того, чтобы определить приоритеты профессио-нальной направленности обучаемых, формируем маску для оценок ответов. В частности, ЛПР установлено такое соответ-ствие коэффициентов табл. 4.1 и оценок табл. 4.2: 0,5 - 90, 0,4 - 80, 0,3 - 70, 0,2 - 60, 0,1 - 20. Осуществляя анализ ответов (табл. 4.2) и используя указанную маску и рассмотренные ранее модели, получим следующие выводы: 1. Должность начальником караула в будущем мог бы занять специалист № 6. 2. Профессиональных способностей к занятию должности инспектора отдела не проявил ни один из обучаемых, луч-шие, но не достаточные знания нужного направления про-явил обучаемый № 11. 3. Профессиональных способностей к занятию должности специалиста сектора по работе с персоналом также не вы-явил ни один из обучаемых, лучшие, но не достаточные зна-ния нужного направления показал обучаемый № 9. 4. Должность специалиста отдела по вопросам реагирования на чрезвычайные ситуации мог бы занять обучаемый № 4.


Таблица 4.2 Коэффициенты приоритетности знаний учебных дисциплин для занятия должностей в оперативно-спасательной службе

№ Название должности ОСП ПТ ОППР ПТХ ОРК

1 Начальник караула 0,3 0,3 0,1 0,2 0,1

2 Инспектор отдела 0,1 0,1 0,5 0,1 0,2

3 Специалист сектора по роботе с персона-лом

0,2 0,1 0,1 0,1 0,5

4 Специалист отдела по вопросам реагирова-ния

0,3 0,3 0,1 0,2 0,1

5 Специалист отдела материально-техни-ческого обеспечения

0,3 0,2 0,1 0,2 0,2

6 Специалист режим-но-секретного секто-ра

0,2 0,2 0,2 0,2 0,2

7 Инспектор отдела ор-ганизации службы и мобилизационной работы

0,4 0,3 0,1 0,1 0,1

8 Специалист отдела организационно-контрольной роботы

0,2 0,1 0,3 0,2 0,3

9 Инспектор отдела комплектования и прохождения службы

0,3 0,1 0,2 0,1 0,3

10 Специалист отдела социально-гумани-тарной работы

0,2 0,2 0,1 0,1 0,4

11 Инспектор сектора связей с обществен-ностью и СМИ

0,2 0,2 0,1 0,2 0,3


Таблица 4.3 Таблица результатов контроля знаний

№ п/п

ОСП ПТ ОППР ПТХ ОРК

1 40 56 78 32 44

2 64 72 68 87 74

3 52 74 32 42 74

4 54 52 45 47 62

5 75 51 49 75 69

6 86 74 72 68 64

7 38 74 45 58 63

8 66 68 48 47 68

9 82 65 71 69 88

10 79 68 49 85 62

11. 75 73 85 63 68

5. Должность специалиста отдела материально-технического обеспечения могли бы занять обучаемые № 6, 9, 10, 11. 6. Должность специалиста режимно-секретного сектора мог-ли бы занять обучаемые № 2, 6, 9, 11. 7. Должность инспектора отдела организации службы и мо-билизационной работы мог бы занять обучаемый № 6, близ-кие к нужному уровню, но не достаточные знания показал обучаемый № 9. 8. Должность специалиста отдела организационно-контрольной работы мог бы занять обучаемый № 9, близкие к нужному уровню, но не достаточные знания проявил обу-чаемый № 2. 9. Должность инспектора отдела комплектования и прохож-дения службы мог бы занять обучаемый № 9, близкие к нуж-ному уровню, но не достаточные знания показал обучаемый № 6. 10. Профессиональных способностей к занятию должности специалиста отдела социально-гуманитарной работы не проявил ни один из обучаемых, лучшие, но не достаточные знания нужного направлении показал обучаемый № 9.


11. Должность инспектора сектора связей с общественностью и средствами массовой информации могли бы занять обуча-емые № 2 и 9. 12. Обучаемые № 1, 3, 5, 7, 8 имеют низкие знания, не позво-ляющие им в будущем занять любую из указанных должно-стей.

4.5. Элементы структуризации учебного материала как следствие процесса контроля знаний

Процесс оценивания уровня профессиональной подго-

товленности не является самоцелью. Он нужен для опреде-ления профессиональной направленности обучаемых, ми-нимизации негативных последствий принятых решений в будущем, а также для оптимизации процесса обучения, осо-бенно, если обучение происходит самостоятельно или ди-станционно. Контроль знаний, в свою очередь, проводится с разной целью: для предварительного оценивания, для опре-деления промежуточных результатов, для результирующего оценивания и т.п. По его результатам принимается решение о целесообразности дальнейшего обучения, повышения уровня знаний, прекращения обучения. С целью оптимиза-ции процесса обучения необходимо осуществлять структу-ризацию учебного материала.

Элементарной единицей является блок учебного мате-риала (БУМ). В случае обучения каждого конкретного специ-алиста необходимо определить план его обучения по резуль-татам контроля знаний. Считаем, что база данных содержит помимо составляющих контроля знаний еще и учебные ма-териалы, возможно мультимедийного характера. Каждый БУМ должен иметь коэффициент приоритетности и статус. Значение приоритетности указывает, насколько БУМ являет-ся актуальным для изучения специалистом, статус указывает на то, изучен ли этот БУМ; возможно, он изучается или нико-гда не изучался. Блок учебного материала с наивысшим уровнем приоритетности выбирается для изучения первым.

Обозначим приоритетность [0,1], где 1 соответ-

ствует наиболее высокому приоритету, 0 означает, что БУМ


изучено или изучать его нет необходимости, или желания, или на вопросы, релевантные данному БУМ, уже определен-ное количество раз не получены правильные ответы. Статус

{1,2,3} , где 1 означает, что БУМ ранее не изучался, 2 -

изучается, 3 - изучен (на все релевантные вопросы получены правильные ответы).

Обозначим: ID – идентификатор вопроса; T – тема, к которой относиться вопрос; 1 2 3, ,T T T – подтемы, к которым

относится вопрос; p – сложность вопроса; t – время ответа; vE

– оценка ответа на вопросы; N – количество неудачных по-пыток правильно ответить на вопрос; _ID B – идентифика-

тор БУМ, к которому относится вопрос; m – количество во-просов. Структура таблицы базы данных будет такой:

1 1 2 3, , , , , , , , , _vDB ID T T T T p t E N ID B .

Метод для определения приоритетности БУМ будет иметь следующие шаги:

Шаг 1. Для всех вопросов ( 1,i m ) выполнить инициали-

зацию таблицы базы данных ( 1DB ), положив

( ) 0, ( ) 0; ( ) 0.vt i E i N i

Дополнительно обозначим (кортежи базы данных 2DB ):

_ID BO – идентификатор БУМ; _Q BO – количество вопросов,

которые относятся к БУМ _ID BO ; _ID QO – вопросы, отно-

сящиеся к БУМ _ID BO ; Op – общая сложность вопросов, от-

носящихся к БУМ _ID BO . Структура второй таблицы:

2 _ , _ , _ , , , ODB ID BO Q BO ID QO p .

Шаг 2. Для всех БУМ ( 1,j k ) выполнить действия:

Шаг 2.1. _ ( ) 0; 1;Q BO j l для всех вопросов ( 1,i m )

выполнить действия:

Шаг 2.1.1. Для всех БУМ ( 1,jj k ), если

_ ( , ) _ ( ),ID B i jj ID BO j то _ ( ) _ ( ) 1;Q BO j Q BO j

_ ( , ) ( );ID QO j l ID i 1;l l ( ) 1; ( ) 0,5.j j

На шагах 1 и 2 выполнена инициализация баз данных, уста-новлено, сколько и какие вопросы принадлежат к каждому


БУМ. Шаг 3. Задать вопрос, номер вопроса записать в массив

_ ,Q A в базу данных 1DB записать ( ),t i ( )vE i . Если ( ) 0,vE i

то ( ) ( ) 1.N i N i


Шаг 4.1. Для вопросов ( 1, _ ( )i Q BO j ) выполнить дей-

ствия: Если _ ( , ) _ID QO j i Q A , то

если ответ правильный, то

( )

( ) 0,5 , ( ) 2,2 ( )O

jj j

p j

иначе

1 ( )( ) 0,5 , ( ) 2,

2 ( )O

jj j

p j

Шаг 4.2. Если на все вопросы, относящиеся к некоторо-му БУМ, даны правильные ответы, то ( ) 3.j Приоритет-

ность такого БУМ равна единице. Сделаем промежуточные выводы. Пусть maxN – макси-

мальное количество неудачных попыток ответить на вопрос. Вопросы, на которые ранее получены правильные ответы, при дальнейшем контроле знаний не задаются. Если БУМ считается изученным или имеет нулевую приоритетность, то релевантные ему вопросы задавать не нужно.

В случае maxjN N j -й вопрос не задается, осуществляет-

ся предупреждение обучаемого о превышении количества неудач-ных попыток ответить на вопрос. Если он выбирает программу обучения самостоятельно, то БУМ, относящийся к программе, необходимо упорядочить по убыванию прио-ритетности и изучение БУМ необходимо осуществлять от наибольшего значения к наименьшему. В случае индиффе-рентного отношения обучаемого к процессу обучения про-грамму ему необходимо предлагать, исходя из значения приоритетности БУМ.


Шаг 5.1. Для вопросов ( 1, _ ( )i Q BO j ) выполнить действия:


если _ ( , ) _ID QO j i Q A и max( ) ,N j N то

если ( ) 0,N j то


( )( ) 0,5 ,

( )O

jj

p j

иначе ( ) ( ) 1;N j N j

если ( ) 0,j то ( ) 3,j иначе ( ) 2;j

если ( ) 0N j , то


( )( ) 0,5 ,

2 ( )O

jj

p j

иначе

1 ( )( ) 0,5 ;

2 ( )O

jj

p j

если ( ) 0,j то ( ) 3,j иначе ( ) 2.j

Если получены правильные ответы на один или не-сколько вопросов, относящихся к БУМ, но не все релевант-ные вопросы заданы, то статус БУМ двойка, а приоритет-ность будет уменьшена. Если получены неправильные отве-ты на один или несколько вопросов, относящиеся к БУМ, то его статус и приоритетность будет увеличены.

Если не было задано ни одного вопроса, относящегося к БУМ, то его статус 1, приоритетность – 0,5. Таким образом, наиболее приоритетным является тот БУМ, релевантные ко-торому вопросы были наиболее сложными для обучаемого, и на них он ответил неправильно. На следующем уровне иерархии находятся БУМ, релевантные к которым вопросы не заданы вообще, далее - БУМ, на релевантные к которым вопросы получены правильные ответы, но не все вопросы заданы, или не на все вопросы получены правильные ответы. Последними являются те БУМ, которые полностью изучены, или БУМ, для которых достигнуто предел неправильных от-ветов на релевантные вопросы.

В случае, когда обучаемый самостоятельно формирует план обучения, возникает проблема оценки знаний, по-скольку именно специалист определяет, какую тему или подтему изучать. Возможен случай задания обучаемым также уровня знаний, которого он хотел бы достичь, изучая опре-деленный материал. Структурная схема контроля знаний изображена на рис. 4.2.


Рис. 4.2. Логическая схема контроля знаний

1

2

3

4

C – категория,

SCi – подкатегория і-го уровня,

Q – вопрос,

– контур, охватывающий все вопросы категории С,

– контур, охватывающий все вопросы подкатегории Sc11,



1 C Q

Q

Q 112Sc

112Sc

Q Q Q

Q

Q

312Sc

332Sc

322Sc

212Sc

Q

222Sc

212Sc

Q

3322Sc

3312Sc

Q Q Q

2212Sc

Q Q Q Q Q Q

Q

Q Q

Q

Q

Q

Q

111Sc

Q

2

132Sc

122Sc

112Sc

Q Q

Q Q Q

3

Q

Q

Q

1113Sc

1123Sc

Q

Q Q Q

Q

Q Q Q Q

4


На схеме предусмотрена иерархическая структура во-просов, причем некоторые вопросы относятся непосред-ственно к уровню категорий или подкатегорий, они имеют интегральный характер. Иерархическая схема контроля зна-ний имеет четыре уровня:

<Категория> → <Подкатегория 1-го уровня>→ <Подка-тегория 2-го уровня>→ <Подкатегория 3-го уровня>

Считаем, что в каждом контуре количество вопросов из-вестно ( 0 1 2 3, , ,N N N N ) и в каждом контуре известно количе-

ство вопросов в каждой из трех групп (малой, средней и зна-

чительной сложности), т.е. известны величины 0 ,ìN

0 ,cN 0 ,âN

1 ,ìN 1 ,cN 1 ,âN 2 ,ìN

2 ,cN 2 ,âN 3 ,ìN

3 ,cN 3 .âN На рис. 5.2. показано,

что корневая вершина категории (подкатегории) может иметь и вопросы, и подкатегории.

Пусть необходимо определить знание вопросов из под-

категории 1

1Sc . Известно, что количество вопросов в 1

1Sc рав-

но 1 100.N Малой сложности вопросов 1 40ìN , средней −

1 30,cN значительной сложности 1 30.âN Обучаемый вы-

брал для тестирования 30 вопросов малой сложности

( 1 30ìM ).

Не имеет значение, где находились вопросы:

− относились к корневой 1

1Sc вершине;

− относились к категориям 11

2 ,Sc 12

2 ,Sc 13

2Sc или к одной из них,

или к двум. Метод определения оценки содержит такие шаги:

Шаг 1. Привести сложности всех вопросов 1

1Sc к [0, 1]-шкале.

Шаг 2. Найти общую сложность всех вопросов 1

1Sc : 100

1

.i

i

Z b

Шаг 3. Найти общую сложность всех вопросов малой слож-

ности 40

1

.ì

ì i

i

Z b

Шаг 4. Найти общую сложность вопросов малой сложности,

на которые были получены правильные ответы 30

1

.ï ï

ì i

ø

Z b


Шаг 5. Оценка знания подкатегории рассчитываются по

формуле 1

100%.ï

ìZ

N

РЕЗЮМЕ

В связи с развитием глобальной сети и движением к ин-

формационному обществу получает распространение ди-станционная форма образования и онлайн-обучение. Их ат-рибутом является удаленный контроль знаний. Разрабаты-ваются системы, предназначенные для сопровождения про-цессов обучения «в течении жизни». За границей уже созда-ны системы, которые адаптируются к психологическому со-стоянию обучаемых. В Украине и России такие исследования еще впереди, хотя за границей к их созданию имеют отно-шение и выходцы из этих стран.

Первые экспертные системы появились сразу же после разработки первых языков программирования. Через трид-цать лет их использование приобрело промышленный ха-рактер, а еще через двадцать лет системы такого типа, но ориентированные на обучение и контроль знаний, стали обязательным атрибутов высших и средних учебных заведе-ний. И не более двух десятков лет прошло с тех пор, как ком-пьютерные системы разрабатываются и используются в про-фессиональной подготовке различного типа: для обучения государственных служащих, водителей, пилотов, для подго-товки специалистов аварийно-спасательных служб и т.п. Каждая из таких систем имеет свои особенности реализации и в каждой, в зависимости от предметной области, реализо-ван свой алгоритм оценивания подготовки обучаемых. В большинстве случаев желательно иметь многокритериаль-ные оценки качества и процесса, и результата обучения. Осуществляя реализацию автоматизированных систем обу-чения и контроля знаний, зачастую забывают о методологи-ческих основах как процессов обучения и контроля, так и разработки таких систем. Именно такие основы и предложе-ны в настоящей главе, их реализация позволить создавать по-


настоящему эффективные интеллектуальные системы обу-чения и профессиональной подготовки, обладающие всеми соответствующими атрибутами. Важной составляющей таких процессов является осу-ществление разработки логической схемы проведения про-цесса обучения и контроля знаний с учетом их взаимозави-симости. Одной из наиболее трудоемких задач является ав-томатизация процесса формирования вопросов, исходя из материалов учебников или электронных конспектов, с уче-том их важности, интегральности и сложности. Важную роль в этом процессе играют онтологии учебных курсов и на со-здание методологических основ, а также общих принципов их построения направлены дальнейшие исследования. Вто-рой задачей, решение которой необходимо для разработки эффективных интеллектуальных систем обучения и профес-сиональной подготовки, является формализация построения логической схемы контроля знаний и ее отображение на структуру процесса обучения. Решение указанных задач поз-волит объективизировать процесс обучения и контроля. Их составляющими элементами являются задачи формирования структуры базы данных системы, которая реализована на принципе адаптивности, а также корректировка сложности вопросов в процессе контроля знаний.

Если процедура формирования онтологии уже выпол-нена и логическая схема контроля как соответствие структу-ры курса и онтологии построена, то тем самым обеспечива-ется полнота вопросов относительно отражения знания учебной дисциплины, а использование логической схемы минимизирует избыточность контроля и является оптими-зированной процедурой.

Глава 6. Проектирование систем профессиональной подготовки 166

Глава 5 ЭЛЕМЕНТЫ АДАПТИВНОЙ ТЕХНОЛОГИИ ОЦЕНИВАНИЯ

Со временем все большее количество дисциплин препо-дается с использованием компьютерной техники. В связи с этим возникает необходимость создания соответствующих методологических основ организации учебного процесса и проведения контроля знаний. Одной из основных его про-блем является обеспечение адаптивности и объективизации оценивания.

В чем заключается адаптивность современных автомати-зированных систем оценивания уровня знаний обучаемых? В первую очередь, в уменьшении «волюнтаристского» влияния преподавателя или ЛПР на процесс оценивания, составляю-щей чего является объективизация уровня сложности задава-емых вопросов, а также в динамической корректировке сложности контрольных вопросов в режиме реального вре-мени. Основной принцип: после окончания процесса тести-рования корректируется уровень сложности вопросов в зави-симости от правильности данных ответов и общей оценки обучаемого. Возникает и сопутствующая задача: исследовать, рационально ли после окончания контроля знаний всего пу-ла обучаемых проводить пересчет оценок с учетом изменен-ной сложности вопросов?

При адаптивном контроле знаний в зависимости от пра-вильности полученного ответа задается следующий вопрос увеличенной или уменьшенной сложности. В зависимости от уровня подготовленности обучаемого осуществляется пере-счет сложности вопроса. Поскольку ЛПР в начале контроля знаний такие уровни устанавливает единолично, другая за-дача заключается в проверке адекватности логической схемы тестирования. Третья задача, которая рассматривается, – раз-работка метода корректировки сложности вопросов.

Предлагается также решение задачи двухкритериально-го оценивания и соответствующие модели определения уровня знаний, а также корректировки сложности вопросов.

Глава 5. Элементы адаптивной технологии оценивания 167

5.1. Технология определения адекватности логической схемы тестирования

Предположим, что определение уровня профессиональ-ной подготовленности осуществляется при наличии опреде-ленной информации. В частности, известен средний уро-

вень успеваемости каждого обучаемого ,j 1,j n , где n – ко-

личество обучаемых, 0;1 .j Для подавляющего количе-

ства случаев, учитывая требования Болонского процесса, 0,6.j

В начале контроля знаний ЛПР определяет для каждого

вопроса его сложность 0;1ip , 1, ,i m где m – количество

вопросов. Считаем, что вопрос kQ , для которого

0; 0,33 ,kp является ―легким‖, если 0,33;0,66kp , то во-

прос имеет среднюю сложность, если 0,66kp – вопрос

сложный. Сделаем упрощающее предположение о том, что каждо-

му обучаемому задаются все вопросы теста, и тогда он может получить максимальную оценку, равняющуюся единице. Практически оценка обучаемого определяется по формуле

1

1

(дан правильный ответ)

, 1, .

mjk

j mjk

k

k

p

j n

p

(5.1)

Очевидно, что при отсутствии технологии определения адекватности сложности вопросов можно было бы остано-виться на такой схеме. Для предварительного анализа нахо-дим абсолютное и относительное отклонения

j j jAV , 100%j

j

j

AVBV

, 1,j n . (5.2)

Исходя из значений величин jAV

и ,jBV ЛПР делает вы-

вод о соответствии такой схемы оценивания уровню знаний


конкретного обучаемого. Объективизацию соответствующего вывода можно осу-

ществить, вычислив и проанализировав средние величины

1

1,

n

jj

AV AVn

1

1.

n

j

j

BV BVn

(5.3)

Для оптимальной схемы оценивания и определения уровня сложности вопросов необходимо, чтобы

0,AV 0BV при n . (5.4)

С другой стороны оценить адекватность сложности каж-дого отдельного вопроса можно, выполнив анализ ответов на него всех обучаемых.

Предположим, что 1 1

m n

ij i j

– матрица ответов, где

1ij , если j -й обучаемый дал правильный ответ на i -й во-

прос, и 0,ij в противном случае. Для каждого вопроса

находим

1

1,

n

i ijj

CVn

1,i m и .i i iq CV p (5.5)

Результаты анализа выражений (5.5) указывают на адек-ватность уровня сложности вопроса. Близость iq к нулю сви-

детельствует о том, что оценка сложности вопроса ЛПР явля-ется адекватной. Заметим, что записанное выражение для iq

является рациональным в случае равномерного распределе-ния уровней успеваемости каждого обучаемого на отрезке [0;1]. На практике это предположение не выполняется и то-гда имеем модифицированное выражение

1

1

1,

n

jj

i nj

ij jj

qp

1, ,i m

(5.6)

в котором учтено распределение уровня успеваемости обу-чаемых. Таким образом, выражения (5.1) и (5.2) позволяют


сделать предварительные выводы о соответствии схемы оце-нивания уровню знаний группы обучаемых и адекватности сложности вопросов, определенных ЛПР.

5.2. Метод корректировки уровня сложности вопросов в режиме реального времени

Современные мировые тенденции ориентируют разра-ботчиков ИСПП на создание систем, ориентированных на определенную модель пользователя [10, 61, 72]. Адаптивность в таких системах реализуют, изменяя сложность вопросов и подбирая их состав таким, чтобы оптимальным образом определить уровень знаний и пробелы в изучении некото-рых вопросов и тем. Адаптивные механизмы программиру-ются до начала использования ИСПП и являются неизмен-ными в течение всего жизненного цикла программного обес-печения. В то же время, очевидно, что в зависимости от того, каким является начальный уровень подготовки обучаемых, и какими будут их способности к обучению, зависит и дина-мика уровня сложности вопросов и их последовательность. Поэтому рациональной будет коррекция уровня сложности в режиме реального времени в зависимости от того, насколько правильный ответ дал обучаемый на соответствующий во-прос. Важно заметить, что уровень коррекции должен зави-сеть от общего уровня знаний обучаемого. Очевидно, что принципиальные решения необходимо принимать в случа-ях, когда неправильный ответ дает обучаемый, имеющий от-личный уровень знаний, и правильный ответ – обучаемый, имеющий значительный проблемы в процессе обучения.

Перед контролем знаний возможны два случая: - значения сложностей вопросов заданы; - значения сложностей вопросов являются неизвестными. Рассмотрим первый случай. Пусть сложности вопросов

заданы и сложность i -го вопроса (0,1].ip Рационально

осуществлять модификацию ,ip исходя из оценки ответа

обучаемого на i -й вопрос, а также полученной итоговой оценки пройденного контроля знаний.


Предположим, что ЛПР назначено начальные баллы сложности вопросов, которые принадлежат к логической

схеме контроля знаний, обозначим их 0 , 1, .ip i m Учитывая

то, что технология оценивания является адаптивной, необ-ходимо осуществить корректировку сложности вопросов и учитывать проведенную корректировку при определении итоговой оценки. При этом будем базироваться на несколь-ких эвристиках.

Эвристика 1. Если обучаемый дает правильный ответ, то сложность вопроса уменьшается, и наоборот.

Эвристика 2. Динамика значения уровня сложности за-висит от количества обучаемых, знания которых контроли-руются, а также от суммарной оценки каждого из них.

Эвристика 3. Если обучаемый со сравнительно высокой суммарной оценкой дает правильный ответ, то сложность во-проса уменьшается на меньшее значение, чем в случае, когда правильный ответ дает обучаемый с низшей суммарной оценкой.

Эвристика 4. Если обучаемый со сравнительно высокой суммарной оценкой дает неправильный ответ, то сложность вопроса увеличивается на большее значение по сравнению со случаем, когда неправильный ответ дает обучаемый с низ-шей суммарной оценкой.

Эвристика 5. Значение минимальной сложности вопроса должно быть большим нуля.

Эвристика 6. Значение максимальной сложности вопро-са должно быть не большим единицы.

Таким образом, после проведенного контролю знаний каждого обучаемого автоматически активизируется демон [61], процедура, согласно которой происходит перерасчет сложности вопросов и запись новых значений сложности в базу данных.

Предположим, что оцениваются знания n обучаемых, количество вопросов – m . Коррекция сложности вопросов производится по формуле

1 10( , , , ),j j ji i i ip p f p m d Z (5.7)


где j

ip – сложность i -го вопроса при контроле знаний j -го

обучаемого, if – некоторая функция, в соответствии со зна-

чением которой осуществляется коррекция сложности i -го

вопроса, 0

ip – начальная сложность вопроса, 1jd – итоговая

оценка ответов ( 1)j -го обучаемого,

1 0,1jd , Z – некото-

рая величина, зависящая от величины отклонения данного

ответа от правильного, 1, , 1, .i m j n Как следует из форму-

лы (5.7), коррекция уровня сложности вопроса производится сразу же после контроля знаний каждого обучаемого, т.е. в режиме реального времени.

Рассмотрим отдельные варианты формулы (5.7) в при-менении к вопросам различного типа.

1. Вопросы с ответами типа «Да» или «Нет». В этом случае коррекция сложности вопроса осуществляется по формуле

1 11 0( , , , (правильный ответ)),j j ji i i ip p f p m d (5.8)

где ( )A – функция-индикатор,

1, если А правильно,( )

0, в противном случае.A

Заметим, что при построении функции 1

if необходимо при-

держиваться ограничений 0 1 1, , 1, .jip i m j w Один из

вариантов формулы (5.8) будет таким:

1 1 1

1 1

( (1 )) (неправильный ответ)

(правильный ответ),

j j j ji i i

j ji

p p d p

p d (5.9)

Очевидно, что для формулы (5.9) выполнены эвристики (1)-(6).

2. Вопрос, где один ответ выбирается из нескольких вариан-тов, а правильность каждого из них оценивается баллом (для i -го вопроса вектор баллов 1 2( , ,..., ),kv v v v причем 0 1iv

1,i k ). Тогда коррекцию значения сложности осуществля-

ем по такой формуле:


1 1 1 1 12 02

1,( , , ,(max ), ),j j j j j j

i i i i l il k

p p f p m d v a k (5.10)

где 2

if – некоторая функция, 1j

ia – балл за ответ ( 1)j -го

обучаемого на i -й вопрос, 1

1,argmax j

ll k

v

– максимальный балл

за правильный ответ, 1

2

jk – коэффициент, в значении кото-

рого учтено влияние отклонения 1 1

1,(max )j j

l il k

v a

на измене-

ние значения сложности вопроса. Один из вариантов формулы (5.10) будет таким:

1 1 1 1 1 1 11(1 ( ( max ) (1 )( min ))),

1,1,

j j j j j j j ji i l i i lp p d v a d a v

m l kl k (5.11)

Формула (5.11) открыта для внесения уточняющих коэффи-циентов и может быть использована для предварительных расчетов.

3. Вопрос, где несколько ответов выбираются из многих вари-антов. Как и в предыдущем случае, ответам присвоены баллы

1 2, ,..., ,kv v v значительное количество которых является ну-

лями. Тогда значение сложности соответствующего вопроса кор-ректируем таким образом:

1 1 1 13 03( , , , , , , ),j j j j jп н

i i i i ll

p p f p m d v h h k (5.12)

где 3

if – некоторая функция, 1j

l

l

v – сумма баллов за вы-

бранные варианты ответов, nh – количество указанных пра-

вильных ответов, нh – количество неправильных ответов, 1

3

jk

– корректирующий коэффициент, значение которого опре-деляется соотношением правильных и неправильных отве-тов.

4. Вопрос, где ответом является число. Для того, чтобы определиться с направлением коррекции сложности вопроса такого типа необходимо указать в базе данных три парамет-

ра: *z – значение правильного ответа, [ , ]b ez z – отрезок, на ко-

тором должно находиться значение ответа обучаемого. Тогда


сложность корректируется по формуле:

1 1 14 0 *

4( , , , ( [ , ]), , ),j j j ji i i i b ep p f p m d z z z z z k (5.13)

где 1

4

jk – коэффициент, при помощи которого определяется

направление и величина изменения сложности вопроса в за-

висимости от значения соотношения * .b az z z z Чаще

всего, если значение частного меньше 0,5, то сложность во-проса увеличивается, в противном случае – уменьшается. На усмотрение ЛПР возможны и другие варианты.

5. Вопрос, где ответом является интервал. Для определе-ния направления и величины коррекции в базе данных должны быть заданы концы отрезка – правильного ответа. Формула для коррекции сложности будет такой:

1 15 0 2 1 *

12 15

( , , , (min{ , } max{ , }]), ,

(min{ , } max{ , }]), ),

j j ji i i i e b

j

e b

p p f p m d z z z z z z

z z z z k

(5.14)

где 1 2[ , ]z z – отрезок, указанный обучаемым, [ , ]b ez z – отрезок –

правильный ответ, 1

5

jk – коэффициент, который определяет

направление и величину коррекции сложности в зависимо-сти от величин

1 2([ , ] [ , ])b ez z z z и 1 2 1 2(([ , ] [ , ])/([ , ] [ , ])).b e b ez z z z z z z z

6. Сложнее всего корректировать вопросы, ответами на ко-торые являются нечеткие величины, заданные функциями при-надлежности. В первом приближении достаточно выполнить дефаззификацию, например, центроидным методом и, по-лучив таким образом четкие числа, воспользоваться функци-ей из п. 4.

7,8. Если ответы на вопросы являются словами или словосо-четаниями, то процедура коррекции сводится к приведенной в п. 2. Если ответом является предложение, то коррекцию сложности при сегодняшнем уровне интеллектуализации вычислительных средств необходимо осуществлять эксперт-ным путем.

Вернемся к априорной информации о сложности вопро-


сов. Пусть начальные значения коэффициентов сложности вопросов заданы ЛПР, экзаменатором или экспертом. Тогда в процессе оценивания знаний, реализуя случайный порядок обучаемых, получим колебания значений уровня сложности.

Эвристика 7. Предполагая бесконечное количество обу-чаемых, делаем вывод о сходимости значения уровня слож-ности вопроса к постоянному значению.

Заметим, что в вышеприведенных формулах предпола-гается учет влияния начального значения уровня сложности на весь дальнейший процесс его коррекции. Безусловно, от этого предположения можно отказаться, но только в том слу-чае, если ЛПР дав начальные установки, стремится устра-ниться от дальнейшего активного участия в процессе оцени-вания. Выбор того или иного варианта зависит от экза-менатора и внешних обстоятельств.

Возможна ситуация, когда экзаменатор не может опреде-лить сложность вопросов с достаточной точностью. В таком случае начинать контроль знаний не следует, поскольку пер-вые экзаменуемые получат значительно смещенные оценки. На помощь здесь может прийти моделирование. Экзамена-тор, скорее всего, знает распределение учащихся, исходя из их учебных успехов (например, среднего балла в зачетной книжке). Если это не так, то можно воспользоваться различ-ными дополнительными эвристиками, одна их которых ука-зывает на то, что количество отличников составляет 20% от общего количества учащихся, количество учащихся на «хо-рошо» – 20% от оставшихся и т.д.

В соответствие с распределением учеников разыгрываем случайные значения, которые отвечают правильным или не-правильным ответам, и осуществляем коррекцию значений сложности ответов. Такой подход приводит к объек-тивизации процесса оценивания как в целом, так и его на-чального этапа, в особенности, когда значения сложности во-просов носят сильно субъективизированный характер.

Если значения сложности вопросов не известны, то до-статочно положить 0 0,5, 1,ip i n и выполнить рассмотрен-

ные выше шаги.


Выражения (5.8)-(5.14) являются основой реализации процедур-демонов, в процессе выполнения которых коррек-тируются значения сложности вопросов. Изменение значе-ний сложности вопросов является той задачей, решение ко-торой позволяет объективизировать процесс оценивания уровня знаний обучаемого и определить уровень его про-фессиональной подготовленности.

Обучаемого оценивают по различным критериям. ИСПП отличаются от АСОКЗ, используемых в высших и средних учебных заведениях, многокритериальностью оце-нивания. В частности, в системе МЧС (ГСЧС) при помощи ИСПП оценивается не только уровень знаний того или дру-гого учебного курса, а и скорость принятия решений.

Считаем необходимым оценивать также способность обучаться, поскольку от этой характеристики зависят про-фессиональные качества обучаемого, в первую очередь спо-собность перенимать передовой опыт и адекватно реагиро-вать на непредвиденные обстоятельства в критических усло-виях.

Способность обучаться также можно оценивать инте-гральным численным параметром, значения которого будет указывать на количество попыток прохождения контроля знаний, времени изучения соответствующего учебного мате-риала и количества неправильных ответов на вопросы из ба-зы данных. Его коррекцию рационально осуществлять, бази-руясь на вышеуказанных принципах и выражениях (5.8)-(5.14). Заметим, что коррекцией рассмотренных параметров не исчерпывается весь перечень процедур, которые исполь-зуются в адаптивных ИСПП.

5.3. Адаптация сложности вопросов при закрытом контроле знаний

Рассмотрим случай закрытого контроля знаний, при ко-

тором все вопросы имеют тестовый характер (первый тип). При таком контроле знаний предлагается несколько ответов к каждому вопросу, один из которых является правильным.


Пусть тест содержит n вопросов, каждый из которых имеет

начальную сложность (заданную ЛПР) , 1, ip i n . Тогда

оценка j j -го обучаемого определяется приведенным выше

способом. При коррекции сложности вопросов будем учиты-вать:

j

ip – сложность i -го вопроса для j -го обучаемого, jd – итоговая оценка за тест j -го обучаемого.

Согласно формуле коррекции (6.8) сложность вопроса изменяется после окончания тестирования каждого обучае-мого. Выполним конструктивное построение формулы кор-рекции. При этом воспользуемся эвристиками 3 и 4 (см. п. 5.2).

Предположим, что обучаемый дал правильный ответ. Сложность вопроса необходимо уменьшить на величину x (рис. 5.1)

0 j

ip

x

1j

ip 1

0 1jd 1

Рис. 5.1. Коррекция в случае правильного ответа

Значение x находим, составив соотношение

11 1

1

1(1 ),

1

jj jij

i

x dx p d

p (5.15)

поскольку по первой эвристике отношение значения смеще-ния к уровню сложности вопроса соответствует отношению уровня некомпетентности обучаемого ко всей длине отрезка [0;1]. Тогда для случая правильного ответа формула коррек-ции будет такой:

1 1 1 1 1(1 ) .j j j j j j

i i i ip p p d p d (5.16)

Заметим что формула (5.16) является корректной, поскольку 1 1(1 )j j

ip d является величиной неотрицательной. Значе-


ние сложности вопроса никогда не выйдет за границы отрез-ка [0,1], поскольку

1 1 [0,1],j jip d

1 [0,1],j

ip

1 [0,1].jd (5.17)

Если ответ обучаемого неправильный, то сложность вопроса необходимо увеличить на значение y (рис. 5.2).

0 1j

ip

y

j

ip 1

0 1jd 1

Рис. 5.2. Коррекция в случае неправильного ответа Аналогично первому случаю составляем соотношение

1

1,

11

j

ji

y d

p (5.18)

поскольку приращение y находится в пределах от 0 до 11 j

ip и соответствующее соотношение является уровнем

компетентности 1 ,jd деленном на максимально возможное его значение. Тогда

1 1(1 ).j j

iy d p (5.19)

Выражение для коррекции сложности вопроса будет таким:

1 1 1(1 ).j j j j

i i ip p d p (5.20)

Формула (5.20) также является корректной, поскольку

1 1 1

1 1 1

1 1 1 1 1

0 (1 ) 1,

0 (1 ) 1 1,

0 (1 ) (1 ) 1.

j j ji

j j ji i

j j j j ji i i i

d p d

d p p

p d p p p

(5.21)

Формулы (5.16) и (5.20) являются выражениями для кор-рекции сложности вопросов в режиме реального времени. Это означает, что коррекция сложности вопросов будет про-исходить сразу же после тестирования каждого обучаемого.


Заметим, что ЛПР не обязательно задает начальный уро-вень сложности вопросов. Достаточно разыграть значения сложности вопросов с помощью генератора случайных чисел на отрезке [0, 1] с равномерным распределением.

Не исключается, что после проведения контроля знаний итоговые оценки j необходимо пересчитать, но уже для от-

корректированных уровней сложности вопросов. 5.4. Модели для определения корректности оценок

и адаптации сложности вопросов

Рассмотрим вопросы второго типа, для которых правиль-ный ответ выбирается из нескольких. Предположим, что для

каждого из m вопросов есть ik ответов, где 1, .i m Вектор

возможных ответов на каждый вопрос отвечает вектору бал-

лов 1 2, ,.., ,ii i i ikv v v v 0;1ilv ,

1

1ik

il

l

v

, 1, il k . Каждое

значение ilv указывает на уровень правильности ответа. Если

0ilv , то l -й ответ является абсолютно неправильным. Оче-

видно, что 1ilv 1, il k 1, ,i m поскольку тогда имел

бы место случай с ответами типа «Да-Нет». Известны сложности вопросов для контроля знаний

0,1 , 1, .ip i m Оценка j -го обучаемого определяется в

случае вопросов второго типа так:

1,

11,1,

1

min1

,max min

i

ii

jm i il

l k

j imi il il

l kl kii

v vp

v vp

(5.22)

де j

iv – бал за ответ j -го обучаемого на i -й вопрос, 1, ,j n n

– количество обучаемых.

Зная уровни успеваемости обучаемых , 1, j j n и вы-

числив j , можно определить адекватность логической схе-

мы оценивания уровня знаний каждого обучаемого [187, 188].


В начале контроля знаний ЛПР задает сложности вопросов. Очевидно, что в таком случае сложности вопросов являются субъективизированными. Ранее уже предложено осуществ-лять адаптацию значений сложности вопросов в режиме ре-ального времени. Соответствующая процедура в случае во-просов второго типа имеет некоторые особенности. В частно-сти, из всех ответов только один является наиболее правиль-ным и ему отвечает максимальная оценка. Среди других от-ветов есть частично правильные и абсолютно неправильные. Поэтому необходимо осуществить преобразование оценок к

0,1 -шкале

1,

1,1,

min

max min

i

ii

iq ill k

iq

il ill kl k

v v

vv v

, 1, , 1, .iq k i m

(5.23)

Абсолютно правильным является ответ, для которого 1.iqv

Только в этом случае значения сложности i -го вопроса необ-ходимо уменьшить. Рационально применить выражение для коррекции сложности вопросов с ответами типа «Да-Нет», поскольку правильным есть только один ответ. Выражение для коррекции будет таким:

1 1 ,j j j

i ip p d (5.24)

где j

ip – значение сложности i -го вопроса, которое устанав-

ливается после прохождения тестирования ( 1)j -го обуча-

емого, 1jd – итоговая оценка за весь тест ( 1)j -го обучае-

мого. Очевидно, что в этом случае сложность вопросов уменьшается. Сложнее будет случай, когда преобразованное значение 0;1 .iqv Поскольку абсолютно правильный от-

вет не получен, то сложность вопросов необходимо увеличи-вать. Осуществим соответствующее преобразование по фор-муле

1 1 1 1(1 ) (1 ),j j j j j

i i i iqd v (5.25)

где iqv – значение, преобразованное по (5.22), которое отвеча-


ет q -му ответу ( 1)j -го обучаемого на вопросы,

1 1 , , , ,i m j n 1, .iq k

Рассмотрим вопросы третьего типа, то есть такие, для ко-торых выбирается несколько ответов из многих. Соответ-ствующие баллы такие же, как и в случае вопросов второго типа. При контроле знаний обучаемый может выбрать толь-ко правильные ответы ( 0),ilv только неправильные ответы

( 0),ilv или и такие, и другие.

Предположим, что ответы на i -й вопрос упорядочены по уменьшению баллов, т.е. 1 2 1( , , , ,..., ),

ii i i iz iz ikv v v v v v

где

1 2 1... ...ii i iz iz ikv v v v v и

1,..,j z

0,ijv 1,.., ij z k

0.ijv

Таким образом, количество правильных ответов

,pb z количество неправильных – .q ib k z

Если заданы только вопросы третьего типа, то оценка обучаемого определяется по формуле

1 1

1

1l-й ответ выбран)

m z

j i ilmi l

ii

v

1,1

min l-й ответ выбран) / .ik

il il z

l z

v k (5.26)

В формуле (5.26) второе слагаемое определяет штраф за выбор неправильных ответов. Коррекцию сложности вопро-сов третьего типа осуществим, исходя из таких соображений. Абсолютно правильным будем считать ответ, соответствую-

щий выбору всех вариантов , 1,ilv l z . Известно, что 1

1z

il

l

v

1, .i m В этом случае коррекцию осуществляем по фор-муле (5.24).

Если ответ не является абсолютно правильным, то воз-можны такие случаи:

1. Выбраны только варианты, отвечающие 0,ilv т.е.


1,2,..,l z , но 1

1.z

il

l

v

2. Выбраны только варианты, для которых 0ilv , т.е.

1,..., il z k и

1

( ) й ответ выбран) 1,..., .ik

ql z

l q b

3. Выбраны варианты с правильными и неправильными

ответами, т.е. : 0ill v и : 0.ilq v

Поскольку во всех трех случаях ответ не является абсо-лютно правильным, а возможно, является неправильным, сложность вопросов будет увеличена. Таким образом, в пер-вом случае коррекция осуществляется по формуле

1 1 1

1

1 1 ( ) й ответ выбран) .z

j j j ji i i il

l

d v l q

(5.27)

Если указаны только неправильные ответы, то коррек-цию выполним так:

ik

j j j ji i i q

l zi

d b lk

1 1 1

1

11 1 й ответ выбран) .

(5.28)

Третий случай является универсальным и тогда коррек-ция происходит по формуле

1 1 1

1

1

1 [1 ( й ответ выбран)

1( й ответ выбран))].

i

zj j j ji i i il

l

k

ql zi

d v l

b lk

(5.29)

К четвертому типу принадлежат вопросы, ответами на которые являются числа. Обозначим ответ, который дает

обучаемый – z , правильный ответ – *z . Для того, чтобы иметь возможность оценки ответа обучаемого, ЛПР указыва-ет отрезок максимальной рациональной длины [ , ]a b . Абсо-

лютно правильным является ответ *.z z


Если заданы только вопросы четвертого типа, то оценка обучаемого может быть определена по формуле

*

1

| |1(1 ) ( [ , ]), 1, .

mi i

j i i ii i i

z zz a b j n

m b a (5.30)

Если на i -й вопрос ( 1)j -й обучаемый дал правильный от-

вет, то корректировка сложности i -го вопроса осуществляем

по формуле (6.24). Если же *i iz z , то корректировку сложно-

сти вопросов выполняем так:

1 *

1 1 1 1(1 ) ( [ , ]),

ji ij j j j j

i i i i i i

i i

z zd z a b

b a (5.31)

где 1j

iz – ответ ( 1)j -го обучаемого на i -й вопрос (число),

1, ,i m 1, j n . Очевидно, что максимальная коррекция

осуществляется в случае ответа, максимально отдаленного от

правильного. Тогда

1 ,ji i iz a b и

1 *| |1

j

i i

i i

z z

b a

. Последнее

условие чаще всего не выполняется в т.ч. и вследствие сме-

щенности правильного ответа *

iz от середины отрезка

[ , ]i ia b . Скорректируем формулу (5.30) и получим такое вы-

ражение:

1 1 1 1 1*

[ , ]

1(1 ) max| | ( [ , ]).

i i i

j j j j j ji i i i i i i i

z a bi i

d z z z a bb a

(5.32)

В пятом случае ответом на вопрос является интервал. Обозначим ответ обучаемого – 1 2[ , ]z z , правильный ответ –

[ , ]a b . Тогда есть такие возможные варианты (рис. 5.3):


Рис. 5.3. Варианты возможных ответов – интервалы

1 21. ,z a z b (рис. 5.3а);

1 22.[ , ] [ , ]z z a b (рис. 5.3b);

1 2 1 2 1 23.([ , ] [ , ] )&[ , ] [ , ] [ , ] [ , ]z z a b z z a b z z a b (рис.5.3с,

5.3d);

1 24.[ , ] [ , ]z z a b (рис. 5.3e).

1 25.[ , ] [ , ]a b z z (рис. 5.3f).

Выше было указано, что определение уровня знаний и кор-ректировки уровня сложности зависит от величин

1 2([ , ] [ , ])L z z a b и 1 2 1 2(([ , ] [ , ])/([ , ] [ , ])),L z z a b z z a b где ( )L A –

длина отрезка А. Первый вариант указывает на абсолютно правильный ответ, второй – на абсолютно неправильный, третий, четвер-тый и пятый варианты определяют частично правильные ответы. Если заданы только вопросы пятого типа, то оценка обучаемого осуществляется по формуле

2 1

2 11 2 1

min , max ,1(min , max , ),

max , min ,

i i i imi i i i

j i i i ii

z b z az b z a

m z b z a

(5.33)

1, .j n Как и в предыдущих случаях, коррекция сложности

вопросы для абсолютно правильного ответа ( 1)j -го обуча-

емого на i -й вопрос осуществляется по формуле (5.24). Для всех других вариантов ответов коррекция сложности вопроса осуществляется итеративно по формуле


1 1 1 1

2 11 1 1

1 1 1 1

2 1

1 1 1 1

2 1

min , max ,(1 ) (1

max , min ,

(min , max , )).

i j i j i j i j

j j j ji i i i j i j i j i j

i j i j i j i j

z b z ad

z b z a

z b z a

(5.34)

Формула (5.34) является корректной, поскольку вслед-ствие коррекции уровень сложности вопроса не превышает единицы. Кроме того, максимальный уровень коррекции бу-дет отвечать случаю абсолютно неправильного ответа.

Для вопросов шестого типа ответами являются нечеткие множества с соответствующими функциями принадлежно-сти. Как известно, чаще используются треугольные, трапеци-еподобные и гауссовские функции принадлежности, кото-рые определяются некоторой совокупностью параметров. Рассмотрим такие случаи детальнее.

1. Предположим, что функция принадлежности является

симметричной и треугольной (рис. 5.4). Обозначим ее ( ),x

max ( ) 1

x

x , где – область определения функции. По-

скольку ( )x является симметричной, то она определяется

двумя параметрами – c и a, где с является координатой про-екции вершины треугольника на ось абсцисс, a – длина пол-стороны основания треугольника.

Пусть функция ( ) ( , , )x x c a является правильным

ответом, а обучаемый определил ответ 1 1( , , )x c a . Такие

функции принадлежности ограничивают области – тре-

угольники D и 1.D Если заданы только вопросы шестого ти-

па, то оценка обучаемого определяется по формуле

1 11 1

1 11

( ) ( )1[ ( ) ( )],

( ) ( )max ( ), ( )

i i i imi i i i

j i ii ii

S D D S D DC C C C

m S D S DS D S D

(5.35)

1, ,j n где ( )S – площадь области . Так, для случая,

изображенного на рис. 5.4с, оценка обучаемого будет такой:


2

1 12

1 11

1

1 112

( ) : 1 .2( ) 4 4 2

c c c ca

a a c caa a

a a a a (5.36)

Рис. 5.4. Варианты ответов – треугольные функции принадлежности

a) b) c)

d)

e) f)

μ(x) μ(x) μ(x)

μ(x) μ(x) μ(x)

x x x

x x x

1

1

1

1

1

1

На рис. 5.4а изображен вариант, который является абсо-лютно правильным ответом, и коррекцию сложности вопро-са в этом случае осуществляем по формуле (5.24). Если ответ будет абсолютно неправильным (рис. 5.4b) или частично не-правильным (рис. 5.4с–5.4f), то коррекцию выполняем по формуле:

1 111 1 1

1 11

1 111 1 1 1

1 11 11

1 [1max ,

], 1, .

j ji ij j j j

i i i j ji i

j ji ij j j j

i i i ij ji i

S D Dd

S D S D

S D Dc c c c j n

S D S D

(5.37)


Известно, что трапециеподобная функция принадлеж-ности определяется пятью параметрами, т.е.

( ) ( , , , , , )x x m m h [75]. Если параметр высоты h имеет

одинаковое значение и для ответа обучаемого, и для пра-вильного ответа, то можно воспользовавшись формулами (5.24), (5.35) и (5.37). Если же высоты будут разными, то для определения оценки обучаемого и коррекции уровня слож-ности вопроса необходимо использовать дополнительные соображения и не исключено, что выполнять взвешенную дефаззификацию. В отличие от вышерассмотренных функций, областью определения гауссовской функции принадлежности есть ин-

тервал [ ; ) и она имеет два параметры, т.е.

( ) ( , , )x x x . Площадь, ограниченная такими функци-

ями принадлежности, известна и равна 2 . Формулы (5.24), (5.35) и (5.37) для такого случая являются применимы-ми. Определенную сложность для анализа составляет случай, когда среднеквадратические отклонения, определяющие функции принадлежности ответов обучаемого и правильных ответов, значительно отличаются, поскольку тогда возника-

ют проблемы определения площади сечения 1( )S D D .

В вопросах седьмого типа ответами являются слова или словосочетания. Для обучаемого предлагается выбрать один из нескольких вариантов. Правильность всех ответов опреде-

ляется векторами 1 2( , ,..., ),ii i i kv v v v

где ik – количество

ответов на i -й вопрос. Среди всех ответов существует один ответ, такой, что

1,ilv все другие

1,2,..., , .iq k q l Если для q -го от-

вета 0iqv , то это означает, что такой ответ синонимически

или содержательно близок к l -му ответу, а балл iqv указыва-

ет на меру близости. Пронормировав баллы так, чтобы вы-

полнялось условие 1

1 1, ,ik

ipp

v i n

сведем задачу к рассмот-

ренной раньше (вопросы второго типа).


Последний тип вопросов – вопросы, ответами на которые являются предложения. В таком случае определение оценки обучаемого, как и коррекция сложности вопросов для совре-менного уровня интеллектуализации и автоматизации про-цесса контроля знаний еще не может быть осуществлено. То-гда ЛПР выполняет эти процедуры лично. Результаты его оценивания обучаемого и коррекция сложности вопросов впредь считаются известными.

5.5. Модели контроля знаний с учетом критерия времени

Значительное количество специалистов работает в кри-

тических условиях, особенностью которых является необхо-димость принятия решений за минимальное время, посколь-ку следствием неправильных и несвоевременных решений есть неспасенные человеческие жизни, значительный мате-риальный ущерб, а в некоторых случаях экологические и техногенные катастрофы. Именно поэтому критерий мини-мизации времени принятия решений является одним из определяющих при установлении уровня профессиональной подготовленности. В вышеприведенных моделях единствен-ным критерием является правильность ответа на вопрос. Модифицируем их таким образом, чтобы в выводах относи-тельно оценок специалистов при корректировке сложности вопросов учитывались два таких критерия.

Соответствующие выводы будут зависеть от следующих факторов: – на вопрос получен правильный, неправильный или ча-

стично правильный ответ; – ответ получен за отведенное время, с превышением лимита

времени, не получен вообще; – при оценивании не учитываются вопросы и ответы, если

время превышено, или учитываются с применением функ-ции штрафа.

Рассмотрим наипростейший вариант оценивания зна-ний. Пусть задаются все вопросы учебной дисциплины или некоторой темы, содержащиеся в базе данных. Ответы спе-циалистов на них могут быть правильными или неправиль-


ными. Предположим, что ЛПР считает правильным не учи-тывать неправильные ответы и ответы, полученные с превы-шением временных ограничений. Тогда оценка знаний спе-циалиста рассчитывается по такой формуле:

1

1

(дан правильный ответ) ( )

,k

mk k

k j

j m

kk

p t T

p

(5.38)

1, ,j n где kjt – время ответа j -го специалиста на k -й во-

прос, kT – максимально возможное время ответа на k -й во-прос.

Оценивание по формуле (5.38) не позволяет провести анализ структуры и последствий, неполученных за ограни-ченное время ответов. Поэтому, предлагается за полученные правильные ответы, но с превышением отведенного времени оценку знаний и умений специалиста уменьшать. Соответ-ствующая формула со штрафной функцией будет такой:

1

1

(дан правильный ответ) (1 ( ))

,k

mk k

k k j

m

kk

j

p t T

p

(5.39)

1, ,j n где ( )k k kp – коэффициент, который определяет

величину штрафа за несвоевременный, но правильный от-вет. Очевидно, что в случае правильного ответа, который по-лучен с превышением временного ограничения, штраф дол-жен быть тем большим, чем меньшей является сложность во-проса. Один из возможных вариантов: (1 ),k k kp где k

– нормирующий коэффициент, значение которого априори определяется ЛПР. Для корректности коэффициента штра-фа необходимым является выполнение неравенства

10 .

1

k

kp

Очевидно, что и коррекцию сложности вопросов необхо-


димо осуществлять, исходя из времени получения ответа. Формулу (5.7) модифицируем к такому виду:

1 10( , , , , ),j j j

i i i i ip p f p m d Z T (5.40)

где iT – нормативное время ответа на вопрос. Выше было по-

казано, что в случае закрытого тестирования и правильного ответа сложность вопроса уменьшается и корректировка осуществляется по формуле (5.16). Если правильный ответ получен в отведенное время, то сложность вопроса умень-шится таким образом:

1 1 ( ). j j j j

i i i ip p d t T (5.41)

Другой случай имеет место, если ответ получен пра-вильно, но с превышением временного лимита. В таком слу-чае ЛПР необходимо определить приоритетность правиль-ного ответа и его своевременного получения. Возможны два случая:

- сложность вопроса будет уменьшена (в некоторых слу-чаях с учетом времени получения ответа), что отвечает более высокому приоритету правильности ответа и вопросам, где время играет второстепенную роль;

- сложность вопроса увеличится, что имеет место для во-просов, где время является главным фактором.

В первом случае корректировка сложности вопроса бу-дет осуществляться по формуле:

1 1

1 ( ),j j j ji i i ip p d t T (5.42)

где 1 – коэффициент уменьшения сложности.

Он определяется, исходя из того, что при увеличении времени ответа сложность вопроса уменьшается на меньшее значение. Предположим, что, задавая iT , ЛПР не ограничи-

вает обучаемого (в допустимых границах) во времени ответа или указывает максимальное время maxT (время контроля

знаний или для одного вопроса – время контроля знаний, разделенное на количество вопросов). Определение коэф-фициента 1 осуществляем, исходя из необходимости вы-


полнения ограничения: 1 (0,1). Если время на ответ счи-

тать неограниченным, то при 1 1 j

it , а при

1 0. j

i it T Поэтому

1 ,1

jii

jii

t T

t T а формула (5.41)

будет сведена к такой:

1 1 1

1

1

( ) ( )1

( ).

jj j j j j ji i

i i i i i ij

i i

j j

i i

t Tp t p d t T p

t T

d t T

(5.43)

Если ЛПР ограничивает максимальное время ответа, то выражение для корректировки сложности вопроса приобре-тет вид

1 1

max

1( ).

1

j j j j

i i i ij

i

p p d t TT t

(5.44)

Коэффициенты 1 в формулах (5.43) и (5.44) удовлетво-

ряют вышеприведенным ограничениям, а сами формулы яв-ляются корректными.

Во втором случае сложность вопроса одновременно надо уменьшить, поскольку получен правильный ответ, и увеличить, вследствие превышения временного лимита его получения. С учетом таких аспектов базовая формула для корректировки сложности вопроса будет такой:

1 1

2 ( ),j j j ji i i ip p d t T (5.45)

где 2 – коэффициент увеличения сложности вопроса. Его

определение базируется на выполнении ограничений

1 1 1 1

2 21 0 1 . j j j j

i ip d p d (5.46)

Кроме того, большее время ответа будет обуславливать уве-личение сложности вопроса на большее значение. При

1 1

2 1 ,j j ji it p d а также при j

iit T 2 0 . При


таких ограничениях 1 1

2

( ) (1 )

1

j j ji i i

ji i

t T p d

t T и формулу

(5.45) перепишем таким образом:

1 1 1 1

2

1 11 1

( , , ) ( )

( ) (1 )( ).

1

j j j j j j j

i i i i i i

j j jj j ji i i

i i ij

i i

p p d t p d t T

t T p dp d t T

t T

(5.47)

Если ЛПР ограничивает время ответа, задавая maxT , то коэф-

фициент 2 определяем, исходя из того, что при

max 2 j

it T

1 11 ,j jip d а при 2 0.

jiit T

Тогда

1 1

2

max max

( ) (1 )

( )(1 )

j j jii i

ji i

t T p d

T T T t

и

1 11 1

max max

( ) (1 )( ).

( )(1 )

j j jj j j ji i i

i i i ij

i i

t T p dp p d t T

T T T t

(5.48)

Рассмотрим случай, когда ответ является неправильным и полученным с превышением лимита времени. Тогда кор-ректировку сложности вопроса осуществляем по формуле, аналогичной (5.21), с учетом времени ответа

1 1 1

3(1 ) ( ). j j j j j

i i i i ip p d p t T (5.49)

Очевидно, что чем большим есть время ожидания ответа, тем большим должно быть увеличение сложности вопроса. В таком случае неправильность ответа является более приори-тетной, чем ее несвоевременность. Поэтому, для нормирую-щего коэффициента необходимым является выполнение

неравенства 1130 (1 ).

jjid p Если

jit , то

113 (1 )

jjid p , где – коэффициент, значения которо-

го находим как решение неравенства

1 1 11 1(1 ) (1 ) 1,j j jj j

i i id p d p p


1 1 11 1(1 ) 1 (1 ),j j jj j

i i id p p d p

1 1 1

1 11

(1 )(1 ) 1.

(1 )

j j ji

j jji

p d d

dp d

Тогда, при jit

11 11 1

3 1

1(1 ) (1 )(1 ),

jj jj ji ij

dd p d p

d а при

jiit T

3 0. Таким условиям удовлетворяет коэффициент

11

3

( )(1 )(1 ),

1

j jjii i

jii

t T d p

t T формула для корректировки

сложности вопроса будет такой:

1 11 1 1 ( )(1 )(1 )

(1 )1

( ).

j j jj j j j i i i

i i i j

i i

j

i i

t T d pp p d p

t T

t T

(5.50)

Если ЛПР задано maxT , то, используя аналогичный вывод,

получим такую формулу:

1 11 1 1

max max

( )(1 )(1 )(1 )

( )(1 )

( ).

j j jj j j j i i i

i i i j

i i

j

i i

t T d pp p d p

T T T t

t T

(5.51)

По полученным формулам (5.38)-(5.51) осуществляется корректировка сложности вопросов для случая, когда в про-цессе контроля знаний задаются все вопросы из базы данных, имеющие закрытый характер.

Рассмотрим вопросы второго типа и модели для оцени-вания знаний специалистов и корректировки сложности во-просов. Используя (5.23) и по аналогии с (5.38) оценка знаний специалиста за ответы на вопросы второго типа определяется таким образом:


1,

11,1,

1

min1

max min

(1 (1 ) ( )), 1, .

i

ii

jm i il

l k

j imi il il

l kl kii

ii i j i

v vp

v vp

p t T j n

(5.52)

Если на вопросы получен правильный ответ в отведенное время или с превышением временного лимита, то корректи-ровка сложности для вопросов всех типов осуществляется по формулам (5.40)-(5.47).

В случае неправильного ответа на вопросы второго типа и превышения отведенного лимита времени его получения корректировку осуществляем с учетом (5.26) и (5.48) по такой формуле:

1 1 1 1

4(1 ) (1 ) ( ). j j j j j j

i i i iq i ip p d p v t T (5.53)

Коэффициент 4 определяется аналогично коэффициенту

3 из (5.47). При этом должно выполняться неравенство 1 11

40 (1 ) (1 ). j jj

i iqd p v

Если jit , то

1 114 (1 ) (1 ),j jj

i iqd p v где –

коэффициент, значение которого находим, решая неравен-ство

1 1 1 1 11 1(1 ) (1 ) (1 ) (1 ) 1,j j j j jj ji i iq i iqp d p v d p v

1 1 11(1 ) (1 ) (1 ) 1 ,j j jji iq iv d p v p

11

11.

(1 )jj

iq

vd v

Тогда, при j

it

1 11

4 (1 (1 )) (1 ),j jjiq id v p

при j

i it T 4 0. Используя способ определения 3 , полу-

чим выражение для определения коэффициента


1 11

4

( )(1 (1 )) (1 )

1

j j jjii iq i

jii

t T d v p

t T

и формулы для корректировки сложности вопроса, если мак-симальное время ответа на вопрос не задано или задано ЛПР, соответственно,

1 1 1

1 1 1( )(1 (1 )) (1 )

(1 )1

( ),

j j j ji i iq ij j j j

i i i ji i

ji i

t T d v pp p d p

t T

t T

(5.54)

1 1 1

1 1 1

max max

( )(1 (1 )) (1 )(1 )

( )(1 )

( ).

j j j j

i i iq ij j j j

i i i j

i i

j

i i

t T d v pp p d p

T T T t

t T

(5.55)

Ответы на вопросы третьего типа оцениваются по фор-муле

1,1 1

1

1

1 1й ответ выбран) min

й ответ выбран) (1 (1 ) ( )) .i

m z

j i il ilm l zi l i

ii

ki

i i j il z

p v l vk

p

l p t T

(5.56)

Аналогично осуществляется вывод формул для коррек-тировки сложности вопросов третьего типа. Ниже приведены выражения, которые соответствуют случаю выбора правиль-ных и неправильных ответов типа (5.30)

1 11 1 1 ( ) ( 1) (1 )

11

( ),

j j jj j j j i i ii i i j

i i

ji i

t T d A pp p d p A

t T

t T

(5.57)


1 1

1 1 1

max max

( ) ( 1) (1 )1

( )(1 )

( ),


i i

ji i

t T d A pp p d p A

T T T t

t T

(5.58)

ikz

il ql 1 l z 1i

1где A [1 v (l й ответ выбран) (b

k

l й ответ выбран))].

Формулы для оценивания ответов на вопросы других типов и корректировки сложности вопросов получаем анало-гично вышеприведенным.

В частности, корректировку сложности вопросов четвер-того типа осуществляем так:

1 11 1 1 ( ) ( 1) (1 )

(1 )1

( ),


i i

ji i

t T d B pp p d p B

t T

t T

(5.59)

1 11 1 1

max max

( ) ( 1) (1 )(1 )

( )(1 )

( ),


i i

ji i

t T d B pp p d p B

T T T t

t T

(5.60)

где

1 1*

[ , ]

1max| | ( [ , ]).i i i

j ji i i i i

z a bi i

B z z z a bb a

Другие формулы не приводим из-за их громоздкости. Полученные выражения для двухкритериального оценива-ния позволяют расширить критериальную базу контроля знаний. Очевидно, что предложенный подход может быть обобщен на большое количество критериев. В то же время для некоторых категорий специалистов именно правиль-ность и своевременность ответа свидетельствует об уровне профессиональной подготовленности.


Предложенный метод оценивания и разработанные мо-дели позволяют уменьшить неопределенность процесса оце-нивания. Формализация процесса определения компетент-ности специалистов с учетом критичности времени контроля знаний позволит объективизировать процесс оценивания их знаний и умений. Элементы разработанной технологии поз-волят уменьшить избыточность процесса оценивания и учи-тывать скорость принятия решений специалистом как одну из характеристик его профессиональной подготовленности. На перспективность такого направления исследований указывает его практическая направленность. В частности, необходимо усовершенствовать метод определения компе-тентности специалистов в условиях неопределенности за счет введения дополнительного критерия – минимизации времени принятия решения. При помощи другого критерия возможно осуществлять процесс оценивания знаний и уме-ний как технологию решения многокритериальной задачи с учетом будущих последствий таких решений [96].

5.6. Аспекты интегральной оценки корректности логической схемы контроля знаний

Обобщим полученные результаты. Пусть n – количество вопросов, которые содержаться в базе данных и могут ис-пользоваться при контроле знаний. Вопросы принадлежат к

разным типам, в частности

8

1

,ii

n n

где in – количество во-

просов i -го типа. Предположим, что j -му обучаемому было

задано K вопросов, причем

8

1

,ii

K k где ik –количество за-

данных вопросов i -го типа. Все вопросы имеют одинаковую сложность.

Осуществим оценивание по ответам на каждый тип во-проса, используя формулы (5.22), (5.26), (5.30), (5.32) и (5.34). Напомним, что первый тип вопросов оценивается по форму-ле (5.23) [157], седьмой тип – по формуле (5.22), восьмой тип –


эмпирически. Полученные оценки – 81 2, ,..., kk kj j j

для j -го

обучаемого, 1, .j m

Тогда общая оценка j -го обучаемого определяется по

формуле

8

81

1

1, 1, .ik

j j ii

ii

k j m

k

(5.61)

Предположим, что все вопросы имеют откорректиро-ванную по формулам (5.24), (5.25), (5.27-5.29), (5.30), (5.31),

(5.33) и (5.36) сложность ,lni где i – номер вопроса,

8

1

1,2,..., ll

i n . Оценка успеваемости j -го обучаемого

определяется так: 8

81 1

1 1

1 l

l

l

l

kn

j ikl in

il i

(1 (ответ на i-й вопрос n-го типа неправильный)), 1, .j m

(5.62)

Формулы (5.61) и (5.62) дают основания для определения адекватности схемы контроля знаний и сложности вопросов, и указывают на возможность их использования для оценива-ния обучаемого. Если ЛПР по результатам вычислений (5.61) и (5.62) делает вывод о неадекватности логической схемы контроля знаний, то тогда необходимо осуществлять кор-рекцию сложности вопросов, которая выполняется для каж-дого типа по соответствующей формуле в режиме реального времени, что позволяет уменьшить субъективизм процесса оценивания.

РЕЗЮМЕ

В пятой главе предложен один из элементов реализации системного подхода к осуществлению дистанционного обра-зования, а именно, к разработке подсистемы контроля зна-


ний обучаемых, базирующийся на адаптивных механизмах. Сформулированы эвристики, которые положены в осно-

ву процедур коррекции уровней сложности вопросов в зави-симости от вариантов ответов экзаменуемых и их общего об-разовательного уровня. Разработаны модели, с помощью ко-торых осуществляется изменение сложности вопросов в ре-жиме реального времени, что позволяет уменьшить время обучения системы, а также минимизировать ошибки оцени-вания знаний.

Рассмотренный подход, равно как и другие существую-щие, требует реализации значительного объема верифика-ционных процедур. Вместе с тем, он является достаточно простым для алгоритмизации и открытым для внесения из-менений и дополнений.

Предложена технология определения адекватности ло-гической схемы контроля знаний и метод корректировки сложности вопросов тестового характера. Разработанные и приведенные выше модели для определения адекватности логической схемы контроля знаний и адаптации сложности вопросов позволяют предпринять еще один шаг к объекти-визации и оптимизации процессов обучения и оценивания. Полученные с их использованием результаты рационально использовать для формирования плана обучения с учетом преимуществ и предложений обучаемых лиц.

Выполнен анализ технологий контроля знаний. Опре-деленные аспекты корректности схем оценивания. Приведе-ны принципы адаптивности контроля знаний и указано на их преимущества. Разработаны модели корректировки сложности вопросов в режиме «реального» времени, а также с учетом критериев правильности данного ответа и времени его получения.


Глава 6 ПРОЕКТИРОВАНИЕ ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМ ПРОФЕССИОНАЛЬНОЙ ПОДГОТОВКИ

6.1. Системный подход к проектированию экспертных систем

Современные тенденции свидетельствуют о неуклонном движении мирового сообщества в направлении создания ин-формационного общества. В сфере образования такое движе-ние отвечает все более широкое внедрение компьютерной техники в учебный процесс; развитие и использование тех-нологий, связанных с глобальной сетью; внедрение элемен-тов дистанционного образования и т.д. В значительной мере эти составляющие определяют необходимость создания ав-томатизированных систем обучения и контроля знаний и зависят от их эффективного функционирования.

Интеллектуальная система профессиональной подготов-ки является ЭС, которая может функционировать в ―актив-ном‖ и ‖пассивном‖ режимах. В ―пассивном‖режиме после-довательности вопросов системой определяются заранее и записываются в базу данных, в ―активном‖ последователь-ность вопросов формируется в процессе ответов обучаемого. В первом случае минимизируется время на генерацию во-проса, но отсутствует адекватная реакция на правильность ответов, во втором если мощность онтологии достаточно большая, то время определения следующего вопроса может быть значительным. Преимущество ―активного‖ режима за-ключается в том, что существует возможность гибкого реаги-рования и определения последовательности следующих во-просов в зависимости от предыдущих ответов. Процесс извлечения знаний с использованием ЭС бази-руется на работе трех подсистем [49]: редактора базы знаний, машины вывода и подсистемы объяснений. Оптимизация их функционирования требует решения таких задач:


- формального представления онтологии в элементном бази-се базы знаний;

- обеспечения возможности определения соответствия между представлением онтологии и таблицей, содержащей тема-тические вопросы;

- разработки алгоритма проведения экспертизы (контроля знаний), предусматривающего возможность гибкой настройки в результате самоорганизации базы вопросов в режиме реального времени;

- разработки моделей и методов проведения экспертизы, начальным этапом которой является формализация вопро-сов в зависимости от типов ответов;

- учета возможности нечеткого представления субъективных заключений;

- разработка системы протоколирования и интерпретации результатов функционирования ЭС, предусматривающей объяснение логики проведения экспертизы.

В результате решения указанных задач открываются перспективы системного подхода к созданию ЭС в различ-ных отраслях знания. Значительная степень унификации процесса их создания и проектирования оптимизирует про-цесс получения экспертных выводов. Необходимым услови-ем этого является формирование онтологий соответствую-щих предметных областей, достаточное условие заключается в реализации технологии суперпозиции элементов контроля знаний, адаптивности и элементов онтологии. Стремительное развитие дистанционного обучения яв-ляется еще одним аргументом в пользу создания и использо-вания автоматизированных систем контроля знаний, бази-рующихся на использовании онтологий предметных обла-стей, являющихся основой учебных курсов. Заметим, что разработка онтологии является достаточно сложным и тру-доемким процессом, поэтому рационально этот процесс в границах учебного заведения, а в дальнейшем и в более ши-роких масштабах унифицировать, для чего разработать про-граммно-методическое обеспечение. Еще одним приложени-ем для разработанных онтологий будет их использование в качестве базовых платформ для разработки дистанционных


курсов, интегрирующих в себе подсистемы обучения, спра-вочной информации, методических указаний, тестовых примеров, приемов отчетов и контрольных заданий.

Предлагаемая концепция построения ЭС для контроля знаний содержит теоретические и практические составляю-щие. В частности: − идея и необходимость построения ЭС контроля знаний

определяется задачей повышения эффективности процес-сов обучения и контроля знаний;

− объективизация процесса контроля достигается посред-ством использования ЭС;

− достаточно точная оценка гарантируется процедурой, обеспечивающей полноту представления материала в про-цессе контроля знаний, а также его отображением на структуру множества вопросов;

− информационная избыточность устраняется с помощью алгоритма, определяющего в режиме реального времени необходимость и структуру дальнейшего контроля знаний;

− все вышеперечисленные факторы направлены на миними-зацию времени оценивания.

Элементный базис и структура ЭС определяется необхо-димостью: − работы с ней как лица, проходящего контроль знаний, так

и эксперта (системного аналитика, преподавателя, ЛПР); − создания базы знаний, содержащей концептуальные эле-

менты курса и отношения между ними, представленные в виде графа ―И-ИЛИ‖;

− разработки онтологии предметной области, содержащей ее концепты, отношения между ними и их интерпретации;

− формирования базы данных, содержащей вопросы и вари-анты ответов для проведения контроля знаний;

− разработки процедуры формирования последовательности вопросов и оценивания разных типов вопросов, а также ин-тегральной оценки.

Практическая составляющая, а именно, реализация ин-струментальных средств должна базироваться на таких принципах: 1. Принцип ясности. Все концепты, факты, отношения, ин-


терпретации, представленные в структурных элементах ЭС должны иметь однозначное трактовку на естественном языке, несмотря на формализмы, в них присутствующие [184].

2. Принцип универсальности. В системе должна быть преду-смотрена возможность формирования онтологии и логиче-ской схемы задач по разным курсам.

3. Принцип согласованности. Все концепты, полученные в результате точного логического вывода из аксиом не долж-ны противоречить неформальным определениям и приме-рам.

4. Принцип расширяемости. Необходимость введения новых концептов не должна подвергать ревизии структуру уже существующих дефиниций.

5. Принцип минимальности смещения кодирования. Выбор представления не должен иметь влияния на качество опре-делений или следствий.

6. Принцип открытости. Предусмотрена возможность внесе-ния изменений и дополнений как в модули системы, так и в элементный базис и структуру онтологий и логической схемы задач.

Инструментарий для проведения контроля знаний дол-жен предусматривать работу двух категорий пользователей: экзаменатора и экзаменуемого. Экзаменатор должен уметь: − формировать онтологии, а именно определять концепты (в

композиции автоматического режима с ручным или ис-ключительно ручном), отношения, составлять словарь ин-терпретаций и его представление;

− формировать логическую схему учебного курса; − формировать базу вопросов и ответов с комментариями

(помощью, подсказками для экзаменуемого лица); − определять процедуру оценивания ответов (необходимо

предусмотреть определения коэффициентов сложности вопросов с разработкой процедуры их модификации в процессе тестирования, например – чем больше экзамену-ющихся не ответили на вопрос – тем выше его сложность).

Для экзаменуемого лица достаточно знать процедуру работы с ЭС. Интеллектуальная система профессиональной


подготовки вообще и ее экспертная часть, в частности, долж-ны иметь следующие блоки: 1. Блок предварительного тестирования. В этом блоке преду-

сматривается определение начальной оценки знаний обу-чаемого, возможность формирования протокола, в котором указано уровень знаний по различным темам и необходи-мость изучения определенного материала.

2. Блок формирования плана обучения. Исходя из информа-ции, полученной в предыдущем блоке, разрабатывается план обучения. Необходимо учесть пожелания обучаемого, в частности, какого уровня знаний он стремится достичь, какие темы являются приоритетными для изучения и т.д.

3. Блок промежуточного тестирования. В блоке предусмат-ривается контроль знаний после изучения определенной темы, а также сравнительный анализ с предыдущими ре-зультатами и вывод статистических показателей.

4. Блок обучения, включающий элементы учебной информа-ции: тексты, мультимедийные блоки, а также метаданные.

5. Блок заключительного контроля. В нем содержится графо-подобное представление структуры вопросов и ответов. Главным элементом блока является алгоритм выбора во-просов и алгоритм формирования оценки.

6.2. Структуризация процесса интегрального оценивания знаний в экспертных системах

Рассматривая проблему контроля знаний на современ-ном этапе развития информационных технологий, необхо-димо учитывать следующие аспекты: - ВУЗы принимают участие в Болонском процессе, важной

составляющей чего является внедрением модульной систе-мы оценивания знаний и объективизация этого процесса;

- развивается система дистанционного образования, в основе которой лежат электронные курсы, автоматизированные системы обучения и контроля знаний;

Одним из направлений оптимизации процесса оценива-ния знаний является разработка и внедрение ИСПП. Выше предложено в качестве базовой структуры использовать он-


тологии учебных курсов и указаны определенные преиму-щества такого подхода. Предложены также методы оценива-ния знаний обучаемых, поскольку вопросы имеют различ-ную структуру и области значений ответов, а также крите-рии досрочного прекращения оценивания в случае отлич-ных знаний или их отсутствия. Отмечено, что главными кри-териями при создании АСОКЗ является полнота и объектив-ность. Как первый, так и второй критерии являются трудно формализуемыми. Определено, что полнота контроля зна-ний достигается в результате создания эффективной и адек-ватной логической схемы оценивания, а объективность явля-ется следствием автоматизации процесса оценивания, осно-ванной на случайных начальных условиях и фиксированных правилах вывода.

Таким образом, можно утверждать, что в основе проце-дуры контроля знаний лежит пятерка элементов

, , , , oO L Q K T , (6.1)

где O − онтология предметной области (учебного курса), L − логическая схема курса, Q − множество вопросов, которые

используются для контроля знаний, K − критерии, которые лежат в основе определения оценки, oT − начальные условия,

значения которых зачастую определяются случайным обра-зом. Логическая схема курса L несет двойную смысловую нагрузку, в частности она является базовым элементом при определении последовательности вопросов для конкретного индивида в зависимости от предыдущих ответов, а также от-ражает элементную базу и структуру онтологии в процессе контроля знаний. В ИСПП могут использоваться вопросы восьми типов [149]. База знаний содержит факты, к которым относятся во-просы и ответы на них, логические правила и процедуры, позволяющие определять оценку в случае контроля знаний с помощью вопросов одного типа. В главах 3 и 5 выполнена формализация задачи определения оценки и для вопросов, ответами на которые являются слова. Алгоритм ее решения базируется на определении близости элементов "синоними-ческого" ряда к правильному ответу.


Интегральная оценка знаний производится автоматиче-ски на базе определения оценки за каждый вопрос каждого типа и уточняется от вопроса к вопросу. Такой алгоритм не-обходим для того, чтобы минимизировать информационную избыточность тестирования, поскольку традиционно, неза-висимо от промежуточных результатов контроля знаний, каждый из обучаемых отвечает на все предусмотренные во-просы, что не является необходимым, а скорее даже избы-точным.

Предложенная структуризация интегрального оценива-ния знаний ЭС позволяет объективизировать процесс кон-троля, предусмотреть его полноту, а также уменьшить ин-формационную избыточность, что, в свою очередь, миними-зирует время неэффективного оценивания. Важно заметить необходимость учета онтологии на этапе определения во-просов и их структуры, базирующейся на семантическом анализе базе данных, в которых отражены концепты, отно-шения между ними и их интерпретация.

Определяя качество и эффективность процессов кон-троля знаний, отметим, что как критерий полноты, так и критерий объективизации являются трудноформализуемы-ми. Полнота контроля знаний достигается в результате со-здания эффективной и адекватной логической схемы оцени-вания, а объективность является следствием автоматизации процесса контроля, основанном на случайных начальных условиях и фиксированных правилах вывода. Напомним, что полнота контроля знаний определяется сформированной онтологией учебного курса, соответствующим наполнением множества вопросов, разработкой соответствующей логиче-ской схемой контроля знаний и установлением соответствия между онтологией и логической схемой. На следующем эта-пе реализации предложенной технологии важно сформиро-вать алгоритм и определить критерий, по которому будет вычисляться интегральная оценка знаний, а также разрабо-тать рекомендации обучаемому в зависимости от уровня его знаний и значения полученной оценки.

Важной является реализация ИСПП с учетом их адапта-ции в режиме реального времени. Современные мировые


тенденции нацелены на создание таких ИСПП, которые ориентированы на определенную модель пользователя. В частности, создаются системы, учитывающее психологиче-ское состояние обучаемого и соответствующим образом на него реагирующие. Не достаточно изученной является про-блема объективизации уровня сложности задаваемых вопро-сов и, соответственно, определения интегральной оценки знаний.

Аналитический обзор методов контроля уровня профес-сиональной подготовки сотрудников оперативно-спаса-тельной службы, как пример, свидетельствует о преимуще-ственном использовании традиционных процедур обучения и контроля знаний в форме экзаменов или тестирования. В то же время, такое оценивание знаний не является полным и имеет низкий уровень объективности. Последние выводы связаны с тем, что специалисты данной службы должны принимать решения в сложных критических условиях, вы-званных пожарами, техногенными и экологическими ката-строфами, следствием которых могут быть многочисленные человеческие жертвы и значительный материальный ущерб. В этой связи возникает необходимость создания соответству-ющих автоматизированных систем обучения и проведения контроля знаний. Существует значительное количество научных исследований, в которых отражены различные под-ходы к созданию таких систем. В большинстве случаев в та-ких системах реализован жесткий каркас организации пред-ставления учебного материала или тестирования.

Как уже было отмечено, адаптивным тестированием знаний называют способ экзаменационного контроля уровня подготовки обучаемого, при котором процедура выбора и предъявления ему очередного тестового задания на каждом шаге тестирования определяется ответами обучаемого на предыдущих шагах теста. Математическую основу такого процесса составляет предложение объединения тестовых за-даний в тематические последовательности со взвешенным ранжированием как отдельных задач, так и целых последова-тельностей и вывода итоговой оценки с учетом нормирован-ной суммы баллов, накапливаемой за выбранные обучаемым


варианты ответов. Задачей, решение которой требуется для разработки

эффективных ИСПП, является формализация построения логической схемы контроля знаний и ее отражение на струк-туру процесса обучения. Решение указанных задач позволит объективизировать процесс обучения и контроля знаний в системе профессиональной подготовки. Динамика современного мира является одной из глав-ных причин увеличения рисков возникновения техногенных и экологических катастроф. Предотвратить критический уровень их последствий могли бы квалифицированные ра-ботники спасательных служб. Несмотря на растущие объемы подготовки, сегодня наблюдаем дефицит специалистов, спо-собных адекватно работать в чрезвычайных ситуациях, при-нимать адекватные, правильные решения.

Для объективизации процессов обучения и создания эффективных автоматизированных систем необходимо определить: - принципы, которые должны быть учтены и на которых бу-

дут базироваться такие системы; - структуру, которая будет лежать в основе их построения; - технологию проведения автоматизированного контроля

уровня подготовки. Подготовка специалистов, которые действуют в критиче-

ских условиях, должна предусматривать полное изложение и контроль учебного материала. Последний предусматривает создание информационной базы, содержащей множество вопросов, которые полностью отражают учебный материал, а также вопросы и при необходимости ответы на них. Заметим, что последовательность вопросов, которые задают работни-ку, не должна содержать избыточности, а также в ней не мо-жет быть и информационной недостаточности.

Традиционно, базы данных как АСОКЗ, так и ИСПП со-держат только вопросы и ответы. Структуру базы данных необходимо расширить и включить в нее информацию о процессе прохождения контроля знаний обучающимся, ста-тистику его ответов; элементы отчета, который будет фор-мироваться по результатам контроля, и атрибуты будущего


плана обучения. Поскольку ИСПП является адаптивной си-стемой, то одним из ее атрибутов является корректировка значения параметра сложности каждого из вопросов. Обучаемого оценивают по различным показателям. Ин-теллектуальный системы профессиональной подготовки от-личаются от обычных АСОКЗ, используемых в учебных заве-дениях, многокритериальностью оценивания. В частности, с помощью ИСПП оценивается не только уровень знаний того или иного учебного курса, но и скорость процесса принятия решений. Считаем нужным оценивать также способность учиться, поскольку от этой характеристики зависят профес-сиональные качества обучаемого, прежде всего способность перенимать передовой опыт и адекватно реагировать на непредвиденные обстоятельства в критических условиях.

Способность к обучению можно оценить интегральным числовым показателем, значение которого будет определять-ся количеством попыток прохождения контроля знаний, временем изучения соответствующего учебного материала и количеством неправильных ответов на вопросы из базы дан-ных. Его коррекцию рационально осуществлять, базируясь на вышеуказанных принципах и моделях. Заметим, что кор-ректировкой рассмотренных параметров не исчерпывается весь перечень процедур, которые используются в адаптив-ных ИСПП.

Первым шагом к объективизации оценки знаний являет-ся создание информационного банка, который будет содер-жать базу вопросов, базу ответов и правила логического вы-вода. Для того чтобы не ограничивать процесс контроля зна-ний только вопросами тестового характера, нужно преду-смотреть широкий спектр их типов в зависимости от воз-можных ответов. И здесь полезен подход, предложенный в [157]. Напомним, что там предложена классификация, вклю-чающая в себя вопросы с ответами типа «Да-Нет» (тестового характера), с выбором одного ответа из многих (причем пра-вильным ответом из предложенных может быть либо один, либо несколько, но с разной градацией «правильности»); с выбором нескольких ответов из многих (ответы имеют раз-личную градацию правильности); с ответом в виде числа


(интервал для возможных значений может быть указанным, а может и отсутствовать); с ответом в виде нечеткой величины (заданной параметрами в зависимости от типа функции принадлежности); с ответами типа «слово» и «предложение». Распространение такой классификации вопросов на про-блемную область подготовки работников оперативно-спаса-тельной службы позволит не сужать сферу возможных во-просов, а также учитывать субъективные заключения обуча-емых. Разработка вопросов и возможных ответов завершает первый этап создания автоматизированной системы.

На следующем этапе завершают формирование базы знаний, предложив правила логического вывода. Их пред-ставляют в виде продукционных правил такого типа:

Если & ,x A y B то z C .

Такие продукционные правила имеют универсальный ха-рактер и являются основой для принятия решений как в де-терминированных ситуациях, так и в условиях неопределен-ности [82]. В последнем случае ,A B и C являются нечеткими множествами с соответствующими функциями принадлеж-ности. Их использование позволит осуществить интеграцию оценок вопросов различного типа и определить общую оценку. Известно, что любые процессы тестирования характери-зуются уровнем информационной избыточности и инфор-мационной недостаточности. Избыточность вытекает из необходимости прохождения жестко заданной последова-тельности вопросов, даже если они выбираются случайным образом.

Причиной информационной недостаточности является неисследованность проблемы полноты системы вопросов, которые предлагаются для проверки знаний обучаемых. Минимизировать такие негативные явления рекомендуется, используя построение структурно-логической схемы учебно-го курса и соответствующую графовую структуру (граф типа «И-Или»). Их применение, например, позволит не проводить дальнейший контроль знаний, если обучаемый не дал пра-вильных ответов на ключевые вопросы. Применение струк-


турно-логической схемы направлено на объективизацию процесса оценивания и обеспечение полноты контроля. Заметим, что процесс оценивания знаний имеет особен-ности, связанные с необходимостью формирования инте-гральной оценки знаний экспертов на базе обработки разно-типных вопросов. Решить эту задачу возможно при условии нормализации разнотипных оценок и приведения значений ответов к одной шкале.

Отметим, что вопросы можно классифицировать как де-терминированные, объективно-неопределенные и субъек-тивно-неопределенные. В частности, для контроля знаний специалистов оперативно-спасательной службы к первой ка-тегории относятся вопросы, ответы на которые являются определенными значениями некоторых параметров, чаще табличными величинами. Вопросами объективно-неопре-деленного типа описываются ситуации, в которых решения необходимо принимать на основе ретроспективы, объектив-ный анализ которой позволяет осуществить выбор опреде-ленной альтернативы. Если же имеет место уникальная ситу-ация, то решение необходимо принимать исключительно на основе собственных знаний, опыта и интуиции. Наряду с контролем уровня знаний, при разработке ИСПП предусматривается определение скорости реакции обучаемого, а также его способность принимать такие реше-ния, которые позволяют минимизировать суммарные нега-тивные последствия критических ситуаций. В некоторых случаях оценка уровня подготовки может быть позитивной, даже в случае неправильного ответа, но данного в приемле-мое время. Конечно, последствия от принятия выбранного решения не должны быть максимально негативными. Таким образом, имеет место комплекс оптимизационных задач:

1 2max, min, min, min, max,P N N T E

при условии, что 1 2{ , ,..., } {1,2,..., }: , 1, .

k km i ii i i n T t k m

где P − критерий полноты информационной базы (включает в себя и полноту множества вопросов, которые задают одно-му обучаемому), 1N − критерий информационной избыточ-


ности, 2N − критерий информационной недостаточности, T

− общее время контроля уровня знаний, E − интегральная оценка уровня подготовки обучаемого, ki − вопрос, ответ на

который должен быть получен за указанное время. Каждый из указанных критериев подлежит формализа-

ции. Процедура расчета их значений не является тривиаль-ной. Определение интегральной оценки – сложная аналити-ческая процедура, поскольку предполагает построение логи-ческой схемы, отражающей порядок задаваемых вопросов, процедуры определения уровня знаний (подготовленности), который является взвешенной суммой определенным обра-зом нормируемых показателей, являющихся оценками каж-дого из ответов. Кроме того, совокупность вышеуказанных критериев делим на три класса: априорные, временные и апостериорные.

Одной из главных задач, относящейся к практической реализации предложенных моделей и методов является вы-бор технологии формирования базы знаний и среды про-граммной реализации ИСПП [155, 184]. Такая технология должна предусматривать интерактивный режим работы с ней как ЛПР, который формирует базу знаний, так и обуча-емого, знания которого оцениваются. Сложность реализации ИСПП заключается также в том, что необходимо совместить в одной системе анализ и количественных, и качественных показателей, а также онтологическое представление учебно-го материала, структурные схемы в виде графов и расчетный модуль [54, 64, 71, 139]. Работа с базой знаний также имеет свои особенности, поскольку все вопросы являются разно-типными и требуют, соответственно, разработки различных вариантов представления как вопросов, так и ответов с при-менением типовых, но разных элементов программной сре-ды. Важным и необходимым аспектом адекватного использо-вания такой автоматизированной системы является разра-ботка методики проведения контроля знаний на базе авто-матизированной системы. В пользу такого утверждения го-ворит то, что зарубежные ученые начали разработку симу-ляционных моделей еще в 70-х годах [133].


6.3. Принципы формирования и структура базы знаний интеллектуальной системы профессиональной подготовки «ПрофКонтроль»

Разработка инструментальных средств для профессио-

нальной подготовки имеет определенные особенности. Ин-формационное обеспечение ИСПП включает в себя сово-купность фактов базы знаний, множество правил вывода и множество процедур, определяющих применение правил вывода. Поскольку ИСПП предназначена как для обучения, так и для контроля знаний, то при ее создании необходимо предусмотреть два основных этапа: - разработка структуры базы знаний как структурно-

логическое отражение блоков учебного материала в упоря-доченное фреймовое представление;

- разработка структуры базы знаний как основы проведения контроля знаний с учетом формы и содержания вопросов и ответов.

Таблицы базы данных, содержащих БУМы, имеет стати-ческую и динамическую часть, а также экстенсиональную и интенсиональную составляющие. Блоки учебного материала упорядочиваются в соответствии с структурно-логической схемой изложения учебного материала [152]. При формиро-вании структуры базы знаний будем учитывать специфиче-ские особенности подготовки специалистов оперативно-спасательной службы с необходимостью определения про-фессиональной направленности. Именно последний аспект является причиной того, что контроль знаний, по результа-там которого предусмотрено определение профессиональ-ной направленности обучаемого, проводится по нескольким дисциплинам. Без ограничения общности считают, что БУ-Мов, которые относятся одновременно к разным дисципли-нам, нет. Тогда соответствующая таблица базы данных будет иметь такие поля:

1 1_ , , , , , ,..., , , ,nDBL ID B NE LC LT LT LT LT (6.2)

где _ID B – идентификатор БУМа, который является номе-


ром или совокупностью символов, которые позволяют осу-ществить его точную идентификацию;

NE – идентификатор (название) учебной дисциплины; LC – блок учебного материала, который может иметь

текстовое представление, быть мультимедийным файлом или файлом презентации;

LT – идентификатор темы курса;

iLT – идентификатор подтемы курса i -го уровня, 1,i k ;

– приоритетность БНМ; – статус БНМ.

Известно, что база данных является составной частью ба-зы знаний [61, 74]. Известно, что элементами базы знаний яв-ляются правила вывода, которые позволяют получать новые знания из известных, а также процедуры, необходимые для определения способа применения правил вывода. Очевидно, что для таблицы базы данных DBL содержание всех полей, кроме последних двух, является неизменным. Поэтому пра-вила вывода в основном нужны для установки и изменений значений статуса и приоритетности БУМа. Такие правила и процедуры их применения приведены в п. 4.5.

Изменение этих значений зависит от характеристик дру-гой таблицы базы данных, которая используется для кон-троля знаний. Ее структура будет принципиально иной,

11 2 1 2

1 11 1 max

_ , , _ , , ,..., , , ,..., , ,

,..., ,..., , ,..., , , _ , , , ,

g g

h h hk k k

DBC ID Q Q TIP Q A A A B B B T

T T T T T T ID B p G

(6.3)

где _ID Q – идентификатор вопроса;

Q – формулировка вопроса;

_TIP Q – тип вопроса (цифра от 1 до 8);

jA – варианты возможных ответов на вопросы 1,j g ;

jB – баллы за выбранные ответы, 1,j g ;

,i ijT T – темы и подтемы учебного материала,

1, , 1,i h j v ;


maxT – максимальное время ответа на вопрос;

_ID B – идентификатор БНМ;

p – сложность вопроса;

kG – коэффициенты значимости вопроса;

– зарезервирована область, h – количество тем; v – максимальное количество подтем в теме; g – максимальное количество ответов на вопросы.

Обучаемому задаются вопросы в соответствии с приве-денной схемой, которая является "И-Или" графом [186, 189], по приведенным выше нисходящему или восходящему алго-ритмам. Рассмотрим подробнее некоторые элементы (6.3). Идентификатор вопроса _ID Q является номером вопроса

(вопросы нумеруются слева направо и сверху вниз в соответ-ствии с логической схемой контроля знаний).

, 1,25iA i - поля, содержащие потенциальные ответы.

Очевидно, что в случае вопросов, ответом на которые есть "Да" или "Нет", таких полей два; если нужно выбрать один вариант из нескольких, то стоит ограничиться семью полями, но такой вывод не является окончательным и указанное ко-личество полей не принципиально; третий случай сводится ко второму; если ответом является число, то поле будет толь-ко одно; в случае ответа-интервала полей два; если ответ - нечеткий интервал, то первое поле укажет на тип функции принадлежности, другие поля будут содержать значения ее параметров, наибольшее их количество - пять в случае тра-пециеподобной функции принадлежности; если ответ - сло-во, то полей 7; если ответом есть предложение, то поле будет одно. Двадцать пять полей нужно, если есть необходимость в выборе одного или нескольких ответов, каждый из которых является трапециеподобной нечеткой величиной (все они являются пятипараметрическими);

, 1,7iB i – баллы за ответы на каждый из вопросов вто-

рого, третьего и седьмого типа; v – максимальное количество уровней иерархии в логи-

ческой схеме контроля знаний;


, 1,10iT i – номер темы учебного курса (очевидно, что

тем может быть и больше); j – номер уровня иерархии, на котором находится во-

прос, 1,j v ;

p – сложность вопроса (число от 0 до 1);

, 1,10iG i – коэффициенты, указывающие на значи-

мость вопроса при определении профессиональных знаний и навыков специалиста в одной из десяти профессий;

– зарезервированная область, содержащая поля для отображения позиции вопроса в общей структуре вопросов.

Конечно, такая структура базы данных является непол-ной, поскольку она должна содержать информацию о про-цессе прохождения контроля знаний обучаемым; статистику его ответов; элементы отчета, который будет формироваться по результатам контроля знаний, и атрибуты будущего пла-на обучения [183]. Поскольку ИСПП является адаптивной системой, то одним из ее атрибутов является корректировка параметра сложности H каждого из вопросов.

Первым шагом к объективизации оценки знаний являет-ся создание базы знаний, содержащей базу вопросов, базу ответов и правила логического вывода. Существующие си-стемы профессиональной подготовки преимущественно ориентированы на задачи тестового характера. Ответы на задания такого типа имеют вид "Да-Нет", иногда необходимо выбирать один правильный ответ из нескольких предложен-ных. Очевидно, что задачи таких типов не исчерпывает всего многообразия вопросов и задач, которые могут быть заданы лицу, знание которого оценивают, при устной или письмен-ной форме контроля.

Для того, чтобы не ограничивать процесс контроля зна-ний только вопросами тестового характера, нужно преду-смотреть широкий спектр их типов в зависимости от воз-можных ответов. Стараясь приблизить компьютерное обуче-ние и контроль знаний к другим формам обучения и кон-троля знаний, считаем рациональным подход, предложен-ный в [84]. Конечно, при таком разнообразии задач обяза-


тельно возникает проблема формализации и приведения оценок ответов к одной шкале, что, за исключением вопросов последнего типа и сделано в [157]. К приведенной классифи-кации вопросов необходимо добавить еще и такие, ответами на которые является указание правильной последовательно-сти (объектов, процессов, действий и т.п). Заметим, что такая типизация вопросов является достаточно полной и вопросы других вероятных типов могут быть сведены к уже предло-женным.

Кортеж (4.2) для всех вопросов имеет содержательно одинаковые поля и разнотипные. К однотипным полям при-надлежат

max_ , , _ , , , _ , , , 1, , 1, .i ijID Q Q TIP Q T T ID B T p i h j g

Разнотипные поля , , 1,j jA B j g определяют типы воз-

можных ответов и балы, которые являются атрибутами отве-тов. Детализируем содержание полей ,j jA B для каждого из

типов вопросов. В частности, - для первого типа вопросов:

1 A «Да», 2 A «Нет», jA « », 3, ;j g

1 B «1», 2 B «0», 1 jB , 3, ;j g

(6.4)

– для второго и третьего типа вопросов:

iA « i -й ответ», 1,i k , jA « », 1, ;j k g 1,i k ,

jB « », 1, ;j k g

(6.5)

(для второго типа вопросов обучаемый выбирает один ответ, для третьего типа - может выбрать несколько);

- для четвертого типа вопросов: 1 A «правильный ответ», 2A и 3A – левая и пра-

вая границы возможного отрезка для ответа, jA « »,

4, ;j g , 1,3i iB r R i , jB « », 4, ;j g

(6.6)

– для пятого типа вопросов: 1A и 2A – левая и правая границы отрезка пра-

вильного ответа, jA « », 3, ;j g , 1,2i iB r R i ,

(6.7)


jB « », 3, ;j g

– для шестого типа вопросов: 1A и 2A – модальное значение и коэффициент

скошенности для треугольной функции принадлеж-

ности правильного ответа, jA « », 3, ;j g

, 1,2i iB r R i , jB « », 3, ;j g

(6.8)

(заметим, что использование других функций принадлежно-сти требует модификации структуры вопросов за счет до-бавления еще одного типа вопросов и модификации полей

, ,j jA B 1,j g );

– для седьмого типа вопросов: 1A = «правильный ответ», iA – « i -е синонимичные

к правильному ответу понятие или атрибут», 2,i k ,

jA « », 1, ;j k g 1 1,B (0,1), 2,i iB v i k , jB «

», 1, ;j k g

(6.9)

– для восьмого типа вопросов:

1A = «правильный ответ», jA « », 2, ;j g jB « »,

2, .j g

(6.10)

Распространение такой классификации вопросов на проблемную область подготовки специалистов оперативно-спасательной службы позволит: – не сужать сферу возможных вопросов; – не ограничиваться вопросами закрытого типа; – проводить полноценный контроль знаний, а не только те-

стирование; – учитывать субъективные выводы обучаемых.

Разработка вопросов и возможных ответов завершает первый этап создания ИСПП.

Как происходит процесс работы с такой ИСПП (рис. 6.1)?

На первом этапе выполняется разработка базы знаний, содержащая учебный материал, вопросы, ответы, правила и методы оценки и обучения. Если обучаемый впервые рабо-


тает с ИСПП, то он проходит предварительное тестирование, которое реализовано в блоке предварительного тестирова-ния. В этом блоке предусмотрена начальная оценка знаний пользователя, возможность формирования протокола, в ко-тором указано уровень знаний по различным темам и опре-деляется необходимость изучения определенного материала. Формируется индивидуальная таблица базы знаний, куда заносится ретроспективная и текущая информация, и осу-ществляется корректировка сложности вопросов.

Рис. 6.1. Схема адаптивного контроля знаний и обучения

База знаний

Контроль знаний

Оценка знаний

Окончательная оценка

Формирование плана обучения

Определение приоритетов БУМ

Корректировки оценки

Изменение сложности

ζ

Исходя из данных, полученных в предыдущем блоке, разрабатывается план обучения пользователя и осуществля-ется определение приоритетности БУМ, значения которых заносятся в таблицу. Учитываются пожелания обучаемого, в частности то, какого уровня знаний он стремится достичь, какие темы являются приоритетными для изучения и т.д.

После проведения обучения обучаемый участвует в про-межуточном контроле знаний. В соответствующем блоке предусмотрен контроль знаний после изучения определен-ной темы, а также сравнительный анализ с предыдущими результатами и вывод статистических показателей, в т.ч., в


динамике. Осуществляется корректировка сложности вопро-сов. Любой этап обучения реализуется на базе блока учебно-го материала, который содержит элементы учебной инфор-мации: тексты, мультимедийные блоки, а также метаданные. Элементы учебного материала структурируются, осуществ-ляется изменение статуса БУМа.

Заканчивается процесс обучения формальным заверша-ющим контролем знаний. Он осуществляется на основе адаптивных схем с оценкой и сравнением общего уровня успеваемости обучаемого и результатами контроля знаний. Главными элементами блока является алгоритм выбора во-просов и алгоритм формирования оценки. Продолжая ана-лиз аспектов реализации ИСПП необходимо обратить вни-мание на интеграцию подсистем обучения и контроля зна-ний, их взаимосвязь и взаимозависимость. В большинстве со-временных систем эти подсистемы функционируют отдель-но или вообще независимо друг от друга. Такая независи-мость приводит к неэффективному контролю знаний, уве-личению времени его проведения. В то же время наличие взаимосвязи между подсистемами контроля и обучения поз-волило бы автоматически формировать задания, проводить обучение по результатам контроля знаний, контроль знаний по окончанию обучения и определять адаптивную страте-гию обучения, что является еще одним из аспектов создания эффективных ИСПП.

Известно, что любые процессы тестирования характери-зуются уровнем информационной избыточности и инфор-мационной недостаточности. Избыточность вытекает из необходимости прохождения жестко заданной последова-тельности вопросов, даже если они выбираются случайным образом. Причиной информационной недостаточности яв-ляется неисследованность проблемы полноты системы во-просов, которая предлагается для проверки знаний обучае-мых. Минимизировать такие явления рекомендуется, ис-пользуя построение структурно-логической схемы учебного курса и соответствующую графовую структуру (граф типа «И-Или»). Их использование, например, позволит не прово-дить контроль знаний, если обучаемый не дал правильных


ответов на определенные ключевые вопросы. Применение структурно-логической схемы направлено на объективиза-цию процесса оценивания и обеспечение полноты контроля знаний.

Заметим, что процесс оценивания знаний имеет особен-ности, связанные с необходимостью формирования инте-гральной оценки знаний обучаемых на базе обработки раз-нотипных вопросов. Решить эту задачу возможно при усло-вии нормализации разнотипных оценок и приведения зна-чений ответов к одной шкале.

6.4. Структурно-функциональная схема системы «ПрофКонтроль»

Реализация информационно-аналитической технологии контроля уровня знаний и обучения специалистов опера-тивно-спасательной службы осуществляется на основе мно-гокритериального оценивания. Подготовка специалистов, действующих в критических условиях, предусматривает полное изложение и контроль знаний материала. В ИСПП «ПрофКонтроль» предусмотрен сквозной информационный поток и использование обратной связи, что позволяет реали-зовать процессы управления как процессами оценивания, так и обучением (рис. 6.2).

Оперируя философскими понятиями, можно утвер-ждать, что ИСПП «ПрофКонтроль» имеет надстройку и ба-зис. К надстройке относятся те процессы и операции, кото-рые необходимо выполнить для работы с системой, а также операции по заполнению таблиц баз данных. На первом эта-пе определяются учебные дисциплины, которые будут изу-чаться и оцениваться, а также перечень тем каждой из них. Далее формируются блоки учебного материала и строится их иерархическая схема, которая является основой процесса обучения [154, 155].

210

Рис. 6.2. Структурно-функциональная схема ИСПП "ПрофКонтроль"

Структурирование учебного материала

Формирование логической схемы контроля знаний

Субъективное определение

сложности вопроса

Данные историй обучение специалиста

Всп

ом

ога

тел

ьн

ые

пр

оц

еду

ры

База данных

вопросов и ответов

Базы данных индивидуальные

Блок правил

вывода

База знаний Препроцессинг Контроль знаний Постпроцессинг Обучение

Модуль адаптивного

выбора вопроса

Модуль оценки каждого

вопроса

Модуль

определения ретроуровня

знаний

Адаптивный контроль знаний

Определение профессиона-

льной направленности

Адаптация

контроля знаний с учетом

критерия времени

Модуль корректировки

сложности вопроса

Модуль корректировки оценки уровня

знаний

Модуль

формирования приоритетов специалиста

Фо

рм

ир

ова

ни

е п

ла

на

об

уч

ени

я

Об

уч

ени

е

База данных учебного

материала


Полученный результат позволяет построить отображе-ние такой иерархической конструкции на логическую схему контроля знаний, которая является графом с вершинами, со-ответствующих вопросам, и дугами, которые указывают на семантически смысловые связи между ним.

Преимуществом такого отображения является то, что ЛПР в процессе формирования вопросов может контролиро-вать наличие информационной избыточности и информа-ционной недостаточности будущего процесса оценивания и осуществить первый шаг в направлении обеспечения его полноты. С использованием приведенных выше структур таблиц баз данных (6.2) и (6.3) осуществляется заполнение соответствующих таблиц.

На следующем этапе ЛПР задает априорные сложности вопросов или отказывается это делать, тогда в базу данных будут записаны сложности всех вопросов по 0,5. Завершаются предварительные операции расчетом и записью в индивиду-альные таблицы базы знаний результатов обучения специа-листа с той или иной степенью детализации.

Базис ИСПП составляют пять блоков, взаимодействие ко-торых имеет последовательный характер с обратной связью между последним и первым блоками. К первому блоку «База знаний» относятся таблицы учебного материала, имеющих фреймовую структуру, соответствующую кортежу (6.2), и таблицы вопросов, ответов и их «инфраструктуры» согласно кортежа (6.3). Также к этому блоку относятся индивидуаль-ные таблицы базы данных, содержащие данные о конкрет-ных специалистах, историю их обучения и контроля знаний.

Именно информация из соответствующих таблиц явля-ется основой планирования процесса обучения. Они имеют такую структуру:

1 1 1_ , , _ , , ,..., , ,..., , ,..., ,u u uDBF ID F MA ID C MT A A N N B B (6.11)

где _ID F – идентификатор специалиста (фамилия, имя, от-

чество);


MA – ретроспективная оценка уровня знаний; _ID C – идентификатор типа контроля знаний (предва-

рительный, промежуточный, заключительный и т.п.); MT – оценка уровня знаний за полное прохождение од-ного из видов контролей знаний;

iA – заданные вопросы, 1,i u ;

iN – время ответов на вопросы, 1,i u ;

iB – оценки за ответы на заданные вопросы, 1,i u ;

u – максимально возможное или заданное количество вопросов.

В модуле адаптивного выбора вопроса реализован метод выбора вопросов по нисходящей и восходящей схемах (см. п. 4.2). Выбор схемы осуществляется по выбору ОПР. Инфор-мация о выбранном вопросе заносится в индивидуальную таблицу базы данных, также в базу данных заносятся резуль-таты ответа (оценка). В дополнительном модуле рассчитыва-ется уровень успеваемости специалиста без учета текущего контроля знаний.

На этапе контроля знаний реализовано многокритери-альное оценивание [173, 185]. Открытость модуля позволяет добавлять и учитывать другие критерии контроля знаний, кроме правильности и времени ответов. Как показано на рис. 6.2, данные контроля знаний заносятся в индивидуальные таблицы базы данных. Предусмотрен модуль для определе-ния профессиональной направленности специалистов опе-ративно-спасатель-ной службы.

На этапе постпроцессинга осуществляется реализация всех тех процедур, которые приведены в главе 5. В частности, осуществляется корректировка сложности вопросов, оценки уровня знаний специалиста и определяются его приоритеты, на которые он обращает наибольшее внимание и хотел бы достичь соответствующих результатов при обучении и кон-троле знаний. Откорректированные значения сложности во-просов записываются в базу данных вопросов и ответов, а приоритетность блоков учебного материала в индивидуаль-ные таблицы базы данных.


Последними и главными модулями ИСПП «ПрофКон-троль» является «Формирование плана обучения» и «Обуче-ние». При формировании плана обучения учитывается ин-формация из базы данных учебного материала и индивиду-альных таблиц. Процесс обучения состоит в последователь-ном выборе и предоставлении БУМов согласно их приори-тетности и статусу. Выбор тех или иных вариантов контроля знаний и обучения осуществляется по правилам вывода в виде продукционных правил.

Важным аспектом процесса оценивания является его структуризация. В отличие от других систем контроля зна-ний и ЭС, разрабатываемая ИСПП базируется на принципе многофакторной оптимизации, поскольку наряду с вычис-ления уровня знаний предусматривается определение ско-рости реакции обучаемого, а также его способности прини-мать такие решения, которые суммарно позволяют миними-зировать негативные последствия критических ситуаций.

Предусмотрено, что иногда оценка уровня подготовки может быть положительной, даже в случае неправильного ответа, но сделанной в приемлемое время. Конечно, послед-ствия от принятия выбранного решения не должны быть максимально отрицательными. Таким образом, имеем ком-плекс оптимизационных задач [118, 155]:

max, min, min, min, max,v uA I I T E

при условии, что 1 2{ , ,..., } : , 1, ,k km Q QQ Q Q T t k m

(6.12)

где A – критерий полноты информационной базы (включает в себя и полноту множества вопросов, которые задают одно-му специалисту);

vI – критерий информационной избыточности;

uI – критерий информационной недостаточности;

T – общее время контроля уровня подготовки;

kQ – вопросы, ответы на которые должны быть получены

за указанное время; E – интегральная оценка уровня подготовки обучаемого.


Комплекс задач (6.12) отличается от традиционных по-становок задач контроля знаний своей многокритериально-стью. Для сотрудников оперативно-спасательной службы этот аспект особенно важен, поскольку помимо знаний для таких специалистов имеет большое значение время, которое требуется для принятия решений. Причем решений, от ко-торых зависит оптимальность и поведения при чрезвычай-ных ситуациях и решений по управлению личным составом спасательных подразделений.

Каждый из указанных критериев подлежит формализа-ции. Процедура расчета значения каждого из них не являет-ся тривиальной. Определение интегральной оценки является сложной аналитической процедурой, поскольку предполага-ет построение логической схемы, в которой отражены поря-док задаваемых вопросов, и процедуры определения уровня подготовки, который является взвешенной суммой опреде-ленным образом нормируемых показателей, отражающих оценки каждого из ответов. Кроме того, совокупность выше-приведенных критериев делим на три класса: априорные, временные и апостериорные.

Важными определяющими составляющими базы знаний являются правила логического вывода. Рационально такие правила вывода представлять в виде продукционных правил вида:

Если & , то .x A y B z C (6.13)

Продукционные правила имеют универсальный харак-тер и являются основой для принятия решений как в детер-минированных ситуациях, так и в условиях неопределенно-сти. В последнем случае ,A B i C есть нечеткие множества с

соответствующими функциями принадлежности. Их исполь-зование позволит осуществить интеграцию оценок вопросов различного типа и определить общую оценку. Данное при-ложение структурно-логической схемы направлено на объ-ективизации процесса оценивания и обеспечение полноты контроля.


6.5. Экспериментальное определение адекватности логической схемы тестирования

Экспериментальная верификация разработанных моде-

лей и методов проводилась на базе Академии пожарной без-опасности имени Героев Чернобыля (г. Черкассы, Украина). К проведению экспериментов в течение трех лет привлека-лись по две учебных группы ежегодно. Средний уровень успеваемости курсантов каждой из групп приведены в табл. А.1 приложения А. Упорядочив оценки курсантов по возрас-танию, строим график успеваемости (рис. 6.3). Анализ гра-фика позволяет утверждать, что количество курсантов, кото-рые имеют удовлетворительные оценки, остается на посто-янном уровне, количество курсантов, обучающихся хорошо, увеличивается, а количество отличников с годами уменьша-ется. Как результат, средний балл находится на отрезке [4,03; 4,17].

3

3,5

4

4,5

5

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37

Идентификатор курсанта

Усп

еваем

ост

ь

2010_1 2010_2 2011_3 2011_2 2012_1 2012_2

Рис. 6.3. Успеваемость курсантов шести групп за три года

Оценки, определяющие средний уровень успеваемости, пронормировали и привели к (0, 1]-шкалы. Каждый год кур-сантам задавали одни и те же десять вопросов, сложность ко-торых была установлена априори и составила 0,1; 0,2; 0,2; 0,3; 0,5; 0,6; 0,7; 0,8; 0,8; 0,9. По результатам контроля знаний сформировано 10 интегральных таблиц, каждая из которых


отвечала ответам всех курсантов трех лет на один вопрос, причем «1» отвечала правильному ответу, «0» - неправиль-ному.

В результате анализа ответов установлено, что сложности всех вопросов необходимо было корректировать. Не ограни-чивая общности, проиллюстрируем этот процесс для трех курсантов и трех вопросов. Случайным образом были вы-браны курсанты с уровнями успеваемости 1 0,7; 2 0,8;

3 0,9 и им заданы вопросы с уровнями сложности

1 0,5;

2 0,6; 3 0,8. Ответы курсантов сведены в табл. 6.1.

Таблица 6.1

Результаты тестирования Успеваемость курсанта

1 0,7 2 0,8 3 0,9

Вопрос 1 Вопрос 2 Вопрос 3

1 0 0

0 1 1

1 1 0

По данным результатам контроля знаний необходимо

проверить адекватность схемы контроля знаний. Находим оценки каждого курсанта:

1

0,50,26;

1,9

2

1,40,74;

1,9 3

1,10,58.

1,9

Соответствующие отклонения: 1 0,44;AV

1 63%;BV

2 0,06;AV

2 7,5%;BV

3 0,32;AV

3 36%.BV

Средние величины: 0,27; 35,5%.AV BV

Полученные значения являются достаточно большими и утверждать об адекватности предложенной схемы нельзя. Выполним анализ сложности вопросов.

Найдем отклонения

1

10

2,4,0,5

1,6 5p


2

2,4 10 0,25

1,7 6,p

3

10 1,7

2

8.

0,

,5

8

4p

Отклонения также значительны и их необходимо кор-рективать. В частности, если подмодульные выражения яв-ляются отрицательными, то сложность вопроса необходимо увеличить, в противном случае – уменьшить. Положим но-вые значения сложности вопросов равными

1

1

,

n

ij jj

i n

jj

1, .i n

Тогда 1 0,66; 2 0,7; 3 0,33.

Для корректируемых значений сложности вопросов находим оценки каждого курсанта:

1

0,660,39;

1,7

2

1,030,61;

1,7

3

1,360,8.

1,7

Соответствующие отклонения: 1 0,31;AV

1 44%;BV

2 0,19;AV

2 24%;BV

3 0,1;AV

3 11%.BV

Средние величины: 0,2; 26%.AV BV

Полученные результаты позволяют сделать вывод о том, что в процессе корректировки априорные сложности вопро-сов претерпевают значительные изменения. Однако величи-на этих изменений незначительно уменьшается с увеличени-ем количества лиц, участвующих в оценивании знаний. Рас-чет оценок обучаемых с откорректированными значениями сложности вопросов свидетельствует об уменьшении абсо-лютного и относительного отклонения текущей и итоговой оценок, что указывает на рациональность применения адап-тивных процедур корректировки сложности вопросов. Оче-видно, что пересмотр сложностей вопросов приводит к оп-тимизации общей схемы оценивания. Определенные проти-воречия, которые присутствуют в такой схеме, не позволяют


выйти на нулевые средние значения. При значительном ко-личестве обучающихся и количестве вопросов средние зна-чения уменьшаются.

На рис. 6.4 приведены результаты оценки знаний специ-алистов оперативно-спасательной службы в одной из групп. Их анализ свидетельствует, что при априорно заданных ЛПР сложностях вопросов оценки курсантов распределились не-равномерно относительно их итогового уровня знаний (определенного, например, как средний балл в зачетной книжке). У подавляющего большинства курсантов текущий уровень знаний оказался ниже, чем итоговый, хотя у 8-ми курсантов он выше.

3

3,2

3,4

3,6

3,8

4

4,2

4,4

4,6

4,8

5

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37

Идентификатор курсанта

Усп

евае

мо

сть

уровень знаний оценки скорректированные оценки

Рис. 6.4. Результаты оценивания знаний курсантов

После корректировки сложности вопросов и перерасчета оценок знаний обучаемых график результатов текущего контроля знаний выровнялся и все значения оказались меньшими итогового уровня знаний. Одной из причин этого являются завышенные оценки обучаемых на протяжении всего времени обучения, исходя из требований к качествен-ной и абсолютной успеваемости, а также субьективизиро-ванный уровень значений сложности вопросов, что и являет-ся причиной значительного отклонения текущих и итоговых


оценок. Приведем количественные оценки, характеризующие

адаптивный контроль знаний. В частности, среднее абсо-лютное отклонение оценок, полученных при текущем и ито-говом контроле знаний, составило 0,238. Такое же отклоне-ние, но полученное с учетом корректируемых сложностей вопросов, составило 0,124. Абсолютное отклонение умень-шилось почти в два раза, что свидетельствует о приближен-ности результатов адаптивного контроля знаний к результа-там итогового контроля знаний. Аналогичная тенденция наблюдается и для среднеквадратических отклонений. В первом случае его значение 7,7%, во втором - 1,95%, для отно-сительных среднеквадратичных отклонений эти значения равны 1,8% и 0,45%, соответственно. Такие же тенденции и сопоставимые значения абсолютного и относительного от-клонений наблюдались и в других группах.

Таким образом, применение адаптивной технологии оценивания позволяет осуществить объективизацию значе-ний сложности вопросов, что приводит к уточнению резуль-татов контроля знаний и их приближению к реальному уровню знаний. Одновременно, полученные результаты да-ют основания для управления учебным процессом и приня-тию мер по его оптимизации.

6.6. Экспериментальная верификация результатов

контроля знаний с использованием адаптивных схем

Для определения эффективности различных логических схем тестирования проведен эксперимент с курсантами од-ной группы. Их количество составляло 25 человек. В тесте со-держалось 100 вопросов. В начале тестирования ЛПР заданы значения сложности всех вопросов равные 0,5. Результаты тестирования на рис. 6.5 соответствуют верхней ломаной ли-нии. Средний уровень успеваемости составил 0,623.


0,3

0,35

0,4

0,45

0,5

0,55

0,6

0,65

0,7

0,75

0,8

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

стандартно по среднему значению по последнему значению

Рис. 6.5. Результаты оценивания Во втором случае тестирование проводилось с использо-ванием предложенной технологии адаптации сложности во-просов в режиме реального времени. Начальные значения сложности всех вопросов равны 0,5. В процессе тестирования уровни сложности вопросов изменяются в зависимости от правильности или неправильности ответов на него и общего уровня подготовленности курсанта.

После завершения контроля знаний во всей учебной группе производится перерасчет уровня успеваемости. Рас-сматривались два варианта: с конечными и усредненными за время тестирования значениями уровня сложности вопросов. Их графики изображены на рис. 6.6. Среднее значение успе-ваемости в первом случае 0, 492, во втором - 0,507. Близость графиков и средних значений свидетельствует о равнопра-вии применения обеих схем. Заметим, что при таком подходе снижается уровень успеваемости, который является опреде-ленным информативным фактором при принятии решений. Результаты проведенных в течение трех лет экспериментов (контроля знаний) в шести группах между собой, в частно-сти, средний уровень успеваемости (рис. 6.4) не превышал 4,6%, а отклонение оценок, рассчитанных по средним значе-ниям сложности вопросов и по окончательному значению находилось в пределах 2-4%. Результаты оценивания и кор-ректировки сложности вопросов приведены в приложении Б (табл. Б.1, Б.2).


Рис. 6.6. Динамика значений сложности трех вопросов

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

Рис. 4.6. Динаміка значень складності трьох питань

Исследование процесса ответов на вопросы позволяет делать и другие выводы, которые являются второстепенны-ми, но информативными для ЛПР и могут быть использова-ны при формировании логической схемы контроля знаний. На рис. 6.6 представлена динамика уровней сложности трех случайным образом выбранных вопросов при оценке кур-сантов предыдущей группы. Очевидно, что вопросы имеют различные дифференцирующие свойства. Один из вопросов четко делит курсантов на две группы. Другие два вопроса характеризуются почти одинаковой динамикой ответов, что указывает на их сравнительно одинаковую сложность. Такие выводы являются основой для рационализации процесса оценивания, проведения эффективного контроля знаний и осуществления его корректировки.

Одним из главных результатов исследования является сокращение времени контроля знаний, что позволяет увели-чить время обучения для курсантов, минимизировать время непродуктивного оценивания и работы как для обучающих-ся, так и для ЛПР. Как указано выше, проверка адекватности разработанных моделей проводилась в Академии пожарной безопасности имени Героев Чернобыля в течение трех лет в двух группах ежегодно. Результаты, свидетельствующие об их временных преимуществах, сведены в табл. 6.2.


Таблица 6.2 Результаты контроля знаний

по традиционной и оптимизированной схемах

ID группы

К-во обуча-емых

Тради-ционная

схема, вре-мя, мин.

Оптими-зирован-ная схе-ма, вре-мя, мин.

Относи-тельное откло-

нение, %

Абсолютное отклонение,

балл

1A 2A 1B 2B 1C 2C 1D 2D

2010_1 29 60 62 24 27 6,7 4,2 0,201 0,126

2010_2 30 77 78 28 31 4,2 5,6 0,126 0,168

2011_1 32 70 75 27 25 5,1 5,8 0,153 0,174 2011_2 36 75 75 25 27 5,3 4,9 0,159 0,147 2012_1 36 72 76 28 30 6,5 6,1 0,195 0,183 2012_2 37 80 80 28 32 6,2 6,3 0,186 0,189

среднее 33,33 72,3 74,3 26,7 28,7 5,67 5,67 0,17 0,16

По традиционной схеме оценивание осуществлялось по ответам на все 50 вопросов. Оптимизированная схема бази-руется на адаптивно восходящей схеме контроля [155], в среднем курсанту задали 14-16 вопросов. Контроль знаний был ограничен 80 минутами. Время, затраченное курсантами для ответов на вопросы, приведены в табл. 6.2. По оптимизи-рованной схеме ( 1B ) курсанты заканчивали отвечать на во-

прос примерно в три раза быстрее, чем по традиционной схеме ( 1A ).

Относительное отклонение оценок ( 1C ), полученных по

традиционной и оптимизированной схемах, составило 5,67%. Интерпретируя этот результат по пятибалльной шкале, аб-солютное отклонение оценок ( 1D ) составляло, в среднем, 0,17

балла. Такие результаты свидетельствуют о значительной экономии времени на проведение контроля знаний при сравнительно незначительном отклонении результатов при


обычной схеме оценивания и схеме с использованием адап-тивного выбора вопросов и корректировке сложности.

Второй эксперимент заключался в двухкритериальном оценивании уровня знаний с использованием моделей (5.38) - (5.60). Среди 50 вопросов, которые задавались курсантам, 20 вопросов имели ограниченное время ответа, причем крите-рий времени доминировал над критерием правильности от-вета. Среднее время контроля знаний в таком случае незна-чительно увеличилось ( 2A ), поскольку принятое решение

(полученный ответ) влияло на последствия критической си-туации. Одновременно курсанты, находясь в условиях вре-менного цейтнота, пытались дать ответ за меньшее время. Использование адаптивных технологий позволило умень-шить время оценивания ( 2B ) в среднем до 28 минут. При

этом было задано 16-18 вопросов. Увеличенное, в сравнении с первым экспериментом, количество вопросов объясняется психологическим аспектом и небольшим увеличением коли-чества ошибок, что при адаптивном оценивании ведет к уве-личению количества вопросов. Относительное ( 2C ) и абсо-

лютное ( 2D ) отклонения оценок почти не изменилось.

Анализируя результаты экспериментов, можно утвер-ждать, что проблема создания эффективных интеллектуаль-ных систем профессиональной подготовки является на сего-дня такой же неиссякаемой, как и проблема создания искус-ственного интеллекта. В пользу такого вывода свидетельству-ет и научная активность, и количество публикаций соответ-ствующей тематики. Полученные выводы указывают на то, что одним из направлений создания ИСПП является реали-зация в них принципа адаптивности, поскольку процесс обу-чения является индивидуализированным по своей сути.

Анализ подходов и технологий разработки систем обу-чения и контроля знаний, проведенный в первой главе, дает основания требовать реализации принципа объективизации процесса оценивания знаний в ИСПП. Одним из способов его реализации является определение адекватности логиче-ской схемы контроля знаний, а также корректировка слож-


ности вопросов и выполнение экспериментальных исследо-ваний.

В ИСПП «ПрофКонтроль» распространены технологии автоматизированного контроля знаний как на вопросы от-крытого, так и закрытого характера; такие, что имеют нечет-кие ответы и ответы с различными коэффициентами пра-вильности, что позволит минимизировать и объективизиро-вать время оценивания, адаптировать процесс контроля зна-ний к уровню успеваемости обучающихся, а также создать основу для оптимизации учебного процесса.

РЕЗЮМЕ

В шестой главе предложены методологические элементы

знаниеориентированных систем, предназначенных для про-фессиональной подготовки, включающие в себя их фор-мальное определение, принципы создания и структурную базу.

Разработан метод проектирования базы знаний и по-строены модели знаний для интеллектуальной системы профессиональной подготовки, в основу которых положена логическая схема контроля знаний и структурно-логическая схема учебного процесса, имеющая графоподобную струк-туру типа «И-Или». Предложена структурно-функци-ональная схема взаимосвязи модулей системы «ПрофКон-троль», базирующаяся на отображении иерархической схе-мы учебного процесса на логическую схему контроля знаний на основании семантических связей между их элементами.

Выполнено экспериментальное определение адекватно-сти логической схемы тестирования. Анализ результатов трехлетнего оценивания знаний и умений курсантов Акаде-мии пожарной безопасности имени Героев Чернобыля поз-волил сделать следующие выводы: - априорно заданные ЛПР сложности вопросов необходимо

корректировать; - после корректировки сложностей вопросов абсолютное и

относительное отклонение текущей и итоговой оценки знаний уменьшается, что указывает на рациональность


применения адаптивных процедур; - уровень знаний, определяемый по результатам текущего

контроля, получен ниже итогового уровня знаний, что сви-детельствует о наличии, а иногда и доминировании субъ-ективного фактора в процессе оценивания знаний;

- корректировку оценки знаний обучаемого можно осу-ществлять как с использованием последнего значения сложности вопросов (после оценивания всех обучаемых в группе), так и среднего значения;

- время контроля знаний с использованием адаптивного оце-нивания по сравнению с традиционной схемой контроля знаний уменьшается почти втрое, а соответствующие абсо-лютные отклонения оценок не превышают 0,17 балла по пятибалльной шкале; такого же порядка результаты имеют место и при учете критичности времени оценивания.

Предложенные конструктивные решения относительно структуры и элементного базиса составляют методологиче-скую основу создания высокоэффективных интеллектуаль-ных систем профессиональной подготовки, отличительной особенностью которых является адаптивность обучения, оценивания и многокритериальность контроля знаний.

Заключение 237

ЗАКЛЮЧЕНИЕ

Необходимость создания методологического базиса про-ектирования эффективных и технологичных автоматизиро-ванных систем обучения и контроля знаний предопределила написание этой монографии. Главное внимание в ней уде-лено проблеме структуризации учебного материала и логи-ческой схемы контроля знаний, а также разработке адаптив-ных технологий оптимизации контроля знаний. Основными результатами, представленными в монографии, являются:

1. Критический анализ проблемы построения эффек-тивных автоматизированных систем обучения и контроля знаний, соответствующих моделей, методов и инструмен-тальных средств, который показал отсутствие системных ис-следований по структуризации и систематизации учебного материала, формирования структурно-логических схем про-цессов контроля знаний, а также элементов адаптивности при его проведении и планировании процесса обучения.

2. Предложена концепция создания и принципы реали-зации инструментария контроля знаний. Указано на особен-ности формирования элементного базиса и предпосылки формирования базы знаний. Разработаны алгоритмы работы с экспертной системой контроля знаний как для преподава-теля, так и для экзаменуемого. Определены алгоритмические особенности проведения контроля знаний с использованием логической схемы курса и онтологии предметной области.

3. Предложен метод проектирования базы данных ком-пьютерной системы профессиональной подготовки, в основу которого положено логическую схему контроля знаний. Определены аспекты разработки таких систем, указано на необходимость реализации в них принципа адаптивности и предложены модели, согласно которым осуществляется кор-ректировка значений сложности вопросов в процессе кон-троля знаний. 4. Предложенная технология создания экспертных си-стем, базирующаяся на методологии системного анализа, он-тологии предметной области, а также принципах и методах самоорганизации является еще одним шагом в направлении


создания эффективных экспертных систем. Эффективность заключается в минимизации времени проведения экспертиз и контроля знаний; в объективизации полученных решений, базирующихся на автоматизации процесса экспертного ана-лиза; более полном охвате предметной области и уменьше-нии информационной избыточности тестовых вопросов и их последовательностей; непрямом формировании у экспертов и обучающихся представлений о структуре предметной об-ласти, ее базовых элементах и их функциональных взаимо-связях.

5. Предложено использовать онтологии учебных курсов в качестве информационной основы структуризации учебного материала и разработаны механизмы такого использования.

6. Сформирован критерий технологичности комплекса процессов, в который входят обучение, контроль знаний и функционирование автоматизированной системы профес-сиональной подготовки и согласно которым профессиональ-ная подготовка осуществляется за минимально возможное время с обеспечением полноты процессов обучения и оцен-ки, отсутствия информационной избыточности и информа-ционной недостаточности, и максимально возможной объек-тивизации полученных результатов. Соответствующие си-стемы получили название интеллектуальных систем профес-сиональной подготовки.

7. Предложено графическое представление логической схемы контроля знаний, как иерархической системы с уче-том семантических связей между вопросами и блоками учеб-ного материала, что является предпосылкой реализации принципа адаптивности при контроле знаний и обучении, а также минимизации времени оценивания обучаемых.

8. Построены модели в виде комплекса продукционных правил для определения профессиональной направленности специалистов оперативно-спасательной службы, использова-ние которых позволяет сделать вывод о компетентности спе-циалиста в определенной предметной области, а также опре-делить вид профессиональной деятельности, к которому он склонен, и рекомендовать его на соответствующую долж-ность. Предложен метод определения приоритетности бло-

Заключение 239

ков учебного материала, осуществляемого по результатам контроля знаний и являющимся основой формирования программ обучения.

9. Разработаны методы определения адекватности уров-ня сложности вопросов контроля знаний с учетом итоговой оценки обучаемого, а также адаптивные модели для коррек-тировки значения сложности в режиме «реального времени», что позволяет уменьшить субъективизм процесса оценки профессиональной подготовленности специалиста.

10. Построены модели оценивания знаний специалистов оперативно-спасательной службы с учетом критерия време-ни и модели корректировки сложности вопросов с учетом правильности и времени получения ответа, что является не-обходимым условием комплексного определения уровня профессиональной подготовленности специалиста как лица, принимающего решения, в сложных критических условиях.

11. Предложены принципы разработки и структуру ин-теллектуальной системы профессиональной подготовки, ее базы знаний и выполнено экспериментальную верификацию разработанных моделей и методов. Установлено, что реали-зация адаптивных схем оценивания позволяет уменьшить почти втрое время контроля знаний при относительном от-клонении оценок обучаемых от их итогового уровня знаний 4,2-6,7%, что свидетельствует об эффективности разработан-ных моделей и методов и является одним из основных экспе-риментальных результатов. Авторы выражают благодарность рецензентам д.т.н., профессору Волошину А.Ф. и д.т.н., профессору Тимченко А.А. за участие в обсуждении результатов, представленных в монографии, и ценные замечания. Поскольку монография издается в авторской редакции, будем благодарны за указания на допущенные ошибки и описки, которые просим направлять по адресу [email protected].

mailto:[email protected]


ГЛОССАРИЙ

Пертинентность – это соотношение объѐма полезной информации к общему объѐму полученной информа-ции, независимо от того, насколько точно и полно ин-формационная потребность выражена в тексте инфор-мационного запроса. Релевантность – интегральная оценка степени семанти-ческого соответствия и степени практической приме-нимости поискового запроса и полученной информа-ции. Логическая схема курса – графоподобное изображение основных элементов учебного материала, в основе ко-торого лежит представление преподавателя о важности блоков учебного материала и последовательности их изложения. Логическая схема контроля знаний – графоподобное пред-ставление структуры вопросов для контроля знаний, являющееся его основой, а также используемое при реа-лизации контроля знаний с использованием принципа иерархичности и восходящей или нисходящей схемы.

Список использованых источников 241

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 1. Baker F. The Basics of Item Response Theory. − ERIC Clear-

inghouse on Assessment and Evaluation: University of Mary-land, College Park, MD. – 2001. –176 p.

2. Booch G. Object-Oriented Design with Applications. Second Edition. The Benjamin/Cummings Publishing Company, Inc, Menlo Park, CA.– 1994. –580 p.

3. Bothe H.H. Neuro-Fuzzy Methoden: Einfuerung in Theorie and Fuzzy-Systeme. – Berlin: Springer Verlag, 1998. – 452 p.

4. Byrnes R., Debreceny R., Gilmour P. The development of Multi-Choice and True-False Testing Environment on the Web. – Ausweb95: The First Australian World Wide Web Conference. Southern Cross Univ. Режим доступа: http://elmo.scu.edu.au/sponsored/ausweb/ausweb95 /papers/education3/byrnes/.

5. Current Projects. Режим доступа: http://ccel.dfki.de/curr_projects/index.en.html.

6. Davis R., Buchanan B., Shortliffe E. Production Rules as a Representation for a Knowledge-Based Consultation Program // Artificial Intelligence. – 1977. – № 8. – P. 15-45.

7. Feigenbaum E.A. The simulation of verbal learning behavior // Proceedings of the 1961 Western Joint Computer Confer-ence. – 1961. – 191-229 p.

8. Feigenbaum E.A., Feldman J. Computers and Thought. – AAAI, USA. – 1963. – 550 p.

9. Fuzzy Expert System Tools / M. Schneider, A. Kandel, G. Langholz, G. Chew. – John Willey & Sons, 1996. – 198 p.

10. Gharajedaghi J., Ackoff R.L. Toward Systemic Education of System Scientists // Systems Research. – 1985. – Vol. 2. – № 1. – P. 21-27.

11. Gribova V. Implementation of various dialog types using an ontology-based approach to user interface development // In Proc. XI-th Int. Conf. ―KDS-2005‖. Varna. Vol. 1. P. 153-158.

12. Gruber T.R. A Translation Approach to Portable Ontology Specifications. // Knowledge Acquisition. − 1993. − Vol.

http://elmo.scu.edu.au/sponsored/ausweb/ausweb95%20%20%20%20%20%20%20%20%20%20%20/papers/

http://elmo.scu.edu.au/sponsored/ausweb/ausweb95%20%20%20%20%20%20%20%20%20%20%20/papers/

https://saltworks.stanford.edu/documents/druid:ff440fr7678/downloads?download_id=document.pdf

https://saltworks.stanford.edu/documents/druid:ff440fr7678/downloads?download_id=document.pdf


5(2).− P. 199-220. 13. Gruber T.R. Toward Principles for the Design of Ontologies

Used for Knowledge Sharing // International Journal Hu-man-Computer Studies. − 1995. − Vol. 43. − Issue 5-6. − P. 907-928.

14. Gruninger M., Fox M.S. Methodology for the Design and Evaluation of Ontologies // In Proc. of the Workshop on Basic Ontological Issues in Knowledge Sharing, IJCAI-95: Montreal. − 1995. − P. 221-232.

15. Guarino N. Formal Ontology in Information Systems // In Proceedings of FOIS’98. − Trento, Italy. − 1998. − P. 3-15.

16. Henze N., Dolog P., Nejdl W. Reasoning and Ontologies for Personalized E-Learning in the Semantic Web // Educational Technology & Society. − 2004. − Vol. 7. − Issue 4. − P. 82-97.

17. IMS Question & Test Interoperability Specification. Режим доступа: http://www.imsglobal.org/question/.

18. Khoroshevsky V.F., Knowledge V.S. Data Spases: How an Applied Semiotics to Work on Web // In Proc. 3rd Workshop on Applied Semiotics, National Conference with International Participation (CAI’ 98), Pushino, Russia. – 1998. – P. 7-16.

19. Lawley D.N. The Application of the Maximum Likelihood Method to Factor Analysis // British Journal of Psychology. General Section. − 1943. − Vol. 33. − Issue 3. − P. 172-175.

20. Lord F.M. Application of item response theory to practical testing problems. – Hillsdale N.-Y., Lawrence Erlbaum Ass., Publ., 1980. – 266 p.

21. Lord F.M., Novick M.R. Statistical Theories of Mental Test Scores. − Addison-Wesley Publishing Company, Inc., 1968. − 568 p.

22. Luger G.F. Artificial intelligence. Structures and strategies for complex problem solving. Addison Wesley: Boston, 2002. 864 р.

23. Manako A., Synytsa K. Modern Research and Educational Spaces: Technologies and Approaches // In Proc. ITEA-2006 (First Intern. Conf. «New Information Technologies in Educa-tion for All», Ukraine, IRTC, 29–31 May 2006). – Kiev, 2006. – P. 37–51.

24. Netavskaya E. Inductive approach to forming of control


knowledge scheme on the base of subject domain ontology // In Proceedings of ISTA-2007. − Kharkiv, Ukraine. − 2007. − P. 43-49.

25. Netavskaya E. Self-Organization of Functioning Process of Expert System with the Use of Subect Domain Ontology // Information Technologies & Knowledge. − 2007. − Vol. 1. − P. 219-225.

26. Noy N.F., McGuinness D.L. Ontology Development 101: A Guide to Creating Your First Ontology // Knowledge Sys-tems Laboratory Technical Report KSL-01-05 and Medical Informatics Technical Report SMI-2001-0880. − Stanford. − 2001. − 23 p.

27. Palagin A., Peretyatko V. Development of procedures of recognition of objects with usage multisensor ontology con-trolled instrumental complex // In Proc. XI-th Int. Conf. ―KDS-2005‖. Varna. Vol. 1. P. 140-147.

28. Pesin L. Knowledge Testing and Evaluation in the Integrated Web-Based Authoring and Learning Environment // In Proc. of the 3rd IEEE International Conference on Advanced Learning Technologies (ICALT 2003). – Athens, Greece, 2003.– P. 268-269.

29. Publications - Life Long. Режим доступа: http://ccel.dfki.de/publications/publications_lifelonglearn.en.html.

30. Rasch G. Probabilistic models for some intelligence and at-tainment tests. – Chicago: The University of Chicago Press, 1960. − 199 p.

31. Rios A., Millan E., Trella M., Conejo R. Internet based evalua-tion system // Artificial Intelligence in Education: Open Learning Environments. – Amsterdam: IOS Press. – 1999. – P. 387-394.

32. Skinner B.F. The science of learning and art of teaching // Harward Education Review. − 1954. − Spring, 24. − P. 86-97.

33. SunRav TestOffice. Режим доступа: http://www.sunrav.ru/index.html.

34. Uschold M., Gruninger M. Ontologies: Principles, Methods and Applications // Knowledge Engineering Review. − 1996.− № 11(2). − P. 101-114.

http://www.ksl.stanford.edu/people/dlm


35. Weiss D.J. (Ed.) New horizons in testing: latent trait test the-ory and computerized adaptive testing. – N.-Y., Academic Press, 1983. – 345 p.

36. Wolpers M., Martin G., Samuylova I. Europäische forschungs- und entwicklungstendenzen im elearning am beispiel des network of excellence for professional learning prolearn (russische übersetzung) // Elearning-World. – Moskau, Russische Föderation, 2005. – 184 p.

37. Wright B.D., Stone M.A. Best Test Design. − Chicago: MESA Press, 1979. − 240 p.

38. Zadeh L. Fuzzy sets // Information and control. – 1965. № 8. – P. 338–353.

39. Zimmermann H.-J. Fuzzy Sets, Decision Making and Expert Systems. – Kluwer:Dordrecht, 1987. – 335 p.

40. Аванесов В.С. Методологические и теоретические основы тестового педагогического контроля: дисс… доктора пед. наук: 13.00.01. − М., 1994. − 322 с.

41. Аванесов В.С. Научные основы тестового контроля знае-мый. – М.: Иссл. центр проблем качества подготовки спе-циалистов, 1994. – 135 с.

42. Аванесов В.С. Научные проблемы тестового контроля знаний. – М.: Иссл. центр проблем качества подготовки специалистов, 1994. – 135 с.

43. Аванесов В.С. Тесты в социологическом исследовании. − М.: Наука, 1982. − 199 с.

44. Аванесов В.С. Форма тестовых заданий. − М.: Центр те-стирования, 2005. − 155 с.

45. Алексахин С.В., Николаев А.Б., Строганов В.Ю. Модели адаптивного тестового контроля в системе дистанцион-ного образования. Режим доступа: http://ito.edu.ru/2001/ito/VI/VI-0-17.html.

46. Аргус-М - Тесты с ответами для школ и ВУЗов. Режим доступа: www.argusm.com.

47. Артемьева И.Л., Князева М.А., Купневич О.А. Онтология оптимизации программ // Искусственный интеллект. – 2000. № 3. 2000. С. 17-24.

48. Беллман Р., Заде Л. Принятие решений в расплывчатых

http://www.argusm.com/


условиях. В сб. Вопросы анализа и процедуры принятия решений. М.: Мир, 1976. С. 172-215.

49. Беляєв С.В., Воливач А.П., Поляничко А.Л., Самойлова О.М. Компьютерная обучающая тестовая система кон-троля и самоконтроля знаний // Вестник Восточноукра-инского национального университета им. В. Даля. – 2011.– № 7 (161). – Ч. 1. – С. 206-208.

50. Блюмин С.Л., Шуйкова И.А. Модели и методы принятия решений в условиях неопределенности. – Липецк: ЛЭГИ, 2001. – 138 с.

51. Борисов А.Н., Крумберг О.А., Федоров И.П. Принятие решений на основе нечетких моделей: Примеры исполь-зования. – Рига: Зинатне, 1990. – 184 с.

52. Воинов А., Гаврилова Т.А., Данцин Е. Я. Язык визуального представления знаний и его место в САКЕ-технологии // Известия РАН, Теория и системы управления. − 1996. −№ 2. − С. 146-151.

53. Волошин А.Ф., Мащенко С.О. Модели и методы приня-тия решений. − К.: Киевский университет, 2010. − 336 с.

54. Гаврилова Т.А., Лещева И.А., Лещев Д.В. Использование онтологий в качестве дидактического средства // Искус-ственный интеллект. − 2000. − № 3. − С. 34-39.

55. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллек-туальных систем. Учебник. – СПб.: Питер, 2000. – 384 с.

56. Галеев И.Х., Иванов В.Г., Аристова Н.В., Урядов В.Г. Сравнительный анализ программных комплексов Test-Maker и ACT Test // Educational Technology & Society.– 2007. – № 3. – C. 143-165.

57. Герман О.В. Введение в теорию экспертных систем и об-работку знаний. Минск: ДизайнПРО, 1995. 255 с.

58. Гладун В.П. Планирование решений. − К.: Наук. думка, 1987. − 186 с.

59. Гладун А.Я., Рогушина Ю.В.. Онтологии как перспектив-ное направление интеллектализации поиска информа-ции в мультиагентных системах Е-коммерции // In Proc. XI-th Int. Conf. ―KDS-2005‖. Varna. Vol. 1. P. 158-165.

60. Глибовец Н.Н., Крусь А.А. Реализация подсистемы тести-


рования в системах дистанционного обучения // Управ-ляющие системы и машины. – 2001. – №3. – C. 70-78.

61. Глибовец Н.Н., Олецкий А.В. Искусственный интеллект.– К.: Академия, 2002. – 366 с.

62. Гнатіенко Г.Н., Снитюк В.Е. Экспертные технологии при-нятия решений. – К.: Маклаут, 2008. – 444 с.

63. Горовой В., Гаврилова Т. Архитектура программного комплекса ОНТОЛИНЖ-KAON // In Proc. XII-th Int. Conf. ―Knowledge-Dialogue-Solution‖. − Varna. − 2006. − P. 133-139.

64. Гречко А.В. Онтология метода анализа иерархий Саати// Искусственный интеллект. 2005. № 3. C. 746-757.

65. Грибова В.В, Тарасов А.В. Генератор кода пользователь-ского интерфейса, управляемого онтологиями // Искус-ственный интеллект. − 2005. − № 4. − С. 457-464.

66. Грибова В.В. Генерация текстов по выходным данным прикладной программы // Искусственный интеллект. 2004. Т. 3. С. 626-635.

67. Грибова В.В. Обеспечение качества пользовательского интерфейса при его разработке на основе онтологий. // Труды 9-ой межд. конф. по искусств. интеллекту, Тверь. Москва: Физматлит. 2004. Т. 2. С. 600-608.

68. Григорова А.А. Методы, алгоритмы и технологии кон-троля знаний в системах обучения: автореф. дисс… канд. техн. наук: 05.13.06. − Херсон, 2004. − 21 с.

69. Гриценко В.Г., Власенко В.М., Власенко О.В. Использова-ние автоматизированной системы оперативного кон-троля знаний для обеспечения оперативной связи и кор-ректировки учебного процесса // Вестник Черкасского национального университета им. Б. Хмельницкого. – 2008. – № 139. – С. 41-46.

70. Гриценко В.И., Довбыш А.С., Любчак В.А. Информаци-онный синтез адаптивной мультиагентной системы управления дистанционным обучением // УCиМ. – 2006.– № 6. – C. 4–25.

71. Гуров В.В. Разработка методов и средств анализа и обес-печения качества программных систем учебного назна-


чения: автореф. дисс. ... канд. техн. наук: 05.13.11 «Мате-матическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей». – М., 2008. – 22 с.

72. Даревич Р.Р. Повышение эффективности интеллектуаль-ного анализа теста путем взвешивания понятий модели онтологии // Искусственный интеллект. 2005. № 3. С. 571-577.

73. Демчина М.М., Федорак Р.М., Шекета В.И. Разработка технологии текущего и итогового контроля знаний на основе методов экспертных систем // Вестник Хмельниц-кого национального университета. – 2009. – № 5. – С. 238-244.

74. Джарратано Д., Райли Г. Экспертные системы: Принципы разработки и программирования. − М.: ―И.Д. Вильямс―, 2007. − 1152 с.

75. Довбиш А.С., Любчик В.О., Петров С.О. Машинная оцен-ка знаний студентов в системе управления ди-станционным обучением // Вестник Сумского государ-ственного университета. – 2007. – № 1. – С. 167–178.

76. Дюбуа Д., Прад А. Теория возможностей. - М.: Радио и связь, 1990. - 286 с.

77. Журавлев Ю.И., Рязанов В.В., Сенько О.В. Распознавание. Математические методы. Программная система. Практи-ческие применения. – М.: «Фазис», 2006. – 168 с.

78. Заде Л. Понятие лингвистической переменной и ее при-менение к принятию приближенных решений. – М.: Мир, 1976. – 167 с.

79. Заде Л.А. Роль мягких вычислений и нечеткой логики в понимании, конструировании и развитии информаци-онных интеллектуальных систем // Новости искусствен-ного интеллекта. – 2001. – № 2-3. – С. 7-11.

80. Зайцева Л.В. Модели и методы адаптации к учащимся в системах компьютерного обучения // Educational Technology & Society. – 2003. – № 6 (3). – С. 204-212.

81. Зайцева Л.В., Прокофьева Н.О. Модели и методы адап-тивного контроля знаний // Educational Technology & Society. – 2004. – № 7 (4). – С. 265-277.


82. Зайченко Ю.П. Нечеткие модели и методы в интеллекту-альных системах. − К.: Слово, 2008. − 344 с.

83. Зайченко Ю.П. Основы проектирования интеллектуаль-ных систем. − К.: Слово, 2004. − 352 с.

84. Згуровский М.З. Интегрированные системы оптималь-ного управления и проектирования. – К.: Вища школа, 1990. – 351с.

85. Згуровский М.З. Сценарный анализ как системная мето-дология предвидения // Системные исследования и ин-формационные технологи. – 2002. № 1. – С. 7-38.

86. Згуровский М.З., Доброногов А.В., Померанцева Т.Н. Ис-следование социальных процессов на основе методологии системного анализа. Киев: Наук. думка, 1997. 222 с.

87. Згуровский М.З., Панкратова Н.Д. Системный анализ. Проблемы, методология, приложения. − К.: Наук. думка, 2005. − 743 с.

88. Згуровский М.З., Панкратова Н.Д. Технология предвиде-ния. – К.: ІВЦ "Політехніка", 2005. – 156 с.

89. Иванова О.Н., Кононов О.Н. Адаптивное тестирование в практике диагностики способностей и знаний // Режим доступа: http://www.ht.bitnet.ru/press/articles/?view=art129.

90. Ивахненко А.Г. Долгосрочное прогнозирование и управ-ление сложными системами. К.: Наук. думка, 1975. 311 с.

91. Ивахненко А.Г., Юрачковский Ю.П. Моделирование сложных систем по экспериментальным данным. – М.: Радио и связь, 1987. – 120 с.

92. Карпова И.П. Исследование и разработка подсистемы контроля знаний в распределенных автоматизированных обучающих системах: дисс… канд техн. наук: 05.13.13. − Москва, 2002. − 200 с.

93. Катаева Е.Ю. Информационная технология автоматизи-рованного обучения и контроля знаний в управлении учебным процессом : автореф. дисс. ... канд. техн. наук: 05.13.06 «Автоматизированные системы управления и


прогрессивные информационные технологии». – Черкас-сы, 2004. – 20 с.

94. Катеринчук И.С., Рачок Р.В., Кравчук В.В., Кулик В.М. Интеллектуальная система автоматизированного кон-троля знаний студентов высших учебных заведений // Информационные технологии в образовании: Сборник научных трудов. Выпуск 4. – Херсон: Изд-во ХГУ, 2009. – С. 139-147.

95. Кафтанников И.Л., Коровин С.Е. Перспективы использо-вания web-онтологий в учебном процессе // Educational Technology & Society. − 2003. − № 6(3). − P. 134-138.

96. Кини Р.Л., Райфа Х. Принятие решений при многих кри-териях: предпочтения и замещения.– М.: Радио и связь, 1981. – 560 с.

97. Клещев А. С., Шалфеева Е. А. Системный анализ при автоматизации интеллектуальной профессиональной деятельности // Труды XIII национальной конф. по ис-кусственному интеллекту КИИ-2012. – Т.2. – Белгород: БГТУ, 2012. – С. 128–135.

98. Кобзев И.В., Петров К.Е., Тулупов В.В. WEB-ориентиро-ванная адаптивная система тестирования // Системы обработки информации. – 2010. – Вып. 9 (90). – С. 149-152.

99. Коджа Т.И. Автоматизированная система управления и контроля знаний в процессе обучения: автореф. дисс. канд. техн. наук: 05.13.06 „АСУ и прогрессивные инфор-мационные технологии‖ , Одесса, 2003. – 22 c.

100. Кравцов Г.М., Кравцов Д.Г. Адаптивные и объектные те-сты в модели контроля знаний по стандарту IMS // УСиМ.– 2008. – № 1. – С. 42-48.

101. Кравцов Д.Г. Проектирование и реализация многослой-ной системы тестирования // УСиМ. – 2005. – № 6. – С. 71-74.

102. Кучеренко Е.И., Павлов Д.А. Некоторые аспекты анализа развития нечетких онтологий // Искусственный интел-лект. 2005. № 3. С. 162-169.

103. Ланин В., Лядова Л., Чуприна С. Система интеллектуаль-ного поиска и автоматической каталогизации документов на основе онтологий // In Proc. XII-th Int. Conf.

http://www.iacp.dvo.ru/is/staff.php?id=1

http://www.iacp.dvo.ru/is/staff.php?id=12


―Knowledge-Dialogue-Solution‖. − Varna. − 2006. − P. 139-144.

104. Лега Ю.Г., Нетавская Е.Г., Ерофеев Ю.Ф. Структуризация процесса интегрального контроля знаний // Вестник ЖГТУ, Житомир. − 2006. − № 4. − С. 94-99.

105. Люгер Дж. Ф. Искусственный интеллект: стратегии и методы решения сложных проблем. − М.: Вильямс, 2003. − 864 с.

106. Мазорчук М.С., Добряк В.С., Гончарова К.А. Оценка па-раметров теста на основе модели IRT // Системы обра-ботки информации. – 2010. – Вып. 7 (88). – С. 121-125.

107. Мазурок Т.Л. Нейросетевой анализ должностных компе-тенций // Вестник ХНТУ. – 2008. – № 1 (30). – С. 62-66.

108. Маклакова Г.Г. Основные принципы создания распреде-ленной системы дистанционного образования на базе виртуальной среды // УСиМ. – 2008. – № 1.– С. 76-83.

109. Манцивода А.В., Малых А.А. Достижения в Интернете и будущее информационной среды российского образова-ния //Информационные технологии. – 2008. – № 1. – С. 67-74.

110. Матвеевский С.Ф. Основы системного проектирования комплексов летательных аппаратов. – М.: Машинострое-ние, 1987. – 239 с.

111. Моисеев Н.Н. Неформальные процедуры и автоматиза-ция проектирования. – М.: Знание, 1979. – 63 с.

112. Молчанов А.А. Моделирование и проектирование слож-ных систем. К.: Выща школа, 1988. 359 с.

113. Москаленко Ф.М. Экспертная система медицинской диа-гностики, основанная на реальной онтологии медицины, для многопроцессорной ЭВМ // Труды II межд. конф. "Параллельные вычисления и задачи управления", Москва. М.: ИПУ РАН. 2004. С. 999-1084.

114. Мыснык Л.Д. Методы и модели управления тестовыми технологиями в ВУЗах в условиях внедрения Болонского процесса : автореф. дисс…. канд. техн. наук: 05.13.06 «Ав-томатизированные системы управления и прогрессивные информационные технологии». – Черкассы, 2010. – 24 с.


115. Мыснык Л.Д. Методы управления технологиями обуче-ния и тестирования знаний студентов ВУЗ // Восточно-Европейский журнал передовых технологий. – 2002. – № 1/2 (55). – С. 24-27.

116. Нейлор К. Как построить свою экспертную систему. – М.: Энергоатомиздат, 1991. – 286 с.

117. Нетавская Е. Концептуальные принципы реализации и структура инструментария контроля знаний на базе он-тологий // In Proc. XIIIth Int. Conf. ―Knowledge-Dialogue-Solutions‖. – Bulgaria, Varna, 2007; Vol. 2. − P. 464-470.

118. Нетавская Е. Самоорганизация процесса функциониро-вания экспертной системы с использованием онтологии предметной области // In Proc. XII-th Int. Conf. ―KDS-2006‖. − Bulgaria, Varna, 2006. − P. 127-132.

119. Нетавская Е.Г. Структурно-онтологический подход к оп-тимизации процессов контроля знаний // Искусствен-ный интеллект. − 2006. − № 3. − С. 213-219.

120. Нечеткие множества в моделях управления и искусствен-ного интеллекта / А.Н. Аверкин, И.З. Батыршин, А.Ф. Блишун и др. М.: Наука, 1986. 312 с.

121. Нечеткие множества и теория возможностей. Последние достижения; Под ред. Р.Р. Ягера. – М.: Радио и связь, 1986.– 408 с.

122. Никоненко А.А. Обзор баз знаний онтологического ти-па// Искусственный интеллект. – 2002. – № 4. – C. 157–163.

123. Ноздренков В.С. Модели и средства оценивания знаний при помощи гибридной нечетко-нейронной информа-ционной технологии: автореф. дисс… канд. техн. наук: 05.13.06. − Харьков, 2007. − 17 с.

124. Норенков И.П. Интеллектуальные технологии на основе онтологий //Информационные технологии. – 2010. – № 1. – C. 17-23.

125. Оксамитная Л.П. Методы и средства самоорганизации модели знаний в автоматизированных системах контроля знаний и обучения : автореф. дисс… канд. техн. наук: 05.13.06. − Черкассы, 2003. − 22 с.

126. Орлов А.И. Экспертные оценки. – М.: Знание, 2002. – 31 с.


127. Орловский С.А. Проблемы принятия решений при не-четкой исходной информации. – М.: Наука. 1981. – 208 с.

128. Основы системного анализа и проектирования АСУ; под ред. А.А. Павлова. – К.: Вища школа, 1991. – 367 с.

129. Павлыш В.Н., Зайцева М.Н. Теоретические основы кон-троля в учебном процессе высшей школы // Научные труды ДНТУ. – 2011. – № 9. – С. 130-136.

130. Палагин А. В., Петренко Н. Г. Системно-онтологический анализ предметной области //Управляющие системы и машины. - 2009. – № 4. - С. 3-14.

131. Перегудов Ф.И., Тарасенко Ф.П. Введение в системный анализ. – М.: Высшая школа, 1989. – 367 с.

132. Плотинский Ю.М. Математическое моделирование ди-намики социальных процессов. М.: Изд-во Московского ун-та, 1992. 133 с.

133. Поиск подходов к решению проблем / И.В. Прангишви-ли, Н.А. Абрамова, В.Ф. Спиридонов и др. – М.: СИНТЕГ, 1999. – 284 с.

134. Представление и использование знаний. / Под. ред. X. Уэно, М. Исидзука. – М.: Мир, 1989. – 220 с.

135. Программа для создания тестов и тестирования знаний. Режим доступа: http://xtls.org.ua.

136. Прончев Г.Б., Прончева Н.Г., Гришков А.В. Автоматизи-рованная информационная система контроля знаний удаленного доступа // Молодой ученый. – 2011. – № 12, Т. 1. – С. 95-99.

137. Пучнин С.С. Индивидуально-ориентированная мульти-медийная программная система контроля знаний и мето-дика ее практического применения: дисс… канд. техн. наук: 05.13.10. − Курск, 1994. − 154 с.

138. Рассел С., Норвиг П. Искусственный интеллект: Совре-менный подход. − М.: Вильямс, 2005. − 1424 с.

139. Растригин Л.А., Эренштейн М.Х. Адаптивное обучение с моделью обучаемого. – Рига: Зинатне, 1986. – 160 c.

140. Ризун Н.О. Концепция построения экспертной системы поддержки принятия решений по управлению учебным процессом в ВУЗе // Вестник НТУ «ХПИ». – Харьков,

http://xtls.org.ua/


НТУ «ХПИ». – 2011. – № 17. – С. 135-141. 141. Рогушина Ю.В., Гладун А.Я. Онтологии и мультилин-

гвистические тезаурусы как основа семантического по-иска информационных ресурсов Интернет// In Proc. XII-th Int. Conf. ―Knowledge-Dialogue-Solution‖. − Varna. − 2006. − P. 115-121.

142. Рогушина Ю.В., Гладун А.Я. Онтологический подход к мультилингвистическому анализу информационных ресурсов в сети Интернет // Сб. трудов VI Межд. конф. ―Интеллектуальный анализ информации-2006‖. − К., 2006. − С. 237-246.

143. Свиридов А.П. Основы статистической теории обучения и контроля знаний. – М.: Высшая школа, 1981. – 262 с.

144. Сетлак Г. Интелектуальные системы поддержки приня-тия решений. – К.: Логос, 2004. – 251 с.

145. Сєркова Л.Э., Снитюк В.Е. Структурный анализ инфор-мационной модели управления высшим учебным заведе-нием // АСУ и приборы автоматики. − 2001. − Вып. 114.− С. 49–54.

146. Сидельников Ю.В. Теория и организация экспертного прогнозирования. – М.: ИМЭМО АН СССР, 1990. – 195 с.

147. Снитюк В.Е. Эволюционные технологии принятия реше-ний в условиях неопределенности: дисс. ... доктора техн. наук: 05.13.06. – К., 2009. – 305 с.

148. Снитюк В.Е. Концептуальные принципы и методы про-ектирования систем автоматизированного контроля зна-ний // АСУ и приборы автоматики. – 2003. – Вып. 123. – С. 40-43.

149. Снитюк В.Е. Методы уменьшения неопределенности на начальных этапах проектирования систем с переменной структурой: автореф. дисс… канд. техн. наук: 05.13.12. «Системы автоматизации проектирования»– К., 1999. – 18 с.

150. Снитюк В.Е. Оптимизация процесса оценивания в усло-виях неопределенности на основе структуризации пред-метной области и аксиомы несмещенности // Искус-ственный интеллект. – 2008. – № 3. – С. 217-222.


151. Снитюк В.Е. Прогнозирование. Модели, методы, алго-ритмы. – К.: Маклаут, 2008. – 364 с.

152. Снитюк В.Е. Управление процессом оценивания знаний. Структурированность и многокритериальность // Мате-риалы межд. конф. «KDS плюс MeL». – К.: 2012. – С. 51-52.

153. Снитюк В.Е., Быченко А.А., Джулай А.Н. Эволюционные технологии принятия решений при пожаротушении. – Черкассы: Маклаут, 2008. – 264 с.

154. Снитюк В.Е., Гнатиенко Г.Н. Оптимизация процесса оце-нивания в условиях неопределенности на основе струк-туризации предметной области и аксиомы несмещенно-сти // Искусственный интеллект. – 2008. – № 3. С. 217-222.

155. Снитюк В.Е., Юрченко К.Н. Элементы знаниеориентиро-ванных систем профессиональной подготовки адаптив-ного типа // Вестник Херсонского национального техни-ческого университета. − 2010. − № 2 (38). − С. 180-186.

156. Снитюк В.Е., Юрченко К.Н. Корректировка сложности вопросов в компьютерных системах профессиональной подготовки // /Сборник трудов VII межд. конф. "Интер-нет-Образование-Наука-2010". – Винница: ВНТУ, 2010. – С. 121-122.

157. Снитюк В.Э., Рифат Мохаммед Али. Модели и методы определения компетентности экспертов на базе аксиомы несмещенности // Вестник ЧИТИ. – 2000. - № 4. - С. 121-126.

158. Соколов А.Е. Модели и информационные технологии интенсификации и повышения качества компьютеризи-рованного обучения: автореф. дисс…. канд. техн. наук: 05.13.06 «Информационные технологии». – Херсон, 2011. – 25 с.

159. Социально-экономические последствия техногенных и природных катастроф: экспертное оценивание; отв. ред.: В.В. Дурдинец, Ю.И. Саенко. К.: ―Стилос‖, 2000. – 200 с.

160. Таран Т.А., Копычко С.Н., Сирота С.В., Гулякина Н.А. Методика извлечения знаний при построении интеллек-туальных обучающих систем // Сб. трудов VI Межд.


конф. ―Интеллектуальный анализ информации-2006‖. − К., 2006. − С. 282-287.

161. Таран Т.А., Сирота С.В. Обучение понятиям в интеллек-туальных обучающих системах на основе формального концептуального анализа // Искусственный интеллект. − 2000. − № 3. − С. 340-347.

162. Тесля Ю.Н., Билощицкий А.О., Билощицкая С.В. и др. Применение методов управления проектами для плани-рования учебного процесса в ВУЗах III-IV уровня аккре-дитации / Ю.Н. Тесля// Вестник ЧДТУ. – 2010. – № 4. – С. 49-54.

163. Тимченко А.А. Основы системного проектирования и системного анализа сложных объектов. − К.: Лыбидь, 2000. − 272 с.

164. Тимченко А.А., Родионов А.А. Основы информатики системного проектирования объектов новой техники. – К.: Наук. думка, 1991. – 152 с.

165. Титенко С.В., Гагарин О.О. Семантическая модель знаний для целей организации контроля знаний в обучающей системе // Сб. трудов VI Межд. конф. ―Интеллектуаль-ный анализ информации-2006‖. − К., 2006. − С. 298-307.

166. Томас К., Девис Дж., Опеншоу Д., Берд Дж. Перспективы программированного обучения. – М: Мир, 1966. – 247 с.

167. Трахтенгерц Э.А. Неопределенность в математических моделях компьютерной оценки решений. – М.: ИПУ, 1998. – 320 с.

168. Тузовский А.Ф., Чириков С.В., Ямпольский В.З. Системы управления знаниями (методы и технологии) // Томск: Изд-во НТЛ, 2005. − 260 с.

169. Федорук П. Адаптивная система дистанционного обуче-ния и контроля знаний на базе интеллектуальных Ин-тернет-технологий. – Ивано-Франковск: Прикарпатский национальный университет им. В. Стефаника, 2008. – 326 с.

170. Филимонов А.А. Тестовые технологии контроля качества знаний курсантов военного вуза : дисс… канд. пед. наук: 13.00.08. − Ставрополь, 2006. − 223 с.

171. Хакен Г. Синергетика. М.: Наука, 1985. 320 с.


172. Ходжаев Г.А. Интеллектуальное управление организаци-онными системами. – М.: МГТУ, 1997. – 204 с.

173. Черноруцкий И.Г. Методы принятия решений. – СПб.: БХВ-Петербург, 2005. – 416 с.

174. Черткова Е.А. Методы проектирования компьютерных обучающих систем для образовательной сферы : автореф. дисс…. доктора техн. наук: 05.13.01 «Системный анализ, управление и обработка информации». – М., 2007. – 36 с.

175. Шаврин С. Язык многоуровневого онтологического мо-делирования // In Proc. XII-th Int. Conf. ―Knowledge-Dialogue-Solution‖. − Varna. − 2006. − P. 121-127.

176. Шалфеева Е.А. Классификация структурных свойств онтологии // Искусственный интеллект. 2005. № 3. С. 67-77.

177. Шапиро Д.И. Принятие решений в системах организаци-онного управления. Использование расплывчатых катего-рий. – М.: Энергоатомзидат, 1983. — 185 с.

178. Шаров Д.А. Автоматизация контроля знаний с примене-нием синонимических рядов в автоматизированных си-стемах управления образовательного назначения: дисс. … канд. техн. наук: 05.13.06. – М., 2004. – 179 с.

179. Шатовская Т. Каменева И., Гуд А. Репозитарий интеллек-туального анализа данных // Компьютерные науки и информационные технологии. - 2009. - № 650. - С. 263-269.

180. Шихнабиева Т.Ш. Методические основы представления и контроля знаний в области информатики с использова-нием адаптивных семантических моделей : дисс… докто-ра пед. наук: 13.00.02. – М., 2009. – 355 с.

181. Штангей С.В. Моделі і інформаційні технології контролю знань в системі дистанційного навчання: автореф. дисс… канд. техн. наук: 05.13.06. − Харків, 2009. − 19 с.

182. Эделстейн Г. Интеллектуальные средства анализа, интер-претации и представления данных в информационных хранилищах // ComputerWeek-Москва. – 1996. – № 16. – С. 32-33.

183. Элти Дж., Кумбс М. Экспертные системы: концепции и примеры. – М.: Финансы и статистика, 1987. – 191 с.

184. Юрченко К., Снитюк В. Элементы адаптивной техноло-


гии оценивания знаний в режиме реального времени // Information Models and Knowledge.– Kiev-Sofia: ITHEA, 2010. – C. 331-334.

185. Юрченко К.Н. Объективизация процесса определения профессиональной подготовленности специалистов на основе адаптивных технологий // Вестник ЧДТУ. – 2012.– № 1. – С.22-27.

186. Юрченко К.Н. Принципы формирования и структура базы знаний для контроля профессиональной подготов-ки сотрудников службы гражданской обороны / К.Н. Юрченко, А.Н. Джулай // Материалы межд. научн.-практ. конф. «Теория и практика ликвидации чрезвы-чайных ситуаций». – Черкассы: АПБ им. Героев Черно-быля, 2010. – С. 167-168.

187. Юрченко К.Н. Технологичность процесса контроля зна-ний в компьютерных системах профессиональной подго-товки // Труды V межд. конф. "Modern (electronic) Learning". – К.: КНУ им. Тараса Шевченко, 2010. – С. 69-70.

188. Юрченко К.Н., Снитюк В.Е. Корректность и адаптивность схем оценивания знаний в режиме «реального време-ни»// Восточно-Европейский журнал передовых техно-логий. – 2012. – № 2. – С. 28-32.

189. Юрченко К.Н., Снитюк В.Е. Проектирование базы дан-ных компьютерной системы профессиональной подго-товки // Вестник Винницкого политехнического инсти-тута. − 2011. − № 1(94). − С. 102-107.

190. Яковенко О.Е. Модели и методы контроля знаний в авто-матизированной системе управления учебным процес-сом: автореф. дисс… канд. техн. наук: 05.13.06. − Одесса, 2006. − 20 с.

191. Яхьева Г.Э. Нечеткие множества и нейронные сети. – М.: БИНОМ, 2006. – 316 с.


ПРИЛОЖЕНИЯ Приложение А

Таблица А.1 Успеваемость курсантов в 2010-2012 годах

ID Ненормированные оценки Нормированные оценки 2010 2011 2012 2010 2011 2012

1 3,29 3,21 3,29 3,39 3,08 3,19 0,43 0,40 0,43 0,46 0,36 0,40

2 3,5 3,21 3,5 3,42 3,18 3,28 0,50 0,40 0,50 0,47 0,39 0,43

3 3,5 3,29 3,54 3,58 3,47 3,56 0,50 0,43 0,51 0,53 0,49 0,52

4 3,57 3,36 3,57 3,69 3,55 3,64 0,52 0,45 0,52 0,56 0,52 0,55

5 3,57 3,36 3,64 3,69 3,61 3,75 0,52 0,45 0,55 0,56 0,54 0,58

6 3,64 3,36 3,64 3,72 3,65 3,77 0,55 0,45 0,55 0,57 0,55 0,59

7 3,71 3,5 3,64 3,75 3,66 3,78 0,57 0,50 0,55 0,58 0,55 0,59

8 3,71 3,64 3,64 3,83 3,73 3,81 0,57 0,55 0,55 0,61 0,58 0,60

9 3,71 3,79 3,79 3,86 3,8 3,83 0,57 0,60 0,60 0,62 0,60 0,61

10 3,79 3,79 3,86 3,86 3,8 3,83 0,60 0,60 0,62 0,62 0,60 0,61

11 3,79 3,86 3,93 3,88 3,83 3,92 0,60 0,62 0,64 0,63 0,61 0,64

12 3,79 3,86 3,93 3,88 3,88 3,94 0,60 0,62 0,64 0,63 0,63 0,65

13 3,86 3,86 3,93 3,91 3,9 3,97 0,62 0,62 0,64 0,64 0,63 0,66

14 3,86 3,93 3,93 3,92 3,92 3,97 0,62 0,64 0,64 0,64 0,64 0,66

15 4 4,07 4 3,97 3,93 3,97 0,67 0,69 0,67 0,66 0,64 0,66

16 4 4,14 4,07 4 3,98 3,97 0,67 0,71 0,69 0,67 0,66 0,66

17 4,07 4,14 4,07 4 4 4 0,69 0,71 0,69 0,67 0,67 0,67

18 4,07 4,21 4,14 4,03 4 4,03 0,69 0,74 0,71 0,68 0,67 0,68

19 4,07 4,21 4,14 4,06 4,05 4,06 0,69 0,74 0,71 0,69 0,68 0,69

20 4,21 4,5 4,14 4,06 4,05 4,08 0,74 0,83 0,71 0,69 0,68 0,69

21 4,21 4,71 4,14 4,08 4,05 4,13 0,74 0,90 0,71 0,69 0,68 0,71

22 4,29 4,93 4,14 4,11 4,08 4,17 0,76 0,98 0,71 0,70 0,69 0,72

23 4,29 4,93 4,14 4,12 4,1 4,22 0,76 0,98 0,71 0,71 0,70 0,74

24 4,86 5 4,14 4,22 4,11 4,22 0,95 1,00 0,71 0,74 0,70 0,74

25 5 5 4,29 4,22 4,15 4,25 1,00 1,00 0,76 0,74 0,72 0,75

26 5 5 4,43 4,22 4,23 4,25 1,00 1,00 0,81 0,74 0,74 0,75

27 5 5 4,86 4,44 4,33 4,28 1,00 1,00 0,95 0,81 0,78 0,76

28 5 5 4,93 4,53 4,33 4,33 1,00 1,00 0,98 0,84 0,78 0,78

Приложения 259

Продолжение табл. А.1

29 5 4,93 4,64 4,76 4,42 1,00 0,98 0,88 0,92 0,81

30 4,93 4,74 4,8 4,64 0,98 0,91 0,93 0,88

31 5 4,83 4,85 4,67 1,00 0,94 0,95 0,89

32 5 4,94 4,88 4,73 1,00 0,98 0,96 0,91

33 4,94 4,95 4,78 0,98 0,98 0,93

34 4,94 4,98 4,89 0,98 0,99 0,96

35 5 5 4,89 1,00 1,00 0,96

36 5 5 5 1,00 1,00 1,00 5

1,00

среднее 4,05 4,13 4,07 4,13 4,08 4,12 0,68 0,71 0,69 0,72 0,70 0,71

Приложение Б Таблица Б.1

Результаты оценивания разными способами Номер

обучаемого Адаптивно Стандартно

По последнему значению

По среднему значению

1 0,4521 0,4798 0,6241

2 0,3967 0,4274 0,5789

3 0,4185 0,4304 0,5414

4 0,4251 0,4246 0,5564

5 0,5059 0,4873 0,609

6 0,5546 0,5198 0,6391

7 0,5871 0,6151 0,7068

8 0,4412 0,4399 0,5188

9 0,3592 0,3687 0,4662

10 0,5834 0,5788 0,6992

11 0,4576 0,4752 0,6015


Продолжение табл. Б.1

12 0,6081 0,6036 0,6992

13 0,477 0,4899 0,5865

14 0,4453 0,4676 0,609

15 0,3711 0,4076 0,5188

16 0,6293 0,6536 0,7744

17 0,4175 0,4322 0,5038

18 0,573 0,5613 0,6767

19 0,6201 0,6337 0,7444

20 0,5373 0,5858 0,7218

21 0,4973 0,4982 0,6015

22 0,5351 0,5745 0,6992

23 0,4225 0,4835 0,6241

24 0,5036 0,5642 0,7068

25 0,2468 0,4731 0,5714

Таблица Б.2 Изменение значений сложности вопросов в режиме

реального времени Номер

обучаемого 1-й вопрос 2-й вопрос 3-й вопрос

1 0,812 0,312 0,812 2 0,4701 0,7103 0,9209 3 0,757 0,8671 0,9637 4 0,4212 0,9411 0,9839 5 0,2565 0,977 0,9937 6 0,1639 0,9917 0,9977 7 0,1159 0,7009 0,7052 8 0,0601 0,8561 0,8581

Приложения 261

Продолжение табл. Б.2 9 0,028 0,9232 0,9243 10 0,0196 0,6455 0,9772 11 0,0118 0,8587 0,5878 12 0,0082 0,6005 0,876 13 0,5899 0,3522 0,5138 14 0,8397 0,7467 0,8099 15 0,9228 0,8781 0,9085 16 0,7147 0,68 0,9794 17 0,8584 0,8412 0,9898 18 0,9542 0,5692 0,9967 19 0,7103 0,8899 0,9992 20 0,5127 0,6423 0,9998 21 0,3084 0,3864 0,9999 22 0,792 0,8154 1 23 0,9218 0,5089 1 24 0,6515 0,856 1 25 0,3723 0,9383 1

Снитюк В.Е., Юрченко К.Н. Интеллектуальное управление...

Documents

Transcript of Снитюк В.Е., Юрченко К.Н. Интеллектуальное управление...