Практическая реализация технологии автоматизации тестирования на основе понятийно-тезисной модели

Титенко С.В., Гагарін О.О. Практична реалізація технології автоматизації тестування на основі понятійно-тезисної моделі. Образование и виртуальность – 2006. Сборник научных трудов 10-й Международной конференции Украинской ассоциации дистанционного образования / Под общ. ред. В.А. Гребенюка, Др Киншука, В.В. Семенца.– Харьков-Ялта: УАДО, 2006.– С. 401-412.

Данный доклад принимал участие в конференции<*link(VIRT2006-report)*> ВИРТ-2006<*end_link*>

Гагарин а.А., Титенко с.В.

Национальный технический университет Украины «КПИ»
Киев, Украина
E-mail: st@setlab.net

Abstract. The aim of this work is to open an idea of automatic test building on the base of special Concept-thesis knowledge representation model for E-learning. Program realization of this approach is described. The idea’s essence is in specific user-friendly algorithm of knowledge base filling and structuring. Tests generation goes on the base of knowledge base. The idea is realized in software product and is on the stage of further investigation and development.

Вступление

Сегодня ведущие научные работники области дистанционной учебы сосредоточены на применении всего могущества современных высоких технологий для интеллектуализации систем дистанционной учебы. Возникают новые научные направления на стыке разных наук (педагогики, компьютерных наук, искусственного интеллекта, психологии, но др.) : искусственный интеллект в образовании [1], семантический Веб-пространство в Е-навчанні [2] и тому подобное. Создаются научные содружества по исследованию применения технологий искусственного интеллекта в образовании [1,2,3,4].

Учебные компьютерные системы должны содержать автоматизированную функцию контроля знаний и анализа результатов учебы. В то время, как много исследований в области компьютерного контроля знаний сосредоточенные на вопросах валидности и надежности тестов, справедливо отшлифовывая технику контроля знаний [5], вопроса формирования самого банка заданий, в большинстве случаев остается исключительно прерогативой преподавателя, который работает с курсом, без предложений автоматизации данного процесса. Действительно попытка автоматизации формирования заданий для теста наталкивается на область искусственного интеллекта и вопроса формализации знаний для последующего их использования при составлении контрольных заданий для теста. Поэтому появляется задание создания модели представления знаний, на основе которой станет возможным построение современной учебной системы.

Концепция сжатия или формализации учебной информации опирается на ведущие теоретические положения молодой специальной отрасли информационной технологии, которая очень бурно развивается, – инженерии знаний. Она направлена на исследование проблем приобретения, представления и практического использования знаний. В эпоху информационной насыщенности проблемы компоновки знания и мобильного ее использования приобретают колоссальную значимость. С этой целью создаются всевозможные типы моделей представления знаний в сжатом, компактном, удобном для использования виде (логические модели, семантические сети, продукционные модели и др.). Рядом с этим эффективные способы сжатия учебной информации содержатся в известных психолого-педагогічних теориях содержательного обобщения, укрупнения дидактичных единиц, формирования системности знаний [6].

В разработке применена интеллектуальная технология из области представления знаний для обеспечения автоматизации процесса формирования тестов и всего процесса контроля знаний в учебной системе. При этом среди обязательных требований к технологии стоит ее способность к реальному приложению в условиях экономических и кадровых ограничений современной системы образования, понятность и дружественность интерфейса системы и тестовых заданий, которые продуцируются. На основе разработанной семантической модели создан соответствующий программный продукт, где реализована предложенная технология. Предложенная модель представления знаний, которую называем понятийно-тезисна модель (ПТМ), находится в процессе развития и углубления.

Концепция модели

Предложена понятийно-тезисна модель знаний [7,8] разрабатывается на стыке многих научных областей, среди которых следующие: инженерия знаний как направление искусственного интеллекта [9,10,11,12]; педагогика, а именно ее раздел – дидактика, как часть педагогики, которая раскрывает правила преподавания [13,14]; интерпретация (герменевтика, екзегетика), которая изучает правила толкования текстов [15,16]; лингвистика и ее раздел семантика, что изучают закономерности естественного языка и проблемы, связанные с содержанием, значением, и интерпретацией лексических единиц; и в остальных решт базой для реализации служат компьютерные науки - программирования, разработка применений баз данных, Веб-программирования.

В образовательном процессе можно выделить три составляющие: передача учебной информации, социальная составляющая, которая включает общение между участниками образовательного процесса, практические занятия. Самая первая миссия дистанционного образования – упрощение и оптимизация передачи учебной информации от носителя знаний к студенту. Исторически сложилось, что в традиционных формах учебы начальной формой передачи информации есть вербальный способ (преподаватель читает лекцию). Зато в дистанционном, удаленном от преподавателя, учебе основной формой передачи учебной информации становится текст, а точнее гипертекст и мультимедиа содержимое. То есть основным транспортным средством, или же «протоколом» передачи знаний является текст, в котором содержится учебная информация. Это и является основной подвалившей понятийно-тезисной моделями знаний.

Можно сказать, что предложенная модель представления знаний для образовательных целей имеет текстуальный характер. Считаем, что именно учебный материал является основным источником знаний. Здесь следует провести параллели и сравнения с другими подходами к формализации знаний, традиционными для инженерии знаний. Прежде всего выделим семантические сети, которые вызывают широкий интерес и имеют практическое приложение в образовательных технологиях, в том числе при тестировании. Небольшой сравнительный анализ технологий автоматизации тестирования наводится ниже.

В ходе анализа учебных материалов было решено разрабатывать понятийно-ориентировочную модель знаний. Это значит, что краеугольным камнем структуры модели является такая сущность как понятие, предмет обсуждения, некоторый объект из предметной области, о котором в учебном материале есть знание. Для представления знаний о понятии в модели существуют структурные элементы - сведения об объекте, или тезисах, о понятии. С каждым понятием в модели связывается множественное число сведений о нем. Изложенная идея и является основой концепции семантической модели знаний, которая разрабатывается и используется в этой работе [7,8].

Понятие указывает на некоторый объект из области знаний, о котором идет язык, и который представляется для изучения студенту. Например в курсе «Алгоритмические языки программирования» можно выделить такие понятия: «процедура», «цикл», «программа», «переменная», «жизненный цикл программы», и тому подобное. Для курса «Программирования в среде Delphi» можно было бы выделить такие понятия: «объект», «событие», «класс», «форма», «компонент Tedit» и другое.

фігурує">Тезис – это некоторая ведомость о понятии. Тезис можно сравнить с признаком, характеристикой понятия или с любым утверждением, которое является истиной для данного понятия. Приведем примеры: тезис о понятии «процедура» - «позволяет разбить программу на подпрограммы», тезис о понятии «класс» - «может иметь в своей структуре не только поля-свойства, но и методы, то есть функции и процедуры».

Сравнительная характеристика некоторых подходов к компьютерному тестированию

Наведем короткий обзор технологий реализации тестирования, которые могут применяться в системах дистанционной учебы. Сравнивается традиционное создание компьютерных тестов вручную и тестирование на основе семантических моделей – на основе семантической сети и понятийно-тезисной модели.

Традиционный подход к созданию средств тестирования фактически являет собой компьютеризацию ручного создания тестов. Преимущества здесь заключаются собственно в использовании информационно коммуникационных технологий вместо письменного тестирования, которое дает дополнительные возможности относительно управления формированием тестов из банка созданных заданий, автоматической проверки результатов. Одинаково и преимуществом и недостатком данного подхода является ручное, неавтоматическое создание заданий. Более детально характеристика подхода по разным критериям наводится в табл.1. Отметим лишь, что наличие конкретных статических тестов дает широкие возможности для сосредоточения на вопросах валидности и надежности тестов [5]. Основным недостатком подхода является высокая трудоемкость самого процесса по формированию банка заданий.

Краеугольным камнем семантических сетей являются так называемые триады [10,11]: сущность 1 – отношение – сущность 2. Например есть такие сущности «процедура» и «программа». В таком случае между ними можно установить отношение типа «является частью». Тогда получаем: сущность «процедура» «является частью» сущности «программа». Задание тесту строится путем опущения одной из ланок триады и постановкой вопроса об отсутствующем звене. Преимуществом данного подхода является способность системы рассуждать знаниями из предметной области. Недостаток заключается в больших расходах при составлении завершенной целостной семантической сети, которая бы корректно отображала данную предметную область, которая изучается.

Подробный осмотр реализации автоматического построения тестовых заданий на основе ПТМ наводится дальше. Отметим некоторые принципиальные черты данного подхода.

Понятийно-тезисна модель предусматривает однозначную связь семантических данных с учебным материалом. Это дает возможности для управления учебным процессом и процессом контроля знаний и их адаптации. В данном случае мы имеем информацию о понятиях и их месте нахождения в учебном материале. Количество семантических единиц, которые касаются понятия, с легкостью обсчитывается для каждого учебного фрагменту. В действительности система не рассуждает знаниями из предметной области, однако относительно отдельных высказываний или утверждений, которые описывают понятие и воспринимаются системой «как есть», она владеет информацией о том, где они содержатся в общей структуре учебного материала.

Ключевым моментом технологии является семантический разбор учебного текста. Здесь можно провести параллели с «семантическим конспектом», предложенным Атановим [13,14]. Фактически это замещает формирование БЗ в таких подходах как семантические сети, концептуальные графы [17] и тому подобное. Преимуществом, очевидно, является естественность данного процесса в технологии ПТМ. Кроме того в данной технологии делается акцент на педагогическом подходе, тогда как в традиционных технологиях искусственного интеллекта акцентируется внимание на вопросах характерных для этой области, которая временами трудно приемлемым (и,можливо, необязательным) как для реализации в рамках педагогической компьютерной системы, так и для работников-пользователей системы. В табл. 1 приведен сравнительный анализ технологий тестирования.

Таблица 1. Сравнительный анализ технологий тестирования

Реализация технологии

Подадим описание технологии, по которой идет формирование базы знаний. Как отмечалось выше, центральным носителем знаний считается учебный материал. Поэтому выделение конкретных семантических единиц тесно связанное с процессом манипулирование учебным материалом. Остановимся на подходе, за которым проходит сохранение и структуризация учебного материала. Учитывая признанный в общих чертах модульный подход в дистанционной учебе, весь материал в остальной решт принято разделять на мелкие фрагменты, которые называют кадрами (или фреймами). Таким образом на каждом шагу представление учебной информации студент получает небольшой фрагмент, который способствует лучшему сосредоточению и восприятию поданного материала. Понятие кадру является очень важным для понятийно-тезисной модели и играет роль звена, которое связывает семантические единицы с конкретным учебным материалом. Обратим внимание на то, что в данной работе мы не останавливаемся на конкретной реализации общей структуры сохранения и представления учебного материала, более того ПТМ допускает разные реализации этой структуры. Желаемой в данном случае есть лишь требование о конечном разделении учебной информации на кадры. Это, кроме всего прочего, способствует упрощению интеграции ПТМ с уже существующими системами ДН.

Последующее описание будет в основном сосредоточено на работе с каждым конкретным учебным кадром. Сутью подхода является то, что смысловая информация, которая будет формализироваться в семантике модели, выделяется непосредственно из текста учебного фрагменту. Сам процесс формирования базы знаний фактически являет собой осмысленное чтение учебного текста вместе с несложными манипуляциями относительно последнего.

Напомним, что краеугольным камнем модели являются семантические единицы - понятия и тезисы. Понятие указывает на некоторый объект из предметной области знаний, о котором идет язык [7,8]. Понятие – это, как правило, одне-два слова, которые текстовый выражают предмет рассмотрения. фігурує">Тезис – это некоторая ведомость или утверждение о понятии. Фактически тезис являет собой одно или несколько предложений, в которых язык идет непосредственно о соответствующем понятии, однако именно понятие здесь словарный не фигурирует. фігурує">Тезис относится в соответствие понятию, таким образом между ними устанавливается связь.

Процесс добычи понятий и тезисов из учебного текста

Мы останавливаемся достаточно детально на изложенных ниже техніко-методологічних моментах, учитывая то, что они являются неотъемлемой частью предложенного подхода к автоматизации построения тестов. Для реализации процесса наполнения понятийно-тезисной базы знаний предлагается следующий программный интерфейс, изображенный на рис.1. Схема его работы может быть взята за основу при разработке программных интерфейсов, в том числе веб-інтерфейсів, для работы с понятийно-тезисной базой знаний. В левой части находится панель навигации учебными материалами (курсами или базой знаний учебного материала). При выборе кадра его содержимое отображается во внутреннем обозревателе учебной информации. В случае, если учебный материал представляется в виде гипертекста (в большинстве случаев это именно так), обозреватель являет собой Веб-браузер.

Рис. 1. Программный интерфейс для реализации процесса наполнения понятийно-тезисной базы знаний

Следующий процесс выделения понятий и тезисов выполняется достаточно простым способом. Пользователь (преподаватель) осмыслено читает учебный текст, если в тексте встречается ключевое понятие (и оно еще не внесено в базу знаний), он просто выделяет его мышкой, после чего нажимает на кнопку «Прибавить понятие» на панели инструментов (рис. 2). После заполнения необходимых данных добытое из учебного текста понятие добавляется в базу знаний.

Рис. 2. Последовательность действий при добавлении нового понятия в базу знаний

Процесс добавления тезиса выглядит аналогично. Важным здесь есть указание, какого именно понятия будет касаться только что прибавленный тезис. Для этого служит элемент интерфейса «Активное понятие». Прибавленный тезис будет связан именно с активным понятием. Активным понятие можно сделать, выбрав его из списка имеющихся понятий (панель налево на рис. 1). Приведем пример учебного материала и выполним его семантический разбор. Фрагмент учебного материала по программированию на языке Java:

«Всякая Java программа представляет собой один или несколько классов в этом простейшем примере только один класс (class).

Начало класса отмечается служебным словом class за которым следует имя класса, выбираемое произвольно, в данном случае Helloworld.

Один из методов обязательно должен называться main с него начинается выполнение программы.»

После разбора этого текста можно получить такие понятия и соответствующие к ним тезисы:

«Java программа»

- «Представляет собой один или несколько классов»;

- «Один из методов обязательно должен называться main, с него начинается выполнение»;

«Класс»

- «Начало отмечается служебным словом class, за которым следует имя, выбираемое произвольно».

Следует обратить внимание на важный момент связи семантических единиц и учебного материала. В то время как понятия прикрепляются к учебному материалу в целом (ко всему курсу, или ко всей области знаний, дисциплины), каждая из тезисов прикрепляется до того фрагменту учебного материала (кадру), из которого она была добыта. Таким образом для каждого учебного участка можно определить круг семантических единиц за следующей цепью: участок учебного материала – кадры, которые содержатся в этом участке, – тезисы кадров – понятия (рис. 3). Именно этими данными будут оперировать алгоритмы, которые продуцируют тесты.

Рис. 3. Определение семантических данных для определенного участка
учебного материала

Процесс генерации тестовых заданий

Генерация тестов происходит на основе семантических данных понятийно-тезисной базы знаний. Основным входным параметром здесь является указание на участок учебного материала по которой идет тестирование. Первым шагом является определение круга семантических данных на основе информации об указанном учебном участке для построения на их основе средств контроля. Как отмечалось выше это выполняется за помощью цепи связей «участок учебного материала – кадры, которые содержатся в этом участке, – тезисы кадров – понятия» (см. рис.3).

Опишем схему построения тестового задания множественного выбора «один из нескольких» на основе понятийно-тезисной базы знаний. Самая простая схема без учета дополнительных характеристик (классификации и уровня важности понятий и тезисов) выглядит так:

• Случайный выбор тезиса, по которому будет идти контроль знаний, из очерченного круга семантических данных для данного участка учебного материала – контрольный тезис;

• Определение понятия, к которому касается контрольный тезис, – контрольное понятие;

• Случайная выборка альтернативных тезисов из всей области тезисов данного курса (дисциплины или предметной области), которые не касаются контрольного понятия.

• Построение задания по данным контрольное понятие, контрольный тезис, альтернативные тезисы.

Задание будет иметь вид:

Укажите утверждение, которое касается данного понятия <имя контрольного понятия>:

<перечень тезисов, который являет собой набор альтернативных тезисов и контрольного тезиса, вставленного на случайное место>

На рис. 4. приведен пример тестового задания данного типа.

Рис. 4. Пример задания

Другие типы тестовых заданий, описанные в [7], строятся с учетом отмеченных выше принципов.

Оценка пройденного теста и выработки рекомендаций относительно последующего учеба

Так как на основе модели мы точно можем определить, к которому фрагменту учебного материала принадлежит тезис, это также дает нам возможность знать по какому фрагменту построено то или другое задание тесту. Таким образом, после оценки тестирования можно применить алгоритмы рекомендаций относительно последующей учебы или настройки учебного сценария на основе участков материала, по которым тестирование прошло неудачно (рис.5).

Рис. 5. Пример пройденного теста с выработанными рекомендациями на основе заданий, неудачно пройденных студентом

Перспективы

Ближайшей перспективой для развития модели является исследование и выработка алгоритмов и математического аппарата использования числовых весов (степеней важности) для построения и оценивания тестов. Эти весы можно определять как для семантических единиц, понятий и тезисов, так и для участков учебного материала.

Следующим качественным прыжком должна стать разработка специальной модели структурного представления учебного материала как продолжение идеи понятийно-тезисной модели знаний. Здесь планируется распространить сферу использования модели кроме тестирования на технологию представления учебного материала. Это включает автоматизацию построения учебных курсов на основе БЗ учебного материала, реализацию адаптивного представления учебного материала во время учебы.

Ключевыми вопросами развития остается углубление семантики модели с учетом особенностей учебных текстов разных отраслей, в том числе гуманитарной. Последние разработки, публикации и идеи, относительно понятийно-тезисной модели подаются на сайте виртуальной лаборатории разработчиков модели www.setlab.net/research [18].

Литература

1. International Journal of Artificial Intelligence in Education (IJAIED) http://aied.inf.ed.ac.uk/

2. International Workshop In Applications of Semantic Web technologies for E-learning (SW-EL) http://www.win.tue.nl/SW-EL/

3. International Forum of Educational Technology & Society http://ifets.ieee.org/

4. Международный Форум "Образовательные Технологии и Общество" – Восточно-евпопейская подгруппа International Forum of Educational Technology & Society http://ifets.ieee.org/russian/

5. Аванесов в.С. Композиция тестовых задан. Учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов пед. вузов. 2 изд.,испр.. и доп.М.:Адепт.1998-217с.

6. Дахин А.Н. Актуальные проблемы оптимального управления образовательным процессом. Журнал «Педагог» №7 1999г. http://www.informika.ru/text/magaz/pedagog/pedagog_7/a14.html

7. А.А. Гагарин, А.Н. Луценко, С.В. Титенко Организация дистанционного обучения как информационный фактор реализации научно-технологической составляющей экономической безопасности государства // Экономическая безопасность государства и информационные технологии в ее обеспечении / под общ. редакторша Г.К. Вороновского, И.В, Недина – К.:Знания Украины, 2005, стр. 608-619.

8. Титенко с.В., Гагарин о.О. Семантическая модель знаний для целей организации контроля знаний в учебной системе. // Сборник трудов международной конференции «Интеллектуальный анализ информации-2006». – Киив: Просвита, 2006. – С.118-128.

9. http://www.w3.org/TR/owl-guide/ OWL Web Ontology Language Guide W3c Recommendation 10 February 2004

10. Slavomir Stankov, Branko Zitko and Ani Grubisic. Ontology as а Foundation for Knowledge Evaluation in Intelligent E-learning Systems. Aied’05 Workshop Sw-el’05: Applications of Semantic Web Technologies for E-learning. Papers of 12th International Conference on Artificial Intelligence in Education (AIED 2005). Amsterdam, 2005. http://hcs.science.uva.nl/AIED2005/W3proc.pdf

11. Елизаренко г.Н. Проектирование компьютерных курсов обучения: концепция, язык, структура. НТУУ «КПИ». Киев, 2001.

12. Рвачев л.В. Математика и семантика. К., Научная мысль, 1987.

13. Атанов г.А. Возрождение дидактики – залог развития высшей школы. – Донецк: Изд-во ДОУ, 2003.

14. Атанов г.А., Пустынникова И.Н. Обучение и искусственный интеллект, или основы современной дидактики высшей школы . – Донецк: Изд-во ДОУ, 2002.

15. Артур К. Как изучать Библию. Санкт-Петербург, 1998.

16. Gordon D. Fee, Douglas Stuart. How to Read the Bible For All its Worth: A Guide to Understanding the Bible. Micchigan, 1982.

17. Sowa J.f. Conceptual Structures: Information Processing in Mind and Machine. Reading MA: Addison-wesley, 1984.

18. http://www.setlab.net/research/ Виртуальная лаборатория новейших информационных технологий СЕТ. Исследование в области дистанционной учебы.