Анализ методов генерации тестовых заданий

Анализ методов генерации тестовых заданий

Введение

Одной из наиболее распространенных форм проверки знаний является компьютерное тестирование. С развитием новых технологий и повышением степени информатизации общества и образования проблема эффективного контроля знаний приобретает особую значимость.

Следующие подходы к генерации тестовых заданий получили распространение на практике и в исследованиях: параметризированные тесты; семантические сети; понятийно-тезисная модель (ПТМ) и ее модификации.

Параметризированные тесты

Метод параметризированных задач позволяет генерировать задания открытого типа. Тестируемый при этом, как правило, должен ввести некоторое число, которое и будет результатом решения представленной задачи.

В методе параметризированных задач используется принцип фасетности, позволяющий создавать, в одном задании, сразу несколько вариантов. Каждому учащемуся программа выдаёт только один элемент из фасета. Рассмотрим примеры фасетных заданий с одним фасетом и двумя вариантами [1]:

1. {Зимний, летний} МУССОН ДУЕТ
   1. с суши на море
   2. с моря на сушу

Параметризируемый вопрос представляет собой шаблон вопроса, создаваемый автором. В момент выдачи, шаблон дополняется параметром, значение которого генерируется в заранее установленных границах [2-4]. Под шаблоном обычно понимают заготовку текста, в котором некоторые элементы можно изменять в соответствии с заданным алгоритмом [4]. Суть метода заключается в том, что имея шаблон задачи и изменяя параметры на входе, мы получаем новые варианты задания на выходе.

В работах [2-4] описывается метод генерации тестовых заданий с помощью параметризированных вопросов. В работе [4] в качестве примера была приведена следующая задача:

У Пети было два яблока, а у Васи три. Сколько яблок было у Пе-ти и Васи?

Для того, чтобы сделать из этой задачи шаблон, необходимо вме-сто конкретных чисел поставить параметры и алгоритмы, генерирую-щие значения этих параметров. Тогда эта задача может быть записана как: У Пети было gen(x) яблока, а у Васи gen(y). Сколько яблок было у Пети и Васи?

Здесь gen(x) и gen(y) – программа, генерирующая значения для переменной х и у, соответственно. К шаблону нужно приложить программу решения задачи по сгенерированным параметрам. Тогда шаблон задачи будет выглядеть следующим образом: правильный ответ: (rez=solv(x,y)), где solv(x,y) – программа вычисления правильного ответа [2].

Недостатком этого метода является трудоемкость формирования набора шаблонов задач. Преимущество этого метода заключается в том, что для малого количества шаблонов можно сгенерировать достаточно большое количество задач. Так для приведенного примера, если параметр x может принять 10 различных значений, а параметр y – 15, тогда мы получим возможность сгенерировать 150 вариантов задач.

Генерация вопросов на основе алгоритмов – частный случай параметризированных задач. В основе вопроса обучаемому предлагается некоторый программный код, который реализует определенный алгоритм. Тестируемый должен определить значение некоторого параметра алгоритма, тем самым демонстрируя свое понимание языка программирования. Суть метода заключается в следующем: основываясь на условии выхода из цикла, можно построить генератор вопросов. В работах [4, 5] описывается метод генерации вопросов на основе алгоритмов. Рассмотрим пример нахождения суммы натурального ряда:

• Шаг 1: i=0, S=0,
• Шаг 2: S=S+i, i=i+2,
• Шаг 3: если i<n, то перейти на шаг 2.

• Вопрос 1. Какое значение примет переменная S после завершения цикла, если n=генерировать().
• Вопрос 2. Какое значение переменной n было установлено, если по завершению цикла значение S=генерировать().
• Вопрос 3. Сколько итераций было выполнено, если по завершению цикла значение S=генерировать() и т.п. [4].

Генерация тестовых заданий на основе деревьев И/ИЛИ Метод построения алгоритмов генерации, предложенный Кручининым В.В., основанный на использовании деревьев И/ИЛИ, позволяет пред-ставить любое комбинаторное множество в виде древовидной структуры И/ИЛИ [6]. Исходя из этого в работе [7] за комбинаторное множество было принято тестовое задание. На рис.1 представлено описание примитивного текстового задания по математике.

Рис.1. Описание текстового задания в виде дерева И/ИЛИ

Рассмотрим ветвь D. Ветвь D имеет два ИЛИ-варианта представле-ния, первый вариант символ «+», а второй – «-» (рис. 1). В данном случае задача будет иметь 200 вариантов представления. Однако, в случае выбора в ветви D знака «+», решение данной задачи будет являться формула С=(15-A)/B , при знаке «-» – С=(15-A)/-B. То есть решение данной задачи также можно представить в виде дерева И/ИЛИ (рис. 2).

Рис.2. Ветвь дерева И/ИЛИ с вариантами ответа

Недостаток метода состоит в сложности формировании шаблона при более сложном задании.

Семантические сети

Суть применения семантических сетей заключается в генерации тестовых вопросов на основе базы знаний (БЗ), составляемой экспертом. Структурной единицей базы знаний является триада: «понятие» - «отношение» - «понятие». Эксперт по предметной области наполняет БЗ, а формирование тестов происходит автоматически путем опущения одного из звеньев триады. Недостатки этого подхода заключаются больших трудовых затратах на формирование базы знаний, необходимости привлечения эксперта по предметной области и инженера по знаниям. Семантические сети как и другие модели знаний, применяемые для классических задач искусственного интеллекта, плохо подходят для образовательных целей в частности для формирования качественных тестовых заданий [8].

Генерация тестовых заданий на основе понятийно-тезисной модели

ПТМ – это модель представления знаний, которая формализует содержание учебного материала. В работе [9] рассмотрен метод генерации заданий на основе ПТМ. Для представления знаний о понятии в модели существуют структурные элементы – сведения об объекте, или тезы о понятии.

Семантические элементы ПТМ выделяется непосредственно из текста учебного фрагмента. Тестовое задание формируется путем выбора контрольной понятийно-тезисной пары и дистракторов на основе других понятий или тез. Подробное описание способов формирования тестов на базе ПТМ приведено в предыдущих работах. Преимуществом подхода является простота формирования БЗ и высокое качество тестовых заданий в сравнении с другими методами автоматического построения тестов.

Формирование тестовых заданий на основе модификации понятийно-тезисной модели с помощью ключевых слов

В работе [10] предлагается модифицировать ПТМ путем добавле-ния к структурным элементам еще одной составляющей – ключевых слов.
Ключевые слова – это слова или словосочетания, которые используются для выражения некоторого контекстного аспекта содержания тезисы о понятии. Они несут существенную смысловую нагрузку и так или иначе характеризуют понятие, о котором говорится в тезе [10].

Во время семантического разбора текста преподаватель выделяет понятия, добавляет к ним тезисы и выделяет ключевые слова.

Приведем пример учебного материала и выполним его семантический разбор, согласно усовершенствованной ПТМ и ее базовых элементов. В качестве учебного материала был взят фрагмент курса лекций «Программирование на языке Си++» [10]:

В С++ появляется видоизмененная форма указателя — ссылки. Она может рассматриваться как указатель, который является еще одним именем или псевдонимом переменной.
Ссылки можно инициализировать только один раз. Здесь уместно сравнить указатель и ссылку. Указатель — это переменная, которая может принимать значение адреса другой переменной определенного типа. Такие адреса можно присваивать несколько раз. Лишь бы это были адреса заданного типа переменных.
Ссылки повышают эффективность программы, особенно при передаче данных при вызове функции. По сравнению с передачей данных по значению не нужно копи-ровать данные, передаваемые в стек. Экономятся время и память.

Выделим следующие структурные элементы:

Понятия: Ссылки

Набор тез:

• Является видоизмененной формой указателя;
• Может рассматриваться как указатель, который является еще одним именем или псевдонимом переменной;
• Можно инициализировать только один раз;
• Повышают эффективность программы, особенно при передаче данных при вызове функции.

Ключевые слова: указатель (2), переменная (1), программа (1), функция (1).

Анализируя ключевые слова в тезах, целесообразно внести в БЗ такое понятие как «Указатель», ведь оно встречается довольно часто в тексте тезисов и дидактически предшествует понятию «ссылки», а также является ключевым по мнению составителя теста.

Понятия: Указатель.

Набор тез:

• Это переменная, которая может принимать значение адреса другой переменной определенного типа;
• Адреса можно присваивать несколько раз

Ключевые слова: адрес (2), переменная (1).

Данный подход является перспективным с точки зрения расширения вариантов тестовых заданий. В то же время следует отметить, что ПТМ предполагает автоматический синтаксический анализ текста тез на предмет вхождения в него других понятий [11], что фактически заменяет предложенный в работе [10] ручной труд.

Формирование тестовых заданий на основе модификации понятийно-тезисной модели с системой семантических классов

В работе [12] для полного описания характеристик предметной области на базе ПТМ предлагается сформировать такие когнитивные абстрактные классы: определение, проблемы, методы, эффективность методов, примеры реализации методов.

В данной работе представлена система семантических классов, изображенная на рис. 3.

Рис.3. Система семантических классов

Суть метода заключается в том, что для генерации теста некоторое утверждение разбивается на основную и альтернативную части, которые могут содержать одну или несколько компонент. Альтерна-тивная часть теста пополняется аналогичными по лингвистическому содержанию, синтаксически согласованными частями других утверждений. Синтаксическое согласование обеспечивается, когда связи компонент утверждений однородные по типам и числами.

На основе базы утверждений может быть сформированный набор тестовых заданий с заданными параметрами в виде динамической структуры.

В указанной работе [12] предложено решение языковой несогласованности, характерной для некоторых тестовых заданий, генерируемых на основе ПТМ. В то же время, данный подход предполагает значительные трудовые затраты на формализацию дополнительных характеристик и сущностей, дополняющих базовую версию ПТМ.

Выводы

В статье рассмотрены методы генерации тестовых заданий, получившие распространение на практике и в исследованиях. Параметризированные тесты ограничены областью применения, так как хорошо подходят для точных наук и программирования, однако плохо подходят для других направлений обучения. Семантические сети и другие классические модели знаний предполагают серьезные трудности в случае их применения для образовательных целей. Авторы намерены развивать исследования по расширению семантики ПТМ, как наиболее перспективного направления с точки зрения практического внедрения. Дальнейшие исследования будут сосредоточены на поиске решений по преодолению языковых несоответствий, которые возникают при генерации тестовых заданий на базе ПТМ.

Литература

1. Аванесов В. С. Основные элементы заданий в тестовой форме с двумя ответами. "Управление школой" №10, март, 2000г. http://testolog.narod.ru/Theory15.html
2. Sosnovsky S. Web-based Parameterized Questions as a Tool for Learning / S. Sosnovsky, O. Shcherbinina, P. Brusilovsky // Proceedings of E-Learn 2003, Arizona USA. — 2003. — [p. 2151-2154].
3. Левинская М.А. Автоматизированная генерация заданий по математике для контроля знаний учащихся [Электронный ресурс] // Educational Technology & Society. — 2002. — 5(4). — [С. 214-221] . — http://ifets.ieee.org/russian/depository/ v5_i4/html/3.html.
4. Кручинин В. В. Модели и алгоритмы генерации задач в компьютерном тестировании [Электронный ресурс] / В. В. Кручинин, Ю. В. Морозова // Известия Томского по-литехнического университета [Известия ТПУ] / Томский политехнический универ-ситет (ТПУ) . — 2004 . — Т. 307, № 5 . — [С. 127-131] . — Заглавие с титульного листа. — Электронная версия печатной публикации.
5. Кручинин В. В. Методы генерации тестовых заданий по информатике / В. В. Кручинин // «Информатика и образование». – 2005 . – № 2.
6. Кручинин В.В. Методы построения алгоритмов генерации и нумерации комбинаторных объектов на основе деревьев И/ИЛИ// Томск: «В-Спектр», 2007. – 200 с.
7. Зорин Ю. А, Кручинин В.В. Система генерации тестовых заданий на основе деревьев И/ИЛИ [Электронный ресурс] — Томск., 2012. — Т. 2. — [С. 313-314].
8. Титенко С.В., Гагарін О.О. Проблема моделювання знань в інтелектуальних навчальних Web-системах // ІХ международная научная конференция имени Т.А. Таран «Ин-теллектуальный анализ информации ИАИ-2009», Киев, 19-22 мая 2009 г.: сб. тр./ ред. кол.: С.В. Сирота (гл. ред.) и др. – К.: Просвіта, 2009. – С. 384-390.
9. Титенко С. В. Побудова дидактичної онтології на основі аналізу елементів понятійно-тезисної моделі // Наукові вісті НТУУ "КПІ". – 2010. — № 1(69). — С. 82–87.
10. Петрова Л.Г., Петров С.О. Використання модифікованої понятійно-тезисної моделі для автоматизованого формування бази тестових запитань в системах комп’ютеризації освіти // Інформаційні технології і засоби навчання. — 2012. — №4 (30). — Режим доступу до журналу: http://www.nbuv.gov.ua/e-journals/ITZN/2012_4/648-1976-2-RV.pdf .
11. Титенко С. В. Генерація тестових завдань у системі дистанційного навчання на основі моделі формалізації дидактичного тексту // Наукові вісті НТУУ "КПІ". – 2009. – № 1(63). – С. 47–57.
12. Мельник А.М., Пасічник Р.М. Метод генерації тестових завдань на основі системи семантичних класів // Вісник ТДТУ. — 2010. — Том 15. — № 1. — С. 187-193.
13. Титенко, С. В. Побудова дидактичної онтології на основі аналізу елементів понятійно-тезисної моделі / С. В. Титенко // Наукові вісті НТУУ "КПІ". – 2010. – № 1(69). – С. 82-87.