Пошук по сайту...
Відпочинок для дітей! Табір Райдуга. Чорне море, Крим
Портал Знань Портал безперервного навчання

Портал знань — відкриті навчальні матеріали, дистанційне навчання, дистанційне тестування знань

Навчальні матеріали і Тестування знань


Акція! Сайт, що допоможе дітям...

Лабораторія СЕТ | Дослідження, статті, розробки | Публікації | Генерація тестових завдань у системі дистанційного навчання на основі моделі формалізації дидактичного тексту

Генерація тестових завдань у системі дистанційного навчання на основі моделі формалізації дидактичного тексту

PDF

Генерація тестових завдань у системі дистанційного навчання на основі моделі формалізації дидактичного тексту

Титенко, С. В. Генерація тестових завдань у системі дистанційного навчання на основі моделі формалізації дидактичного тексту / С. В. Титенко // Наукові вісті НТУУ "КПІ". – 2009. – № 1(63). – С. 47–57.

Вступ

Українське суспільство все гостріше відчуває потребу і актуальність розповсюдження навчальних процесів у найрізноманітніших сферах життя. Останнім часом освітні процеси, виходячи за межі освітніх закладів, дуже активно прямують у такі сфери як бізнес, корпоративна освіта, підвищення кваліфікації працівників різних галузей.

Найбільш зручною формою навчання тут є дистанційна. Однією з ключових складових дистанційної освіти є контроль і діагностика знань, реалізація яких в умовах відсутності безпосереднього контакту між учасниками навчального процесу викликають певні технічні і організаційні труднощі. Однією з найбільш розповсюджених дистанційних форм перевірки знань є комп’ютерне тестування. Науковці і спеціалісти в області електронної освіти і інформаційних технологій зробили значний внесок в розробку різних методів реалізації тестування. У роботі П. Брусиловського [1] подано детальний огляд життєвого циклу тестових завдань в освітній Web-системі, що включає такі стадії як підготовка, подання і оцінювання. Як правило стадія підготовки тестових завдань залишається слабко автоматизованою і вимагає безпосередньої роботи викладача.

У той час, як багато досліджень в області комп’ютерного контролю знань зосереджені на питаннях валідності і надійності тестів [2], питання формування самого банку завдань в більшості випадків залишається виключно прерогативою викладача, що працює без використання інтелектуальних засобів автоматизації даного процесу. Дійсно намагання автоматизувати формування тестових завдань наштовхуються на область штучного інтелекту і на проблеми формалізації знань та їх подальшого використання в генерації тестів. Традиційний підхід до створення засобів тестування фактично являє собою комп’ютеризацію ручного тестування. Суть такого підходу полягає у використанні інформаційно-комунікаційних технологій замість паперової роботи, що дає додаткові можливості щодо управління формуванням тестів з банку створених завдань та автоматичної перевірки результатів. Одночасно і перевагою, і недоліком даного підходу є ручне, неавтоматичне створення завдань. Завдання, професійно розроблені експертом, мають високу якість і зрозумілість. У випадку конкретних статичних тестів мають місце широкі можливості для зосередження на питаннях валідності і надійності. Однак суттєвим недоліком підходу є висока трудомісткість самого процесу по формуванню тестових завдань. Ця проблема підсилюється задачею захисту від недобросовісного проходження тесту, що передбачає наявність великого банку завдань і динамічну композицію на його основі індивідуального тесту для попередження «списування». Крім того викладач, що створює тестові завдання несе педагогічну відповідальність за адекватність вмісту контролю навчальному контенту. Тому це вимагає від розробника тестів не тільки експертних знань з предметної області, але й знання і глибокого аналізу безпосереднього навчального матеріалу, який подається студентам дистанційної форми навчання як основне джерело для оволодіння знаннями.

Постановка задачі

Метою праці є аналіз існуючих методів автоматизації побудови тестових завдань і розробка моделі, що дозволила б вирішити виявлені в ході аналізу недоліки і організувати автоматизоване тестування з урахуванням таких вимог:

  • простота створення бази знань, що служитиме основою для генерації тестових завдань;
  • можливість побудови тестових завдань різних типів;
  • лексична зрозумілість тесових завдань;
  • можливість гнучкої побудови тестів в залежності від необхідної ділянки навчального контенту, мети і стратегії тестування;
  • можливість використання результатів тестування для адаптивного налаштування індивідуального навчального процесу;
  • можливість інтеграції моделі з ієрархічно-мережевою моделлю освітнього контенту Tree-Net [3-5].

Методи генерації тестових завдань

З метою інтенсифікації і спрощення процесів підготовки дистанційних навчальних курсів з тестовими блоками науковцями були запропоновані різні підходи до автоматизації створення тестових завдань. Одним з перспективних і порівняно нескладних в реалізації є підхід параметризованих тестів [6]. Суть підходу полягає у поданні різним студентам шаблонного завдання, яке відрізнятиметься певними параметрами, які генеруються автоматично. Відповідь вводиться з клавіатури. Таким чином кожен студент отримує індивідуальне завдання, а система по певній формулі чи алгоритму, підставляючи параметри отримує вірну відповідь для подальшої перевірки відповіді, введеної студентом. Недоліком підходу є його вузька предметна спрямованість. Так параметризовані тести добре підходять для організації контролю практичних навичок в точних науках, а також програмуванні [7], проте не підходять для перевірки теоретичних знань, а також контролю в гуманітарних науках.

Певного поширення у дослідженнях автоматизації контролю знань отримав підхід застосування семантичних мереж для автоматизації побудови тестів [8,9]. Наріжним каменем семантичних мереж є так звані тріади [8-10]: сутність 1 – відношення – сутність 2. Наприклад є такі сутності «процедура» і «програма». В такому випадку між ними можна встановити відношення типу «є частиною». Тоді отримуємо: сутність «процедура» «є частиною» сутності «програма». Завдання тесту будується шляхом опущення одної з ланок тріади і постановкою запитання про відсутню ланку. Перевагою даного підходу є здатність системи міркувати знаннями з предметної області. Недолік полягає у великих витратах при складанні завершеної цілісної семантичної мережі, яка б коректно відображала дану предметну область, що вивчається. Ще одним недоліком підходу є лінгвістична незрозумілість і, часом, недоцільність завдань, що генеруються. Так, на основі семантичної мережі часто ставляться запитання про такі особливості об’єктів предметної області, що не мають у даному навчальному контексті педагогічної цінності. Подібні недоліки виникають на основі проблеми, характерної для класичних моделей знань штучного інтелекту, яку можна назвати проблемою всеосвіченості. Так вимогою семантичних мереж є повна формалізація предметної області, тоді як вивчення матеріалу відбувається в певному контексті, тому при генерації завдань у тест часто попадають запитання, відповідь на які не свідчить про досягнення або недоліки у навчанні студента. Вимога всеосвіченості, або всеосяжної формалізації потребує великих зусиль для побудови адекватної моделі, яка при цьому часто не забезпечує належної педагогічної доцільності в процесі її використання для освітніх цілей і тестування.

Ці та інші проблеми властиві для випадків, коли робиться змога застосувати класичні моделі штучного інтелекту (ШІ) для освітніх завдань. Не зважаючи на те, що як в моделях ШІ, так і в навчальних системах об’єктом моделювання є знання, все ж принциповою різницею тут є те, що у першому випадку метою моделювання є надання системі здатності «знати» певну предметну область, щоб вирішувати деякі прикладні задачі, натомість у другому випадку метою моделювання є надання системі здатності «навчати» людину знанням певної предметної області [11]. Така принципова різниця в постановці задач вимагає розробки спеціальних моделей формалізації знань для освіти і організації на їх основі автоматизованого тестування. Основним засобом передачі навчальної інформації студенту в дистанційному навчанні є текст, саме в ньому в зрозумілій для навчання формі подані знання. Зважаючи на це, вважається за доцільне покласти в основу моделі саме освітній текст, зосередившись на методах його формалізації з метою автоматизації побудови тестових завдань.

Понятійно-тезисна модель формалізації дидактичного тексту

Понятійно-тезисна модель (ПТМ) формалізації дидактичного тексту розробляється на стику багатьох наукових галузей, серед яких наступні: інженерія знань як напрямок штучного інтелекту; педагогіка, а саме її розділ – дидактика, що розкриває правила викладання; інтерпретація (герменевтика, екзегетика), що вивчає правила тлумачення текстів [12, 13]; лінгвістика і її розділ семантика, що вивчають закономірності природної мови і проблеми, пов’язані зі змістом, значенням, і інтерпретацією лексичних одиниць; інструментом реалізації служать технології розробки Web-систем.

В освітньому процесі можна виділити такі чотири складові: передача навчальної інформації, соціальна складова, що включає спілкування між учасниками освітнього процесу, практичні заняття і контроль знань. Найперша місія дистанційної освіти – спрощення і оптимізація передачі навчальної інформації від носія знань до студента. Історично склалося, що в традиційних формах навчання початковою формою передачі інформації є вербальний спосіб: наприклад, викладач читає лекцію. Натомість в дистанційному, віддаленому від викладача, навчанні основною формою передачі навчальної інформації стає текст, а точніше гіпертекст і мультимедіа вміст. Тобто основним транспортним засобом, або ж «протоколом» передачі знань є текст, в якому міститься навчальна інформація. Це і є головною підваленою понятійно-тезисної моделі знань.

Наріжним каменем структури ПТМ є така сутність як поняття, предмет обговорення, деякий об’єкт з предметної області, про який в навчальному матеріалі є знання. Поняття вказує на деякий об’єкт з предметної області, про який іде мова, і який представляється для вивчення студенту. Наприклад в курсі «Алгоритмічні мови програмування» можна виділити такі поняття: «процедура», «цикл», «програма», «змінна», «життєвий цикл програми» тощо. Для курсу «Програмування в середовищі Delphi» можна було б виділити такі поняття: «об’єкт», «подія», «клас», «форма», «компонент TEdit» тощо. Множина понять у системі позначається наступним чином:

Формула

Для подання знань про поняття ПТМ містить спеціальні структурні елементи – тези. Теза – це відомість про поняття. Тезу можна порівняти з ознакою, характеристикою або ж з будь-яким твердженням, що є істинним для даного поняття. У той час, як поняття лише вказують на предмет, про який іде мова в тексті, тези є змістовим або описовим наповненням бази знань. Від повноти наборів таких тверджень, залежить повнота бази знань, а отже і спроможність навчальної системи будувати ефективні завдання тесту. Фактично теза являє собою одне або декілька речень, в яких мова іде безпосередньо про деяке поняття, проте саме поняття тут словарно не фігурує. З точки зору лінгвістики теза, як правило, є реченням, з якого видалено підмет. Наведемо приклади: теза про поняття «процедура» – «дозволяє розбити програму на підпрограми»; теза про поняття «клас» – «може мати в своїй структурі не тільки поля-властивості, а й методи, тобто функції і процедури» тощо. Множина тез у системі позначається наступним чином:

Формула

Поняття і тези у сукупності будемо називати ПТ-елементами. Кожна теза стосується одного поняття. Цей зв'язок задається відношенням:

Формула

У свою чергу кожне поняття може мати довільну кількість тез, що описується відношенням:

Формула

Як зазначалося вище, центральним носієм знань вважається навчальний матеріал. Тому виділення конкретних семантичних одиниць тісно пов’язане із процесом маніпулювання навчальним матеріалом. При підготовці методичних матеріалів дистанційного курсу весь матеріал в решті решт прийнято ділити на дрібні фрагменти, які також називають кадрами. Таким чином на кожному кроці видачі навчальної інформації студент отримує невеличкий фрагмент, що сприяє кращому зосередженню і сприйняттю поданого матеріалу. Поняття кадру є дуже важливим в ПТМ. З його допомогою забезпечується зв'язок семантичних елементів з навальним матеріалом. У даній праці ми не зупиняємося на конкретній реалізації загальної структури збереження і подання навчального матеріалу, більше того ПТМ допускає різні реалізації цієї структури, що дозволяє інтегрувати ПТМ із вже існуючими системами дистанційного навчання. Натомість ПТМ разом із іншими моделями є однією з складових освітньої системи [14, 15], яка передбачає структурування навчального матеріалу за допомогою спеціальної моделі контенту [3-5]. Отже позначимо множину фрагментів або сторінок навчального контенту:

Формула

Семантичні елементи ПТМ виділяється безпосередньо із тексту навчального фрагменту. Сам процес формування понятійно-тезисної бази фактично є осмисленим читанням навчального тексту разом із нескладними маніпуляціями щодо нього. Так, досліджуючи навчальний матеріал, викладач виділяє безпосередньо із тексту і додає в БЗ важливі навчальні поняття та їх тези. У результаті кожен фрагмент vi може стати джерелом довільної кількості тез tj, що задається відображенням:

Формула

Кожна tj, у свою чергу, стосується одного навчального фрагменту vi:

Формула

Так як тези стосуються лише одного навчального фрагменту, з якого вони були добуті, тоді як поняття можуть стосуватись багатьох навчальних ділянок, зв'язок між поняттями і навчальним матеріалом забезпечується опосередковано через тези: поняття – теза – навчальний матеріал. Поняття, які стосуються даної навчальної ділянки, визначаються оператором:

Формула

Відповідно навчальний матеріал, якого стосується дане поняття, визначається оператором:

Формула

Схематичне зображення ділянки ПТМ у співвідношенні з навчальним матеріалом показано на рис.1.

Рис.1. Ділянка ПТМ у співвідношенні з навчальним матеріалом.

Класифікація тез і понять

Поняття і тези можуть бути віднесені до певних класів. Ця класифікація служить для збереження в БЗ інформації про смисловий або лексичний характер того чи іншого поняття чи тези. Класи понять і тез використовуться в алгоритмах побудови тестових завдань. Набір класів тез описується множиною:

TClasses = {tDefinition, tDestination, tEssence, tSyntax, tGeneral, tList, tCode, tAttaching }

ПТМ передбачає можливість розширення множини ТClasses користувацькими класами тез, що дозволяє розширювати модель і налаштовувати її для різних предметних областей. Дамо опис наявних класів із TClasses:

  • tDefinition позначає тезу-визначення;
  • tDestination позначає тезу-призначення. Теза-призначення містить інформацію про призначення або роль того чи іншого поняття;
  • tEssence описує так звану тезу-сутність, що служить для передачі деякої принципової характеристики поняття;
  • tSyntax позначає тезу-синтаксис, характерну для предметної області програмування. Теза-синтаксис містить синтаксис деякої конструкції або команди мови програмування;
  • tGeneral позначає загальну тезу, що подає відомість загального характера про деяке поняття. Цей клас слід застосовувати у випадку, коли тезу не можна віднести до інших класів;
  • tList позначає тезу-список, що служить для виділення із тексту деякого списку об’єктів або компетнент, які подають вміст або склад відповідного поняття;
  • tCode позначає тезу, яка подає опис програмного коду, що міститься у відповідному понятті;
  • tAttaching позначає службову тезу-прикріплення, яка вказує на те, що про відповідне поняття йде мова у фрагменті тексту.

Віднесення тези до певного класу відбувається завдяки відображенню:

TClass = T→TClasses

Поняття також як і тези класифікуються з метою віднесення їх до певної смислової групи. Множина класів понять:

CClasses = {cGeneral, cCode}

Базовий набір класів містить два класи: cGeneral – для позначення поняття загального типу; cCode – для позначення поняття, яке подає програмний код. ПТМ передбачає можливість додавання класів для налаштування подання різних предметних областей. Поняття класифікуються за допомогою відображення:

CClass = C→CClasses

Структура тесту і тестового завдання

Тест і його структура. В основі генерації тестів в ПТМ лежить інформація про поняття, тези, навчальний матеріал і їх взаємозв'язок. Множина тестів задається множиною:

Test ={testi}

Вхідним параметром тесту є контрольна область навчального контенту, тобто набір фрагментів навчального матеріалу, по яким відбуватиметься тестування. Контрольна область контенту задається відображенням множини тестів на множину навчальних фрагментів:

Vtrg: Test →2V

Перш, ніж розпочнеться побудова тестових завдань, здійснюється визначення так званої ресурсної області контенту, що служитиме додатковим джерелом ПТ-елементів, що можуть використовуватися як альтернативні відповіді для тестових завдань. Ресурсна область контенту задається відображенням:

Vres: Test →2V

У простішому випадку ресурсна область контенту Vres(test) збігається з контрольною областю Vtrg(test). Проте, зважаючи на те, що будівельним матеріалом тестових завдань є ПТ-елементи, можливі випадки, коли семантичних одиниць ПТМ буде недостатньо для побудови необхідної кількості завдань тесту, крім того використання ПТ-елементів з інших джерел може покращити якість тестових завдань. У таких випадках ресурсна область контенту Vres(test) визначається на основі пошуку навчальних фрагментів, матеріал яких стосується тієї ж предметної області, що й контрольний матеріал Vtrg(test). Подібні алгоритми залежать від структури і можливостей моделі навчального контенту. Визначення предметної області в ієрархічно-мережевій моделі освітнього контенту Tree-Net, з якою інтегрується ПТМ, розглянуто в попередніх роботах автора [4].

Тестове завдання. ПТМ дозволяє генерувати завдання тесту на основі інформації про поняття, тези і їх зв’язок з навчальним матеріалом. Подамо опис технології автоматизованого створення тестових завдань. Множина тестових завдань позначається наступним чином:

Task = {taski}

Зв'язок тестів із завданнями задається відображенням:

TestTasks: Test→2Task

У свою чергу кожне завдання пов’язується з контрольною ПТ-парою, тобто таким поняттям і його тезою, які ляжуть в основу цього тестового завдання. Зв'язок завдання з контрольною ПТ-парою задається відображенням:

TaskCT: Task → CT

Існує набір шаблонів для тестових завдань TTempl={TTempli}, які крім того можуть розширюватись користувачем, що дає змогу доповнювати різні предметні області новими типами тестових завдань. Шаблони, які застосовуються для тестових завдань задаються відображенням:

TaskTempl: Task →TTempl

Кожне завдання пов’язується з набором семантичних елементів, які використовуються як варіанти альтернативних відповідей. У залежності від шаблону у якості альтернативних відповідей можуть виступати або тези, або поняття. Зв'язок між завданнями і альтернативними варіантами задається відображенням:

TaskAItems: Task → 2C∪ 2T

Шаблон тестового завдання. Шаблони мають на меті описати спосіб побудови тестових завдань на основі ПТ-елементів. Можливість додавати нові шаблони дає змогу удосконалювати систему не тільки на етапі проектування, але й на етапі її використання для налаштування алгоритмів генерації тестів для різних предметних областей. Подамо структурні зв’язки і особливості використання шаблонів для побудови тестів на основі ПТМ.

Шаблони завдань поділяються на два типи: 1) в основі запитання лежить поняття, а в основі варіантів відповідей – тези; 2) в основі запитання лежить теза, а в основі варіантів відповідей – поняття. Таким чином типізація запитального ПТ-елемента задається відображенням:

TQEntity: TTempl → CTEntity, де CTEntity={Concept, Thesis}

Для задання шаблонного тексту, який відповідає за запитання тестового завдання задається відображення шаблонів на відповідні елементи-зразки запитань:

TQStr: TTempl → QStr, де QStr={qStri} – множина текстових шаблонів запитань

Місце у тексті qStri, куди має бути вставлений текст запитального ПТ-елемента позначається спеціальним чином, а саме символами «###». Для позначення класів ПТ-елементів, які можуть бути застосовані для тестового завдання кожного з шаблонів служить відображення:

TQClasses: TTempl → 2CClasses ∪ 2TClasses

Як альтернатива TQClasses, може бути застосоване зазначення класів, які заборонено використовувати в завданні, що означатиме дозвіл на використання усіх інших класів ПТ-елементів. Для цього служить наступне відношення:

TQNotClasses: TTempl → 2CClasses ∪ 2TClasses

Для аналогічного зазначення класів для ПТ-елементів, що служать як варіанти відповідей використовуються відображення TAClasses і TANotClasses:

TAClasses: TTempl → 2CClasses ∪ 2TClasses,
TANotClasses: TTempl → 2CClasses ∪ 2TClasses

Генерація тестового завдання

Подамо послідовність побудови і візуалізації тестового завдання taskk тесту на основі ПТ-елементів, їх зв’язку з навчальними матеріалами і шаблонів тестових завдань. Позначимо як testk тест, в рамках якого будується завдання:

Формула

1. Вибір контрольної ПТ-пари. Випадковим чином обирається контрольна ПТ-пара з контрольної області навчального контенту TaskCT(taskk)=(tk,ck):

Формула

2. Пошук допустимих шаблонів завдань. На основі класів контрольного поняття ck і тези tk знаходиться множина усіх можливих варіантів шаблонів TT. По-перше, знаходяться усі можливі шаблони для випадку, коли в основі тестового запитання стоїть поняття, TQEntity(tt)=Concept. Позначимо цю множину шаблонів завдань TT′, TT′ Елемент формули TTempl:

Формула

Аналогічно знаходяться усі можливі шаблони для випадку, коли в основі тестового запитання стоїть теза, TQEntity(tt)=Thesis. Цю множину шаблонів завдань позначимо TT′′, TT′′ Елемент формули TTempl:

Формула

Таким чином сукупна множина усіх можливих шаблонів завдань для завдання з контрольною ПТ-парою TaskCT(taskk) поєднає обидва випадки:

TT=TT′ Елемент формули TT′′

3. Вибір шаблону завдання. З множини шаблонів TT випадковим чином вибирається один шаблон ttk, що й служитиме шаблоном завдання: TaskTempl(taskk)=ttk для генерації і візуалізації тестового завдання taskk.

4. Пошук альтернативних варіантів відповідей. У відповідності до обраного шаблону здійснюється пошук ПТ-елементів, що можуть слугувати як альтернативні варіанти відповіді. У випадку, коли TQEntity(ttk)=Concept, можливі альтернативні варіанти відповіді обираються із множини тез, клас яких відповідає параметрам шаблону ttk=TaskTempl(taskk):

Формула

У випадку, коли TQEntity(ttk)=Thesis, можливі альтернативні варіанти відповіді обираються із множини понять, клас яких задовольняє вимогам шаблону ttk=TaskTempl(taskk):

Формула

Із отриманої множини випадковим чином вибирається підмножина TaskAItems(taskk), потужність якої залежить від кількості варіантів відповідей, що повинні увійти в завдання.

5. Візуалізація тестового завдання. Коли усі семантичні дані готові, здійснюється відображення тестового завдання користувачу.

Запитання будується на основі текстового шаблону TQStr(taskk). У передбачене шаблоном місце вставляється текст запитального елемента контрольної ПТ-пари TaskCT(taskk)=(ck,tk). У випадку, коли в основі запитання стоїть поняття, тобто TQEntity(ttk)=Concept, у запитанні фігуруватиме текст поняття ck, у іншому випадку – текст тези tk.

Список варіантів відповідей формується з набору неправильних відповідей TaskAItems(taskk) і правильної відповіді, яка отримується з контрольної ПТ-пари. Список варіантів відповідей сортується випадковим чином і разом із запитанням подається користувачу у якості тестового завдання. Процес генерації тестового завдання показано на рис.2.

Рис.2. Генерація тестового завдання. Діаграма діяльності у нотації UML.

Після отримання відповіді студента на сформоване завдання відбувається аналіз правильності шляхом порівняння відповіді з істинним варіантом. У випадку невірної відповіді дані про контрольні поняття ck, тезу tk і ділянку навчального матеріалу VT(tk) використовуються для інформування студента про пробіли у вивченні відповідного навчального матеріалу і навчального поняття, а також для корекції подальшого сценарію навчання. Таким чином після проходження тесту з набору автоматично сформованих тестових завдань системою накопичуються інформація про здобутки студента і його пробіли у навчанні. Виявлені пробіли можуть стати сигналом для детальнішої перевірки знань по відповідній ділянці навчального матеріалу або ж ступеня засвоєння відповідного навчального поняття. Все це дає змогу організовувати тестування, адаптивне відносно навчальної теми, поняття або розділу. Схема використання понятійно-тезисного підходу для автоматизації тестування зображена на рис.3.

Вище було подано структуру і методи побудови тестового завдання множинного вибору. ПТМ також дозволяє будувати тестові завдання інших типів, що розглянуто в попередніх роботах [16-18]

Рис.3. Схема використання понятійно-тезисного підходу для автоматизації тестування.

Порівняння ПТМ з іншими підходами побудови тестових завдань

Описані підходи до побудови тестових завдань були реалізовані і апробовані у відкритому навчальному процесі на порталі дистанційного навчання [19]. Практика використання ПТМ дає змогу зробити порівняльний аналіз технології ПТМ з традиційною технологією ручної побудови тестів та технологією автоматизованої побудови тестових завдань на основі семантичних мереж. Порівняльний аналіз наводиться в табл. 1.

Таблиця 1. Порівняльний аналіз технологій побудови тестових завдань.

Критерій Технології тестування
Традиційний підхід Семантичні мережі Понятійно-тезисна модель
1. Принцип роботи Комп’ютерна реалізація традиційного тестування. На основі педагогічної технології. На основі бази знань семантичної мережі. Центральною структурною ідеєю для формування тестових запитань є тріада: «поняття»-«відношення»-«поняття». Технологія в рамках традиційної непедагогічної постановки задачі для ШІ. На основі понятійно-тезисної бази. Центральною структурною ідеєю для формування тестових завдань є зв'язок «навчальний матеріал»-«тези»-«поняття». Модель носить педагогічний характер з елементами застосування інженерії знань.
2. Спосіб формування бази знань або банку завдань Ручним способом. Фактичне створення запитань і варіантів відповідей викладачем. Формування бази знань експертом з предметної області. Визначення понять і зв’язків між ними. Формування бази знань шляхом виділення із тексту навчального матеріалу семантичних одиниць за нескладною схемою.
3. Трудові і часові витрати, необхідні для підготовки тесту Високі. Прямо пропорційні кількості необхідних запитань. Важко оптимізуються. Необхідні великі витрати на формування бази знань. Проте формування тестів відбувається автоматично Порівняно невеликі витрати. Генерація тестів відбувається автоматично.
4. Необхідність залучення експертів для формування тестів або БЗ Немає потреби. Формування тестів може здійснювати викладач відповідної дисципліни. Окрім експерта з даної предметної області потрібен інженер по знанням. Немає потреби. Процес формування тестів легкий для сприйняття, його виконання може здійснювати викладач відповідної дисципліни.
5. Якість тестових завдань і їх лексична зрозумілість Висока, так як їх формування здійснюється безпосередньо людиною. Завдання часто важкі для сприйняття людиною. Це пов’язано з тим, що семантичні мережі створювались для «пояснення» знань комп’ютеру, а тому погано підходять для спілкування з людиною. Хоча якість і уступає завданням створеним вручну, проте вона достатньо висока, так як запитання будуються на основі фрагментів навчального тексту, створеного людиною.
6. Ступінь автоматизації генерації завдань тесту Фактично відсутня. Використовуються готові завдання. Повна автоматизація на основі створеної семантичної мережі. Повна автоматизація на основі семантичних даних ПТМ і їх зв’язків з навчальним матеріалом.
7. Відповідність тесту навчальним матеріалам, поданим для вивчення студентам, у тому числі за умов переструктурування курсу Відповідність тесту навчальному матеріалу закладається на етапі створення тестових завдань і залежить від конкретної системи. У випадках потреби проводити тестування по деяким конкретним ділянкам навчального курсу або його реструктуруванні, з’являється необхідність збагачення тестових завдань мета-даними про навчальну ділянку. У зв’язку з тим, що для створення семантичної мережі застосовуються знання про предметну область взагалі, зв'язок з конкретними навчальними матеріалами має бути встановлений окремо. При цьому ускладнюється контроль відповідності тестового завдання конкретній ділянці навчального матеріалу. Зв'язок навчального матеріалу і семантичних даних закладено в самій моделі, і він задається природним чином під час формування бази знань. Це дає змогу при переструктуруванні навчального матеріалу коректно генерувати відповідні тестові завдання.
8. Можливість вироблення рекомендацій для управління подальшим процесом навчання У залежності від ступеня інтеграції з навчальним матеріалом і наявності у тестових завданнях мета-даних про навчальну ділянку. Рекомендації можуть звертати увагу студента на конкретні поняття, які були слабко засвоєні їм під час вивчення. Завдяки глибокій інтеграції з навчальним матеріалом є можливість точно визначати, які ділянки навчального матеріалу потребують повторення, а також звернути увагу студента на конкретні навчальні поняття.

Висновки

Понятійно-тезисна модель дає можливість вирішити проблему несумісності задач традиційного штучного інтелекту і систем інтелектуального навчання шляхом формалізації знань з позицій обробки безпосереднього навчального тексту, який виступає первинним джерелом знань. Формування ПТ-бази відбувається шляхом осмисленого читання навчального тексту, що значно спрощує процес побудови бази знань.

ПТМ забезпечує систему дистанційного навчання генератором тестових завдань, який, завдяки унікальності кожного з побудованих тестів, дає можливість звести до мінімуму проблему недобросовісного тестування, характерну для статичних тестів або тестів з недостатньо великим банком завдань. У той же час трудові витрати на побудову ПТ-бази менші за трудові витрати на побудову достатньо великого банку завдань, і відповідно менші за витрати на побудову достатньо повної семантичної мережі предметної області. На відміну від тестових завдань, що генеруються на основі семантичних мереж, завдання на основі ПТМ володіють кращою лексичною зрозумілістю, що позитивно впливає на якість контролю. Точний зв'язок семантичних даних з ділянками навчального матеріалу дозволяє використовувати різноманітні стратегії при формуванні і оцінюванні тестів. Так, ПТМ дозволяє будувати тест по будь-якій вказаній ділянці навчального контенту, а також, по результатам тестування, дає змогу точно визначити ті навчальні фрагменти і навчальні поняття, які потребують доопрацювання студентом. Такі можливості можуть бути використані для подальшої адаптації індивідуального навчального процесу на основі аналізу результатів тестування.

ПТМ інтегрується з ієрархічно-мережевою моделлю освітнього контенту Tree-Net, що дозволяє будувати індивідуалізоване навчаюче середовище з такими функціями, як генерація індивідуальних тестових завдань і генерація індивідуального навчального курсу [14, 15].

Практична реалізація ПТМ-підходів і автоматизоване тестування здійснені у рамках відкритого порталу дистанційного навчання [19]. Програмна реалізація містить засоби поповнення ПТ-бази на основі асинхронного Web-інтерфейсу і модуль генерації і аналізу тестів на основі ПТМ.

Подальші дослідження повинні бути зосереджені на підвищенні якості тестових завдань і вдосконаленні методів і алгоритмів їх генерації. Перспективним тут є розширення базової класифікації тез і понять та формування на основі цієї класифікації нових шаблонів для завдань тесту. Ще одним перспективним напрямком є побудова моделі шаблона для тестового завдання відкритого типу. Поточні дослідження ПТМ висвітлюються на авторському сайті [20].

Література

1. Brusilovsky, P. and Miller, P., Web-based testing for distance education. In: P. De Bra and J. Leggett (eds.) Proceedings of WebNet'99, World Conference of the WWW and Internet, Honolulu, HI, Oct. 24-30, 1999, AACE, pp. 149-154

2. Аванесов В.С. Композиция тестовых заданий. Учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов пед. вузов. 2 изд.,испр.. и доп.М.:Адепт.1998-217с.

3. Титенко С.В., Гагарін О.О. Ієрархічно-мережева модель управління освітнім контентом системи безперервного навчання // Системний аналіз та інформаційні технології: Матеріали X Міжнародної науково-технічної конференції (20-24 травня 2008р., Київ). – К.: НТУУ «КПІ», 2008 – 258 с.

4. Титенко С.В., Гагарін О.О. Моделювання області знань в системі безперервного навчання на основі інтеграції моделі контенту Tree-Net і понятійно-тезисної моделі // VIII международная конференция «Интеллектуальный анализ информации ИАИ-2008», Киев, 14-17 мая 2008г. : Сб. тр./ Ред. кол. : С.В. Сирота (гл.ред.) и др. – К.: Просвіта, 2008. – С. 475-484.

5. Титенко С.В., Гагарін О.О. Формування навчального контенту на основі моделі даних Tree-Net // Матеріали Всеукраїнської науково-технічної конференції "Комп'ютерна математика в інженерії, науці та освіті" (CMSEE-2007), м. Полтава, 28-30 листопада 2007 р. - Полтава: Вид-во ПолНТУ, 2007 - 42с.

6. Pathak S., Brusilovsky P. Assessing Student Programming Knowledge with Webbased Dynamic Parameterized Quizzes. In Barker P and Rebelsky S (eds) ED-MEDIA'2002 - World Conference on Educational Multimedia, Hypermedia and Telecommunications, Denver, CO, June 24-29, 2002, pp. 1548-1553

7. QuizPACK - Quizzes for Parameterized Assessment of C Knowledge http://www.sis.pitt.edu/~taler/QuizPACK.html

8. Елизаренко Г.Н. Проектирование компьютерных курсов обучения: концепция, язык, структура. НТУУ «КПИ». Киев, 2001.

9. Slavomir Stankov, Branko Žitko and Ani Grubišiċ. Ontology as a Foundation for Knowledge Evaluation in Intelligent E-learning Systems. AIED’05 Workshop SW-EL’05: Applications of Semantic Web Technologies for E-Learning. Papers of 12th International Conference on Artificial Intelligence in Education (AIED 2005). Amsterdam, 2005. http://hcs.science.uva.nl/AIED2005/W3proc.pdf

10. Berners-Lee T. "Spіnnіng the Semantіc Web: Brіngіng the World Wіde Web to Іts Full Potentіal", The MІ Press, 2005

11. Гагарін О.О., Гайдаржи В.І., Титенко С.В. Концептуальний підхід до подання знань в інтелектуальній освітній системі // Сучасні тенденції розвитку інформаційних технологій в науці, освіті та економіці: Матеріали Всеукраїнської науково-практичної конференції. 11-13 грудня 2006 р., м. Луганськ. – Луганськ: Альма-матер, 2006. – C.17-19

12. Артур К. Как изучать Библию. Санкт-Петербург, 1998.

13. Gordon D. Fee, Douglas Stuart. How to Read the Bible For All its Worth: A Guide to Understanding the Bible. Micchigan, 1982.

14. Gagarin A., Tytenko S. Complex model of educational hypermedia environment for ongoing learning // Образование и виртуальность – 2007. Сборник научных трудов 11-й Международной конференции Украинской ассоциации дистанционного образования / Под общ. ред. В.А. Гребенюка, Др Киншука и В.В. Семенца.– Харьков-Ялта: УАДО, 2007.– С. 140-145

15. Гагарін О.О., Титенко С.В. Проблеми створення гіпертекстового навчаючого середовища // Вісник Східноукраїнського національного університету імені Володимира Даля №4 (110) 2007 Ч.2 - Луганськ 2007 - С. 6-15.

16. Гагарин А.А., Луценко А.Н., Титенко С.В. Организация дистанционного обучения как информационный фактор реализации научно-технологической составляющей экономической безопасности государства // Экономическая безопасность государства и информационные технологии в ее обеспечении / под общ. ред. Г.К. Вороновского, И.В, Недина – К.:Знания Украины, 2005, стр. 608-619.

17. Титенко С.В., Гагарін О.О. Семантична модель знань для цілей організації контролю знань у навчальній системі. // Сборник трудов международной конференции «Интеллектуальный анализ информации-2006». – Київ: Просвіта, 2006. – С. 298-307.

18. Портал знань – застосування ПТМ підходів для автоматизації Web-тестування http://www.znannya.org

19. Лабораторія СЕТ – Віртуальна лабораторія новітніх інформаційних технологій. Дослідження в області дистанційного навчання http://www.setlab.net

PDF

Коментарі відвідувачів (0)
[ Показати коментарі ]

Додайте власний коментар
Автор

Коментар

Кількість входів в цьому місяці : 7816
Приєднуйтесь!
Сторінки, близькі за змістом
Ієрархічно-мережева модель управління освітнім контентом системи безперервного навчання
Модель Tree-Net є основою для розробки методів генерації динамічних навчальних курсів для підтримки безперервного навчання. Застосування семантичної системи управління навчальним контентом на основі Tree-Net-моделі можна знайти за адресою www.znannya.org.
Моделювання області знань в системі безперервного навчання на основі інтеграції моделі контенту Tree-Net і понятійно-тезисної моделі
У роботі описано підхід до подання і визначення області знань в інте-лектуальній системі безперервного навчання на базі моделі Web-контенту Tree-Net і понятійно-тезисної моделі формалізації дидактичного тексту. Знання про область знань використовуються для генерації персо-нального освітнього середовища і автоматизації тестування
Формування навчального контенту на основі моделі даних Tree-Net
У роботі пропонується ієрархічно-мережева модель даних Tree-Net як основа для формалізації і структурування інформації для Інтернет-систем, в тому числі для освітніх порталів. Структура Tree-Net з одного боку є ієрархічною, а з іншого має риси семантичної мережі.
Концептуальний підхід до подання знань в інтелектуальній освітній системі
Мережа WWW має весь необхідний потенціал для того, щоб стати фундаментом для побудови новітніх освітніх середовищ, які задовольнять вимоги часу по наданню і розповсюдженню знань. Всесвітня Мережа стоїть перед викликом зробити знання такими ж легко доступними, як і звичайну інформацію. Тут розглядаються два підходи до моделювання знань для освітніх систем та перспектива їх синтезу.
Complex model of educational hypermedia environment for ongoing learning
This work proposes to solve contemporary educational problems with help of intelligent educational Web-based system which generates learning hypermedia environment. Foundations for such system development were considered. Main issue here is a problem of knowledge representation and knowledge management for education. Formalization has to envelop different knowledge layers connected to learning process. This situation is reflected in corresponded set of models. All these models, combining with each other, make up complex model for knowledge management in the system which generates educational hypermedia environment.
Проблеми створення гіпертекстового навчаючого середовища
У статті іде мова про підхід до побудови освітньої Інтернет-системи, що служить для генерації гіпертекстового навчаючого середовища. Розглядаються сучасні освітні потреби суспільства і перспективи їх вирішення за допомогою інтелектуальних адаптивних освітніх Веб-систем. Подається концептуальний підхід до подання знань для освітнього процесу. Описано комплекс моделей для репрезентації і управління знаннями в рамках освітньої Інтернет-системи, що генерує гіпертекстове навчаюче середовище.
Організація дистанційного навчання як інформаційний фактор реалізації науково-технологічної складової економічної безпеки держави
В докладі розглянуті проблеми створення та проведення дистанційного навчання за допомогою сучасних інформаційних технологій. Значну увагу приділено автоматизованому проектуванню змісту курсів та методикам автоматизованого тестування знань студентів.
Семантична модель знань для цілей організації контролю знань у навчальній системі
Метою даної статті є подання концепції автоматичної побудови засобів контролю знань на основі спеціальної понятійно-тезисної моделі подання знань та опис програмної реалізації цієї концепції. Ідея полягає у специфічному алгоритмі збереження і наповнення бази знань, на основі якої будуть генеруватись тести. Запропонована ідея втілена у програмному продукті і знаходиться на стадії подальшого дослідження і розвитку.
Публікації Лабораторії. Штучний інтелект в освіті. Дистанційне навчання
Публікації. Штучний інтелект в освіті. Дистанційна освіта. Понятійно-тезисна модель для педагогічних цілей.
©2006-2017 Лабораторія СЕТ, Сергій Титенко
При використанні матеріалів посилання, гіперпосилання для web-ресурсів, на www.setlab.net обов'язкове
Зв'язок: lab@setlab.net 
Лабораторія СЕТ powered by FreshKnowledge
Студія Інновацій — Розробляємо розумні сайти
Rambler's Top100 НТУУ "КПІ"
Друзі і партнери
Український рейтинг TOP.TOPUA.NET