Пошук по сайту...
Відпочинок для дітей! Табір Райдуга. Чорне море, Крим
Портал Знань Портал безперервного навчання

Портал знань — відкриті навчальні матеріали, дистанційне навчання, дистанційне тестування знань

Навчальні матеріали і Тестування знань


Акція! Сайт, що допоможе дітям...

2.3.1. Модель контролю і діагностики знань та стану навчання

Модель контролю і діагностики знань та стану навчання (МКД) подає технології генерації і автоматизованого аналізу тестів. Модель реалізується на основі моделі Tree-Net і ПТМ. При цьому будівельним матеріалом тестових завдань є семантичні сутності ПТМ. Модель контенту Tree-Net використовується для зв’язку між завданнями тестів і конкретною порцією навчального контенту. МКД служить також для перевірки досягнення цілей навчання, поданих за допомогою моделі професійних компетенцій (МПК). Запропонована технологія побудови тестів на основі понятійно-тезисної моделі розглянута в роботах [72, 75–77].

Методи генерації тестових завдань

Однією з ключових складових дистанційної освіти є контроль і діагностика знань, реалізація яких в умовах відсутності безпосереднього контакту між учасниками навчального процесу викликають певні технічні і організаційні труднощі. Однією з найбільш розповсюджених дистанційних форм перевірки знань є комп’ютерне тестування. Науковці і спеціалісти в області електронної освіти і інформаційних технологій зробили значний внесок в розробку різних методів реалізації тестування. У роботі П. Брусиловського [99] подано детальний огляд життєвого циклу тестових завдань в освітній Web-системі, що включає такі стадії як підготовка, подання і оцінювання. Як правило стадія підготовки тестових завдань залишається слабко автоматизованою і вимагає безпосередньої роботи викладача.     

У той час, як багато досліджень в області комп’ютерного контролю знань зосереджені на питаннях валідності і надійності тестів [80], питання формування самого банку завдань в більшості випадків залишається виключно прерогативою викладача, що працює без використання інтелектуальних засобів автоматизації даного процесу. Дійсно намагання автоматизувати формування тестових завдань наштовхуються на область штучного інтелекту і на проблеми формалізації знань та їх подальшого використання в генерації тестів.

Традиційний підхід до створення засобів тестування фактично являє собою комп’ютеризацію ручного тестування. Суть такого підходу полягає у використанні інформаційно-комунікаційних технологій замість паперової роботи, що дає додаткові можливості щодо управління формуванням тестів з банку створених завдань та автоматичної перевірки результатів. Одночасно і перевагою, і недоліком даного підходу є ручне, неавтоматичне створення завдань. Завдання, професійно розроблені експертом, мають високу якість і зрозумілість. У випадку конкретних статичних тестів мають місце широкі можливості для зосередження на питаннях валідності і надійності. Однак суттєвим недоліком підходу є висока трудомісткість самого процесу по формуванню тестових завдань. Ця проблема підсилюється задачею захисту від недобросовісного проходження тесту, що передбачає наявність великого банку завдань і динамічну композицію на його основі індивідуального тесту для попередження «списування». Крім того викладач, що створює тестові завдання несе педагогічну відповідальність за адекватність вмісту контролю навчальному контенту. Тому це вимагає від розробника тестів не тільки експертних знань з предметної області, але й знання і глибокого аналізу безпосереднього навчального матеріалу, який подається студентам дистанційної форми навчання як основне джерело для оволодіння знаннями.

З метою інтенсифікації і спрощення процесів підготовки дистанційних навчальних курсів з тестовими блоками науковцями були запропоновані різні підходи до автоматизації створення тестових завдань. Одним з перспективних і порівняно нескладних в реалізації є підхід параметризованих тестів [100]. Суть підходу полягає у поданні різним студентам шаблонного завдання, яке відрізнятиметься певними параметрами, які генеруються автоматично. Відповідь вводиться з клавіатури. Таким чином кожен студент отримує індивідуальне завдання, а система по певній формулі чи алгоритму, підставляючи параметри отримує вірну відповідь для подальшої перевірки відповіді, введеної студентом. Недоліком підходу є його вузька предметна спрямованість. Так параметризовані тести добре підходять для організації контролю практичних навичок в точних науках, а також програмуванні [101], проте не підходять для перевірки теоретичних знань, а також контролю в гуманітарних науках.

Певного поширення у дослідженнях автоматизації контролю знань отримав підхід застосування семантичних мереж для автоматизації побудови тестів [48, 49, 102]. Наріжним каменем семантичних мереж є так звані тріади [45, 48, 102]: сутність 1 – відношення – сутність 2. Наприклад є такі сутності «процедура» і «програма». В такому випадку між ними можна встановити відношення типу «є частиною». Тоді отримуємо: сутність «процедура» «є частиною» сутності «програма». Завдання тесту будується шляхом опущення однієї з ланок тріади і постановкою запитання про відсутню ланку. Перевагою даного підходу є здатність системи міркувати знаннями з предметної області. Недолік полягає у великих витратах при складанні завершеної цілісної семантичної мережі, яка б коректно відображала дану предметну область, що вивчається. Ще одним недоліком підходу є лінгвістична незрозумілість і, часом, недоцільність завдань, що генеруються. Так, на основі семантичної мережі часто ставляться запитання про такі особливості об’єктів предметної області, що не мають у даному навчальному контексті педагогічної цінності. Подібні недоліки виникають із-за проблеми, характерної для класичних моделей знань штучного інтелекту, яку можна назвати проблемою всеосвіченості. Так вимогою семантичних мереж є повна формалізація предметної області, тоді як вивчення матеріалу відбувається в певному контексті, тому при генерації завдань у тест часто попадають запитання, відповідь на які не свідчить про досягнення або недоліки у навчанні студента. Вимога всеосвіченості, або всеосяжної формалізації потребує великих зусиль для побудови адекватної моделі, яка при цьому часто не забезпечує належної педагогічної доцільності в процесі її використання для освітніх цілей і тестування.

Ці та інші проблеми властиві для випадків, коли робиться змога застосувати класичні моделі штучного інтелекту (ШІ) для освітніх завдань. Не зважаючи на те, що як в моделях ШІ, так і в навчальних системах об’єктом моделювання є знання, все ж принциповою різницею тут є те, що у першому випадку метою моделювання є надання системі здатності «знати» певну предметну область, щоб вирішувати деякі прикладні задачі, натомість у другому випадку метою моделювання є надання системі здатності «навчати» людину знанням певної предметної області [57]. Така принципова різниця в постановці задач вимагає розробки спеціальних моделей формалізації знань для освіти і організації на їх основі автоматизованого тестування. Основним засобом передачі навчальної інформації студенту в дистанційному навчанні є текст, саме в ньому в зрозумілій для навчання формі подані знання. Зважаючи на це, вважається за доцільне покласти в основу моделі саме освітній текст, зосередившись на методах його формалізації з метою автоматизації побудови тестових завдань. Зазначені принципи були покладені в основу при розробці понятійно-тезисної моделі і методів автоматизованої побудови тестових завдань.

Можливості застосування ПТМ для генерації тестових завдань

Понятійно-тезисна модель формалізації дидактичного тексту служить підґрунтям для генерації тестових завдань. Далі приводяться загальні можливості і напрямки використання ПТМ для генерації тестових завдань різних типів. Зазначимо найпоширеніші типи завдань, що можуть застосовуватись  при контролі знань шляхом тестування та мають перспективне значення для розробленої семантичної моделі.

  1. Найпростішим типом є питання, що передбачає відповідь типу «Істина/Хиба».
  2. Найпоширенішим видом завдань у тестах є завдання множинного вибору: «один з декількох» та «декілька з декількох».
  3. Більш складним є завдання із вільною формою відповіді: відповідь на питання студент має ввести власноруч.
  4. Ще один варіант – завдання співставлення. Студенту подається два набори деяких елементів, і він має співставити кожен варіант одного набору з відповідним на його думку варіантом з другого набору елементів.
  5. Окремо виділимо ще один досить специфічний тип завдань – завдання по визначенню пріоритетності. Суть завдання полягає в тому, щоб розставити певні елементи в правильному порядку або порядку їх пріоритетності. 

Зосередимося на шляхах і алгоритмах побудови вище зазначених типів завдань на основі ПТМ.

1. Питання першого типу, що вимагають відповіді типу «Істина/Хиба», будуються наступним чином: із ПТ-бази видобувається відповідна пара поняття-теза, і студенту ставиться питання, чи вірне дане твердження:

Чи відповідає дане твердження поняттю <поняття>?

<теза>

Так     Ні  

Алгоритм подальшої перевірки відповіді є очевидним – якщо видобута теза дійсно стосується даного поняття, вірною відповіддю буде «Так» («Істина»).

2. Тести другого типу «питання – варіанти відповідей» реалізовувати відносно  не складно. Є декілька шляхів побудови таких завдань: (1) в основі питання лежить поняття, в основі варіантів відповідей – тези; (2) в основі питання лежить теза, в основі варіантів відповідей – поняття; деякі інші варіації.

Розкриємо вказані шляхи.

1) В основі питання лежить поняття, в основі варіантів відповідей – тези. Найзагальнішим тут буде завдання такого виду:

Вкажіть твердження, що стосується даного поняття <ім’я поняття>

 <перелік тверджень>

У залежності від класу поняття та тези питання може звучати інакше, наприклад:

«Для чого призначене поняття…», якщо тези, що слугують варіантами відповідей, належать до класу «призначення»;

«Чим є поняття…», якщо тези класу «визначення»;

2) В основі питання лежить теза, в основі варіантів відповідей – поняття. Тобто в цьому методі в основі питання лежить відомість про поняття. Студент повинен з набору понять обрати те, про яке йде мова в цій відомості. Так само, як і в попередньому способі завдання може мати як загальний характер:

Вкажіть поняття, про яке йде мова в твердженні

<Твердження>

<Перелік понять>,

так і конкретний, в залежності від класу поняття і тези: «Вкажіть поняття, яке визначене нижче…», якщо теза типу «визначення»; «Яке поняття має таке призначення… », якщо теза має тип «призначення».

3) На основі ПТ-бази можна побудувати й інші варіанти завдань типу «питання – варіанти відповідей».

Одним з можливих напрямків тут є завдання по визначенню найважливіших елементів навчального матеріалу. Принцип такий: перед студентом ставиться завдання визначити, наприклад, найважливіше поняття в даній лекції із переліку понять. Найважливіше поняття системою визначається на основі кількості тез цього поняття на даній ділянці матеріалу з урахуванням вагів важливості.

Ще один напрямок – використання можливостей наслідування та відношень між поняттями. Завдання будуються за принципом «поняття – набір понять». В якості питання ставиться лексична форма відношення між поняттями та  власне поняття, наприклад: «Вкажіть батьківське поняття…». В якості варіантів відповідей – набір понять, серед яких є поняття, що задовольняє умові завдання.

3. Розглянемо тестові завдання третього типу: питання – текстова відповідь вводиться студентом. З організаційно-методологічної точки зору цей тип дещо подібний до першого, але по рівню навчально-методичної складності він важчий для студента.

Для  цього виду тесту підходять завдання, в яких у якості відповіді виступає поняття. Найзагальніший вид завдання буде побудований таким чином: вказується деяка теза, і студенту пропонується ввести поняття, до якого стосується дана теза. Наприклад:

Загальний варіант:

<Теза> 

Про яке поняття йде мова? ;

На основі визначення:

<Теза-визначення>

Що це за поняття?

На основі призначення:

<Теза-призначення>

Призначення якого поняття наведене вище?

Тощо.

Окрім цього, можливо використовувати відомості щодо наслідування та відношення між поняттями. Так на базі наслідування можна побудувати завдання типу:

Вкажіть батьківське поняття до поняття <Назва поняття>.

Характерною особливістю з точки зору реалізації є вимога додаткової підсистеми для порівняння текстової відповіді з еталоном (з вірною відповіддю) та оцінки її вірності. Цей алгоритм повинен передбачати можливі орфографічні помилки у тексті, які до певної міри не повинні впливати на вірність відповідей (якщо тільки це не навчання з дисциплін лінгвістичного циклу). Якщо мова йде про відповіді, що складаються з багатьох слів, тоді потрібні відповідні алгоритми обробки. Наступним витком розвитку системи перевірки текстової відповіді може стати створення лінгвістичної підсистеми, що зможе застосовувати такі знання як синонімічні ряди, різного роду словоформи, відмінювання, часи для дієслів тощо.

4.Четвертий варіант – завдання співставлення. Студенту подається два набори деяких елементів, і він має співставити кожен варіант одного набору з відповідним на його думку варіантом іншого набору елементів.

Очевидним шляхом реалізації такого типу завдань є такий: перший набір елементів це поняття, інший – тези до цих понять. Між двома наборами повинен існувати взаємно однозначний зв'язок – кожному поняттю відповідає лише одна теза з набору тез. Студент за допомогою відповідних засобів інтерфейсу здійснює співставлення елементів.

Важливою складовою такого завдання є методика оцінки відповіді студента. Найпростіший шлях – це оцінка типу «залік» («незалік»), без диференціювання. Проте для даного типу завдань очевидною є потреба в градації оцінки, адже можливий випадок, коли студент співставить частину пар вірно, а частину – ні. В такому підході найпростішим є шлях оцінки на основі кількості вірних відповідей, тоді відсотком правильності відповіді буде відсоток кількості правильних співставлень. Більш гнучкий підхід – використання вагів, коли для кожної пари формується своя вагова оцінка, тобто доля в загальній оцінці, що при перевірці враховується в загальній оцінці. Вагова оцінка пар будується на базі ступеня важливості елементів (як поняття так і тези), що вказувалися на етапі формування бази знань.

5.П’ятий досить специфічний тип завдань – завдання по визначенню пріоритетності. Суть завдання полягає в тому, щоб розставити певні елементи в правильному порядку, порядку їх пріоритетності, або в тому щоб, певним чином, виділити елементи, що мають більшу вагу.

По структурі таке завдання часом аналогічне завданням описаним вище. Відмінністю є навчально-методичний зміст, закладений у ньому. Питання будуються на основі вторинних знань, отриманих з понятійно-тезисної бази за допомогою використання відомостей про ступінь важливості ПТ-елементів. Кожен ПТ-елемент має свій рівень важливості, який може бути вказаний на етапі формування БЗ. Різні поняття курсу мають різний рівень важливості у структурі знань курсу. Отже розуміння деяких понять є абсолютно необхідним для засвоєння курсу, інші ж грають допоміжну, таку, що  розширює кругозір, роль. Те саме стосується тверджень про поняття.

Таким чином завдання цього типу містить аналітичний характер і вимагає від студента ґрунтовного розуміння предмету. Приблизні запитання (завдання) можуть мати такий вигляд:

«Розставте в порядку важливості поняття курсу…»;

«Яке поняття важливіше в цьому розділі…»;

«Вкажіть ключові поняття теми»;

«Вкажіть твердження, що виражає головну властивість поняття…»;

Ефективність завдань залежить від адекватності закладених оцінок важливості навчальних елементів моделі.

Структура тесту і тестового завдання

Тест і його структура. В основі генерації тестів в ПТМ лежить інформація про поняття, тези, навчальний матеріал і їх взаємозв'язок. Множина тестів:

Test ={testi}.

Вхідним параметром тесту є контрольна область навчального контенту, тобто набір фрагментів навчального матеріалу, по яким відбуватиметься тестування. Контрольна область контенту задається відображенням множини тестів на множину навчальних фрагментів:

Vtrg: Test 2V.

Перш, ніж розпочнеться побудова тестових завдань, здійснюється визначення так званої ресурсної області контенту, що служитиме додатковим джерелом ПТ-елементів, що можуть використовуватися як альтернативні відповіді для тестових завдань. Ресурсна область контенту задається відображенням:

Vres: Test 2V.

У простішому випадку ресурсна область контенту Vres(test) збігається з контрольною областю Vtrg(test). Проте, зважаючи на те, що будівельним матеріалом тестових завдань є ПТ-елементи, можливі випадки, коли семантичних одиниць ПТМ буде недостатньо для побудови необхідної кількості завдань тесту, крім того використання ПТ-елементів з інших джерел може покращити якість тестових завдань. У таких випадках ресурсна область контентуVres(test) визначається на основі пошуку навчальних фрагментів, матеріал яких стосується тієї ж предметної області, що й контрольний матеріал Vtrg(test). Подібні алгоритми залежать від структури і можливостей моделі навчального контенту. Визначення предметної області в ієрархічно-мережевій моделі освітнього контенту Tree-Net, з якою інтегрується ПТМ, розглянуто вище.

Тестове завдання. ПТМ дозволяє генерувати завдання тесту на основі інформації про поняття, тези і їх зв’язок з навчальним матеріалом. Подамо опис технології автоматизованого створення тестових завдань. Множина тестових завдань позначається наступним чином:

Task = {taski}.

Зв'язок тестів із завданнями задається відображенням:

TestTasks: Test2Task .

У свою чергу кожне завдання пов’язується з контрольною ПТ-парою, тобто таким поняттям і його тезою, які ляжуть в основу цього тестового завдання. Зв'язок завдання з контрольною ПТ-парою задається відображенням:

TaskCT: Task CT .

Існує набір шаблонів для тестових завдань TTempl={TTempli}, які крім того можуть розширюватись користувачем, що дає змогу доповнювати різні предметні області новими типами тестових завдань. Шаблони, які застосовуються для тестових завдань задаються відображенням: 

TaskTempl: Task TTempl .         

Кожне завдання пов’язується з набором семантичних елементів, які використовуються як варіанти альтернативних відповідей. У залежності від шаблону у якості альтернативних відповідей можуть виступати або тези, або поняття. Зв'язок між завданнями і альтернативними варіантами задається відображенням:

TaskAItems: Task →2C Елемент формули 2T .

Шаблон тестового завдання. Шаблони мають на меті описати спосіб побудови тестових завдань на основі ПТ-елементів. Можливість додавати нові шаблони дає змогу удосконалювати систему не тільки на етапі проектування, але й на етапі її використання для налаштування алгоритмів генерації тестів для різних предметних областей. Подамо структурні зв’язки і особливості використання шаблонів для побудови тестів на основі ПТМ.

Шаблони завдань поділяються на два типи: 1) в основі запитання лежить поняття, а в основі варіантів відповідей – тези; 2)  в основі запитання лежить теза, а в основі варіантів відповідей – поняття. Таким чином типізація запитального ПТ-елемента задається відображенням:  

TQEntity: TTempl CTEntity, деCTEntity={Concept, Thesis} .

Для задання шаблонного тексту, який відповідає за запитання тестового завдання задається відображення шаблонів на відповідні елементи-зразки запитань:

TQStr: TTempl QStr, деQStr={qStri} – множина текстових шаблонів запитань.

Місце у тексті qStri, куди має бути вставлений текст запитального ПТ-елемента позначається спеціальним чином, а саме символами «###». Для позначення класів ПТ-елементів, які можуть бути застосовані для тестового завдання кожного з шаблонів служить відображення:

TQClasses: TTempl 2CClasses Елемент формули  2TClasses .      

Як альтернатива TQClasses, може бути застосоване зазначення класів, які заборонено використовувати в завданні, що означатиме дозвіл на використання усіх інших класів ПТ-елементів. Для цього служить наступне відношення:

TQNotClasses: TTempl  2CClasses Елемент формули  2TClasses .

Для аналогічного зазначення класів для ПТ-елементів, що служать як варіанти відповідей використовуються відображення TAClasses і TANotClasses:

TAClasses: TTempl 2CClasses Елемент формули   2TClasses,

TANotClasses: TTempl 2CClasses Елемент формули   2TClasses.

Генерація тестового завдання

Подамо послідовність побудови і візуалізації тестового завдання taskk тесту на основі ПТ-елементів, їх зв’язку з навчальними матеріалами і шаблонів тестових завдань. Позначимо як testk тест, в рамках якого будується завдання:

taskk Елемент формули TestTasks(testk) .

1. Вибір контрольної ПТ-пари. Випадковим чином обирається контрольна ПТ-пара з контрольної області навчального контенту TaskCT(taskk)=(tk,ck):

TaskCT(taskk)=(tk,ck): (tk,ck) Елемент формули CT Елемент формули VT(tk) Елемент формули Vtrg(testk) .

2. Пошук допустимих шаблонів завдань. На основі класів контрольного поняття ck і тези tk знаходиться множина усіх можливих варіантів шаблонів TT. По-перше, знаходяться усі можливі шаблони для випадку, коли в основі тестового запитання стоїть поняття,  TQEntity(tt)=Concept. Позначимо цю множину шаблонів завдань TT′, TT′ Елемент формули TTempl:

 TT′={tt:TQEntity(tt)=Concept Елемент формули
(CClass(ck) Елемент формули TQClasses(tt) Елемент формули TQClasses(tt)=0)  Елемент формули CClass(ck) Елемент формули TQNotClasses(tt)  Елемент формули
(TClass(tk) Елемент формули TAClasses(tt) Елемент формули TAClasses(tt)=0)  Елемент формули TClass(tk) Елемент формули TANotClasses(tt)}.         

Аналогічно знаходяться усі можливі шаблони для випадку, коли в основі тестового запитання стоїть теза,  TQEntity(tt)=Thesis. Цю множину шаблонів завдань позначимо TT′′, TT′′ Елемент формули TTempl:

TT′′={tt: TQEntity(tt)=Thesis Елемент формули (TClass(tk) Елемент формули TQClasses(tt) Елемент формули TQClasses(tt)=0) Елемент формули
TClass(tk Елемент формули TQNotClasses(tt) Елемент формули (CClass(ck) Елемент формули TAClasses(tt) Елемент формули TAClasses(tt)=0) Елемент формули
CClass(ck) Елемент формули TANotClasses(tt)} .

Таким чином сукупна множина усіх можливих шаблонів завдань для завдання з контрольною ПТ-парою TaskCT(taskk) поєднає обидва випадки:

TT=TT′ Елемент формули  TT′ ′.

3. Вибір шаблону завдання. З множини шаблонів TT випадковим чином вибирається один шаблон ttk, що й служитиме шаблоном завдання: TaskTempl(taskk)=ttk для генерації і візуалізації тестового завдання taskk

4.  Пошук альтернативних варіантів відповідей. У відповідності до обраного шаблону здійснюється пошук ПТ-елементів, що можуть слугувати як альтернативні варіанти відповіді. У випадку, коли TQEntity(ttk)=Concept, можливі альтернативні варіанти відповіді обираються із множини тез, клас яких відповідає параметрам шаблону ttk=TaskTempl(taskk):

Формула

У випадку, коли TQEntity(ttk)=Thesis, можливі альтернативні варіанти відповіді обираються із множини понять, клас яких задовольняє вимогам шаблонуttk=TaskTempl(taskk):

Формула

Із отриманої множини випадковим чином вибирається підмножина TaskAItems(taskk), потужність якої залежить від кількості варіантів відповідей, що повинні увійти в завдання.

5. Візуалізація тестового завдання. Коли усі семантичні дані готові, здійснюється відображення тестового завдання користувачу.

Запитання будується на основі текстового шаблону TQStr(taskk). У передбачене шаблоном місце вставляється текст запитального елемента контрольної ПТ-пари TaskCT(taskk)=(ck,tk). У випадку, коли в основі запитання стоїтьпоняття, тобто TQEntity(ttk)=Concept, у запитанні фігуруватиме текст поняття ck, у іншому випадку – текст тези tk.

Список варіантів відповідей формується з набору неправильних відповідей TaskAItems(taskk) і правильної відповіді, яка отримується з контрольної ПТ-пари. Список варіантів відповідей сортується випадковим чином і разом із запитанням подається користувачу у якості тестового завдання. Алгоритм генерації тестового завдання показано на рис. 2.18.

Після отримання відповіді студента на сформоване завдання відбувається аналіз правильності шляхом порівняння відповіді з істинним варіантом. У випадку невірної відповіді дані про контрольні поняття ck, тезу tk і ділянку навчального матеріалу VT(tk) використовуються для інформування студента про пробіли у вивченні відповідного навчального матеріалу і навчального поняття, а також для корекції подальшого сценарію навчання. Таким чином після проходження тесту з набору автоматично сформованих тестових завдань системою накопичуються інформація про здобутки студента і його пробіли у навчанні. Виявлені пробіли можуть стати сигналом для детальнішої перевірки знань по відповідній ділянці навчального матеріалу або ж ступеня засвоєння відповідного навчального поняття. 

Рис.2.18. Алгоритм генерації тестового завдання. Діаграма діяльності у нотації UML

Порівняння ПТМ з іншими підходами побудови тестових завдань

Описані підходи до побудови тестових завдань були реалізовані і апробовані у відкритому навчальному процесі на порталі дистанційного  навчання [103]. Практика використання ПТМ дає змогу зробити порівняльний аналіз технології ПТМ з традиційною технологією ручної побудови тестів та технологією автоматизованої побудови тестових завдань на основі семантичних мереж. Порівняльний аналіз наводиться в табл. 2.4.

Таблиця 2.4

Порівняльний аналіз технологій побудови тестових завдань

Критерій

Технології тестування

Традиційний підхід

Семантичні мережі

Понятійно-тезисна модель

1

Принцип роботи

Комп’ютерна реалізація традиційного тестування.

На основі педагогічної технології.

На основі бази знань семантичної мережі. Центральною структурною ідеєю для формування тестових запитань є тріада:  «поняття»-«відношення»-«поняття». Технологія в межах традиційної (непедагогічної) постановки задачі для ШІ.

 

На основі понятійно-тезисної бази. Центральною структурною ідеєю для формування тестових завдань є зв'язок «навчальний матеріал»-«тези»-«поняття».

Модель носить педагогічний характер з елементами застосування інженерії знань.

2

Спосіб формування бази знань або банку завдань

Ручним способом. Фактичне створення запитань і варіантів відповідей викладачем.

Формування бази знань експертом з предметної області. Визначення понять і зв’язків між ними. 

Формування бази знань шляхом виділення із тексту навчального матеріалу семантичних одиниць за нескладною схемою.

3

Трудові і часові витрати, необхідні для підготовки тесту

Високі. Прямо пропорційні кількості необхідних запитань. Важко  оптимізуються.

Необхідні великі витрати на формування бази знань. Проте формування тестів відбувається автоматично

Порівняно невеликі витрати. Генерація тестів відбувається автоматично.

4

Необхідність залучення експертів для формування тестів або БЗ

Немає потреби. Формування тестів може здійснювати викладач відповідної дисципліни.

Окрім експерта з даної предметної області потрібен інженер по знанням.

Немає потреби. Процес формування тестів легкий для сприйняття, його виконання  може здійснювати викладач відповідної дисципліни.

5

Якість тестових завдань і їх лексична зрозумілість

Висока, так як їх формування здійснюється безпосередньо людиною.

Завдання часто важкі для сприйняття людиною. Це пов’язано з тим, що семантичні мережі створювались для «пояснення» знань комп’ютеру, а тому погано підходять для спілкування з людиною.  

Хоча якість і уступає завданням створеним вручну, проте вона достатньо висока, так як запитання будуються на основі фрагментів навчального тексту, створеного людиною.

6

Ступінь автоматизації генерації завдань тесту

Фактично відсутня. Використовуються готові завдання. 

Повна автоматизація на основі створеної семантичної мережі.

Повна автоматизація на основі семантичних даних ПТМ і їх зв’язків з навчальним матеріалом.   

7

Відповідність тесту навчальним матеріалам, поданим для вивчення студентам,  у тому числі за умов переструктурування курсу

 

Відповідність тесту навчальному матеріалу закладається на етапі створення тестових завдань і залежить від конкретної системи.

У випадках потреби проводити тестування по деяким конкретним ділянкам навчального курсу або його реструктуруванні, з’являється необхідність збагачення тестових завдань метаданими про навчальну ділянку.

У зв’язку з тим, що для створення семантичної мережі застосовуються знання про предметну область взагалі, зв'язок з конкретними навчальними матеріалами має бути встановлений окремо. При цьому ускладнюється контроль відповідності тестового завдання конкретній ділянці навчального матеріалу.

 

Зв'язок навчального матеріалу і семантичних даних закладено в самій моделі, і він задається природним чином під час формування бази знань. Це дає змогу при переструктуруванні навчального матеріалу коректно генерувати відповідні тестові завдання. 

8

Можливість вироблення рекомендацій для управління подальшим процесом навчання

У залежності від ступеня інтеграції з навчальним матеріалом і наявності у тестових завданнях метаданих про навчальну ділянку.

Рекомендації можуть звертати увагу студента на конкретні поняття, які були слабко засвоєні їм під час вивчення.

Завдяки глибокій інтеграції з навчальним матеріалом є можливість точно визначати, які ділянки навчального матеріалу потребують повторення, а також звернути увагу студента на конкретні навчальні поняття.

Кількість входів в цьому місяці : 3635
Приєднуйтесь!
Сторінки, близькі за змістом
2.3. Рівень організації індивідуального навчання
На рівні організації індивідуалізованого навчання в системі вирішуються такі задачі як організація освітнього запиту для ініціалізації персонального освітнього Web-простору, побудова індивідуального навчального середовища, автоматизований контроль і діагностика знань, побудова інтерактивного довідника з предметної області і семантичного конспекту курсу на основі онтології. На цьому рівні моделюються інформаційні структури для опису освітніх цілей, реалізації індивідуалізації навчання, подаються методи організації навчального процесу.
Дисертація «Програмне забезпечення онтологічно-орієнтованої системи керування інформаційно-навчальним Web-контентом»
Титенко С.В. «Програмне забезпечення онтологічно-орієнтованої системи керування інформаційно-навчальним Web-контентом». Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 01.05.03 – Математичне та програмне забезпечення обчислювальних машин і систем.
©2006-2023 Лабораторія СЕТ, Сергій Титенко
При використанні матеріалів посилання, гіперпосилання для web-ресурсів, на www.setlab.net обов'язкове
Зв'язок: lab@setlab.net 
Лабораторія СЕТ powered by FreshKnowledge
Студія Інновацій — Розробляємо розумні сайти
НТУУ "КПІ"
Комп'ютерні науки та програмна інженерія
Друзі і партнери