Дисертації Тезаурус FreshKnowledge CMS Semantic Web Tree-Net Web 2.0 Агенти Адаптивність АПЕПС Аспірантам Безперервне навчання Веб будівництво Інтелектульні СДН Керування знаннями Керування контентом Компетенції Контроль знань Конференції Модель учня Моделювання знань Мотивація Наука Наука і віра Проекти ПТМ Ролики про вічне Сайти Сенс життя Сервіси Статті Суспільство і віра
| Лабораторія СЕТ | Дослідження, статті, розробки | Дисертація | 2. Структурно-алгоритмічні основи системи керування інформаційно-навчальним Web-контентом | 2.3. Рівень організації індивідуального навчання | 2.3.1. Модель контролю і діагностики знань та стану навчання ![]() ![]() ![]() 2.3.1. Модель контролю і діагностики знань та стану навчанняМодель контролю і діагностики знань та стану навчання (МКД) подає технології генерації і автоматизованого аналізу тестів. Модель реалізується на основі моделі Tree-Net і ПТМ. При цьому будівельним матеріалом тестових завдань є семантичні сутності ПТМ. Модель контенту Tree-Net використовується для зв’язку між завданнями тестів і конкретною порцією навчального контенту. МКД служить також для перевірки досягнення цілей навчання, поданих за допомогою моделі професійних компетенцій (МПК). Запропонована технологія побудови тестів на основі понятійно-тезисної моделі розглянута в роботах [72, 75–77]. Методи генерації тестових завдань Однією з ключових складових дистанційної освіти є контроль і діагностика знань, реалізація яких в умовах відсутності безпосереднього контакту між учасниками навчального процесу викликають певні технічні і організаційні труднощі. Однією з найбільш розповсюджених дистанційних форм перевірки знань є комп’ютерне тестування. Науковці і спеціалісти в області електронної освіти і інформаційних технологій зробили значний внесок в розробку різних методів реалізації тестування. У роботі П. Брусиловського [99] подано детальний огляд життєвого циклу тестових завдань в освітній Web-системі, що включає такі стадії як підготовка, подання і оцінювання. Як правило стадія підготовки тестових завдань залишається слабко автоматизованою і вимагає безпосередньої роботи викладача. У той час, як багато досліджень в області комп’ютерного контролю знань зосереджені на питаннях валідності і надійності тестів [80], питання формування самого банку завдань в більшості випадків залишається виключно прерогативою викладача, що працює без використання інтелектуальних засобів автоматизації даного процесу. Дійсно намагання автоматизувати формування тестових завдань наштовхуються на область штучного інтелекту і на проблеми формалізації знань та їх подальшого використання в генерації тестів. Традиційний підхід до створення засобів тестування фактично являє собою комп’ютеризацію ручного тестування. Суть такого підходу полягає у використанні інформаційно-комунікаційних технологій замість паперової роботи, що дає додаткові можливості щодо управління формуванням тестів з банку створених завдань та автоматичної перевірки результатів. Одночасно і перевагою, і недоліком даного підходу є ручне, неавтоматичне створення завдань. Завдання, професійно розроблені експертом, мають високу якість і зрозумілість. У випадку конкретних статичних тестів мають місце широкі можливості для зосередження на питаннях валідності і надійності. Однак суттєвим недоліком підходу є висока трудомісткість самого процесу по формуванню тестових завдань. Ця проблема підсилюється задачею захисту від недобросовісного проходження тесту, що передбачає наявність великого банку завдань і динамічну композицію на його основі індивідуального тесту для попередження «списування». Крім того викладач, що створює тестові завдання несе педагогічну відповідальність за адекватність вмісту контролю навчальному контенту. Тому це вимагає від розробника тестів не тільки експертних знань з предметної області, але й знання і глибокого аналізу безпосереднього навчального матеріалу, який подається студентам дистанційної форми навчання як основне джерело для оволодіння знаннями. З метою інтенсифікації і спрощення процесів підготовки дистанційних навчальних курсів з тестовими блоками науковцями були запропоновані різні підходи до автоматизації створення тестових завдань. Одним з перспективних і порівняно нескладних в реалізації є підхід параметризованих тестів [100]. Суть підходу полягає у поданні різним студентам шаблонного завдання, яке відрізнятиметься певними параметрами, які генеруються автоматично. Відповідь вводиться з клавіатури. Таким чином кожен студент отримує індивідуальне завдання, а система по певній формулі чи алгоритму, підставляючи параметри отримує вірну відповідь для подальшої перевірки відповіді, введеної студентом. Недоліком підходу є його вузька предметна спрямованість. Так параметризовані тести добре підходять для організації контролю практичних навичок в точних науках, а також програмуванні [101], проте не підходять для перевірки теоретичних знань, а також контролю в гуманітарних науках. Певного поширення у дослідженнях автоматизації контролю знань отримав підхід застосування семантичних мереж для автоматизації побудови тестів [48, 49, 102]. Наріжним каменем семантичних мереж є так звані тріади [45, 48, 102]: сутність 1 – відношення – сутність 2. Наприклад є такі сутності «процедура» і «програма». В такому випадку між ними можна встановити відношення типу «є частиною». Тоді отримуємо: сутність «процедура» «є частиною» сутності «програма». Завдання тесту будується шляхом опущення однієї з ланок тріади і постановкою запитання про відсутню ланку. Перевагою даного підходу є здатність системи міркувати знаннями з предметної області. Недолік полягає у великих витратах при складанні завершеної цілісної семантичної мережі, яка б коректно відображала дану предметну область, що вивчається. Ще одним недоліком підходу є лінгвістична незрозумілість і, часом, недоцільність завдань, що генеруються. Так, на основі семантичної мережі часто ставляться запитання про такі особливості об’єктів предметної області, що не мають у даному навчальному контексті педагогічної цінності. Подібні недоліки виникають із-за проблеми, характерної для класичних моделей знань штучного інтелекту, яку можна назвати проблемою всеосвіченості. Так вимогою семантичних мереж є повна формалізація предметної області, тоді як вивчення матеріалу відбувається в певному контексті, тому при генерації завдань у тест часто попадають запитання, відповідь на які не свідчить про досягнення або недоліки у навчанні студента. Вимога всеосвіченості, або всеосяжної формалізації потребує великих зусиль для побудови адекватної моделі, яка при цьому часто не забезпечує належної педагогічної доцільності в процесі її використання для освітніх цілей і тестування. Ці та інші проблеми властиві для випадків, коли робиться змога застосувати класичні моделі штучного інтелекту (ШІ) для освітніх завдань. Не зважаючи на те, що як в моделях ШІ, так і в навчальних системах об’єктом моделювання є знання, все ж принциповою різницею тут є те, що у першому випадку метою моделювання є надання системі здатності «знати» певну предметну область, щоб вирішувати деякі прикладні задачі, натомість у другому випадку метою моделювання є надання системі здатності «навчати» людину знанням певної предметної області [57]. Така принципова різниця в постановці задач вимагає розробки спеціальних моделей формалізації знань для освіти і організації на їх основі автоматизованого тестування. Основним засобом передачі навчальної інформації студенту в дистанційному навчанні є текст, саме в ньому в зрозумілій для навчання формі подані знання. Зважаючи на це, вважається за доцільне покласти в основу моделі саме освітній текст, зосередившись на методах його формалізації з метою автоматизації побудови тестових завдань. Зазначені принципи були покладені в основу при розробці понятійно-тезисної моделі і методів автоматизованої побудови тестових завдань. Можливості застосування ПТМ для генерації тестових завдань Понятійно-тезисна модель формалізації дидактичного тексту служить підґрунтям для генерації тестових завдань. Далі приводяться загальні можливості і напрямки використання ПТМ для генерації тестових завдань різних типів. Зазначимо найпоширеніші типи завдань, що можуть застосовуватись при контролі знань шляхом тестування та мають перспективне значення для розробленої семантичної моделі.
Зосередимося на шляхах і алгоритмах побудови вище зазначених типів завдань на основі ПТМ. 1. Питання першого типу, що вимагають відповіді типу «Істина/Хиба», будуються наступним чином: із ПТ-бази видобувається відповідна пара поняття-теза, і студенту ставиться питання, чи вірне дане твердження: Чи відповідає дане твердження поняттю <поняття>? <теза> Так Ні Алгоритм подальшої перевірки відповіді є очевидним – якщо видобута теза дійсно стосується даного поняття, вірною відповіддю буде «Так» («Істина»). 2. Тести другого типу «питання – варіанти відповідей» реалізовувати відносно не складно. Є декілька шляхів побудови таких завдань: (1) в основі питання лежить поняття, в основі варіантів відповідей – тези; (2) в основі питання лежить теза, в основі варіантів відповідей – поняття; деякі інші варіації. Розкриємо вказані шляхи. 1) В основі питання лежить поняття, в основі варіантів відповідей – тези. Найзагальнішим тут буде завдання такого виду: Вкажіть твердження, що стосується даного поняття <ім’я поняття> <перелік тверджень> У залежності від класу поняття та тези питання може звучати інакше, наприклад: «Для чого призначене поняття…», якщо тези, що слугують варіантами відповідей, належать до класу «призначення»; «Чим є поняття…», якщо тези класу «визначення»; 2) В основі питання лежить теза, в основі варіантів відповідей – поняття. Тобто в цьому методі в основі питання лежить відомість про поняття. Студент повинен з набору понять обрати те, про яке йде мова в цій відомості. Так само, як і в попередньому способі завдання може мати як загальний характер: Вкажіть поняття, про яке йде мова в твердженні <Твердження> <Перелік понять>, так і конкретний, в залежності від класу поняття і тези: «Вкажіть поняття, яке визначене нижче…», якщо теза типу «визначення»; «Яке поняття має таке призначення… », якщо теза має тип «призначення». 3) На основі ПТ-бази можна побудувати й інші варіанти завдань типу «питання – варіанти відповідей». Одним з можливих напрямків тут є завдання по визначенню найважливіших елементів навчального матеріалу. Принцип такий: перед студентом ставиться завдання визначити, наприклад, найважливіше поняття в даній лекції із переліку понять. Найважливіше поняття системою визначається на основі кількості тез цього поняття на даній ділянці матеріалу з урахуванням вагів важливості. Ще один напрямок – використання можливостей наслідування та відношень між поняттями. Завдання будуються за принципом «поняття – набір понять». В якості питання ставиться лексична форма відношення між поняттями та власне поняття, наприклад: «Вкажіть батьківське поняття…». В якості варіантів відповідей – набір понять, серед яких є поняття, що задовольняє умові завдання. 3. Розглянемо тестові завдання третього типу: питання – текстова відповідь вводиться студентом. З організаційно-методологічної точки зору цей тип дещо подібний до першого, але по рівню навчально-методичної складності він важчий для студента. Для цього виду тесту підходять завдання, в яких у якості відповіді виступає поняття. Найзагальніший вид завдання буде побудований таким чином: вказується деяка теза, і студенту пропонується ввести поняття, до якого стосується дана теза. Наприклад: Загальний варіант: <Теза> Про яке поняття йде мова? ; На основі визначення: <Теза-визначення> Що це за поняття? На основі призначення: <Теза-призначення> Призначення якого поняття наведене вище? Тощо. Окрім цього, можливо використовувати відомості щодо наслідування та відношення між поняттями. Так на базі наслідування можна побудувати завдання типу: Вкажіть батьківське поняття до поняття <Назва поняття>. Характерною особливістю з точки зору реалізації є вимога додаткової підсистеми для порівняння текстової відповіді з еталоном (з вірною відповіддю) та оцінки її вірності. Цей алгоритм повинен передбачати можливі орфографічні помилки у тексті, які до певної міри не повинні впливати на вірність відповідей (якщо тільки це не навчання з дисциплін лінгвістичного циклу). Якщо мова йде про відповіді, що складаються з багатьох слів, тоді потрібні відповідні алгоритми обробки. Наступним витком розвитку системи перевірки текстової відповіді може стати створення лінгвістичної підсистеми, що зможе застосовувати такі знання як синонімічні ряди, різного роду словоформи, відмінювання, часи для дієслів тощо. 4.Четвертий варіант – завдання співставлення. Студенту подається два набори деяких елементів, і він має співставити кожен варіант одного набору з відповідним на його думку варіантом іншого набору елементів. Очевидним шляхом реалізації такого типу завдань є такий: перший набір елементів це поняття, інший – тези до цих понять. Між двома наборами повинен існувати взаємно однозначний зв'язок – кожному поняттю відповідає лише одна теза з набору тез. Студент за допомогою відповідних засобів інтерфейсу здійснює співставлення елементів. Важливою складовою такого завдання є методика оцінки відповіді студента. Найпростіший шлях – це оцінка типу «залік» («незалік»), без диференціювання. Проте для даного типу завдань очевидною є потреба в градації оцінки, адже можливий випадок, коли студент співставить частину пар вірно, а частину – ні. В такому підході найпростішим є шлях оцінки на основі кількості вірних відповідей, тоді відсотком правильності відповіді буде відсоток кількості правильних співставлень. Більш гнучкий підхід – використання вагів, коли для кожної пари формується своя вагова оцінка, тобто доля в загальній оцінці, що при перевірці враховується в загальній оцінці. Вагова оцінка пар будується на базі ступеня важливості елементів (як поняття так і тези), що вказувалися на етапі формування бази знань. 5.П’ятий досить специфічний тип завдань – завдання по визначенню пріоритетності. Суть завдання полягає в тому, щоб розставити певні елементи в правильному порядку, порядку їх пріоритетності, або в тому щоб, певним чином, виділити елементи, що мають більшу вагу. По структурі таке завдання часом аналогічне завданням описаним вище. Відмінністю є навчально-методичний зміст, закладений у ньому. Питання будуються на основі вторинних знань, отриманих з понятійно-тезисної бази за допомогою використання відомостей про ступінь важливості ПТ-елементів. Кожен ПТ-елемент має свій рівень важливості, який може бути вказаний на етапі формування БЗ. Різні поняття курсу мають різний рівень важливості у структурі знань курсу. Отже розуміння деяких понять є абсолютно необхідним для засвоєння курсу, інші ж грають допоміжну, таку, що розширює кругозір, роль. Те саме стосується тверджень про поняття. Таким чином завдання цього типу містить аналітичний характер і вимагає від студента ґрунтовного розуміння предмету. Приблизні запитання (завдання) можуть мати такий вигляд: «Розставте в порядку важливості поняття курсу…»; «Яке поняття важливіше в цьому розділі…»; «Вкажіть ключові поняття теми»; «Вкажіть твердження, що виражає головну властивість поняття…»; Ефективність завдань залежить від адекватності закладених оцінок важливості навчальних елементів моделі. Структура тесту і тестового завдання Тест і його структура. В основі генерації тестів в ПТМ лежить інформація про поняття, тези, навчальний матеріал і їх взаємозв'язок. Множина тестів: Test ={testi}. Вхідним параметром тесту є контрольна область навчального контенту, тобто набір фрагментів навчального матеріалу, по яким відбуватиметься тестування. Контрольна область контенту задається відображенням множини тестів на множину навчальних фрагментів: Vtrg: Test →2V. Перш, ніж розпочнеться побудова тестових завдань, здійснюється визначення так званої ресурсної області контенту, що служитиме додатковим джерелом ПТ-елементів, що можуть використовуватися як альтернативні відповіді для тестових завдань. Ресурсна область контенту задається відображенням: Vres: Test →2V. У простішому випадку ресурсна область контенту Vres(test) збігається з контрольною областю Vtrg(test). Проте, зважаючи на те, що будівельним матеріалом тестових завдань є ПТ-елементи, можливі випадки, коли семантичних одиниць ПТМ буде недостатньо для побудови необхідної кількості завдань тесту, крім того використання ПТ-елементів з інших джерел може покращити якість тестових завдань. У таких випадках ресурсна область контентуVres(test) визначається на основі пошуку навчальних фрагментів, матеріал яких стосується тієї ж предметної області, що й контрольний матеріал Vtrg(test). Подібні алгоритми залежать від структури і можливостей моделі навчального контенту. Визначення предметної області в ієрархічно-мережевій моделі освітнього контенту Tree-Net, з якою інтегрується ПТМ, розглянуто вище. Тестове завдання. ПТМ дозволяє генерувати завдання тесту на основі інформації про поняття, тези і їх зв’язок з навчальним матеріалом. Подамо опис технології автоматизованого створення тестових завдань. Множина тестових завдань позначається наступним чином: Task = {taski}. Зв'язок тестів із завданнями задається відображенням: TestTasks: Test→2Task . У свою чергу кожне завдання пов’язується з контрольною ПТ-парою, тобто таким поняттям і його тезою, які ляжуть в основу цього тестового завдання. Зв'язок завдання з контрольною ПТ-парою задається відображенням: TaskCT: Task → CT . Існує набір шаблонів для тестових завдань TTempl={TTempli}, які крім того можуть розширюватись користувачем, що дає змогу доповнювати різні предметні області новими типами тестових завдань. Шаблони, які застосовуються для тестових завдань задаються відображенням: TaskTempl: Task →TTempl . Кожне завдання пов’язується з набором семантичних елементів, які використовуються як варіанти альтернативних відповідей. У залежності від шаблону у якості альтернативних відповідей можуть виступати або тези, або поняття. Зв'язок між завданнями і альтернативними варіантами задається відображенням:
TaskAItems: Task →2C Шаблон тестового завдання. Шаблони мають на меті описати спосіб побудови тестових завдань на основі ПТ-елементів. Можливість додавати нові шаблони дає змогу удосконалювати систему не тільки на етапі проектування, але й на етапі її використання для налаштування алгоритмів генерації тестів для різних предметних областей. Подамо структурні зв’язки і особливості використання шаблонів для побудови тестів на основі ПТМ. Шаблони завдань поділяються на два типи: 1) в основі запитання лежить поняття, а в основі варіантів відповідей – тези; 2) в основі запитання лежить теза, а в основі варіантів відповідей – поняття. Таким чином типізація запитального ПТ-елемента задається відображенням: TQEntity: TTempl → CTEntity, деCTEntity={Concept, Thesis} . Для задання шаблонного тексту, який відповідає за запитання тестового завдання задається відображення шаблонів на відповідні елементи-зразки запитань: TQStr: TTempl → QStr, деQStr={qStri} – множина текстових шаблонів запитань. Місце у тексті qStri, куди має бути вставлений текст запитального ПТ-елемента позначається спеціальним чином, а саме символами «###». Для позначення класів ПТ-елементів, які можуть бути застосовані для тестового завдання кожного з шаблонів служить відображення:
TQClasses: TTempl →2CClasses Як альтернатива TQClasses, може бути застосоване зазначення класів, які заборонено використовувати в завданні, що означатиме дозвіл на використання усіх інших класів ПТ-елементів. Для цього служить наступне відношення:
TQNotClasses: TTempl → 2CClasses Для аналогічного зазначення класів для ПТ-елементів, що служать як варіанти відповідей використовуються відображення TAClasses і TANotClasses:
TAClasses: TTempl →2CClasses
TANotClasses: TTempl →2CClasses Генерація тестового завдання Подамо послідовність побудови і візуалізації тестового завдання taskk тесту на основі ПТ-елементів, їх зв’язку з навчальними матеріалами і шаблонів тестових завдань. Позначимо як testk тест, в рамках якого будується завдання:
taskk 1. Вибір контрольної ПТ-пари. Випадковим чином обирається контрольна ПТ-пара з контрольної області навчального контенту TaskCT(taskk)=(tk,ck):
TaskCT(taskk)=(tk,ck): (tk,ck)
2. Пошук допустимих шаблонів завдань. На основі класів контрольного поняття ck і тези tk знаходиться множина усіх можливих варіантів шаблонів TT. По-перше, знаходяться усі можливі шаблони для випадку, коли в основі тестового запитання стоїть поняття, TQEntity(tt)=Concept. Позначимо цю множину шаблонів завдань TT′, TT′
TT′={tt:TQEntity(tt)=Concept
Аналогічно знаходяться усі можливі шаблони для випадку, коли в основі тестового запитання стоїть теза, TQEntity(tt)=Thesis. Цю множину шаблонів завдань позначимо TT′′, TT′′
TT′′={tt: TQEntity(tt)=Thesis Таким чином сукупна множина усіх можливих шаблонів завдань для завдання з контрольною ПТ-парою TaskCT(taskk) поєднає обидва випадки:
TT=TT′ 3. Вибір шаблону завдання. З множини шаблонів TT випадковим чином вибирається один шаблон ttk, що й служитиме шаблоном завдання: TaskTempl(taskk)=ttk для генерації і візуалізації тестового завдання taskk. 4. Пошук альтернативних варіантів відповідей. У відповідності до обраного шаблону здійснюється пошук ПТ-елементів, що можуть слугувати як альтернативні варіанти відповіді. У випадку, коли TQEntity(ttk)=Concept, можливі альтернативні варіанти відповіді обираються із множини тез, клас яких відповідає параметрам шаблону ttk=TaskTempl(taskk):
У випадку, коли TQEntity(ttk)=Thesis, можливі альтернативні варіанти відповіді обираються із множини понять, клас яких задовольняє вимогам шаблонуttk=TaskTempl(taskk):
Із отриманої множини випадковим чином вибирається підмножина TaskAItems(taskk), потужність якої залежить від кількості варіантів відповідей, що повинні увійти в завдання. 5. Візуалізація тестового завдання. Коли усі семантичні дані готові, здійснюється відображення тестового завдання користувачу. Запитання будується на основі текстового шаблону TQStr(taskk). У передбачене шаблоном місце вставляється текст запитального елемента контрольної ПТ-пари TaskCT(taskk)=(ck,tk). У випадку, коли в основі запитання стоїтьпоняття, тобто TQEntity(ttk)=Concept, у запитанні фігуруватиме текст поняття ck, у іншому випадку – текст тези tk. Список варіантів відповідей формується з набору неправильних відповідей TaskAItems(taskk) і правильної відповіді, яка отримується з контрольної ПТ-пари. Список варіантів відповідей сортується випадковим чином і разом із запитанням подається користувачу у якості тестового завдання. Алгоритм генерації тестового завдання показано на рис. 2.18. Після отримання відповіді студента на сформоване завдання відбувається аналіз правильності шляхом порівняння відповіді з істинним варіантом. У випадку невірної відповіді дані про контрольні поняття ck, тезу tk і ділянку навчального матеріалу VT(tk) використовуються для інформування студента про пробіли у вивченні відповідного навчального матеріалу і навчального поняття, а також для корекції подальшого сценарію навчання. Таким чином після проходження тесту з набору автоматично сформованих тестових завдань системою накопичуються інформація про здобутки студента і його пробіли у навчанні. Виявлені пробіли можуть стати сигналом для детальнішої перевірки знань по відповідній ділянці навчального матеріалу або ж ступеня засвоєння відповідного навчального поняття.
Рис.2.18. Алгоритм генерації тестового завдання. Діаграма діяльності у нотації UML Порівняння ПТМ з іншими підходами побудови тестових завдань Описані підходи до побудови тестових завдань були реалізовані і апробовані у відкритому навчальному процесі на порталі дистанційного навчання [103]. Практика використання ПТМ дає змогу зробити порівняльний аналіз технології ПТМ з традиційною технологією ручної побудови тестів та технологією автоматизованої побудови тестових завдань на основі семантичних мереж. Порівняльний аналіз наводиться в табл. 2.4. Таблиця 2.4 Порівняльний аналіз технологій побудови тестових завдань
Зверніть увагу на додаткові посиланняЯкщо вас цікавить...Головний розділСторінки, близькі за змістомКількість входів в цьому місяці : 3635 |
Приєднуйтесь!
Сторінки, близькі за змістом | |||||||||||||||||||||||||||||||||||||||||||||||||||
|