Дистанційне навчання в ЗНУ
ukr
Головна сторінка
Можливості системи тестування ЗНУ
Методичні матеріали
Приклади
Існуючі навчальні матеріали
Бібліотека
Форум

Алгоритм створення тестових завдань

УДК 371.263, 004.82

Г.А. Добровольський, Т.В.Савченко

Запорізький національний університет

Ключові слова: тест, завдання, дистрактор, алгоритм

Систематизовано досвід створення тестів в Запорізькому національному університеті. Запропоновано та випробувано спрощений алгоритм формування тестових завдань та дистракторів.

Запропонований алгоритм описує взаємодію методиста з експертом, пояснюючи спосіб організації спільної роботи, коли експерт не має навичок складання тестових завдань, а методист не орієнтується в предметній області.

Алгоритм складається з наступних кроків:
  1. Виберіть твердження, знання якого потрібно перевірити.
  2. Виберіть у твердженні поняття, яке буде правильною відповіддю.
  3. Поставте питання до обраного поняття, використовуючи твердження.
  4. Виберіть дистрактори (цей крок можна повторити кілька разів):
    1. виберіть у питанні інше поняття
    2. замініть його спорідненим, яке має належати до того ж класу (спосіб класифікації – довільний)
    3. запишіть відповідь на змінене питання як дистрактор.

 

Зростання потреби в тестових завданнях вимагає залучення до їх створення широкого кола викладачів вищих навчальних закладів, які є експертами в своїй предметній області, але не мають достатнього досвіду складання тестів. Як показав наш досвід роботи з авторами, найбільшою проблемою на першому етапі створення тестів є саме складання завдань, тобто адекватний вибір елемента знань для перевірки, правильне формулювання питань, визначення кількості варіантів відповіді і, особливо, вибір неправильних варіантів. В той же час основна маса існуючих рекомендацій [1,2] містить лише загальні вказівки про будову тестів, формулювання завдань, вимірювання ефективності готових тестових завдань, перелік типових помилок, але майже не зустрічаються рекомендації з вибору завдань та неправильних варіантів відповіді (дистракторів). Найближче до алгоритмізації процесу створення тестового завдання підійшли дослідники штучного інтелекту[3,4], але запропонований в роботі [4] спосіб вимагає створення значної бази знань у вибраній області та витрат часу на навчання експертів, що робить його корисним для генерації великої кількості тестів під час створення електронних навчальних посібників, але приводить до великих витрат часу, якщо існує потреба за дуже короткий час навчити автора, якому потрібно скласти один або два тести.

Запропонований спосіб створення тестових завдань базується на аналізі твердження, знання якого потрібно перевірити. Він складається з послідовності коротких та чітких інструкцій, яка допомагає авторові швидко навчитись підбирати дистрактори, не вдаючись до зайвої формалізації.

Конструювання алгоритму

Основою запропонованого вище способу підбору дистракторів є модель пам’яті дорослої людини: запам’ятовуються значення понять та їх зв’язки між собою, а звучання та написання відповідних слів мають другорядне значення. Це проявляється як згадування у відповідь на ключову фразу (ту ж саму інформацію без фрази згадати важче)  або як інтерференція близьких понять (яскравий приклад оповідання А.П.Чехова «Лошадиная фамилия»).

Використовуючи позначення, прийняті в галузі штучного інтелекту, яка займається способами зберігання знань[3,4] це можна проілюструвати наступною схемою:

Правильна відповідь належить до класів  1, 2, 3 , а неправильна – до класів 1,2, 4. І чим більше спільних класів мають помилковий варіант та правильна відповідь, тим важче їх відрізнити.

Запропонована нами послідовність кроків використовує це твердження, двічі контролючи відбір дистракторів. Вперше це відбувається явно - під час відбору понять з того ж класу, що і правильна відповідь. Другий етап – заміна понять у тестовому завданні – теж обмежує вибір дистрактора, тому що, не порушуючи правдоподібності, в тестове завдання замість вибраного можна вставити лише дійсно близькі поняття.

Приклад

Приклад побудовано на основі «українського перекладу» відомої фрази, запропонованої академіком Л. В. Щербою в 1930-х роках: «Глокая куздра штеко будланула бокра и кудрячит бокрёнка» [5] . Цей приклад ілюструє в чистому вигляді роботу методиста: не розуміючи повністю змісту фрази, ми будуємо тестове завдання, покладаючись на граматичну структуру мови.

Методист(М): Знання якого твердження треба перевірити?

Експерт (Е) :"Глока куздра штеко бурдланула бокра і кудрячить бокреня".

М : Виберіть поняття, яке буде правильною відповіддю.

Е : "кудрячить"

М: Маємо запитання  «Що робить глока куздра з бокреням?» І правильну відповідь – «кудрячить». Переходимо до вибору дистракторів. Виберіть в запитанні довільне поняття.

Е : Куздра

М(Спонукає до класифікації): Що таке куздра?

Е(Визначає належність поняття до деякого класу): Створіння.

М(Дізнається про споріднені поняття): Які ще є створіння?

Е(Називає споріднені поняття): Бокр і бокреня.

М(Змінює запитання): Що робить бокр з бокреням?[1]

Е (Відповідає на змінене запитання): Бокр бокреня набубуськує.

М(Робить висновок): Набубуськує – це перший дистрактор.

М(Змінює питання другий раз): Виберемо другий дистрактор. Що робить бокреня з бокреням?

Е (Відповідає на змінене запитання): Бокреня з бокреням спіралить в кружві

М(Робить висновок): спіралить в кружві – це другий дистрактор.
Маємо таке завдання:

    Що робить глока куздра з бокреням?
      [ ] набубуськує
      [#] кудрячить
      [ ] спіралить в кружві

Наш досвід роботи показав, що запропонований алгоритм значно прискорює роботу авторів та покращує якість створених тестів.

Література

[1] Аванесов В.С. Композиция тестовых заданий. Учебное пособие. – М.: Адепт, 1998 г. - 217с.

[2] Сьюзан М. Кейс, Дэвид Б. Свэнсон. Создание письменних тестовых вопросов по базисным и клиническим дисциплинам. –https://www.nbme.org/PDF/russian_iwg.pdf, (Cited 14.04.2006).

[3] Сирота С. В. Извлечение знаний в интеллектуальной обучающей системе базирующейся на анализе формальных понятий. // Искусственный интеллект, 2001. – №3. – C. 510-516.

[4] Wille R. Ganter D. Formal Concept Analysis. – Berlin: Springer –Verlag. – 1999. 120s.

[5] Лев Успенский, «Слово о словах», М.: Молодая гвардия, 1957, стр. 314-319.

Анотація російською мовою:

Систематизирован опыт создания тестов в Запорожском нацональном университете. Предложен и испытан алгоритм формирования  упрощённый алгоритм формирования тестовых заданий и дистракторов.

Анотація англійською мовою:

In the presented work we have systematized the experience of the creating quizzes in Zaporizhzhya National University. Also the simple algorithm of creating the questions and foil answers is suggested.


Додаток 1. Курс «Плавание на спине». Приклад створення завдання. (російською мовою)

Пример 1

Утверждение:

Во время плавания способом «Кроль на спине» движения руками выполняются  попеременно.

Формулируем задание :

Во время плавания способом «Кроль на спине» движения руками выполняются _______

Правильный ответ :

Попеременно

Подбор неправильных ответов

  1. Выбираем понятие для вариации: «Кроль на спине»
  2. Классифицируем: «Кроль на спине» - это Способ плавания.
  3. Выбираем другие Способы плавания :Кроль, Брасс, Дельфин, Брасс на спине, Буксировка на спине
  4. Заменяем вопрос:
    Во время плавания способом Кроль движения руками выполняются ______ .
    Ответ: попеременно
  5. Заменяем вопрос:
    Во время плавания способом Брасс движения руками выполняются ______ .
    Ответ: одновременно
  6. Заменяем вопрос:
    Во время плавания способом Дельфин движения руками выполняются ______ .
    Ответ: одновременно
  7. Заменяем вопрос:
    Во время плавания способом Буксировка на спине движения руками выполняются ______ .
    Ответ: не выполняются

Результаты

    Во время плавания способом «Кроль на спине» движения руками _______
      [#] выполняются попеременно (правильный ответ)
      [  ] выполняются одновременно
      [  ] Не выполняются
    Во время плавания способом «Кроль» движения руками _______
      [#] выполняются попеременно (правильный ответ)
      [  ] выполняются одновременно
      [  ] Не выполняются
    Во время плавания способом «Брасс на спине» движения руками _______
      [  ] выполняются попеременно
      [#] выполняются одновременно (правильный ответ)
      [  ] Не выполняются
    Во время плавания способом «Буксировка на спине» движения руками _______
      [  ] выполняются попеременно
      [  ] выполняются одновременно
      [#] (правильный ответ)Не выполняются

[1] Формулюючи питання, ми неявно вимагаємо, щоб бокр не лише був створінням, але мав змогу щось робити з бокреням.


| Головна сторінка | Можливості системи тестування ЗНУ | Методичні матеріали | Приклади | Існуючі навчальні матеріали | Бібліотека | Форум |