Оценка персонала
<<  Центр тестирования и развития профессиональной карьеры Человечки 3д в золотом цвете для  >>
Сравнение открытой и закрытой форм тестирования
Сравнение открытой и закрытой форм тестирования
Тестирование как основная форма контроля знаний в автоматизированных
Тестирование как основная форма контроля знаний в автоматизированных
Выборочная форма ответа:
Выборочная форма ответа:
Выборочные ответы
Выборочные ответы
Открытые ответы
Открытые ответы
Результаты экспериментов
Результаты экспериментов
Распределение оценок за ответ открытой формы
Распределение оценок за ответ открытой формы
Распределение оценок за выборочный ответ
Распределение оценок за выборочный ответ
Ответы на упорядочение (списки)
Ответы на упорядочение (списки)
Реализация
Реализация
Примеры ответов различных типов
Примеры ответов различных типов
Графические ответы и формулы
Графические ответы и формулы
http://rema44
http://rema44
Публикации
Публикации
Спасибо за внимание
Спасибо за внимание

Презентация на тему: «Сравнение открытой и закрытой форм тестирования». Автор: Jeep. Файл: «Сравнение открытой и закрытой форм тестирования.ppt». Размер zip-архива: 536 КБ.

Сравнение открытой и закрытой форм тестирования

содержание презентации «Сравнение открытой и закрытой форм тестирования.ppt»
СлайдТекст
1 Сравнение открытой и закрытой форм тестирования

Сравнение открытой и закрытой форм тестирования

Карпова Ирина Петровна (karpova_ip@mail.ru) Московский институт электроники и математики (МИЭМ)

2 Тестирование как основная форма контроля знаний в автоматизированных

Тестирование как основная форма контроля знаний в автоматизированных

обучающих системах

Типы тестовых ответов (В.С. Аванесов) Закрытый (выборочный): выбор одного или нескольких вариантов ответов в произвольном порядке. Определение порядка вариантов ответов. Определение соответствия элементов двух множеств. Открытые: свободно-конструируемые ответы (числовые и текстовые).

3 Выборочная форма ответа:

Выборочная форма ответа:

Достоинство: простота реализации. Недостатки: Сложно придумать неправильные, но правдоподобные варианты ответов. Тестируемый может запомнить неправильные варианты ответа. Решаемая задача: выбор наиболее правдоподобного ответа. Ненулевая вероятность угадывания правильного ответа. Предположение: тестирование с закрытой формой ответов при прочих равных условиях покажет более высокие результаты, чем тестирование со свободно-конструируемыми ответами. Условия проведения экспериментов: Тестирование проводилось по предмету «Базы данных». Оба теста – закрытый и открытый – содержали по 35 вопросов с одинаковыми формулировками. Вопросы были составлены таким образом, чтобы формулировка одного вопроса не являлась подсказкой ответа на другой вопрос. Тестирование проводилось в один день, сначала – открытое, затем – закрытое.

4 Выборочные ответы

Выборочные ответы

Выборочный ответ оценивается по формуле: где Кt – количество правильных вариантов, вошедших в ответ; Кf – количество неправильных вариантов, вошедших в ответ; L – общее количество правильных вариантов.

5 Открытые ответы

Открытые ответы

Оценка открытого ответа: Если ответ рассматривается как множество элементов: аналогично закрытой форме. Если ответ числовой: проверка на равенство эталону (с учетом погрешности). Если ответ текстовый: синтаксический анализ, игнорирование грамматических ошибок, наличие нескольких эталонов.

Вопрос: Чему равно число ? ? Эталон: 3.14 Погрешность: 0.01

6 Результаты экспериментов

Результаты экспериментов

Поток

Количество тестируемых

Средняя оценка за открытый тест

Средняя оценка за закрытый тест

Разница оценок

9

3.01

3.84

0.83

МИЭМ, гр. К 3-й курс

15

3.07

3.92

0.85

МИЭМ, гр. С 3-й курс

11

2.98

3.89

0.91

Средняя разница между оценками двух тестов

Средняя разница между оценками двух тестов

Средняя разница между оценками двух тестов

Средняя разница между оценками двух тестов

0.86

МФТИ, ФНТИ 4-й курс

7 Распределение оценок за ответ открытой формы

Распределение оценок за ответ открытой формы

Варианты ответов тестируемых

Количество

Оценка

Всего

(Разделяемые, исключающие); (разделенная, исключающая); (раздельные, монопольные)

8

5

11

11

11

Монопольная

2

3,5

Разделяемые, явные, автоматические

1

2,75

(Гонки,тупики); (полная, распределенная); (по множеству данных, по степени доступности, по способу установки); (блок на запись, блок на чтение) и др.

24

2

24

Средняя оценка за ответ

Средняя оценка за ответ

Вопрос: Какие виды блокировок по степени параллельности работы вы знаете? Эталон = { разделяемые, монопольные } Эталон = { разделяемые, исключающие }

2,8

8 Распределение оценок за выборочный ответ

Распределение оценок за выборочный ответ

Вопрос: Какие виды блокировок по степени параллельности работы вы знаете: 1) разделяемые 2) отложенные 3) монопольные 4) явные 5) автоматические Эталон = { 1, 3 }

Ответы тестируемых

Количество

Оценка

Всего

(1, 3); (3, 1)

10

5

26

26

26

26

(1, 3, 4); (1, 3, 5)

6

4

(1, 3, 4, 5); (1); (3)

5

3,5

(1, 4); (3, 5); (1, 5)

5

3

(1, 2, 4); (1, 2, 5); (1, 4, 5)

4

2,75

9

9

9

9

(1, 5, 2, 4)

1

2,6

(4); (2)

2

2

(4, 5); (5, 2)

2

2

Средняя оценка

Средняя оценка

3,7

9 Ответы на упорядочение (списки)

Ответы на упорядочение (списки)

Список оценивается как множество: Отбрасываются элементы, не входящие в эталонный ответ. Полученный список оценивается так: где Ki – количество инверсий списка относительно эталонного списка; Kn – максимальное количество инверсий списка длиной n, Kn =n(n-1)/2. Суммарная оценка, например: Пример. Вопрос: Перечислите (через запятую) известные вам модели данных в порядке убывания возможностей представления связей между объектами предметной области. Оценка: ?1=1; ?2=2/3; ? = ?1* ?2 =2/3 (4 балла по пятибалльной системе)

10 Реализация

Реализация

Описанные методы реализованы в CКЗ TS, которая характеризуется следующими особенностями: Поддержка различных типов вопросов (ответов): числовые выражения; выборочный ответ с произвольным количеством вариантов и произвольным количеством правильных вариантов; ответы на упорядочение и сопоставление; свободно-конструируемые ответы: на упорядочение, на сопоставление, текстовые ответы, ответы в виде графика, ответы в виде формулы; двухуровненвые схемы: списки множеств, множества списков и др. Ориентация на работу в сети. Режим "клиент-сервер" в рамках ЛВС и через Internet. Открытость. Возможность настройки системы на требования конкретного пользователя: Изменение режимов и параметров функционирования ПО, входящего в состав ядра системы. Возможность использования любых учебных материалов на машинных носителях и методов подачи этих материалов: электронный справочник (от просмотра текстовых файлов до подключения гипертекста), запуск демонстрационных программ и т.д. Организация внешнего управления процессом обучения (вынесение во внешние базу данных и базу знаний правил организации управления обучением). Наборы правил можно модифицировать.. Переносимость на различные платформы на уровне исходных текстов программ. Система TS используется для контроля знаний студентов МИЭМ по курсам «Базы данных» (каф. ВСиС); «Электрические микромашины» (каф. УиИТС). Система может функционировать удалённо, адрес сайта в Internet: www.rema44.ru/ts/sdo

11 Примеры ответов различных типов

Примеры ответов различных типов

Вопрос: В каком году родился Томас Торквемада ? Эталон: 1420 Погрешность = 1 (Точная дата рождения великого инквизитора неизвестна. Считается, что он родился около 1420 года. Таким образом, в соответствии с эталоном ответы 1419, 1420, 1421 будут признаны правильными.)

Вопрос: Соотнесите название класса членства и суть ограничения целостности, которое он обеспечивает: 1) подчиненная запись удаляется вместе с записью-владельцем 4) необязательный 2) подчиненная запись остается при удалении записи-владельца 5) фиксированный 3) запись-владелец не может быть удалена, пока у нее есть хотя 6) факультативный бы одна подчиненная запись 7) обязательный (Например: [1,2], [3,4], [5,7]) Эталон = [1, 5], [2, 4], [3, 7]

Вопрос: Объедините термины, обозначающие одно и то же понятие, в группу, а группы расположите в иерархическом порядке (от простого к сложному): 1) запись, 4) кортеж, 7) элемент данных, 2) атрибут, 5) набор, 8) групповое отношение, 3) поле, 6) агрегат, 9) база данных. (Например: {1, 2}, {3, 4}, {5}, {6, 7, 8, 9}) Эталон = {2, 3, 7}, {6}, {1, 4}, {5, 8}, {9}

12 Графические ответы и формулы

Графические ответы и формулы

13 http://rema44

http://rema44

ru/ts/sdo/

Система дистанционного обучения SDO на базе сервера СКЗ TS

14 Публикации

Публикации

Карпов В.Э., Карпова И.П. Язык описания системы контроля знаний. – Журнал «Компьютеры в учебном процессе», 2000, №4. – с.147-155. Карпова И.П. Анализ ответов обучаемого в АОС. – Журнал "Информационные технологии", 2001, № 11. – с.49-55. Фалк Г.Б., Карпов В.Э., Карпова И.П. Методические указания к выполнению автоматизированного контроля знаний студентов по курсовому проекту "Выбор элементов и устройств автоматики для систем автоматического управления с использованием персональных ЭВМ и удаленных баз данных. – Метод. указания к выполнению автоматизированного контроля знаний студентов по курсовому проекту. – МГИЭМ, 2003. – 14 с. – http://rema44.ru/resurs Карпова И.П. Некоторые аспекты качественной оценки ответов тестируемых в системах контроля знаний. – Журнал "Вопросы тестирования в образовании", 2006, №4 (16). – с. 22-31. Карпова И.П. Об одном подходе к созданию обучающих систем с открытой архитектурой. – Материалы IV Всероссийской научно-практической конференции «Образовательная среда сегодня и завтра». – М., ВВЦ, 3.10 – 6.10.2007. Все публикации есть на сайте: http://rema44.ru/resurs

15 Спасибо за внимание

Спасибо за внимание

«Сравнение открытой и закрытой форм тестирования»
http://900igr.net/prezentacija/ekonomika/sravnenie-otkrytoj-i-zakrytoj-form-testirovanija-154555.html
cсылка на страницу
Урок

Экономика

125 тем
Слайды
900igr.net > Презентации по экономике > Оценка персонала > Сравнение открытой и закрытой форм тестирования