Программирование
<<  Методическая разработка Технология разработки измерительных материалов  >>
Процесс разработки контрольно-измерительных материалов
Процесс разработки контрольно-измерительных материалов
КИМы, АПИМы, тесты Синонимы или нет
КИМы, АПИМы, тесты Синонимы или нет
КЛАССИФИКАЦИЯ КИМов (тестов) (по структуре)
КЛАССИФИКАЦИЯ КИМов (тестов) (по структуре)
КЛАССИФИКАЦИЯ КИМов (тестов) (по подходам к разработке)
КЛАССИФИКАЦИЯ КИМов (тестов) (по подходам к разработке)
КЛАССИФИКАЦИЯ КИМов (тестов) (по форме предъявления)
КЛАССИФИКАЦИЯ КИМов (тестов) (по форме предъявления)
ЭТАПЫ РАЗРАБОТКИ КИМов (тестов)
ЭТАПЫ РАЗРАБОТКИ КИМов (тестов)
ПРИМЕРНЫЕ ЦЕЛИ ИСПОЛЬЗОВАНИЯ КИМов
ПРИМЕРНЫЕ ЦЕЛИ ИСПОЛЬЗОВАНИЯ КИМов
КОДИФИКАТОР УЧЕБНОЙ ДИСЦИПЛИНЫ (по материалам Росаккредагенства)
КОДИФИКАТОР УЧЕБНОЙ ДИСЦИПЛИНЫ (по материалам Росаккредагенства)
СПЕЦИФИКАЦИЯ КИМа (теста) (Структура по материалам ФЦТ)
СПЕЦИФИКАЦИЯ КИМа (теста) (Структура по материалам ФЦТ)
Пример спецификации теста
Пример спецификации теста
ГОСУДАРСТВЕННЫЙ ОБРАЗОВАТЕЛЬНЫЙ СТАНДАРТ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО
ГОСУДАРСТВЕННЫЙ ОБРАЗОВАТЕЛЬНЫЙ СТАНДАРТ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО
Примерный учебный план
Примерный учебный план
Пример спецификации теста
Пример спецификации теста
Пример спецификации теста гэсп-140305
Пример спецификации теста гэсп-140305
Подходы к анализу результатов
Подходы к анализу результатов
Использование системы АСТ-тест в рамках ГЭСП
Использование системы АСТ-тест в рамках ГЭСП
ТЕСТОВЫЕ ЗАДАНИЯ (Аванесов В.С.)
ТЕСТОВЫЕ ЗАДАНИЯ (Аванесов В.С.)
Общие требования к составлению тестовых заданий (1)
Общие требования к составлению тестовых заданий (1)
Общие требования к составлению тестовых заданий (2)
Общие требования к составлению тестовых заданий (2)
Требования к тестовым заданиям закрытого типа
Требования к тестовым заданиям закрытого типа
Примеры заданий закрытого типа
Примеры заданий закрытого типа
Процесс разработки контрольно-измерительных материалов
Процесс разработки контрольно-измерительных материалов
Примеры заданий открытого типа
Примеры заданий открытого типа
Требования к тестовым заданиям на установление соответствия
Требования к тестовым заданиям на установление соответствия
Примеры заданий на установление соответствия
Примеры заданий на установление соответствия
Процесс разработки контрольно-измерительных материалов
Процесс разработки контрольно-измерительных материалов
Требования к тестовым заданиям на установление последовательности
Требования к тестовым заданиям на установление последовательности
Примеры заданий на установление последовательности
Примеры заданий на установление последовательности
Параметры тестовых заданий
Параметры тестовых заданий
Рекомендации к составлению тестовых заданий
Рекомендации к составлению тестовых заданий
Рекомендации по составлению банков тестовых заданий
Рекомендации по составлению банков тестовых заданий

Презентация: «Процесс разработки контрольно-измерительных материалов». Автор: Georg. Файл: «Процесс разработки контрольно-измерительных материалов.ppt». Размер zip-архива: 118 КБ.

Процесс разработки контрольно-измерительных материалов

содержание презентации «Процесс разработки контрольно-измерительных материалов.ppt»
СлайдТекст
1 Процесс разработки контрольно-измерительных материалов

Процесс разработки контрольно-измерительных материалов

Классификация КИМов Кодификатор УД и спецификация КИМов Рекомендации по разработке КИМов (тестов) Примеры кодификаторов и КИМов

2 КИМы, АПИМы, тесты Синонимы или нет

КИМы, АПИМы, тесты Синонимы или нет

Валидность – соответствие содержанию ГОС Надежность – воспроизводимость результатов Объективность – независимость от преподавателя

4.1. Единый государственный экзамен представляет собой форму объективной оценки качества подготовки лиц, освоивших образовательные программы среднего (полного) общего образования, с использованием заданий стандартизированной формы (контрольных измерительных материалов), выполнение которых позволяет установить уровень освоения ими федерального компонента государственного образовательного стандарта среднего (полного) общего образования.

Закон РФ «Об образовании» После изменений 2007

3 КЛАССИФИКАЦИЯ КИМов (тестов) (по структуре)

КЛАССИФИКАЦИЯ КИМов (тестов) (по структуре)

Содержание Разделы Дисциплины

Виды деятельности Узнавание Использование алгоритма

Трудность заданий Возрастающей трудности Адаптивные

Гетерогенные гомогенные

4 КЛАССИФИКАЦИЯ КИМов (тестов) (по подходам к разработке)

КЛАССИФИКАЦИЯ КИМов (тестов) (по подходам к разработке)

Нормативно-ориентированные (Нрм) Цель – дифференциация учащихся (ранжирование, рейтинг) Гетерогенные по трудности (20-50 вопросов) Ограниченные по времени выполнения Стандартизация на репрезентативной выборке

Критериально-ориентированные (Крт) Цель – проверка знаний учащихся (зачет – незачет) Гомогенные по трудности (6-30 вопросов) Без ограничения по времени выполнения Установление критериев выполнения

5 КЛАССИФИКАЦИЯ КИМов (тестов) (по форме предъявления)

КЛАССИФИКАЦИЯ КИМов (тестов) (по форме предъявления)

Бланковые (Блк) Варианты на бумажных носителях Произвольный бланк – обработка на руках Стандартизованный бланк – обработка на ЭВМ Проблемы: взаимопомощь учащихся, «жесткие» варианты, трудности со статистической обработкой

Компьютерные (Кмп) Варианты на экране ЭВМ («гибкие» варианты) Банк Тестовых Заданий База данных по результатам тестирования Проблемы: ЭВМ, сеть и специальные программы; отсутствие контроля по дистанционном тестировании.

6 ЭТАПЫ РАЗРАБОТКИ КИМов (тестов)

ЭТАПЫ РАЗРАБОТКИ КИМов (тестов)

Цели использования КИМа Назначение (отбор, контроль, …) Аудитория Разработка кодификатора УД и спецификации КИМа Кодирование разделов содержания УД и элементов ЗУН и/или Комп Содержательная (структура КИМа) Деятельностная (умения, навыки, компетенции) Стратегия предъявления заданий Разработка вариантов КИМ (банка тестовых заданий) Задания КИМов (различные формы) Обкатка заданий, экспертиза, оценка параметров заданий Включение заданий во варианты КИМа или БТЗ Стандартизация КИМа или алгоритм обработки результатов Что делать с результатами? Как поставить оценку? Какова ошибка измерения? Что КИМ измеряет?

7 ПРИМЕРНЫЕ ЦЕЛИ ИСПОЛЬЗОВАНИЯ КИМов

ПРИМЕРНЫЕ ЦЕЛИ ИСПОЛЬЗОВАНИЯ КИМов

Входные КИМы - Отбор в учебное заведение (пример: ЕГЭ) - Тест на знания, необходимые для изучения специальных дисциплин (студенты 3 курса, Крт, 20-30 заданий, ЭВМ) КИМы для промежуточного контроля - Допуск на лабораторную работу (Крт, 5-10, бланк) - Аттестация на 8-й неделе (студенты группы, Нрм, 20-30, бланк) - Проверка усвоения темы, блока (Крт, 5-10, бланк) КИМы итогового контроля - Зачетные (Крт, 20-30, бланк) - Итог изучения большого курса (например: общая физика) (все студенты ТГУ, Нрм, 30-50, ЭВМ, большой БТЗ) - Допуск на гос.экзамен (практиканты, Крт, 30-50, ЭВМ, большие БТЗ) - Проверка остаточных знаний по дисциплине (пример: тесты ФЭПО) (студенты, прослушавшие курс в прошлом семестре, Крт, 30, ЭВМ)

8 КОДИФИКАТОР УЧЕБНОЙ ДИСЦИПЛИНЫ (по материалам Росаккредагенства)

КОДИФИКАТОР УЧЕБНОЙ ДИСЦИПЛИНЫ (по материалам Росаккредагенства)

Кодификатор отображает содержание дисциплины в ГОС и содержит контролируемое содержание дисциплины, перечень контролируемых учебных элементов и необходимость составления заданий АПИМ. Преемственность дидактических единиц, зафиксированных в кодификаторе, положена в основу содержания АПИМ единого Федерального банка заданий, используемого для проведения Интернет-экзамена в сфере профессионального образования.

1. Код элемента содержания

2. Наименование элемента содержания (тема)

3. Перечень контролируемых учебных элементов Студент должен…

9 СПЕЦИФИКАЦИЯ КИМа (теста) (Структура по материалам ФЦТ)

СПЕЦИФИКАЦИЯ КИМа (теста) (Структура по материалам ФЦТ)

1. Назначение КИМ (контингент учащихся) 2. Документы МОиН РФ, определяющие содержание КИМ 3. Учебники и пособия, рекомендуемые для подготовки 4. Перечень объектов контроля (знания и умения) 5. Перечень элементов содержания, включенных в тест 6. Содержательно-деятельностная матрица (кол-во заданий) 7. Структура КИМ по уровням знаний 8. Структура КИМ по форме заданий. Примеры инструкций к заданиям. 9. Общее время выполнения 10. Рекомендации по апробации 11. Рекомендации по оценке результатов.

10 Пример спецификации теста

Пример спецификации теста

Назначение теста Например, проверка владения специальными терминами выпускников ТГУ по определённой специальности. Дипломники кафедр. 2. Документы МОиН РФ, определяющие содержание теста Государственный стандарт по специальности. Программы курсов. 3. Учебники и пособия для подготовки Программа ГЭСП, обзорные лекции, тезаурус, конспекты лекций 4. Перечень объектов контроля Понимание и правильное использование специальных терминов

11 ГОСУДАРСТВЕННЫЙ ОБРАЗОВАТЕЛЬНЫЙ СТАНДАРТ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО

ГОСУДАРСТВЕННЫЙ ОБРАЗОВАТЕЛЬНЫЙ СТАНДАРТ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО

ОБРАЗОВАНИЯ Направление подготовки дипломированного специалиста квалификация - инженер-физик

Перечень образовательных программ (специальностей), реализуемых в рамках данного направления подготовки дипломированного специалиста: …

12 Примерный учебный план

Примерный учебный план

Индекс

Наименование дисциплин и их основные разделы

Всего часов

Гсэ

Общие гуманитарные и социально-экономические дисциплины

1800

Ен

Общие математические и естественнонаучные дисциплины

2750

Опд

Общепрофессиональные дисциплины

1672

Сд

Специальные дисциплины

2508

13 Пример спецификации теста

Пример спецификации теста

5-6-7. Содержательная матрица ГЭСП

Учебный план, час

Число заданий

102

6

186

11

162

10

80

5

50

3

140

9

100

6

Всего

820

50

14 Пример спецификации теста гэсп-140305

Пример спецификации теста гэсп-140305

8. Структура теста по форме тестовых заданий закрытые задания, открытые задания, задания на соответствие, задания на последовательность 9. Общее время выполнения теста 60 мин («мягкие» ограничения по времени выполнения, среднее время выполнения – 45 мин) 10. Рекомендации по апробации теста (одинаковые условия!!!) практиканты и дипломники кафедр. Сентябрь – октябрь перед сдачей ГЭСП. 11. Рекомендации по оценке результатов пороговое значение для допуска на ГЭСП

15 Подходы к анализу результатов

Подходы к анализу результатов

Результат выполнения теста – количество решенных заданий (первичные баллы) Шкалирование результатов Первичные баллы - ??? -> Тестовые баллы (оценка) прогноз на успешность деятельности вывод об усвоении материала

Эмпирическая стандартизация теста Тестирование репрезентативной выборки (Станайн, Процентиль, Тестовый балл, … ) Item Response Theory (IRT) Теория параметризации педагогических тестов Математическая обработка результатов группы (модели Раша, Бинбаума, … )

16 Использование системы АСТ-тест в рамках ГЭСП

Использование системы АСТ-тест в рамках ГЭСП

Идея теста ГЭСП (спецификация) Решение о проведение теста на каф. Разработка ТЗ по курсам примеры заданий экспертиза заданий Наполнение НТЗ ( АСТ_КТ) Преобразование НТЗ (АСТ_Конвертор) Подготовка сервера (АСТ_Server) Подготовка дисплейного класса Рабочие станции (АСТ_Player) Список группы (АСТ_Administrator) Проведение тестирования Анализ результатов (АСТ_Administrator)

17 ТЕСТОВЫЕ ЗАДАНИЯ (Аванесов В.С.)

ТЕСТОВЫЕ ЗАДАНИЯ (Аванесов В.С.)

Тестовое задание варьирующая по элементам содержания и по трудности единица контрольного материала, сформулированная в утвердительной форме предложения с неизвестным. Подстановка правильного ответа вместо неизвестного компонента превращает задание в истинное высказывание; подстановка неправильного ответа приводит к образованию ложного высказывания, что свидетельствует о незнании студентом данного учебного материала. Тестовое задание это составная единица теста, отвечающая требованиям технологичности, формы, содержания и, кроме того, статистическим требованиям: Составная единица означает, что тест представляет собой систему заданий, каждое из которых необходимо для выполнения тестом своей функции.

18 Общие требования к составлению тестовых заданий (1)

Общие требования к составлению тестовых заданий (1)

Содержательность Содержание должно отвечать требованиям ГОС Предметная чистота Технологичность Краткость (отсутствие повторов, двойных отрицаний, сленга) Ясность (чёткий язык, отсутствие субъективных оценок) Стандартизованность Повествовательное предложение (вопрос и повелительное наклонение исключаются) Узнаваемость формы (4 типа ТЗ) Закрытые ТЗ Открытые ТЗ ТЗ на установление соответствия ТЗ на установление последовательности

19 Общие требования к составлению тестовых заданий (2)

Общие требования к составлению тестовых заданий (2)

Инструкция Зависит от формы (типа) Текст задания Повествовательное предложение Нумерованный и ненумерованный списки Верные ответы Номера правильных ответов Варианты правильных ответов Правильная последовательность цифр Система оценки Дихотомическая Политомическая

20 Требования к тестовым заданиям закрытого типа

Требования к тестовым заданиям закрытого типа

Лучше «длинные» вопросы и «короткие» ответы, чем наоборот Количество слов в формулировках тестового задания не должно превышать 13-и Правильные и неправильные варианты должны быть однозначны по содержанию, структуре и общему количеству слов. 1 правильный ответ (не приветствуется !!!) 2, 3, 4 правильных ответов Отвлекающие варианты (дистракторы) правдоподобные ошибочные варианты, взятые из опыта

Тестовое задание с двумя или более номерованными вариантами ответов, из которых нужно выбрать один или нескольких номеров, соответствующих правильному ответу.

21 Примеры заданий закрытого типа

Примеры заданий закрытого типа

Один верный ответ Средняя энергия нейтронов деления приблизительно равна 1) 0.5 МэВ 2) 1 МэВ 3) 2 МэВ 4) 10 МэВ Внутри узкого изолированного резонанса устанавливается спектр Вигнера Ферми Максвелла деления Несколько верных ответов Глубина выгорания ядерного топлива может измеряться в 1) МВт / т 2) % т.а. 3) кг оск./ т 4) КВт лет/кг 5) Дж

22 Процесс разработки контрольно-измерительных материалов
23 Примеры заданий открытого типа

Примеры заданий открытого типа

Задания на использование формул (алгоритмы) Средняя длина свободного пробега нейтрона в среде с полным макроскопическим сечением 0,5 1/см равна … см. Задания на знания В Российской Федерации сегодня работают … АЭС

24 Требования к тестовым заданиям на установление соответствия

Требования к тестовым заданиям на установление соответствия

Тестовое задание в котором необходимо определить соответствие между группами элементов (терминов), расположенных в двух столбцах.

Количество элементов списков не менее 3-х Однозначное соответствие между элементами списков Область использования Свойства и признаки близких моделей (понятий, систем, …) Определения терминов и понятий из одной области знаний

25 Примеры заданий на установление соответствия

Примеры заданий на установление соответствия

Установите соответствие между списками

1) Уравнение переноса 2) Стационарное уравнение диффузии 3) Стационарное уравнение переноса 4) Уравнение диффузии моноэнергетических нейтронов

26 Процесс разработки контрольно-измерительных материалов
27 Требования к тестовым заданиям на установление последовательности

Требования к тестовым заданиям на установление последовательности

Тестовое задание в котором необходимо установить правильную последовательность в группе элементов, расположенных в одном столбце.

Количество элементов списков не менее 5-и Область использования Хронология событий (история, технологическая схема, алгоритм, …) Упорядочивание по значению признака (больше-меньше, выше-ниже, …)

28 Примеры заданий на установление последовательности

Примеры заданий на установление последовательности

Расставьте в хронологическом порядке Реактор Ферми Хиросима Первая АЭС Три-Майл-Айленд Чернобыль

Расположите в порядке возрастания заряда ядра Углерод Ксенон Торий Уран Америций

29 Параметры тестовых заданий

Параметры тестовых заданий

ТРУДНОСТЬ ТЗ (норма трудности) – ожидаемая доля правильных ответов при выполнении задания испытуемыми. - количество концептов, необходимых для решения ТЗ; - образ мышления, на который направлено ТЗ; - форма ТЗ; - уровень значимости ТЗ; - глубина расположения ТЗ в спецификации; - количество дистракторов. Дифференцирующая сила – параметр, характеризующий успешность выполнение ТЗ сильными и слабыми испытуемыми Дифференцирующая (дискриминационная) способность (ТППТ)

30 Рекомендации к составлению тестовых заданий

Рекомендации к составлению тестовых заданий

Фасет – форма записи нескольких вариантов одного и того же задания Фасетными называются ТЗ, полученные путем замены одного (нескольких) слов (символов, чисел) в базовом задании, что превращает его в другое Задание аналогичное по содержанию и трудности «Кластер» понятий – определения, свойства A1 => B1, C1, D1, …. A2 => B2, C2, D2, …. Различным знаниям и умениям соответствуют различные тестовые задания Фактологические (декларативные) – закрытые и открытые ТЗ Процедурные (алгоритмические) – последовательность Одно и тоже можно проверить заданиями различных типов

«От мелочей зависит совершенство, а совершенство – это уже не мелочь» Микельанжело

31 Рекомендации по составлению банков тестовых заданий

Рекомендации по составлению банков тестовых заданий

1) Предтестовые задания в открытой форме Вопросы, задания, …. Проведение самостоятельных работ 2) Обработка результатов Анализ типичных ошибок (дистракторы) Отбраковка «пустых» заданий Оценка трудности заданий и дифференцирующей силы 3) Составление блока тестовых заданий Фасетные задания Различные формы тестовых заданий 4) Экспертиза тестовых заданий 5) Тестирование студентов 6) Включение заданий в БТЗ

«Процесс разработки контрольно-измерительных материалов»
http://900igr.net/prezentacija/informatika/protsess-razrabotki-kontrolno-izmeritelnykh-materialov-187461.html
cсылка на страницу

Программирование

31 презентация о программировании
Урок

Информатика

130 тем
Слайды
900igr.net > Презентации по информатике > Программирование > Процесс разработки контрольно-измерительных материалов