Организация
<<  Активные аптечные продажи Основные подходы к составлению эффективного контракта  >>
Методические приемы создания тестов
Методические приемы создания тестов
Характеристики теста
Характеристики теста
Термин из IRT-статистики Используется для отбраковки заданий
Термин из IRT-статистики Используется для отбраковки заданий
Ошибки оценки
Ошибки оценки
Общие рекомендации по составлению заданий
Общие рекомендации по составлению заданий
Недостатки закрытых тестов
Недостатки закрытых тестов
Недостатки закрытых тестов
Недостатки закрытых тестов
Типология заданий
Типология заданий
Основа и варианты ответа
Основа и варианты ответа
Основа задания
Основа задания
Основа с отрицанием
Основа с отрицанием
Правила формирования основы
Правила формирования основы
Правила формирования ключей
Правила формирования ключей
Правила формирования дистракторов
Правила формирования дистракторов
Примеры заданий и разбор недостатков
Примеры заданий и разбор недостатков
Примеры заданий и разбор недостатков
Примеры заданий и разбор недостатков
Примеры заданий и разбор недостатков
Примеры заданий и разбор недостатков
Примеры заданий и разбор недостатков
Примеры заданий и разбор недостатков
Примеры заданий и разбор недостатков
Примеры заданий и разбор недостатков
Примеры заданий и разбор недостатков
Примеры заданий и разбор недостатков
Немного о заданиях на ввод
Немного о заданиях на ввод
Примеры заданий и разбор недостатков
Примеры заданий и разбор недостатков
Немного о заданиях с перемещениями
Немного о заданиях с перемещениями
Примеры заданий и разбор недостатков
Примеры заданий и разбор недостатков
На что надо обращать внимание при составлении учебного текста
На что надо обращать внимание при составлении учебного текста
Сейчас вы узнали:
Сейчас вы узнали:

Презентация: «Методические приемы создания тестов». Автор: Denis Guz. Файл: «Методические приемы создания тестов.pptx». Размер zip-архива: 1022 КБ.

Методические приемы создания тестов

содержание презентации «Методические приемы создания тестов.pptx»
СлайдТекст
1 Методические приемы создания тестов

Методические приемы создания тестов

Семинар в ИРО Свердловской области

Денис Мамонтов, генеральный директор ООО «ФИЗИКОН», канд. техн. наук при участии методиста-консультанта А. Г. Козленко

30.01.2014

2 Характеристики теста

Характеристики теста

Трудность теста определяется уровнем усвоения, на диагностику которого он направлен Сложность теста определяется числом существенных операций в нем Надежность теста – интегральный показатель того, что данный тест позволяет адекватно оценить контролируемые знания/умения Устойчивость результатов теста (test-retest reliability) – возможность получения одинаковых результатов у испытуемых в различных случаях

3 Термин из IRT-статистики Используется для отбраковки заданий

Термин из IRT-статистики Используется для отбраковки заданий

Дифференцирующая способность задания

4 Ошибки оценки

Ошибки оценки

Великодушия, или снисходительности: выставление завышенных отметок (взяточничество по терминологии зоопсихологов) ореола, или шлейфа: завышение отметок тем, к кому относятся положительно, и занижать – к кому отрицательно центральной тенденции: стремление избежать крайних отметок близости: сложно после очень плохой отметки сразу поставить очень хорошую логики: соотнесение отметок с разными психологическим свойствам и характеристиками, которые кажутся логически связанными (например, разные баллы для активного и усидчивого ученика)

5 Общие рекомендации по составлению заданий

Общие рекомендации по составлению заданий

Стереотипы Чувствительные или спорные темы Пропаганда Опасная деятельность Разнообразие, представительность и этноцентризм Дифференциальные интермедиа: элитарность и предубеждение в заданиях Доступность языка. Следует избегать или использовать с оговоркой следующие элементы: Пассивные конструкции Идиомы Предложение с множественным подчинением Местоимения с нечетко указанным понятием, которые они представляют Многозначные слова Нестандартные грамматические конструкции Диалектизмы Жаргонизмы Графические средства Универсальность структуры

6 Недостатки закрытых тестов

Недостатки закрытых тестов

Недостаток

Пути коррекции

1. Правильные ответы на разные вопросы оцениваются одинаково

A. Ранжирование вопросов по трудности и введение весовых коэффициентов для каждого вопроса – для тестов применяется редко. Б. Присвоение весовых коэффициентов (по трудности) группам вопросов

2. Два неправильных ответа на один и тот же вопрос оцениваются одинаково

А. Ранжирование вариантов ответов по "степени неправильности" (в корне неправильно; скорее неправильно, чем правильно; не совсем правильно и т. д.) с разными баллами за каждый вариант. Б. Использование отрицательной (минусовой) шкалы, снятие баллов или штрафные баллы. В. Абсурдный ответ, который оценивается в минусовой шкале.

7 Недостатки закрытых тестов

Недостатки закрытых тестов

Недостаток

Пути коррекции

3. Неполные ответы оцениваются одинаково

Использование дифференцированных оценок за полноту ответа, системы призов и штрафов (разные варианты для вопроса с выбором нескольких правильных ответов).

4. Угадывание ответов

А. Увеличение числа вариантов ответов (до 5-7). Б. Введение для каждого вопроса теста вопроса-дублера, который в завуалированной форме повторяет содержание основного вопроса (оцениваются одним баллом, только если оба ответа правильные). В. Ввод дополнительного «коэффициента уверенности»: на каждый вопрос теста даются собственно варианты ответов и варианты уверенности в ответе (например, в виде процента); итоговый результат – сумма произведений баллов за ответ на коэффициент уверенности. Имеет смысл, если правильный ответ оценивается как «+1», а неправильный как «–1».

8 Типология заданий

Типология заданий

Закрытого типа Выбор варианта(ов) ответа Установление соответствия Упорядочивание (сортировка) Распределение по группам Установление (графических) связей Открытого типа Ввод числа/строки/формулы Построение графика/чертежа Указание объекта на рисунке Составление из объектов композиции Свободный ответ без автоматизированной проверки

9 Основа и варианты ответа

Основа и варианты ответа

Задание на выбор варианта ответа

Основа

ЗАДАНИЕ: Чем насекомые отличаются от других членистоногих? A. У насекомых нет позвоночника. B. У насекомых есть внешняя твердая оболочка. C. У насекомых членистые конечности. D. У насекомых шесть ног.

Варианты

Дистракторы

Ключ

10 Основа задания

Основа задания

Закрытая основа Завершенный вопрос или утверждение, которое заканчивается точкой или вопросительным знаком. Пример. Для того, чтобы выяснить, когда фраза "give me a break" появилась в английском языке, какой тип информации вы будете искать в словаре? А. Происхождение и этимология B. Использование аббревиатур C. Производные слова D. Вариант произношения

Открытая основа Открытая основа – это незавершенный вопрос или утверждение, фраза, которую можно завершить правильно, выбрав один из вариантов ответа. Пример. Автор использует сравнение "Носиться на инвалидной коляске – все равно, что вести мотоцикл по извилистому проселку" для того, чтобы описать А) волнение от скорости кресла B) расходы на содержание кресла C) вид моторизованного кресла D) простоту маневрирования кресла

Хорошо сформулированные задачи с закрытой основой участники тестирования воспринимают быстрее и быстрее дают на них ответы, по сравнению с задачами с открытой основой

11 Основа с отрицанием

Основа с отрицанием

Задание выбора ответа с отрицанием в основе содержит слово, которое обозначает, что участник тестирования должен выбрать правильный ответ как один из вариантов, который не отвечает или является противоположным по отношению к другим вариантам. Основа с отрицанием может быть сформулирована как открытая или закрытая. Слова, которые часто используются в отрицании: «не», «никогда», «не может», «кроме». Пример. Все последующие заявления были взглядом на будущее женщин, которые основали Национальную организацию женщин, кроме: А. Женщины хотят получить право на голосование и собственность B. Женщины хотят получать одинаковую зарплату и иметь возможность для карьерного роста C. Женщины хотят иметь право на работу в физически интересной работе D. Женщины хотят иметь право служить в армии

Предпочтительно избегать основы с отрицанием

12 Правила формирования основы

Правила формирования основы

Качественные основы заданий: связаны с умением (умениями), которые они оценивают оценивают существенную информацию является сжатыми и содержат только ту информацию, которая необходима участникам тестирования для предоставления ответа на вопрос не содержат материала, не относящегося к предмету оценки избегают многословия должны предоставлять достаточно информации для однозначного ответа на вопрос содержат достаточно информации для того, чтобы предоставить участнику тестирования ориентиры в поиске правильного ответа не используют глаголов пассивного залога техническая терминология используется только при проверке знания именно этой терминологии

13 Правила формирования ключей

Правила формирования ключей

Для качественных ключей характерно: Правильный ответ не должна быть заметно длиннее дистракторов Правильный ответ не должен грамматически отличатся от дистракторов Правильный ответ не должен быть единственным вариантом, который содержит существенную лексику, использованную в основе Правильный ответ не должен быть единственным положительным предложением или фразой среди отрицательных и наоборот Правильный ответ не должен содержать грамматической подсказки, такой как использование служебных слов

14 Правила формирования дистракторов

Правила формирования дистракторов

Качественные дистракторы: не содержат очевидно неправильных ответов не слишком приближены к правильному ответу представляют неправильное логическое понимание или типичные заблуждения, характерные для участников тестирования грамматически близки друг с другом и с правильным ответом имеют примерно одинаковую длину не являются противоположными высказываниями друг к другу не содержат «все из вышеприведенного» или «одно из вышеприведенного», «все», «всегда», «никогда» не многословны не содержат пассивного залога не повторяют в каждом варианте информацию, которую можно разместить в основе

15 Примеры заданий и разбор недостатков

Примеры заданий и разбор недостатков

Пример 1 УМЕНИЕ: Определять города – столицы африканских стран. ЗАДАНИЕ: Какой из приведенных африканских городов-столиц является также главным портом в Атлантике? A. Киншаса B. Лагос C. Луанда * D. Лусака

Пример 2 УМЕНИЕ: Называть причины и последствия миграции коренных американцев в Северной Америке. ЗАДАНИЕ: Почему делавары или ленни-ленапе выехали со своей родины? A. Английские поселенцы вытеснили ленни-ленапе на запад до реки Огайо B. Скот европейцев уничтожила кукурузные поля ленни-ленапе C. Шведские и голландские торговцы наводнили земли ленни-ленапе в поисках меха Ленни-ленапе продали свою землю голландцам, которую они хотели только арендовать

16 Примеры заданий и разбор недостатков

Примеры заданий и разбор недостатков

Пример 3 ЗАДАЧА: Мощная борьба ослабила империю инков раз перед прибытием испанцев. Кто стал верховным правителем инков только для того, чтобы быть похищенным и убитым Франциско Писарро в 1533 году? A. Атауальпа * B. Гуаскар C. Гуаяна Капак D. Топа Инка

Пример 4 ЗАДАНИЕ: Вашингтон: A. вошел в состав страны в 1889 году B. входил в состав территории Орегон в 1912 году C. получил состояние штата в 1811 году D. входил в состав Северных Территорий до 1848 года

17 Примеры заданий и разбор недостатков

Примеры заданий и разбор недостатков

Не делайте ключ длиннее дистракторов. Пример: Ученый Майкл Фарадей открыл: A. электромагнитную индукцию * B. гравитацию C. скорость света D. силу тока Не делайте ключом единственный вариант, который содержит существенную лексику из основы. Пример: Какая функция государственного нотариуса? A. обеспечивать присутствие обвиняемого в суде B. расследовать причину смерти C. защищать интересы подростков D. удостоверять официальные документы * Не придавайте ключу подсказки, используя служебные слова, например «эти», «специальная» или «определенные». Пример: Что из приведенного можно найти в системе управления нацией, управляемой диктатурой? A. свободная пресса B. специальная тайная полиция * C. надлежащее соблюдение закона D. активные профсоюзы

18 Примеры заданий и разбор недостатков

Примеры заданий и разбор недостатков

Не добавляйте абсурдных ответов Пример 5 ЗАДАНИЕ: В книге «Рамона навсегда» кому из героев приходится ожидать одному в приемном отделении больницы, после того, как рождается ребенок? A. Господину Куимби B. Госпоже Куимби C. Рамоне * D. Новорожденному ребенку

Хороший пример Пример 6 ЗАДАНИЕ: Джон заплатил $8.00 за легкую закуску и хочет оставить 20 % «на чай». Сколько должно быть чаевых? A. $0,16 B. $0,40 C. $1,60 * D. $4,00

19 Примеры заданий и разбор недостатков

Примеры заданий и разбор недостатков

Не маркируйте ключ специальной терминологией Пример 7 ЗАДАНИЕ: Какое из приведенных положений помещалось в Законе об отмене налога на недвижимость, принятом в США палатой представителей в 2001 году? A) постепенное снижение налоговой ставки, начиная с 2010 года B) положение, предусматривающее полную отмену немедленно C) увеличение суммы освобождения до $ 2 миллионов в 2002 году D) Налог будет полностью отменен до 2011 года *

Избегайте смешения симметрических и несимметричных пар в вариантах Пример 8 ЗАДАНИЕ: Черника вырастает лучше в каких условиях? A) кислая почва * B) щелочная почва C) густая тень D) влажные условия

20 Примеры заданий и разбор недостатков

Примеры заданий и разбор недостатков

Избегайте обобщающих либо полностью исключающих вариантов Пример 9 ЗАДАНИЕ: Двумя процессами, которые позволяют клеткам высвобождать энергию из пищи, являются: A) экскреция и диффузия B) брожение и клеточное дыхание C) осмос и непроизвольная генерация D) ни один из приведенных вариантов

Делайте варианты ответов одинаковой длины Пример 10 ЗАДАНИЕ: Ключевым событием мейоза является: A) перекрест генов одной хромосомы с другой хромосомой * B) удвоение ДНК C) гаплоидность клеток D) разделение хроматид

21 Немного о заданиях на ввод

Немного о заданиях на ввод

Качественные задания на ввод числа: допускают возможность нескольких правдоподобных способов решения, только один из которых приводит к правильному ответу проверяют приближенный ответ с учетом допустимой для данного уровня сложности погрешности либо включают в основу значения, которые нужно использовать (Считайте g = 10 м/с2) содержат единицы измерения (рядом с формой для ввода) допускают ввод в научной форме (-3,2e-2) не делают различия между «.» и «,» как разделителями целой и дробной части Качественные задания на ввод строки: не различают прописных и строчных букв (если это прямо не требуется в вопросе) не требуют ввода сложных сокращений (M-1.2004), особенно, если не указан их формат требуют ответ в основной грамматической форме, обращая на это внимание в основе не требуют в ответе длинных фраз (ученые и конструкторы), которые можно построить различными способами

22 Примеры заданий и разбор недостатков

Примеры заданий и разбор недостатков

Если ответ приближенный, то указывайте в условии требуемую точность ответа Пример 11 ЗАДАНИЕ: Вычислите площадь круга радиусом 5 см. ОТВЕТ: 49 см2

Избегайте формулировок, заставляющих давать ответ в косвенной форме. Избегайте ответов, возможных в нескольких формах Пример 12 ЗАДАНИЕ: К какой группе богов относятся Зевс, Гера, Афина, Арес? ОТВЕТ: боги-олимпийцы

23 Немного о заданиях с перемещениями

Немного о заданиях с перемещениями

Обязательно добавляем инструкцию по выполнению задания Четко формулируем условие Дифференцируем группы Следим, чтобы элементы, с которыми оперируют, были одного типа (текст, формулы, графика и т. п.) Избегаем дублирования перемещаемых/сопоставляемых объектов Следим, чтобы задание помещалось на экране без полосы прокрутки

24 Примеры заданий и разбор недостатков

Примеры заданий и разбор недостатков

Четче формулируйте задание Пример 13 ЗАДАНИЕ: Расположите в правильном порядке времена года. 1) зима 2) весна 3) осень 4) лето

Избегайте дублирования Пример 14 ЗАДАНИЕ: Разделите деятелей культуры на группы. писатели: Пушкин, Толстой, Тургенев поэты: Тютчев, Фет композиторы: Глинка, Бородин, Римский-Корсаков

25 На что надо обращать внимание при составлении учебного текста

На что надо обращать внимание при составлении учебного текста

Соответствие языка изложения уровню обучаемых Логичность заголовков, их нумерация Структурирование текста (списки, таблицы) Методика выделения смысловых блоков (термины, законы, примеры и проч.) Стиль подписи к иллюстрациям и таблицам и отсылок к ним Отображение формул Сноски, всплывающие окна, гиперссылки Сокращения (особенно, в техническом тексте)

26 Сейчас вы узнали:

Сейчас вы узнали:

Какими научными терминами описывается качество тестов? Как составлять задание на выбор вариантов ответа? Какие особенности присущи заданиям других типов?

Контакты:

+7 (498) 744-67-57

http://www.physicon.ru http://www.college.ru http://www.multiring.ru info@physicon.ru

«Методические приемы создания тестов»
http://900igr.net/prezentacija/ekonomika/metodicheskie-priemy-sozdanija-testov-214920.html
cсылка на страницу

Организация

22 презентации об организации
Урок

Экономика

125 тем
Слайды
900igr.net > Презентации по экономике > Организация > Методические приемы создания тестов