Компетенции учащихся
<<  Формирование межкультурной компетенции дошкольников в поликультурном образовательном пространстве Шаблон полезные ископаемые  >>
Ключевые условия использования результатов оценки учебных достижений
Ключевые условия использования результатов оценки учебных достижений
Использование результатов
Использование результатов
На чём основывается…
На чём основывается…
Какова…
Какова…
От чего зависит…
От чего зависит…
Условия использования результатов
Условия использования результатов
Стратегия око – контроль или поддержка
Стратегия око – контроль или поддержка
Поддержка заинтересованных сторон
Поддержка заинтересованных сторон
Наличие надёжного инструментария
Наличие надёжного инструментария
Пример
Пример
Наличие надёжной стандартизированной процедуры проведения оценки
Наличие надёжной стандартизированной процедуры проведения оценки
Ориентация на информационные потребности основных групп пользователей
Ориентация на информационные потребности основных групп пользователей
Национальный мониторинг SIMCE (Чили)
Национальный мониторинг SIMCE (Чили)
SIMCE
SIMCE
SIMCE
SIMCE
Учёт дополнительных данных при принятии управленческих решений по
Учёт дополнительных данных при принятии управленческих решений по
Важные уроки
Важные уроки
Область применения одной оценочной процедуры всегда ограничена
Область применения одной оценочной процедуры всегда ограничена
Пример региона N. Письмо регионального министерства в муниципалитеты В
Пример региона N. Письмо регионального министерства в муниципалитеты В
Продолжение
Продолжение
Доверие к результатам со стороны общества
Доверие к результатам со стороны общества
Процедуры с высокими ставками требуют жёсткого контроля
Процедуры с высокими ставками требуют жёсткого контроля
?
?
Соотношение 100-балльной шкалы и уровней освоения образовательного
Соотношение 100-балльной шкалы и уровней освоения образовательного
Не совпадает:
Не совпадает:
Кластерный анализ обеспечивает справедливое сравнение результатов и
Кластерный анализ обеспечивает справедливое сравнение результатов и
Модель использования данных
Модель использования данных
Сравнение результатов школ в рамках кластера статистически подобных ОУ
Сравнение результатов школ в рамках кластера статистически подобных ОУ
Сайт “Моя Школа”
Сайт “Моя Школа”
СТАТИСТИЧЕСКИ «ПОДОБНЫЕ» ШКОЛЫ (Австралия)
СТАТИСТИЧЕСКИ «ПОДОБНЫЕ» ШКОЛЫ (Австралия)
КЛАСТЕРИЗАЦИЯ
КЛАСТЕРИЗАЦИЯ
Рейтинги должны быть надёжными информационными источниками
Рейтинги должны быть надёжными информационными источниками
Рейтинг – инструмент с ограниченной зоной действия
Рейтинг – инструмент с ограниченной зоной действия
Использование результатов должно опираться на…
Использование результатов должно опираться на…
Спасибо за внимание
Спасибо за внимание

Презентация: «Ключевые условия использования результатов оценки учебных достижений школьников: уроки России и стран мира». Автор: PR. Файл: «Ключевые условия использования результатов оценки учебных достижений школьников: уроки России и стран мира.ppt». Размер zip-архива: 2439 КБ.

Ключевые условия использования результатов оценки учебных достижений школьников: уроки России и стран мира

содержание презентации «Ключевые условия использования результатов оценки учебных достижений школьников: уроки России и стран мира.ppt»
СлайдТекст
1 Ключевые условия использования результатов оценки учебных достижений

Ключевые условия использования результатов оценки учебных достижений

школьников: уроки России и стран мира

И.А. Вальдман Зав. лабораторией мониторинга в образовании ИУО РАО, директор Российского тренингового центра ИУО РАО, к.п.н. iavaldman@gmail.com

Международная конференция «Российское образование в зеркале международных сравнительных исследований» г. Москва, 19-20 июня 2013 года

WWW.RTC-EDU.RU

2 Использование результатов

Использование результатов

От чего зависит…

3 На чём основывается…

На чём основывается…

Качество научного обеспечения оценочной процедуры (методология оценивания, выбор инструментария); открытость и прозрачность процесса проведения оценки, правил и процедур, регламентирующих реализацию программы оценки.

4 Какова…

Какова…

Неподготовленные

С базовой квалификацией

С высокой квалификации

5 От чего зависит…

От чего зависит…

Рациональные способы работы с политической волей никому не известны

6 Условия использования результатов

Условия использования результатов

Эффективное использование результатов оценки зависит от ряда условий, которые следует учитывать команде, координирующей организацию и проведение процедуры оценки, с целью достижения максимального влияния полученных результатов на повышение качества обучения и выработку образовательной политики.

7 Стратегия око – контроль или поддержка

Стратегия око – контроль или поддержка

Контроль Для наложения санкций и раздачи поощрений Нет права на ошибку ОУ не заинтересовано в обнаружении проблем Поддержка Оказание содействия ОУ и муниципалитетам в преодолении существующих проблем Есть право на ошибку. Неудача – сигнал для оказания помощи. ОУ заинтересовано в обнаружении проблем

8 Поддержка заинтересованных сторон

Поддержка заинтересованных сторон

Крайне важно, чтобы все заинтересованные стороны пришли к согласию относительно необходимости проведения оценки и оказывали поддержку при её проведении.

9 Наличие надёжного инструментария

Наличие надёжного инструментария

Наличие надёжного инструментария, соответствующего необходимым профессиональным стандартам, является главным фактором получения достоверных результатов и обеспечения доверия к ним со стороны общественности и профессионального сообщества.

10 Пример

Пример

ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ ТЕСТА

Определение цели тестирования и разработка спецификации теста. Разработка заданий для теста. Экспертиза и доработка заданий. Апробация и доработка заданий. Составление теста. Проведение апробации теста и обработка полученных результатов. Доработка теста и подготовка окончательного варианта.

11 Наличие надёжной стандартизированной процедуры проведения оценки

Наличие надёжной стандартизированной процедуры проведения оценки

Стандартизированная процедура должна обеспечивать информационную безопасность проведения оценки, предотвращать возможные нарушения и

Фальсификацию данных, обеспечивать сопоставимость результатов для всех общеобразовательных учреждений, чьи учащиеся принимали участие в оценке.

12 Ориентация на информационные потребности основных групп пользователей

Ориентация на информационные потребности основных групп пользователей

результатов оценки

Соответствующая информация должна достигать представителей всех заинтересованных сторон (разнообразные информационные продукты). Необходимо использовать различные методы информирования о результатах оценки (распространение информации).

13 Национальный мониторинг SIMCE (Чили)

Национальный мониторинг SIMCE (Чили)

Информационные продукты

Руководство по проведению оценки (с 1988) Школьный отчёт (с 1988) Национальный отчёт (с 2006) Приложение к газете (с 1995) Отчёт для родителей (с 2005) Онлайн банк заданий (с 2007) Комплект материалов для прессы (с 2006) Файлы данных (с 2005) Инструментарий анализа данных (с 2007) Геоинформационная система (с 2010) Вебсайт www.simce.cl (с 2001)

14 SIMCE

SIMCE

Распространение информации: Механизмы, Цели, Целевые группы, Содержание

4. Приложение к газете

Цели: Обеспечение подотчётности школ

Целевая группа: родители, широкая общественность

Содержание: (а) Средние баллы школ и средние балы по предметам и классам. (b) Разница между средним баллом школ и 1) средними баллами предыдущей оценки, 2) средним по стране, 3) средними баллами школ из той же социально-эконмической группы.

Механизмы: Публикуется в национальных и региональных газетах. Обычно эта информация распространяется вместе с рейтингами школ.

15 SIMCE

SIMCE

Геоинформационная система

16 Учёт дополнительных данных при принятии управленческих решений по

Учёт дополнительных данных при принятии управленческих решений по

итогам оценки

Невозможно принимать «сложные» решения на основании данных одного вида «Простые» решения Итоговая государственная аттестация по предмету. Как учителю и школе организовать работу «над ошибками» Более «сложные» решения Выбор профиля обучения в старшей школе «Сложные» решения Оценка качества работы учителя Оценка эффективности работы школы

17 Важные уроки

Важные уроки

Поговорим на примерах

rtc.imerae@gmail.com

WWW.RTC-EDU.RU

18 Область применения одной оценочной процедуры всегда ограничена

Область применения одной оценочной процедуры всегда ограничена

Невозможно использовать одну оценочную процедуру для решения многих задач. ПРИМЕР ЕГЭ Предназначен для определения, освоил ли ученик образовательную программу школы отбора для поступления в вуз Используется на практике ещё и для оценки качества работы учителя оценки эффективности работы школы, муниципалитета оценки эффективности деятельности губернатора …

19 Пример региона N. Письмо регионального министерства в муниципалитеты В

Пример региона N. Письмо регионального министерства в муниципалитеты В

соответствии с приказом Минобразования … в рамках международного исследования TIMSS и PIRLS в 2011 году в проведении тестирования учащихся 4 и 8 классов участвовали школы вашего муниципального образования… Однако, как показывают результаты исследований, средний балл по тестируемой области этих учреждений оказался ниже среднего балла по России. Минобразования … отмечает неудовлетворительную работу педагогических коллективов указанных образовательных учреждений по качеству образования участников тестирования и просит принять все необходимые организационно-методические меры по повышению уровня квалификации учителей, внутришкольного контроля ...

Невозможно использовать оценочную процедуру в целях, для которых она не предназначена.

20 Продолжение

Продолжение

Пример региона N. Письмо регионального министерства в муниципалитеты Одновременно с этим сообщаем, что учащиеся, принявшие участие в TIMSS-2011 стали участниками PISA-2012. После получения результатов PISA-2012 (ориентировочно апрель 2013 г.) предлагаем провести комплексное исследование результатов со сравнением результатов Г(И)А и определением дальнейшей образовательной траектории каждого учащегося

21 Доверие к результатам со стороны общества

Доверие к результатам со стороны общества

Экзамены для поступления в вузы Казахстана (ЕНТ- единое национальное тестирование) и Кыргызстана (ОРТ – общереспубликанское тестирование) проводятся в форме тестов с множественными вариантами ответов. Выбор такого варианта теста был сделан с целью исключения человеческого фактора. К процедуре, которая бы допускала вмешательство человека, у общества не было бы доверия.

22 Процедуры с высокими ставками требуют жёсткого контроля

Процедуры с высокими ставками требуют жёсткого контроля

Старайтесь их избегать!

Школьная афера по-американски (30.03.2013 ) http://publicpost.ru/theme/id/3550/shkolnaya_afera_po-amerikanski/ В минувшую пятницу 35 сотрудникам системы образования в штате Джорджия предъявили обвинение в многолетней фальсификации результатов экзаменов. По данным следствия, как минимум 40 из 56 государственных школ в Атланте отчитывались о недостоверных результатах государственного тестирования более 10 лет.

Есть версия, что провоцирует директоров школ и учителей на преступление действующее американское законодательство: зарплаты учителей и пособия из госбюджета, выплачиваемые школам, напрямую зависят от успеваемости учеников.

23 ?

?

Сопоставимость результатов оценочных процедур должна быть заложена в инструментарии. Пример ЕГЭ

Средний балл по математике по РФ= 44,6

Средний балл по русскому языку по РФ = 61,1

24 Соотношение 100-балльной шкалы и уровней освоения образовательного

Соотношение 100-балльной шкалы и уровней освоения образовательного

стандарта (РФ, ЕГЭ-2012)

Соотношение 100-балльной и процентильной шкал (РФ, ЕГЭ-2012)

70 баллов

88

84

84

82

82

80

79

80

75

73

72

71

66

63

62

62

40

39

40

36

36

39

36

36

36

36

36

36

24

24

20

20

© Боченков СА

© С.А. Боченков

25 Не совпадает:

Не совпадает:

Меняется по годам:

Стобалльная шкала ЕГЭ не позволяет сравнивать результаты по предметам и оценить динамику по годам, т.к.:

величина наименьшего тестового балла, получение которого свидетельствует об усвоении участником экзамена основных понятий и методов по предмету (ТБ1) величина наименьшего тестового балла, получение которого свидетельствует о высоком уровне подготовки участника экзамена (ТБ2)

Время, отведённое на выполнение работы без изменения её содержания (русский язык в 2012 и в 2013) количество, качество и состав заданий, уровень сложности

ЕДИНЫЙ государственный экзамен – это ряд самостоятельных предметных экзаменов, которые не согласованны между собой ни по фреймам тестов, ни по форме представления результата

© Боченков СА

26 Кластерный анализ обеспечивает справедливое сравнение результатов и

Кластерный анализ обеспечивает справедливое сравнение результатов и

ориентирован на поддержку

Анализ факторов Самооценка школы Опросы потребителей услуг Внешний аудит Данные исследований Статистика …

Кластерный анализ

К1

«Слабые» школы Ш1.14, Ш1.15, Ш2.21, Ш3.11, Ш3.12 ………..

К2

К3

Ш1.1________ ш1.2________ ш1.3________ …….. ш1.14_______ ш1.15_______

Ш2.1________ ш2.2________ ш2.3________ …….. ш2.21_______

Ш3.1________ ш3.2________ ш3.3________ …….. ш3.11_______ ш3.12_______

27 Модель использования данных

Модель использования данных

От линейного рейтинга к кластерному сравнению и анализу факторов

28 Сравнение результатов школ в рамках кластера статистически подобных ОУ

Сравнение результатов школ в рамках кластера статистически подобных ОУ

Представление результатов мониторинга NAPLAN (Австралия)

29 Сайт “Моя Школа”

Сайт “Моя Школа”

Сравнение результатов NAPLAN по школе с «подобными» школами

30 СТАТИСТИЧЕСКИ «ПОДОБНЫЕ» ШКОЛЫ (Австралия)

СТАТИСТИЧЕСКИ «ПОДОБНЫЕ» ШКОЛЫ (Австралия)

В целях представления результатов национального мониторинга по группам школ со статистически сходным контингентом учащихся специально разработан Индекс местных социально-образовательных условий (Index of Community Socio-Educational Advantage) – ICSEA. ICSEA учитывает следующие параметры: количество учащихся в школе; данные по занятости и образованию родителей учеников; социо-экономические характеристики места проживания ученика; местонахождение школы (столица, регион либо удаленная территория); доля учеников из семей, где английский язык не является родным; доля учеников из коренного населения страны.

31 КЛАСТЕРИЗАЦИЯ

КЛАСТЕРИЗАЦИЯ

Пример. Анализ результатов ЕГЭ в Чувашской Республике

Кластер №1 Городские инновационные ОУ: лицеи, гимназии, школы с углубленным изучением отдельных Кластер №2 Городские общеобразовательные школы (более 50 выпускников 11 классов) Кластер №3 Городские общеобразовательные школы (менее 50 выпускников 11 классов) Кластер №4 Сельские инновационные ОУ: лицеи, гимназии, школы с углубленным изучением отдельных предметов, ресурсные центры Кластер №5 Сельская общеобразовательная школа (25 и более выпускников 11 классов) Кластер №6 Сельская общеобразовательная школа (от 15 до 25 выпускников 11 классов) Кластер №7 Малочисленные сельские общеобразовательные школы (менее 15 выпускников 11 классов) Боченков С.А. Анализ и интерпретация результатов ЕГЭ. http://www.rtc-edu.ru/resources/publications

Параметры кластеризации Тип образовательного учреждения Вид образовательного учреждения Тип местности, размер населённого пункта Размер образовательного учреждения по числу выпускников (наличие условий для профильной подготовки)

32 Рейтинги должны быть надёжными информационными источниками

Рейтинги должны быть надёжными информационными источниками

Пример. Единый портал пермского образования http://permedu.ru/pages/analytics/SchoolRating2011.aspx

33 Рейтинг – инструмент с ограниченной зоной действия

Рейтинг – инструмент с ограниченной зоной действия

Работа с «верхней» частью рейтинга. Определение «лидеров» для: поощрения пропаганды успешного опыта информирования родителей (выбор школы) создания позитивного имиджа ОУ

Работа с «нижней» частью рейтинга. Определение «неуспешных» для: оказания целевой помощи наложения санкций стимулирования улучшения работы ОУ информирования родителей (выбор школы)

Работа со всеми объектами рейтинга требует использования кластеризации.

34 Использование результатов должно опираться на…

Использование результатов должно опираться на…

Поддержка заинтересованных сторон

Ориентация на процедуры с «низкими ставками»

Знание пользователей результатов

Надёжный инструментарий

Надёжная процедура

Сравнение в своей «весовой категории»

Целевые информационные продукты

Сочетание различных источников данных

Методы информирования

35 Спасибо за внимание

Спасибо за внимание

С материалами по тематике использования результатов ОКО можно познакомиться на сайте Российского тренингового центра

WWW.RTC-EDU.RU

«Ключевые условия использования результатов оценки учебных достижений школьников: уроки России и стран мира»
http://900igr.net/prezentacija/pedagogika/kljuchevye-uslovija-ispolzovanija-rezultatov-otsenki-uchebnykh-dostizhenij-shkolnikov-uroki-rossii-i-stran-mira-181865.html
cсылка на страницу
Урок

Педагогика

135 тем
Слайды
900igr.net > Презентации по педагогике > Компетенции учащихся > Ключевые условия использования результатов оценки учебных достижений школьников: уроки России и стран мира