Контроль
<<  Система внутришкольного мониторинга образовательных результатов как инструменты динамики образовательных достижений Использование результатов оценочных процедур для развития региональных образовательных систем  >>
Возможные варианты интерпретации результатов оценочных процедур
Возможные варианты интерпретации результатов оценочных процедур
Проблема корректного использования результатов ЕГЭ
Проблема корректного использования результатов ЕГЭ
Корректная интерпретация результатов оценочных процедур
Корректная интерпретация результатов оценочных процедур
?
?
Адресная подготовка аналитических материалов, выполненных на основе
Адресная подготовка аналитических материалов, выполненных на основе
Пример представления результатов ЕГЭ по школе - табличные данные
Пример представления результатов ЕГЭ по школе - табличные данные
Независимая оценка индивидуальных образовательных достижений учащихся
Независимая оценка индивидуальных образовательных достижений учащихся
Как выглядит результат, который получает каждый участник процедуры
Как выглядит результат, который получает каждый участник процедуры
Как выглядит результат, который получает учитель по результатам
Как выглядит результат, который получает учитель по результатам
Корректная интерпретация результатов оценочных процедур
Корректная интерпретация результатов оценочных процедур
Средний балл ЕГЭ – наиболее распространённый и принятый в системе
Средний балл ЕГЭ – наиболее распространённый и принятый в системе
50
50
?
?
Два уровня освоения образовательного стандарта (ЕГЭ-2013) по методике
Два уровня освоения образовательного стандарта (ЕГЭ-2013) по методике
Сравнение 100-балльных шкал по среднепро-центильным рангам, или что
Сравнение 100-балльных шкал по среднепро-центильным рангам, или что
Пример сравнения результатов ЕГЭ двух школ:
Пример сравнения результатов ЕГЭ двух школ:
!
!
!
!
!
!
Корректная интерпретация результатов оценочных процедур
Корректная интерпретация результатов оценочных процедур
?
?
Интерпретация результатов ЕГЭ для учителя
Интерпретация результатов ЕГЭ для учителя
Пример интерпретации результатов ЕГЭ для учителя
Пример интерпретации результатов ЕГЭ для учителя
Пример интерпретации результатов ЕГЭ для учителя
Пример интерпретации результатов ЕГЭ для учителя
Пример интерпретации результатов ЕГЭ для учителя
Пример интерпретации результатов ЕГЭ для учителя
Интерпретация результатов ЕГЭ для школы (администрация, педколлектив,
Интерпретация результатов ЕГЭ для школы (администрация, педколлектив,
Пример интерпретации результатов ЕГЭ для ШКОЛЫ
Пример интерпретации результатов ЕГЭ для ШКОЛЫ
Интерпретация результатов ЕГЭ для управления образовательными
Интерпретация результатов ЕГЭ для управления образовательными
Интерпретация – важная часть проектирования новых оценочных процедур
Интерпретация – важная часть проектирования новых оценочных процедур
Для сопоставимости результатов ЕГЭ при межпредметных сравнениях и
Для сопоставимости результатов ЕГЭ при межпредметных сравнениях и
Материалы по теме:
Материалы по теме:
Спасибо за внимание
Спасибо за внимание

Презентация: «Школьная оценка качества образования результаты экзаменов». Автор: PR. Файл: «Школьная оценка качества образования результаты экзаменов.pptx». Размер zip-архива: 7362 КБ.

Школьная оценка качества образования результаты экзаменов

содержание презентации «Школьная оценка качества образования результаты экзаменов.pptx»
СлайдТекст
1 Возможные варианты интерпретации результатов оценочных процедур

Возможные варианты интерпретации результатов оценочных процедур

Кейс Единого государственного экзамена.

Боченков Сергей Анатольевич, эксперт Независимого агентства оценки качества образования «Лидер», г. Чебоксары

Семинар «Актуальные вопросы развития региональной системы оценки качества образования» 5-6 декабря 2013 года, г. Казань, Республика Татарстан.

2 Проблема корректного использования результатов ЕГЭ

Проблема корректного использования результатов ЕГЭ

Корректная интерпретации результатов ЕГЭ позволяет использовать их для управления качеством образования

В международной практике выделяют три группы оценочных процедур: экзамены, мониторинги и внутриклассное оценивание. Результаты экзаменов в управлении качеством не используют. ЕГЭ – это экзамен с «высокими ставками», он служит только для измерения индивидуальных образовательных результатов

Почему результаты ЕГЭ используют для оценки образовательных результатов: Потому что нет ничего больше сравнимого по надёжности, защищённости, достоверности. Потому что ресурсы на процедуру уже потрачены. Почему бы не получить информацию отсюда, пока нет ресурсов на новую процедуру? Потому что ЕГЭ - это итоговая аттестация выпускников, основная процедура оценки результата на выходе

3 Корректная интерпретация результатов оценочных процедур

Корректная интерпретация результатов оценочных процедур

Кейс единого государственного экзамена.

Различать в результатах ЕГЭ результаты итоговой аттестации и результаты вступительной компании. Различать управленческий и методический (или исследовательский) аспекты использования результатов ЕГЭ

Для корректной интерпретации результатов ЕГЭ необходимо:

4 ?

?

Результаты ЕГЭ используются для разных целей:

Примеры анализа и интерпретации результатов ЕГЭ

Примеры оценочных процедур

Для целей мониторинга и оценки качества образования, для использования механизма обратной связи

Для завершения обучения в школе и отбор кандидатов для продолжения обучения в вузе

Индивидуальный результат выпускника по предмету – балл по 100-балльной шкале

Тренировочный экзамен – оценка уровня готовности к ЕГЭ

Анализ результатов ЕГЭ по образовательному учреждению

Мероприятия по повышению объективности внутришкольного оценивания

Анализ результатов ЕГЭ по муниципалитету

Система мониторинга образовательных достижений учащихся

Анализ результатов ЕГЭ по региону

Методические рекомендации по подготовке к ЕГЭ (ФИПИ)

5 Адресная подготовка аналитических материалов, выполненных на основе

Адресная подготовка аналитических материалов, выполненных на основе

результатов внешних оценочных процедур (ЕГЭ, ГИА) и выстроенных под задачи управления качеством образования.

Региональный отчёт является наиболее полным и всесторонним из всех информационных продуктов. Региональный отчёт открывает доступ к информации о результатах всем группам пользователей (информационная основа для спектра адресных продуктов и вторичного анализа результатов). Региональный отчёт задаёт подходы к анализу и к правильной интерпретации результатов оценочной процедуры. Региональный отчёт отражает качество самой оценочной процедуры, позволяет отслеживать ключевые показатели.

Анализ результатов единого государственного экзамена по Ханты-Мансийскому автономному округу – Югре в 2011 году. Серия «По результатам ЕГЭ-2011». Выпуск 1. – Ханты-Мансийск: ООО «ТЕХНОПОЛИС», 2011. – 182 с..

Анализ результатов ЕГЭ-2012 по Чеченской Республике. Сводные таблицы и диаграммы по республике, муниципалитетам, образовательным учреждениям. – Грозный, 2012. – 140 с.

Экспресс-анализ результатов ЕГЭ по образовательному учреждению, муниципалитету, региону

Анализ результатов ЕГЭ по образовательному учреждению

О состоянии и результатах деятельности системы образования Чувашской Республики, 2012/2013 учебный год. Публичный доклад. – Чебоксары, 2013. – 164 с.

6 Пример представления результатов ЕГЭ по школе - табличные данные

Пример представления результатов ЕГЭ по школе - табличные данные

Информация предназначена для мониторинга результатов ЕГЭ по каждой школе региона и унификации рамки качества для школ по результатам ЕГЭ . Основана на обезличенных данных протоколов результатов ЕГЭ и БД региональной информационной системы. Мониторинг построен на основе значений 10 ключевых показателей ЕГЭ в динамике за 4 года. Фоном для сравнения показателей по школе являются: Кластер школ, аналогичных по контекстным характеристикам; Город (район), муниципалитет – территориальная единица; Собственные результаты – абсолютная динамика и динамика относительно данных по кластеру

Результаты ЕГЭ в оценке деятельности школ. Мониторинг результатов ЕГЭ. Что может делать школа с результатами и по результатам ЕГЭ? Методические пояснения.

7 Независимая оценка индивидуальных образовательных достижений учащихся

Независимая оценка индивидуальных образовательных достижений учащихся

ИНСТРУМЕНТАРИЙ: Оценка уровня готовности к ЕГЭ и ГИА 9 Оценка уровня готовности к обучению в основной школе Мониторинг образовательных достижений учащихся и соответствия требованиям образовательного стандарта (5-10 классы)

Независимое агентство оценки качества образования «Лидер». Информация о проведении оценки индивидуальных образовательных достижений по e-mail: s_bochenkov@mail.ru и по телефонам 8(8352) 22-81-81, 8(917) 078 81 81.

Использование контрольно-измерительных материалов, составленных в соответствии со спецификациями ЕГЭ, ГИА или других оценочных процедур. Тестирование на бланках, аналогичных бланкам ЕГЭ и ГИА с проверкой результатов по технологии ЕГЭ и ГИА: автоматизированная проверка тестовой части и критериальная проверка развёрнутых ответов экспертами. Результаты оценки представляются только заказчику: по учащимся в виде Листа оценки индивидуальных образовательных достижений, а учителю - Аналитический материал по результатам оценки группы учащихся. Проведение оценки осуществляется в сроки, удобные заказчику по мере готовности учащихся к ЕГЭ или ГИА. Проведение самой процедуры оценки образовательных достижений в школе организуется силами заказчика. Заказы на оценку уровня готовности ЕГЭ и ГИА принимаются на группу учащихся по каждому предмету. Участие в оценке уровня готовности к ЕГЭ и ГИА осуществляется строго на добровольной основе.

8 Как выглядит результат, который получает каждый участник процедуры

Как выглядит результат, который получает каждый участник процедуры

оценки уровня готовности к ЕГЭ?

Образовательная программа

Количество первичных баллов из 63 возможных

До экзамена осталось 195 дней – ресурс времени на подготовку

Рекомендуемая отметка по 5-балльной шкале

Количество баллов по 100-балльной шкале

Позадачная решаемость – указано, какое умение проверялось

Уровень готовности к ЕГЭ (один из четырёх: высокий, повышенный, базовый или группа риска)

Решаемость по содержательным блокам и компетентностям

Что делать ученику с полученными результатами оценки? Сопоставить имеющийся уровень подготовки к ЕГЭ с необходимым для выбранной образовательной траектории. Принять решения о необходимости сдачи предмета по выбору в форме ЕГЭ при имеющемся уровне готовности и необходимом для поступления результате ЕГЭ. Наметить желаемый уровень успешности выполнения работы в первичных баллах и наметить, за счёт каких заданий работы можно добрать необходимый результат. Определить проблемные зоны в содержательных блоках и используя помощь учителя, репетитора или путём самоподготовки максимально отработать темы и задания, вызвавшие трудности на тренировочном тестировании.

9 Как выглядит результат, который получает учитель по результатам

Как выглядит результат, который получает учитель по результатам

независимой оценки?

Назначение работы Возможные направления использования результатов оценки Система оценивания работы

Изменения, внесённые в 2014 году Спецификация работы – перечень проверяемых умений Структура работы по содержательным блокам и проверяемым умениям

Группы участников по уровню готовности к ЕГЭ-2014: Высокий Повышенный Базовый Ниже уровня стандарта – группа риска

Замечания по оформлению бланка Протокол результатов оценки Сводные результаты оценки Результаты по содержательным блокам и проверяемым умениям Профиль решаемости заданий работы

10 Корректная интерпретация результатов оценочных процедур

Корректная интерпретация результатов оценочных процедур

Кейс единого государственного экзамена.

Знать технологию процедуры и особенности шкалирования, применяемую в ЕГЭ для корректного сопоставления и оценки динамики и уметь выбирать «работающие» показатели.

Для корректной интерпретации результатов ЕГЭ необходимо:

11 Средний балл ЕГЭ – наиболее распространённый и принятый в системе

Средний балл ЕГЭ – наиболее распространённый и принятый в системе

образования РФ показатель, отражающий образовательные результаты.

Сопоставление результатов ЕГЭ по школе с результатами по муниципалитету, регионе, стране

Динамика результатов ЕГЭ по региону за три года

Самарская область http://www.edc.samara.ru/~school120/ege.htm

Чувашия http://ege21.ru/ege/metod/egeh_2012_chuvashija_statisticheskij_sbornik_2_ver.pdf, стр.48.

12 50

50

16,4%

56,6%

На практике мало кто задумывается, что такое однородность и продолжает считать «среднюю температуру по больнице»…

28,3

8,2

Средний балл

Стандартное отклонение

Коэффициент вариации

13 ?

?

Средние величины и шкалирование. Совпадают ли шкалы оценочных процедур?

Егэ-2013

Какие выводы можно сделать об уровне подготовки, сравнивая результаты по двум предметам?

Средний балл по математике по РФ= 48,7

Средний балл по русскому языку = 63,4

Если тесты по двум предметам сопоставимы по сложности и шкалы выровнены, то уровень подготовки по русскому всех выпускников страны в среднем выше, чем по математике. Если тесты по двум предметам не выровнены по сложности, то возможно несколько вариантов: Уровень подготовки по русскому выше, чем по математике. Уровень подготовки по математике выше, чем по русскому языку, просто тест сложнее. Уровень подготовки по двум предметам примерно равный.

14 Два уровня освоения образовательного стандарта (ЕГЭ-2013) по методике

Два уровня освоения образовательного стандарта (ЕГЭ-2013) по методике

ФИПИ

«…Указанная процедура позволяет согласовывать тестовые баллы одинаково подготовленных участников 2011 — 2013 гг. и обеспечивает сравнительную сопоставимость результатов экзамена по годам». http://www.ege.edu.ru/ru/main/scaling/

Предмет

Русский язык

17 из 64 (36 из 100)

54 из 64 (73 из 100)

Математика

5 из 32 (24 из 100)

15 из 32 (63 из 100)

Обществознание

15 из 59 (39 из 100)

48 из 59 (72 из 100)

История

13 из 58 (32 из 100)

47 из 58 (72 из 100)

Физика

11 из 51(36 из 100)

33 из 51 (62 из 100)

Химия

14 из 65 (36 из 100)

58 из 65 (80 из 100)

Биология

17 из 69 (36 из 100)

60 из 69 (79 из 100)

География

14 из 53 (37 из 100)

43 из 53 (69 из 100)

Информатика

8 из 40 (40 из 100)

35 из 40 (84 из 100)

Иностранные языки

16 из 80 (20 из 100)

65 из 80 (82 из 100)

Литература

8 из 42 (32 из 100)

36 из 42 (73 из 100)

ПБ1 (в скобках ТБ1 – балл по 100-балльной шкале)

ПБ2 (в скобках ТБ2 – балл по 100-балльной шкале)

ПБ2 - наименьший первичный балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена, а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания

ПБ1 - наименьший первичный балл, получение которого свидетельствует об усвоении участником экзамена основных понятий и методов по соответствующему общеобразовательному предмету

15 Сравнение 100-балльных шкал по среднепро-центильным рангам, или что

Сравнение 100-балльных шкал по среднепро-центильным рангам, или что

лежит в основе сравнения среднего балла ЕГЭ между предметами

Соотношение 100-балльной шкалы и уровней освоения образовательного стандарта (РФ, ЕГЭ-2013)

70 баллов

Средний балл по 100-балльной шкале недопустимо использовать как при сравнении результатов между предметами, так и для оценки динамики по годам!!!

84

82

80

79

73

72

63

62

40

39

36

36

36

36

24

20

© С.А. Боченков

72,4

67,8

63,4

63,1

59,5

58,6

53,5

48,7

1,9%

1,1%

3,6%

4,4%

2,6%

6,0%

6,7%

7,0%

16 Пример сравнения результатов ЕГЭ двух школ:

Пример сравнения результатов ЕГЭ двух школ:

(Математика 63 + физика 62 + русский 73) / 3 = 66,0

(Русский 73 + биология 79 + химия 80) / 3 = 77,3

Профиль школы

Кол-во выпускников

Средний балл ЕГЭ, при условии, что все выпускники все предметы сдали с одинаковым результатом, равным ТБ2

Вывод о результатах профильной подготовки

Вывод об эффективности вузов, по качеству подготовки поступивших в них выпускников этих школ

Школа с инженерным профилем (математика, физика + русский язык)

30

При одинаковом качестве подготовки (равном ТБ2 -балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена, а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания ) средний балл инженерного класса оказывается НИЖЕ показателя медицинского класса на 11,3 балла или на 17%

При одинаковом качестве подготовки (равном ТБ2 -балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена, а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания ) средний балл инженерного класса оказывается НИЖЕ показателя медицинского класса на 11,3 балла или на 17%

Все выпускники поступили в соответствующие профильные вузы на инженерное и медицинское направление подготовки. Таким образом, медицинский вуз оказывается на 17% лучше инженерного по показателю среднего балла, при этом качество подготовки абитуриентов не отличается, а разницу определяет невыровненная стобалльная шкала

Все выпускники поступили в соответствующие профильные вузы на инженерное и медицинское направление подготовки. Таким образом, медицинский вуз оказывается на 17% лучше инженерного по показателю среднего балла, при этом качество подготовки абитуриентов не отличается, а разницу определяет невыровненная стобалльная шкала

Школа с медицинским профильным (биология, химия + русский язык)

30

17 !

!

?

Х

Если не средний балл, то что? Какие показатели имеет смысл использовать при анализе результатов ЕГЭ?

Условные знаки:

Анализ практики использования разных показателей результатов ЕГЭ

- Показатель малоинформативен или имеет большие ограничения при использовании

- Показатель содержит ошибку, приводит к ошибочным суждениям

- Показатель информативен при грамотном применении

18 !

!

!

!

Группа показателей, характеризующих освоение минимальных требований образовательного стандарта

Примеры показателей:

Ограничения и риски:

Широкая область применения, т.к. задача учителя, школы, системы образования – создание условий для освоения образовательного стандарта.

Уровень освоения образовательного стандарта для получения документа о среднем (полном) общем образовании – доля выпускников, успешно сдавших (выше минимального порога) ЕГЭ по двум обязательным предметам, % Уровень освоения образовательного стандарта для получения профессионального образования - получение свидетельства о результатах ЕГЭ с баллами по всем предметам, необходимыми для поступления в выбранное учреждение профессионального образования - доля выпускников, успешно сдавших (выше минимального порога) все экзамены, которые они выбрали для сдачи в форме ЕГЭ в общем числе выпускников, %. Уровень освоения образовательного стандарта по каждому предмету - доля учащихся, преодолевших минимальный порог (по каждому предмету), %.

Достижение одних и тех же значений показателей может потребовать в разных условиях совершенно разного количества и качества образовательных ресурсов, поэтому сравнение целесообразно преимущественно в пределах кластера. Риск снижения уровня требований по предмету до минимальных. Риск перераспределения ресурсов в пользу обязательных предметов. Риск установления зависимости уровня минимального порога от общих результатов, полученных выпускниками данного года по РФ в целом.

19 !

!

!

!

Х

?

Х

?

Группа показателей, характеризующих уровень и качество образовательных достижений

Примеры показателей:

Ограничения и риски:

Возможно применение для оценки школ, реализующих модели профильного образования на старшей ступени. Необходимы для оценки эффективности профилей заявленных и реализуемых школой.

Вебинар РТЦ «Интерпретация и представление результатов оценки качества образования для разных групп пользователей». Презентация и видео доступны здесь http://www.rtc-edu.ru/trainings/webinar/267

Средний балл по 100-балльной шкале (вариации – только по обязательным предметам, только по профильным предметам). Средний балл по каждому предмету Доля выпускников, получивших соответствующее количество баллов ЕГЭ по предметам: от 50 до 75 баллов (вариант - до 50, 51-75); 70 баллов и выше (вариант – 80 баллов и выше, 90 баллов и выше), %. Доля (кол-во) участников, набравших 100 баллов (на 1000 участников), %. Доля выпускников, показавших по профильному предмету результат, соответствующий отличному уровню (относится к 10% лучших результатов по РФ). Доля выпускников сдавших экзамен по предмету с результатом равным ТБ2 (высокий уровень) и выше в общем числе изучавших данный предмет на профильном уровне. Доля выпускников, сдавших все предметы из изучавшихся на профильном уровне не ниже порога профильной подготовки (ТБ2)

Риск необоснованных требований максимально-высоких баллов. Стимулирование участия в нарушениях процедуры ЕГЭ и информационной безопасности. Шкала достаточно сильно различается по предметам и суммарный учёт результатов нескольких предметов не только малоинформативен, но и может привести к ошибочным выводам. Риск ошибочных выводов из-за несопоставимости среднего балла между предметами и динамики по годам. Риск подмены ориентира за освоения содержания учебного материала ориентиром на достижение высоких баллов.

20 Корректная интерпретация результатов оценочных процедур

Корректная интерпретация результатов оценочных процедур

Кейс единого государственного экзамена.

Различать характеристики хороших (плохих) результатов ЕГЭ для учителя, для школы, для системы образования и понимать в какой мере эти результаты зависят от деятельности учителя, школы, муниципального или регионального управления образовательной системы. Использовать результаты ЕГЭ в сочетании с контекстными данными, данными об условиях организации образовательного процесса и показателями, полученными из других оценочных процедур.

Для корректной интерпретации результатов ЕГЭ необходимо:

21 ?

?

Что такое «результаты ЕГЭ»? Всё зависит от точки зрения...

Учитель

Общество

Сми

Исследователи

Руководитель сети школы

Директор школы

Индивидуальный результат выпускника по предмету – балл по 100-балльной шкале и решаемость заданий

Хорошие результаты ЕГЭ для учителя – это чтобы все учащиеся сдали ЕГЭ хорошо… а именно: Чтобы все, кто подготовились к экзамену по предмету, пошли на экзамен, а неподготовлен-ные не ходили. Чтобы все кто пошли успешно сдали ЕГЭ (преодолели минимальный порог 100%) и получили результаты лучше, чем у других учителей и школ. Чтобы результаты ЕГЭ были адекватны текущим оценкам, которые выставил учитель.

Хорошие результаты ЕГЭ для муниципалитета – это чтобы все учащиеся школ территории сдали ЕГЭ хорошо… а именно: Чтобы все выпускники, допущенные до итоговой аттестации успешно сдали экзамены и получили документы об образовании. Чтобы профиль школ сети подтверждался результатами ЕГЭ как по спектру выбираемых предметов, так и качеством полученных результатов. Чтобы различия в результатах ЕГЭ между школами были меньше, чем между результатами внутри школ. Чтобы не было нарушений процедуры и аномальных результатов

Хорошие результаты ЕГЭ для школы – это чтобы все учащиеся школы сдали ЕГЭ хорошо… а именно: Чтобы все выпускники, допущенные к ЕГЭ получили аттестат и полноценное свидетельство о результатах ЕГЭ. Чтобы спектр выбора выпускниками предметов соответствовал профилю школы. Чтобы результаты по профильным предметам были высокими в сравнении с аналогичными школами.

22 Интерпретация результатов ЕГЭ для учителя

Интерпретация результатов ЕГЭ для учителя

Информационные запросы УЧИТЕЛЯ о результатах ЕГЭ Уровень требований контрольно-измерительных материалов ЕГЭ по предмету. Востребованность учебного предмета как экзамена в форме ЕГЭ среди его учеников. Освоение учениками образовательного стандарта на минимальном уровне. Освоение учениками образовательного стандарта на профильном уровне. Успешность освоения отдельных дидактических единиц (позадачная решаемость), содержательных блоков, сформированность умений и видов деятельности. Соответствие системы текущего оценивания внешней оценке.

«Рамка качества» работы УЧИТЕЛЯ в результатах ЕГЭ - если предмет изучается на базовом уровне: освоение образовательного стандарта на минимальном уровне стремится к 100%; все учащиеся из числа слабоуспевающих успешно решают определённый набор заданий, позволяющий им преодолеть минимальный порог - если предмет изучается на профильном уроне: востребованность предмета выше, чем среднее для территории и аналогичных образовательных учреждений освоение образовательного стандарта на минимальном уровне 100%; освоение образовательного стандарта на профильном уровне выше, чем среднее по территории и для аналогичных школ система текущего оценивания адекватна внешней оценке.

23 Пример интерпретации результатов ЕГЭ для учителя

Пример интерпретации результатов ЕГЭ для учителя

Позадачная решаемость.

Графическим выражением успешности, результата выполнения теста группой учеников является профиль решаемости, где видна успешность выполнения каждого задания. При сравнении с коридором ожидаемой решаемости видно, какие темы отработаны лучше, какие хуже, а какие вообще оказались провальными. Практика анализа результатов экзамена в разрезе отдельной школы, класса и учителя даёт разные профили по решаемости заданий.

24 Пример интерпретации результатов ЕГЭ для учителя

Пример интерпретации результатов ЕГЭ для учителя

Результаты освоения содержательных блоков курса и сформированность основных умений.

Физика

Русский язык

Методы познания

Квантовая физика

Электродина-мика

Молекулярная физика

Механика

Задания высокого уровня сложности

Задания базового и повышенного уровня сложности

71,9%

43,8%

69,3%

65,2%

72,3%

25 Пример интерпретации результатов ЕГЭ для учителя

Пример интерпретации результатов ЕГЭ для учителя

Группы учащихся по уровню готовности к ЕГЭ-2012 по физике.

Доля выпускников, успешно сдавших ЕГЭ по предмету от общего числа выпускников, сдававших данный предмет - 100% Доля выпускников, сдавших ЕГЭ по предмету с результатом, соответствующим повышенному уровню и выше от общего числа выпускников, изучавших предмет на профильном уровне – 81,25%

Высокий уровень подготовки к ЕГЭ: знаний и умений достаточно для полноценного продолжения образования в профильном вузе с достаточно высоким конкурсом.

Повышенный уровень подготовки к ЕГЭ: знаний и умений достаточно для продолжения образования по профильным специальностям в вузах со средним уровнем требований.

Базовый уровень подготовки к ЕГЭ: знания, умения и способы деятельности соответствуют требованиям стандарта на минимально возможном уровне. В группу с базовым уровнем подготовки входят учащиеся, которые могут продолжать образование по профильным специальностям в НПО и СПО или выбрать направление обучения в вузе, где данный предмет не является профильным.

Низкий уровень подготовки к ЕГЭ: группа риска, т.к. бессистемность и отрывочность их знаний не позволяет преодолеть минимальный порог для получения свидетельства о результатах ЕГЭ.

26 Интерпретация результатов ЕГЭ для школы (администрация, педколлектив,

Интерпретация результатов ЕГЭ для школы (администрация, педколлектив,

учащиеся, родители, социум)

Что значит – «хорошая школа» по результатам ЕГЭ? это школа, выпускники которой активно выбирают экзамены в форме ЕГЭ из числа предметов профиля школы необходимые им для продолжения образования. это школа, все выпускники которой успешно справляются с двумя обязательными экзаменами в форме ЕГЭ (русский язык и математика). Это необходимо для получения аттестата о среднем (полном) образовании. это школа, все выпускники которой успешно сдали все экзамены (изучавшиеся на профильном уровне) в форме ЕГЭ (обязательные и по выбору выше минимального порога), т.е. получили полноценное свидетельство о результатах ЕГЭ для конкурса при поступлении на выбранную специальность. это школы, обеспечивающие общий высокий уровень подготовки по всем предметам, особенно по предметам профиля. это школа, показывающая положительную динамику или стабильность в высоких результатах по каждой из указанных позиций.

Информационные запросы ШКОЛЫ о результатах ЕГЭ Соответствует ли заявленный профиль школы спектру предметов, выбираемых выпускниками для сдачи в форме ЕГЭ? Каков уровень освоения образовательного стандарта на минимальном уровне (доля выпускников, успешно сдавших два обязательных экзамена, доля выпускников, успешно сдавших все экзамены в форме ЕГЭ) ? Каков уровень освоения образовательного стандарта на профильном уровне (доля выпускников, успешно сдавших все предметы из числа изучавшихся на профильном уровне с результатом, соответствующим повышенному уровню (ПБ 2) и выше)? Соответствие ли применяемая учителями система текущего оценивания внешней оценке? Каковы позиции школы в рейтинге по вышеназванным показателям среди школ города (района) и среди аналогичных (кластер) школ региона? Какова динамика значений ключевых показателей?

27 Пример интерпретации результатов ЕГЭ для ШКОЛЫ

Пример интерпретации результатов ЕГЭ для ШКОЛЫ

Соответствие между востребованностью учебных предметов и качеством подготовки к ЕГЭ

Не обеспечивает качества подготовки по востребованным предметам (биология, химия). Обеспечивает высокий уровень подготовки как по предметам профиля (английский язык, обществознание), так и по другим предметам. Кроме востребованной физики обеспечивает высокий уровень практически по всем предметам.

28 Интерпретация результатов ЕГЭ для управления образовательными

Интерпретация результатов ЕГЭ для управления образовательными

системами (муниципальный, региональный уровни управления)

Что значит – «хорошая система образования» по результатам ЕГЭ? Процедура проведения ЕГЭ защищена, в результатах ЕГЭ не наблюдается аномальных результатов. Все выпускники, допущенные до итоговой аттестации успешно сдают экзамены и получают документы об образовании. Различия в результатах между школами ниже, чем между результатами внутри школы. Выявлены группы риска в контингенте обучающихся, определена степень депрессивности каждого элемента территории, имеются данные об условиях работы каждой из школ. Профиль школ подтверждается результатами ЕГЭ как по спектру выбираемых предметов, так и качеством полученных результатов. Общеобразовательная и профильная подготовка, предоставляемая сетью школ обеспечивает потребности населения.

Информационные запросы органов управления о результатах ЕГЭ в системе образования муниципалитета, региона Надёжность процедуры проведения ЕГЭ на территории(нарушения, фальсификации). Охват средним (полным) образованием учащихся соответствующего возраста учреждениями системы – освоение образовательного стандарта. Равенство доступа к образованию соответствующего качества. Выявление групп риска среди категорий учащихся, определение степени депрессивности территорий, выявление школ, работающих в трудных условиях. Удовлетворение потребностей населения в общеобразовательной и профильной подготовке, предоставляемой сетью школ. Контроль качества и оценка эффективности деятельности школ. Эффективность использования ресурсов сети.

29 Интерпретация – важная часть проектирования новых оценочных процедур

Интерпретация – важная часть проектирования новых оценочных процедур

Модель интерпретации и границы использования результатов оценочной процедуры должны быть неотъемлемой частью самой процедуры и быть разработаны до введения данной оценочной процедуры в штатный режим. Необходимо указать, кому и на какие информационные запросы отвечает данная оценочная процедура при помощи каких показателей (аналогично – указываются ограничения и риски). Важно определиться, с какими из уже существующих оценок результаты новой оценочной процедуры могут быть сопоставимы. По опыту международных мониторингов для сопоставимости результатов разных оценочных процедур необходимо использование выравнивания шкал и уровневого подхода к представлению результатов. Сопоставимые показатели разных оценочных процедур собранные на едином информационном ресурсе в режиме мониторинга позволят судить о качестве образования на соответствующих уровнях управления образовательными системами (федеральном, региональном, муниципальном и на уровне образовательного учреждения). Необходимо определить границы использования результатов уже существующих оценочных процедур - ЕГЭ и ГИА. Также важно решить проблему сопоставимости результатов по учебным предметам внутри этих процедур (выравнивание шкал и порогов).

30 Для сопоставимости результатов ЕГЭ при межпредметных сравнениях и

Для сопоставимости результатов ЕГЭ при межпредметных сравнениях и

определении общих правил игры на поле итоговой аттестации необходима унификация шкал. Один из возможных вариантов изменения шкалирования.

Высокий уровень подготовки к ЕГЭ: высокий уровень подготовки свидетельствует о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания.

Повышенный уровень подготовки: знания, умения и способы деятельности соответствуют требованиям стандарта на базовом уровне.

Базовый уровень подготовки: знания, умения и способы деятельности соответствуют требованиям стандарта на минимально возможном уровне.

Низкий уровень подготовки: группа риска, т.к. бессистемность и отрывочность их знаний не позволяет преодолеть минимальный порог для получения свидетельства о результатах ЕГЭ.

ПОРОГ ВЫСОКОГО УРОВНЯ ПОДГОТОВКИ - наименьший балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена, а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания

ПОРОГ ПРОФИЛЬНОГО УРОНЯ ПОДГОТОВКИ - наименьший балл, получение которого свидетельствует об успешном освоении курса на базовом уровне и выполнению ряда заданий повышенного уровня сложности

Устанавливается как верхняя граница базового уровня подготовки (ориентир для учащихся профильных классов) и соответствует 60 баллам 100-балльной шкалы. Порог устанавливается исходя из описания максимальной базовой подготовки выпускника по соответствующему предмету.

МИНИМАЛЬНЫЙ ПОРОГ - наименьший балл, получение которого свидетельствует об усвоении участником экзамена основных понятий и методов по соответствующему общеобразовательному предмету.

Устанавливается как минимальная граница определяющая успешность / неуспешность экзамена и соответствует 36 баллам 100-балльной шкалы. Порог устанавливается исходя из описания минимального уровня подготовки выпускника по соответствующему предмету, который оценивается набором заданий базового уровня сложности. Для преодоления порога необходимо успешно выполнить не менее 50% заданий базового уровня.

31 Материалы по теме:

Материалы по теме:

Примеры аналитических материалов в открытом доступе:

Методические материалы по проблеме анализа и интерпретации результатов оценочных процедур:

Публикации:

Вебинар РТЦ «Интерпретация и представление результатов оценки качества образования для разных групп пользователей». Презентация и видео доступны здесь http://www.rtc-edu.ru/trainings/webinar/267 Вебинар РТЦ «Представление результатов оценки учебных достижений: почему нельзя полностью доверять среднему баллу теста?» Презентация и видео доступны здесь http://www.rtc-edu.ru/trainings/webinar/224 Учебный курс РТЦ «Актуальные вопросы использования результатов оценки учебных достижений школьников на разных уровнях системы образования» г. Ереван, 24-26.09.2013. http://www.rtc-edu.ru/trainings/study/283 Учебный курс РТЦ «Национальные экзамены и мониторинги учебных достижений: интерпретация и представление результатов для различных групп пользователей» г. Москва, 14-17.09.2013 http://www.rtc-edu.ru/trainings/study/226 Учебный курс РТЦ «Система оценки качества и образовательная политика: ключевые проблемы и направления развития» Кыргызстан, 27-30.06.2013 http://www.rtc-edu.ru/trainings/study/111

О состоянии и результатах деятельности системы образования Чувашской Республики, 2012/2013 учебный год. Публичный доклад. – Чебоксары, 2013. – 164 с. http://gov.cap.ru/Default.aspx?gov_id=13 Анализ результатов ЕГЭ-2012 по Чеченской Республике. Сводные таблицы и диаграммы по республике, муниципалитетам, образовательным учреждениям. – Грозный, 2012. – 140 с. http://mon95.ru/content/view/1814/75/

Боченков С.А. [Электронный ресурс]: Учитель, школа, система образования в зеркале ЕГЭ// «Проблемы современного образования» Научно-информационный журнал Российской Академии Образования, № 3 2013 с. 27-47 http://www.pmedu.ru/#2013-3 Боченков С.А., Вальдман И.А. Интерпретация и представление результатов ЕГЭ: проблемы и возможные решения // «Вопросы образования», №3 2013 с. 5-24. http://www.rtc-edu.ru/sites/default/files/files/public/USE.pdf

32 Спасибо за внимание

Спасибо за внимание

rtc.imerae@gmail.com

Сергей Анатольевич Боченков s_bochenkov@mail.ru 89051998891

г. Чебоксары, залив

WWW.RTC-EDU.RU

«Школьная оценка качества образования результаты экзаменов»
http://900igr.net/prezentacija/pedagogika/shkolnaja-otsenka-kachestva-obrazovanija-rezultaty-ekzamenov-205089.html
cсылка на страницу
Урок

Педагогика

135 тем
Слайды
900igr.net > Презентации по педагогике > Контроль > Школьная оценка качества образования результаты экзаменов