Сочетание качественных и количественных методов

UNWOMEN/IPEN ТРАНСФОРМАЦИОННАЯ ОЦЕНКА С ИСПОЛЬЗОВАНИЕМ КАЧЕСТВЕННЫХ И

КОЛИЧЕСТВЕННЫХ МЕТОДОВ: День 3 Сочетание качественных и количественных методов

Профессор Донна Мертенс Университет Голоде Алматы, Казахстан Июль 2011

План на три дня

День 1: Какую роль играет специалист по оценке? Основные аспекты оценки (Техзадание) Трансформационная парадигма Многообразие и социальная справедливость; привилегии Культурная компетентность День 2: Качественные и количественные подходы День 3: Подход, предполагающий сочетание качественных и количественных методов

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

«Меню» методов

Количественные: экспериментальные, квази-экспериментальные, опросы, сравнительные исследования. Качественные: групповое обсуждение (например, фокус группы или методы изучения традиционных культур), изучение отдельных случаев (кейсы), этнографические исследования, феноменологическое исследование, исследование путем активного воздействия Гендерный анализ предполагает использование комплекса количественных и качественных методов; служит основой для трансформационного исследования и оценки и может использоваться для работы с другими группами, испытывающими дискриминацию Необходимость учесть мнение сообщества при проведении оценки требует сбора качественной информации, поэтому предпочтительно сочетать качественные и количественные методы (Mertens, 2009, TRE, p. 165).

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Как сочетать методы

Совместимость: Совмещайте цель, фокус, вопросы и дизайн. Фактор времени: Определите, как будет разнесено во времени использование качественных и количественных методов. Удельный вес: Определите приоритеты и фокусы для качественного и количественного подходов в рамках исследования. Сочетание: Определите, на каком этапе оценки вы будете сводить вместе качественные и количественные методы.

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Одновременное использование Качественные и количественные методы

используются более-менее одновременно

Последовательное использование: Сначала количественные, потом качественные ИЛИ Последовательное использование: Сначала качественные, потом количественные

Mertens, 2009, TRE, p. 167

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Community Participation

Участие сообществ

Трансформационная методология

6

IPEN Almaty Kazakhstan July 2011 Mertens

Участие сообществ

Виды исследований Описательные – С вмешательством

Модель исследования

Цикличное

Краткосрочное

Дизайн и методы

Комплекс методов

Один метод

Одновременно

Последовательно

Количественные

Качественные

Сочетание качественных и количественных методов

Пример: делаем явным

Молодежь Ботстваны: Использование трансформационного подхода для решения проблемы неравного распределения полномочий по борьбе с ВИЧ/СПИД

IPEN Almaty Kazakhstan July 2011 Mertens

7

Дизайн трансформационной оценки с использованием качественных и

количественных методов

Post tests: Quant Qual; Behavior & Policy Change; Transfer To other contexts

Соберите команду, изучите документы, начните диалог

Этап 3 Последо-вательно

Этап 2 Одновре-менно

Этап 4 Одновре-менно

Этап 1 Качествен-ные методы

Пост-тест: качест-венные, количест-венные, изменения в поведении и политике; перенос в другие условия

Оценка процесса

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Предвари-тельное исследования: молодежь, пожилые

Пилот программы: наблюдение; интервью, опросы

Пре-тест: знания, отношение, поведение

Демографи-ческая информация; опросы; статистика

Компоненты трансформационного дизайна: Пост-колониальная критическая

этнография

Описание задачи или вопросов оценки (фокус). Описание методов сбора данных: интервью, дневниковых записей, процессов кодирования, как эти методы будут использоваться, когда специалист по оценке будет выполнять роль соисполнителя или наблюдателя. Объяснение этической стороны работы, того, как будут защищаться интересы участников и их частная жизнь, и как на ключевых этапах работы им будут предоставляться отчеты, и в том числе финальный. Описание участников: численность, место проживания, нормы и правила, исторический и культурный контекст, ожидания ключевых источников информации. График работ: выезд в поле, сбор данных, возвращение из поля, кодирование и анализ, завершение написания отчета и/или его публичное представление. Использование критической теории при планировании и проведении и распространении его результатов. Madison (2005)

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Исследование действием и трансформационный дизайн

1. Группа определяет цель и вопросы оценки. 2. Специалисты по оценке и участники наблюдают, участвуют в действиях, наблюдают и записывают. 3. Специалисты по оценке и участники погружаются в действие и углубляют свое понимание. 4. Члены группы снова собираются вместе и делятся знаниями, а также обновляют планы следующего цикла оценки. 5. Этот цикл повторяют 6-10 раз в зависимости от сложности ситуации. (Heron & Reason, 2006).

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

«Можно использовать опросы, статистический анализ, интервью,

фокус-группы, этнографическое описание, жизнеописание, если участники исследования договорились об этом и используют так, что это не ущемляет права и интересы других участников» Greenwood and Levine (2007)

Трансформационная оценка с использованием качественных и количественных методов и исследование методом совместных действий

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Вопросы для размышления: Дизайн

Как вы отнесетесь к тому, что одна группа станет объектом воздействия, а другая – нет? При каких условиях вы сочтете такой дизайн этически приемлемым? Каковы возможные альтернативы? (Mertens, 2009, TRE, p. 197)

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Гендерный анализ и сочетание качественных и количественных методов

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Непосредственные и опосредованные результаты и влияние

Ресурсы —> Действия —> Непосредственные результаты —> Опосредованные результаты —> Влияние Непосредственные результаты – это продукты, услуги, способности и возможности, получаемые при исполнении действий. Опосредованными называются кратко- и среднесрочные результаты, являющиеся следствием непосредственных результатов; обычно получаются в результате коллективных усилий партнеров. Влияние – это долгосрочный эффект или изменения, появлению которых способствовала программа благодаря коллективным усилиям партнеров. Оценка, основанная на ценностях гендерного равенства и прав человека: каким образом программа способствовала достижению гендерного равенства и соблюдению прав человека?

Индикаторы

С помощью индикаторов мы измеряем, достигли ли мы своих целей и насколько мы к ним приблизились. Разрабатываются для результатов ВСЕХ уровней – непосредственных, опосредованных и долгосрочных (влияния). Индикаторы (качественные или количественные) измеряют статус достижения ожидаемого результата.

15

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Module 2-1

Source: UNIFEM RBM training

Индикаторы

Количественные: цифровые показатели (процентные доли мужчин и женщин в парламенте, зарплата мужчин и женщин, доли девочек и мальчиков, которые посещают школу) Качественные: отражают мнения, отношения и чувства (природа неудовольствия, уровень информированности)

Module 2-1

16

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Примеры

Количественные – Можно подсчитать и выразить в числовой форме % … число … частота … доля … количество … время … Качественные – измеряют восприятие (могут быть выражены в числовой форме или в виде текста) Уровень удовлетворенности … Знания о … Способность … Приемлемость... Важность … Польза от …

Module 2-1

17

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Источник: UNIFEM RBM Training.

Гендерные индикаторы

Измеряют гендерные изменения Включают индикаторы, дезагрегированные по полу индикаторы, измеряющие характеристик, специфичные для женщин или мужчин

Module 2-1

18

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Source: A. Moser. 2007 Gender and Indicators

Индикаторы для прав человека

Измеряют уровень соблюдения прав человека в целом, а также уровень соблюдения прав человека в рамках программы и ее вклад в их продвижение Индикаторы для прав человека должны измерять: Изменение способности правообладателей и тех, кто облечен ответственностью, обеспечить реализацию прав человека Изменение уровня пользования правами

Module 2-1

19

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Оценка, основанная на ценностях гендерного равенства и прав человека

Реализация рекомендаций и использование результатов оценки: Стратегия распространения результатов оценки должна обеспечить свободный доступ к ним как правообладателей, так и тех, что облачен ответственностью Предоставьте информацию женским организациям и сетям, а также сетям специалистов Используйте понятный язык Проводите семинары для женщин и других групп, являющихся объектом дискриминации (правообладателей и тех, кто облечен ответственностью) Руководство должно выпустить документ, регламентирующий использование результатов оценки, касающихся вопросов гендера и прав человека

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Примеры индикаторов

Индикатор для опосредованного результата: Изменения потенциала министерств ХХХ разрабатывать и реализовывать политики, учитывающие интересы женщин коренных и малочисленных народов. Индикатор для непосредственного результата: Изменения знаний, навыков и отношения сотрудников министерств ХХХ

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Примеры генденых индикаторов и индикаторов прав человека

Доля представителей целевой группы (дезагрегированная по полу), которые знают о пользе получения свидетельства о рождении, Доля занятых – с дезагрегацией по возрасту и полу, Доля мальчиков и девочек, получивших начальное образование, Доля женщин в парламенте.

“Проверка на соответствие реальности”

Затраты и использование имеющихся данных; не слишком ли много индикаторов? Перекос в сторону количественных показателей – необходим баланс между качественной и количественной информацией. Прокси-индикаторы, когда измерение проводится косвенно. По возможности индикаторы должны дезагрегироваться по полу, расовой принадлежности, возрасту и географическому признаку. Индикаторы находятся не в вакууме, они должны быть привязаны к результату.

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Упражнение: разработка индикаторов

Разработайте два индикатора (один качественный и один количественный) для программы, которую мы рассматриваем в качестве примера на этом семинаре.

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Насколько хорошо цели программы соответствуют выявленным правам и

потребностям женщин и мужчин-благополучателей? Какие из прав, определенных в Конвенции о ликвидации всех форм дискриминации в отношении женщин, Целями тысячелетия и другими международными актами, продвигает программа?

Пример вопросов для оценки релевантности (соответствия)

Насколько были достигнуты цели программы, отвечают ли ожидаемые и

побочные результаты потребностям наименее привилегированных женщин? В какой степени был укреплен потенциал правообладателей и тех, кто облечен ответственностью?

Пример вопросов для оценки результативности

Примеры вопросов для оценки эффективности

Можно ли было выполнить действия и получить непосредственные результаты, использовав меньший объем ресурсов на бенефициара, без ущерба для качества и количества? Программа использовала преимущества партнерских отношений максимально возможно? Можно ли быть уверенным, что организационная структура UN Woman и механизмы управления и координации эффективно поддерживали реализацию программы?

Примеры вопросов для оценки влияния

В какой степени удалось остановить практики, дискриминирующие женщин? Какие есть свидетельства, что программа помогла правообладателям более успешно реализовывать свои права, а тем, кто облечен ответственностью, - более эффективно выполнять свои обязанности?

Поддерживают ли программу национальные и локальные женские организации

Готовы ли и способны ли эти организации продолжить работу по программе или пропагандировать изменения?

Примеры вопросов для оценки устойчивости

Дополнительные вопросы, касающиеся гендерного равенства и прав

человека

Равенство и отсутствие дискриминации: Программа дает положительные результаты в равной мере как для женщин, так и для мужчин? Эмпауэрмент: Было ли выделено достаточно ресурсов, чтобы обеспечить включение наименее привилегированных и маргинализируемых групп? Отчетность: Проводился ли мониторинг (с дезагрегацией данных по полу, возрасту, национальной и географической принадлежности и уровню дохода) и использовались ли его данные? Социальные преобразования: Уделяет ли теория изменения программы внимание вопросам гендерного равенства и прав человека? Участие и инклюзивность: Были ли в процессе реализации программы приняты меры, чтобы включить мужчин и женщин, и в том числе представителей наименее привилегированных групп? UN Women 2011

Методы оценки, основанной на ценностях гендерного равенства и прав

человека

Предупреждение систематической ошибки: выбор методов сбора данных и методов выборки Возможные источники систематической ошибки: гендер и власть (вопросы конфиденциальности и защиты частной жизни, одним источникам проще участвовать, чем другим), класс или расстояние (более доступные источники получают преимущество) Планы по вовлечению в оценку представителей маргинализированных групп Сочетание качественных и количественных методов

Строгость при выборе методов

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Внутрення и внешняя валидность (достоверность)

В позитивистской традиции используются два важных теста:

1. Является ли данное утверждение истинным в данной ситуации? Является ли изменение значений зависимой переменной результатом действия независимой переменной? (Внутренняя валидность)

2. Является ли данное утверждение истинным в других ситуациях? Можно ли сделать обобщение? (Внешняя валидность)

IPEN Almaty Kazakhstan July 2011 Mertens

7/5/2011

33

Сравнительные исследования: строгость

Есть ли причинно-следственная связь? Есть ли другие объяснения? Сравнительные группы при изучение причинности в рамках сравнительного исследования? Третья переменная является причиной переменной-предиктора и критериальной переменной? Анализ подгрупп? Корреляция: сортировка переменных? Прогнозные исследования: Другие фильтры для переменных? Уровень 0.8 или выше? Надежность и диапазон переменных

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Критерии, которые обеспечивают научную строгость при использовании

качественных методов

Надежность: как и достоверность в качественном исследовании – спрашивает, есть ли соответствие между тем, как респонденты воспринимают социальную реальности, и тем, как их точки зрения описывают специалисты по оценке.

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Критерии строгости при использовании качественных методов

(a) Постоянство наблюдений (b) Обсуждение с коллегами (c) Прогрессивная субъективность (d) Проверка членами группы (e) триангуляция (f) Возможность переноса (g) Зависимость (h) Подтверждаемость (i) Аутентичность и честность

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Трансформационная оценка: строгость

Ориентирована на права человека и социальную справедливость Анализирует асимметричность структуры власти Выступает за культурную компетентность в отношениях между специалистом по оценке и членами сообщества Использует качественные и количественные методы, соответствующие культурным условия, и увязанные с действиями, направленными на социальные изменения Применяет феминистские теории, критическую теорию расы, теории постколониализма и изучения коренного населения

Mertens (2009) Transformative Research and Evaluation. The Guilford Press.

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Аутентичность (Трансормационные критерии)

Честность: Специалист по оценке представляет все разные ценности, взгляды и конфликты.

Онтологическая аутентичность: Человек или группа стали лучше осознавать свои представления о мире и свой опыт, представления стали более сложными.

Каталитическая аутентичность: Исследование стало стимулом для действий.

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Власть и привилегии

Как мы можем понять динамику власти, когда методы с участием используют власть имущие? Чьи голоса раздаются и чьи голоса слышны? Как обеспечить учет все мнений в сложных ситуациях, когда в исследовании участвует много заинтересованных сторон? (Mertens, 2009, P. 85) Что, если я член сообщества? Как это подготавливает меня к работе в этом сообществе? Что, если я не член сообщества? До какой степени нужно разделять наиболее заметным характеристикам сообщества? Какое место культурная компетентность занимает в обсуждении взаимодействия в исследовательском контексте? (Mertens & Wilson, in press)

IPEN Almaty Kazakhstan July 2011 Mertens

7/5/2011

39

Критерии строгости: использование

Распространение Использование Принятие управленческих решений Участие заинтересованных сторон

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Цели распространения результатов оценки

Прозрачность и ответственность Повышение осознанности работы организации и ее улучшение Распространение успешного опыта работы и ноу-хау, чтобы способствовать более широкому соблюдению прав женщин Передача опыта партнерам на местах и повышение их потенциала Создание знания о том, как продвигать идеи эмпауэрмента женщин и соблюдения прав человека

Распространение

Язык и оформление отчета: Используйте графики или рисунки. Текст должен учитывать гендерные и клуьтурные особенности. Перевод: Когда планируете оценку, оцените потребность в переводе и предусмотрите необходимые время и средства. Открытая публикация отчета: В системе ООН все отчеты должны быть в открытом доступе (Норма и стандарты Группы оценки ООН). В UN Women Отдел оценки размещает отчеты об оценке в Ресурсном центре оценки (открытом для публики). Ориентация на целевую аудиторию: Невысокий уровень грамотности? Менеджер должен проявить креативность и найти каналы коммуникации, которые подходят различным аудиториям.

Стратегии распространения

Брошюры с основными выводами и рекомендациями Годовые отчеты Статьи в специализированных и корпоративных бюллетенях Новостные релизы Пресс-конференции Выступления в СМИ

Общественные слушания и встречи Семинары и неформальные групповые обсуждения Электронные медиа (электронная почта, сайты, блоги и т.п.) Личные встречи с лидерами сообщества.

Возможные трудности

Отсутствие консенсуса относительно рекомендаций и необходимых действий Нападки тех, кому не нравятся результаты Недостаток средств, желания или времени на распространение По результатам оценки ничего не делается

Управленческие решения

Опишите реакцию на выводы и рекомендации оценки, определяет, какие рекомендации должны быть выполнены, а какие нет, а также механизмы контроля за исполнением принятых решений. Привлеките заинтересованные стороны к обсуждению процесса оценки, результатов, выводов и рекомендаций. Привлеките референтную группу к процессу разработки управленческого решения по результатам оценки.

План действий

Как то, что вы узнали на семинаре, можно будет применить в вашей работе?

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Литература

Mertens, D. M. & Wilson, A. (in press). Program Evaluation. NY: Guilford. Mertens, D. M. (2010). Research and evaluation in education and psychology: Integrating diversity with qual, quant and mixed methods. 3rd ed. Thousand Oaks, CA: Sage. Mertens, D. M. (2009). Transformative research & evaluation. NY: Guilford Mertens, D. M. & Ginsberg, P. (2009).(Eds.) Handbook of Social Research Ethics. Thousand Oaks, CA: Sage.

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Контактная информация

Donna M. Mertens, Gallaudet University Donna.Mertens@Gallaudet.edu

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods