Макроэкономика
<<  Важнейшие аспекты разработки ВВП теория и практика Совокупное управление дебиторской и кредиторской задолженностью коммерческого предприятия  >>
Основные проблемные аспекты методологии научных исследований: как
Основные проблемные аспекты методологии научных исследований: как
С чего начинается исследование
С чего начинается исследование
Этапы научного исследования (самая простая из сотен тысяч разных схем)
Этапы научного исследования (самая простая из сотен тысяч разных схем)
Научная проблема
Научная проблема
Вопросы и типы исследования
Вопросы и типы исследования
По цели исследования бывают…
По цели исследования бывают…
Выбор проблемы исследования
Выбор проблемы исследования
Теория
Теория
Зачем нам теория
Зачем нам теория
Зачем нам нужен теоретический обзор
Зачем нам нужен теоретический обзор
Виды теоретических обзоров
Виды теоретических обзоров
Характеристики хорошего обзора
Характеристики хорошего обзора
Варианты организации обзора
Варианты организации обзора
Этапы создания обзора
Этапы создания обзора
Ресурсы для поиска литературы
Ресурсы для поиска литературы
Основные проблемные аспекты методологии научных исследований: как
Основные проблемные аспекты методологии научных исследований: как
Как быстро сориентироваться в теме
Как быстро сориентироваться в теме
Рекомендуемый алгоритм поиска
Рекомендуемый алгоритм поиска
Создание обзора
Создание обзора
Гипотезы
Гипотезы
От вопроса к гипотезе
От вопроса к гипотезе
Определения понятий
Определения понятий
От понятия к определению
От понятия к определению
Гипотезы
Гипотезы
Нужны ли нам гипотезы
Нужны ли нам гипотезы
Предмет и объект
Предмет и объект
Гипотезы
Гипотезы
Методы
Методы
Вопросы о методе
Вопросы о методе
План исследования
План исследования
Виды переменных – по отношению к гипотезам
Виды переменных – по отношению к гипотезам
Типы исследований
Типы исследований
Виды экспериментальных планов
Виды экспериментальных планов
Экспериментальные планы для одной независимой переменной (Д
Экспериментальные планы для одной независимой переменной (Д
Кросс- и интра-
Кросс- и интра-
Восемь угроз внутренней валидности по Д. Кэмпбеллу
Восемь угроз внутренней валидности по Д. Кэмпбеллу
Четыре угрозы внешней валидности (репрезентативности) по Д. Кэмпбеллу
Четыре угрозы внешней валидности (репрезентативности) по Д. Кэмпбеллу
Квазиэксперимент
Квазиэксперимент
Корреляционный план исследования
Корреляционный план исследования
Планы корреляционных исследований
Планы корреляционных исследований
Анализ динамических процессов в рамках корреляционного плана
Анализ динамических процессов в рамках корреляционного плана
Метод поперечно-последовательных срезов
Метод поперечно-последовательных срезов
Выбор плана
Выбор плана
Переменные
Переменные
Измерение
Измерение
Специфика психологических измерений
Специфика психологических измерений
Виды шкал
Виды шкал
Особенности психологических измерений
Особенности психологических измерений
Надёжность измерения
Надёжность измерения
Связь надёжности теста с его стандартной ошибкой измерения
Связь надёжности теста с его стандартной ошибкой измерения
Некоторые проблемы классической тестовой теории (CTT)
Некоторые проблемы классической тестовой теории (CTT)
Item response theory: современная альтернатива CTT
Item response theory: современная альтернатива CTT
Достоинства IRT по сравнению с CTT
Достоинства IRT по сравнению с CTT
Методы оценки надёжности
Методы оценки надёжности
Разновидности ошибки
Разновидности ошибки
Виды валидности теста – 1
Виды валидности теста – 1
Виды валидности теста – 2
Виды валидности теста – 2
Валидность теста
Валидность теста
Что угрожает валидности решений
Что угрожает валидности решений
Чтобы снизить случайную ошибку (Guilford, 1959, Клайн, 1994):
Чтобы снизить случайную ошибку (Guilford, 1959, Клайн, 1994):
Виды систематической ошибки (bias) в пунктах субъективной оценки
Виды систематической ошибки (bias) в пунктах субъективной оценки
Борьба с bias в опросниках, (методиках самоотчета):
Борьба с bias в опросниках, (методиках самоотчета):
Межгрупповая ошибка (bias)
Межгрупповая ошибка (bias)
Установление эквивалентности инструментов
Установление эквивалентности инструментов
Переменные
Переменные
Выборка
Выборка
Создание выборки
Создание выборки
Статистическая мощность анализа
Статистическая мощность анализа
Уровень значимости
Уровень значимости
Статистическая мощность анализа
Статистическая мощность анализа
Зависимость статистической мощности от размера выборки
Зависимость статистической мощности от размера выборки
Зависимость статистической мощности от силы взаимосвязи
Зависимость статистической мощности от силы взаимосвязи
Исследования в Интернет
Исследования в Интернет
Интернет в России
Интернет в России
Проблема репрезентативности
Проблема репрезентативности
Выборка
Выборка
Анализ данных
Анализ данных
Шаги выбора метода
Шаги выбора метода
Два вида методов
Два вида методов
Смешанная методология: зачем
Смешанная методология: зачем
Способы объединения качественных и количественных данных (Creswell)
Способы объединения качественных и количественных данных (Creswell)
Примеры качественных методов
Примеры качественных методов
Процедуры повышения валидности качественных данных (Yardley)
Процедуры повышения валидности качественных данных (Yardley)
Виды количественных методов
Виды количественных методов
Проблемы статистических методов
Проблемы статистических методов
Проблема множественных сравнений
Проблема множественных сравнений
Другие возможные артефакты
Другие возможные артефакты
Источники артефактов
Источники артефактов
Источники артефактов: N выборки
Источники артефактов: N выборки
Артефакт объединения двух выборок (Наследов, 2004)
Артефакт объединения двух выборок (Наследов, 2004)
Многоуровневый анализ
Многоуровневый анализ
Виды пропущенных данных
Виды пропущенных данных
Примеры:
Примеры:
Работа с пропущенными данными: 1. Выявление
Работа с пропущенными данными: 1. Выявление
Работа с пропущенными данными: 2. Коррекция
Работа с пропущенными данными: 2. Коррекция
Работа с пропущенными данными
Работа с пропущенными данными
Кросс-валидизация
Кросс-валидизация
«Попытка подогнать цифру под то или другое предвзятое мнение есть
«Попытка подогнать цифру под то или другое предвзятое мнение есть
Советы В. М. Аллахвердова (2005: «Блеск и нищета эмпирической
Советы В. М. Аллахвердова (2005: «Блеск и нищета эмпирической
Проблема факторного анализа
Проблема факторного анализа
Выбор метода
Выбор метода
Написание текста
Написание текста
Виды текстов по содержанию
Виды текстов по содержанию
Структура статьи с эмпирическим исследованием (по APA)
Структура статьи с эмпирическим исследованием (по APA)
Представление эмпирических данных по стандартам APA
Представление эмпирических данных по стандартам APA
Советы по представлению данных эмпирического исследования
Советы по представлению данных эмпирического исследования
Этические стандарты
Этические стандарты
Только один вопрос
Только один вопрос
Где публиковать
Где публиковать
Куда податься
Куда податься
Качество публикаций
Качество публикаций
Рецензирование
Рецензирование
Оценка
Оценка
Reject – не приговор статье, а всего лишь пессимистическое мнение
Reject – не приговор статье, а всего лишь пессимистическое мнение
Возражения рецензентов
Возражения рецензентов
Выбор журнала
Выбор журнала
Цитирование
Цитирование
Типичные ошибки
Типичные ошибки
Оценка своего исследования
Оценка своего исследования
Типичные ошибки авторов
Типичные ошибки авторов
Типичные ошибки авторов
Типичные ошибки авторов
Типичные ошибки авторов
Типичные ошибки авторов
Типичные ошибки авторов
Типичные ошибки авторов
Типичные ошибки авторов
Типичные ошибки авторов
Sternberg: Критерии качества теорий
Sternberg: Критерии качества теорий
Sternberg & Grigorenko: Методы
Sternberg & Grigorenko: Методы
Sternberg & Grigorenko: Методы
Sternberg & Grigorenko: Методы
Sternberg & Grigorenko: Методы
Sternberg & Grigorenko: Методы
Sternberg & Grigorenko: Методы
Sternberg & Grigorenko: Методы
Sternberg & Grigorenko: Методы
Sternberg & Grigorenko: Методы
Спасибо за внимание
Спасибо за внимание

Презентация на тему: «Основные проблемные аспекты методологии научных исследований: как сделать хорошее исследование». Автор: Evgeny Osin. Файл: «Основные проблемные аспекты методологии научных исследований: как сделать хорошее исследование.pptx». Размер zip-архива: 6386 КБ.

Основные проблемные аспекты методологии научных исследований: как сделать хорошее исследование

содержание презентации «Основные проблемные аспекты методологии научных исследований: как сделать хорошее исследование.pptx»
СлайдТекст
1 Основные проблемные аспекты методологии научных исследований: как

Основные проблемные аспекты методологии научных исследований: как

сделать хорошее исследование?

Евгений Осин, НИУ ВШЭ, 2013 eosin@hse.ru

2 С чего начинается исследование

С чего начинается исследование

Научная проблема, или исследовательский вопрос.

Любой вопрос (даже бредовый), касающийся некоторого психического (социального, экономического…) явления.

3 Этапы научного исследования (самая простая из сотен тысяч разных схем)

Этапы научного исследования (самая простая из сотен тысяч разных схем)

Теоретический анализ

Формулировка гипотез

Проблема!

Методы: - что?.. - как?.. - где?.. - с кем?.. …мы будем изучать?

Оценка результатов

Публикация!..

Сбор данных ?? Анализ данных

4 Научная проблема

Научная проблема

Исследовательский вопрос = проблема исследования ? Является ли проблема исследования научной проблемой? Шансы на успех зависят от того, как она поставлена: используются ли научные понятия, опирается ли она на научную картину реальности? соотносится ли она с существующими теориями, релевантна ли актуальному научному дискурсу? (однако Вы можете поставить новую научную проблему, преодолев инерцию научного сообщества) актуальна ли она с точки зрения социума? (готов ли кто-то дать на это денег?)

5 Вопросы и типы исследования

Вопросы и типы исследования

«Количественные»

«Качественные»

Есть ли связь…? Есть ли различия в… в зависимости от …?

Как…? (? описать процесс, ситуацию) Зачем…? (цели людей)

Некоторые варианты постановки вопросов сразу предполагают определённый тип исследования

Иногда просто нет смысла использовать методы определённого типа, если проблема (вопрос) исследования не сформулирована «под них».

6 По цели исследования бывают…

По цели исследования бывают…

Поисковое (изучение неизученного процесса, поиск закономерностей) Подтверждающее (воспроизведение ранее полученного факта) Критическое (спланированная проверка определённой модели, положения теории)

7 Выбор проблемы исследования

Выбор проблемы исследования

8 Теория

Теория

9 Зачем нам теория

Зачем нам теория

Два варианта развития научного поиска: Теория ? Проблема ? Выбор феномена ? Исследование феномена ? Интерпретация фактов Феномен ? Проблема ? Исследование феномена ? Интерпретация фактов ? Теория

10 Зачем нам нужен теоретический обзор

Зачем нам нужен теоретический обзор

Убедиться в том, что наше исследование актуально и мы не «изобретаем велосипед». Рассмотреть различные варианты постановки интересующей нас проблемы. Рассмотреть различные подходы и методы изучения интересующей нас проблемы. Обобщить существующие теоретические знания и накопленные эмпирические данные.

11 Виды теоретических обзоров

Виды теоретических обзоров

Теоретический обзор как необходимая основа любого эмпирического исследования: из него вытекает, зачем Вы проводите своё исследование и почему делаете это именно так; Теоретический обзор как особый вид аналитической работы: прояснение того, как ставится та или иная проблема в науке; обобщение предыдущих исследований в форме «дайджеста» для читателей; выявление связей, противоречий, «белых пятен» и несоответствий в имеющейся литературе; наметить следующие шаги в решении проблемы (Eisenberg, 2000).

12 Характеристики хорошего обзора

Характеристики хорошего обзора

Широта круга источников Глубина анализа источников Релевантность источников Аккуратность в интерпретациях Критика существующих позиций Качественное обобщение Логичная структура (A->B->C) Эффективность: качество/объём

13 Варианты организации обзора

Варианты организации обзора

По логике теории: основные идеи теории ? частные теории, модели… По исторической логике: Платон ? … ? Вундт ? … ? Пупкин От феноменов: есть А, есть Б ? сопоставление, проблема «Как получится»: Nancy Eisenberg: нет единого «правильного» способа структурировать обзор литературы.

14 Этапы создания обзора

Этапы создания обзора

Определение проблемного поля Постановка вопросов (целей) Поиск и определение круга источников «Путешествие по ссылкам» Структурирование Анализ и обобщение

15 Ресурсы для поиска литературы

Ресурсы для поиска литературы

Поисковые системы: Google Scholar Базы научных статей: базы издательств (hse.ru ? Электронные ресурсы библиотеки): APA, Elsevier, Wiley, etc. базы-«агрегаторы», такие как EBSCO Индексы цитирования: Мировых два: Scopus и ISI Web of Science Российский индекс научного цитирования (РИНЦ): ELibrary.ru Разнообразные источники: Google ? Wikipedia, … … … … … библиотека!

16 Основные проблемные аспекты методологии научных исследований: как
17 Как быстро сориентироваться в теме

Как быстро сориентироваться в теме

Электронные ресурсы библиотеки ? Scopus Вводим ключевые слова Сортируем найденные статьи по убыванию кол-ва цитирований Просматриваем первые 10-20-… (в зависимости от наличия времени) статей; в первую очередь, читаем обзоры и мета-анализы

18 Рекомендуемый алгоритм поиска

Рекомендуемый алгоритм поиска

Ищем по ключевым словам нужные статьи в Scopus / ISI Web of Science. По кнопке HSE_FullText переходим к статьям (если ссылка работает). Либо проверяем, есть ли журнал в нашей подписке, через «A-to-Z сводный каталог» (если есть – там же выходим на нужную БД). Ищем по ключевым словам в Google Scholar (более широкий охват + ссылки на бесплатные ресурсы). Ищем в РИНЦ (elibrary.ru) и русскоязычных поисковых системах.

19 Создание обзора

Создание обзора

Даёт ли обзор исчерпывающую информацию о состоянии проблемы в науке, учитывает ли разные основные имеющиеся подходы и методы её решения? Является ли обзор достаточным обоснованием исследования: вытекает ли из него, что нужно провести именно такое исследование и именно так? Является ли текст обзора достаточно экономным (кратким), хорошо структурированным и читаемым?

20 Гипотезы

Гипотезы

21 От вопроса к гипотезе

От вопроса к гипотезе

Гипотеза – это конкретное предположение об изучаемой реальности: сформулированное на языке научных понятий (а не житейских терминов), предполагающих тот или иной вариант понимания изучаемой реальности; истинность которого между проверить теоретически, либо соответствие которого реальности можно проверить с помощью эмпирической процедуры. Хорошую гипотезу можно проверить. Плохую гипотезу проверить невозможно. (Хорошая гипотеза – когда неочевидно, подтвердится ли она…)

22 Определения понятий

Определения понятий

Чтобы сформулировать гипотезы, нам нужно дать определения понятий, опираясь на существующие теории или описания феноменов. Операциональное определение понятия (описывающее то, с чем мы можем/будем работать в исследовании) может не совпадать с теоретическим определением (описывающим понятие в целом): например, агрессивность можно операционально определить как наличие установок, выражающих враждебное отношение к другим.

23 От понятия к определению

От понятия к определению

Содержание понятия (в реальности)

Операциональное определение (в исследовании; зависит от задачи)

24 Гипотезы

Гипотезы

Теоретические гипотезы (противоречие в теории(ях) ? проверка теоретически) Эмпирические гипотезы (проверка опытом): о наличии явления («А был ли мальчик?»); о связях между явлениями; о причинно-следственной связи между явлениями. Статистические гипотезы (в терминах измеряемых переменных, проверка статистическая): Нулевая (основная) гипотеза (H0): «Мальчика не было». Альтернативная гипотеза (H1): нулевая гипотеза неверна.

25 Нужны ли нам гипотезы

Нужны ли нам гипотезы

Они обязательны, если исследование подтверждающее или критическое. В поисковом исследовании гипотезы по сути могут отсутствовать (но по форме, как правило, должны быть ? формулируем исследовательский вопрос в виде гипотезы). (Иногда руководители рекомендуют формулировать гипотезу после исследования… Хорошо ли это?)

26 Предмет и объект

Предмет и объект

Предмет = что нас реально интересует? Объект = с чем мы работаем в исследовании, чтобы это узнать? Как правило, П и О соотносятся как общее и частное: «Объект – люди…» – это слишком общо. Берите одну из областей феноменов психического. В западных (англоязычных) исследованиях П и О, как правило, никто не выделяет.

27 Гипотезы

Гипотезы

Ясны ли гипотезы? Проверяемы ли они? На какой теоретический контекст они опираются (и почему именно на этот)? Какие возможности операционализации данных гипотез существуют и почему выбрана именно эта?

28 Методы

Методы

29 Вопросы о методе

Вопросы о методе

Что и где мы будем изучать? Какие феномены? (сознания, поведения, …) Какие процедуры измерения? (? тип данных) В каких условиях? На какой выборке? Как мы это будем изучать? Каков общий план исследования? Какие методы анализа данных? Что конкретно для этого будем делать? Процедура исследования

30 План исследования

План исследования

31 Виды переменных – по отношению к гипотезам

Виды переменных – по отношению к гипотезам

Независимые переменные воздействуем

Зависимые переменные наблюдаем, измеряем

Исследуемая реальность

Побочные переменные контролируем (если можем) или хотя бы учитываем их влияние

Случайная ошибка, систематическая ошибка, cмешение

???

32 Типы исследований

Типы исследований

Эксперимент: есть воздействие, есть контроль побочных переменных ? можно делать выводы о причинно-следственных связях. Квазиэксперимент: есть воздействие, но нет полного контроля побочных переменных (в первую очередь, рандомизации испытуемых). Неэкспериментальное эмпирическое исследование: нет ни воздействия, ни контроля побочных переменных (коррел. исследование, лонгитюд и т.д.) ? причинно-следственный характер связей можно лишь предполагать.

33 Виды экспериментальных планов

Виды экспериментальных планов

Доэкспериментальные планы (для 1 независимой переменной) Экспериментальные планы: кросс-индивидуальные планы, когда разные уровни НП предъявляются разным группам испытуемых: для 1 НП; для 2 и более НП: факторные планы NxM; интраиндивидуальные планы, когда разные уровни НП предъявляются одним и тем же испытуемым последовательно: для 1 испытуемого.

34 Экспериментальные планы для одной независимой переменной (Д

Экспериментальные планы для одной независимой переменной (Д

Кэмпбелл)

Обозначения (по Д. Кэмпбеллу): R – рандомизация O – измерение (observation) ЗП X – воздействие (наличие) НП

Взаимодействие тестирования и воздействия

35 Кросс- и интра-

Кросс- и интра-

Кросс-индивидуальные планы включают несколько групп испытуемых (например, экспериментальная и контрольная). Группы должны быть эквивалентными. Для их формирования из выборки могут использоваться разные стратегии: рандомизация (бросаем монету, в какую группу); попарный отбор (сортируем людей по важному свойству и последовательно делим: 1-й – ЭГ, 2-й – КГ, 3-й – ЭГ и т.д.) стратометрический отбор (подбираем испытуемых в группы так, чтобы уравнять их по полу, возрасту и т.д.) Интраиндивидуальные планы включают одну группу испытуемых. Могут быть сложные смешанные планы.

36 Восемь угроз внутренней валидности по Д. Кэмпбеллу

Восемь угроз внутренней валидности по Д. Кэмпбеллу

Эффект истории (фона): события между воздействием и измерением Эффект созревания (естественного развития): испытуемые со временем развиваются Эффект тестирования (первое измерение влияет на результаты последующих) Погрешность измерения зависимой переменной Регрессия к среднему: группы, отобранные как контрастные по какому-то показателю, при повторном измерении покажут результат близкий к среднему Неэквивалентность групп: в силу индивидуальных различий группы испытуемых изначально различаются Эффект отсева или вымирания: со временем часть испытуемых выбывает из исследования Взаимодействие перечисленных факторов

37 Четыре угрозы внешней валидности (репрезентативности) по Д. Кэмпбеллу

Четыре угрозы внешней валидности (репрезентативности) по Д. Кэмпбеллу

Влияние тестирования: результаты эксперимента будут применимы лишь к людям, которые были протестированы Взаимодействие отбора и экспериментального воздействия: результаты применимы лишь к людям с определёнными характеристиками Условия организации эксперимента определяют реакцию испытуемых на эксперимент: результаты применимы лишь к людям в определённых условиях Взаимная интерференция (взаимовлияние) экспериментальных воздействий, если их несколько: результаты будут применимы лишь к людям, на которых воздействовали именно так (в таком порядке…)

38 Квазиэксперимент

Квазиэксперимент

Не полностью реализован экспериментальный контроль: исследователь не полностью контролирует, когда и/или кому и/или в каком порядке предъявляются воздействия. Оправдан в ситуациях, когда применение более совершенного (экспериментального) плана невозможно.

39 Корреляционный план исследования

Корреляционный план исследования

Задача – поиск взаимосвязей (и проверка статистических гипотез о взаимосвязях) между переменными (двумя и более). Нет воздействия ? нет «независимых» и «зависимых» переменных, но эти слова могут употребляться для обозначения логики анализа (зависимость чего от чего мы предполагаем). Нет возможности проверять гипотезы о причинно-следственном характере наблюдаемых взаимосвязей ? говорим не о «влиянии», а только о «взаимосвязи»!

40 Планы корреляционных исследований

Планы корреляционных исследований

Межгрупповые: сравнение выраженности признака(ов) или их взаимосвязей в двух (и более) группах; Внутригрупповые (repeated measures): план «одна группа в разных условиях» или в разные моменты времени.

41 Анализ динамических процессов в рамках корреляционного плана

Анализ динамических процессов в рамках корреляционного плана

Метод [поперечных] срезов: замер в один и тот же момент времени у разных когорт (возрастных групп, классов и пр.). Основная проблема: неэквивалентность групп (когортные различия). + Метод последовательных срезов (лонгитюд): одна и та же группа, замеры в разные моменты времени. Основная проблема: эффект тести-рования и проблемы с внешней валидностью. = Метод поперечно-последовательных срезов: несколько разных когорт отслеживается в разные моменты времени.

42 Метод поперечно-последовательных срезов

Метод поперечно-последовательных срезов

Соединение поперечной и последовательной стратегий позволяет исследователям выявлять как различия, связанные с возрастом, так и когортные различия. Цифры на пересечении года замера и года рождения обозначают возраст детей. (из Parke & Clarke-Stewart, 2011)

43 Выбор плана

Выбор плана

Выделены ли в гипотезах независимые и зависимые переменные? Говорят ли гипотезы о причинно-следственной связи явлений? Возможен ли истинный эксперимент и реализуем ли он на практике, с учётом ограниченных ресурсов? Какие угрозы внешней и внутренней валидности выводов связаны с выбранным вами планом? Есть ли возможности их контролировать? Какого рода исследования «ценятся» научным сообществом в данной области знаний?

44 Переменные

Переменные

45 Измерение

Измерение

И. – процедура приписывания психологическим объектам чисел таким образом, чтобы отношения между числами соответствовали отношениям между психологическими объектами.

46 Специфика психологических измерений

Специфика психологических измерений

Не всякая операция, применимая к числам, имеет смысл по отношению к исходным психологическим объектам ? нужны некоторые ограничения.

47 Виды шкал

Виды шкал

Номинативная (=) порядковая (=, >) интервальная (=, <>, 1) отношений (=, <>, 1, 0)

48 Особенности психологических измерений

Особенности психологических измерений

Измеряем ненаблюдаемые объекты ? озабочены валидностью наших измерений: то ли мы меряем?

В отличие от физических измерений, в психологии: субъективные шкалы оценки ненадежны; переменные сложны, их трудно операционализировать. ? нужно иметь много линеек = пунктов в шкале ? как понять, что вместе они вообще что-то меряют?

Инструмент физика:

Инструмент психолога:

49 Надёжность измерения

Надёжность измерения

Надёжность измерения – это доля дисперсии, связанной с измеряемым свойством, в дисперсии полученных значений (баллов по тесту). Если измерение ненадёжно, значит, шкала теста или опросника не позволяет измерять точно. Классическая тестовая теория ? альфа Кронбаха как показатель надёжности (недооценивает надёжность).

50 Связь надёжности теста с его стандартной ошибкой измерения

Связь надёжности теста с его стандартной ошибкой измерения

51 Некоторые проблемы классической тестовой теории (CTT)

Некоторые проблемы классической тестовой теории (CTT)

CTT исходит из того, что ошибка не связана с тестовым баллом. Но на самом деле точность измерения с использованием полученной с помощью CTT шкалы неравномерна: она максимальна для средних баллов и снижается по мере удаления от них (т.е., связана с тестовым баллом). На основе CTT мы просто складываем баллы по пунктам теста, но на самом деле у разных пунктов разная дисперсия ошибки: умножая их перед сложнением на некоторый коэффициент качества, можно повысить общую надежность шкалы. CTT (и альфа коэффициент) исходит из того, что вся общая дисперсия пунктов – это true score. Но на самом деле не вся общая дисперсия пунктов связана с измеряемым свойством (например: человек на все вопросы, независимо от их содержания, отвечает «да») => необходимо различать разные виды ошибки.

52 Item response theory: современная альтернатива CTT

Item response theory: современная альтернатива CTT

«Неклассическая тестовая теория» (IRT) опирается на более сложные регрессионные модели и преодолевает ряд ограничений CTT. Моделируются различные параметры пункта, определяющие ответ респондента на пункт (сложность, дискриминативность, «прозрачность» к угадыванию).

53 Достоинства IRT по сравнению с CTT

Достоинства IRT по сравнению с CTT

Можно отбирать в шкалу пункты, дающие высокую точность измерения в различных диапазонах измеряемого конструкта (CTT: точность максимальна возле среднего и сильно снижается по мере отдаления от него). Можно подбирать для каждого респондента пункты, дающие наиболее высокую точность в его диапазоне конструкта (например, для его уровня способностей), не утрачивая сопоставимости с баллами других респондентов (CTT: для сопоставления баллов каждый должен выполнить один и тот же набор заданий) => можно создавать компьютеризованные адаптивные тесты. => IRT даёт повышение точности и эффективности измерения (уменьшение необходимого количества заданий). Но при этом у IRT более высокие требования к объёму выборки.

54 Методы оценки надёжности

Методы оценки надёжности

Одномоментная надежность: split-half reliability: делим тест пополам и считаем корреляцию между половинами теста = устаревший метод; классическая тестовая теория => внутренняя согласованность теста, альфа-коэффициент Кронбаха; более современные коэффициенты на основе данных Item Response Theory, конфирматорного факторного анализа (ро Райкова). Ретестовая надежность: корреляция между результатами 2 замеров с помощью теста (с интервалом от 2 недель до года): метод пригоден, если измеряемое свойство не меняется (бесполезен, например, для тестов эмоций).

55 Разновидности ошибки

Разновидности ошибки

Случайная ошибка (random error): доля балла, не связанная с измеряемым свойством, различная для каждого пункта теста. Систематическая ошибка (bias): доля балла, не связанная с измеряемым свойством, но не случайная (действующая сходным образом на разные пункты). Случайная ошибка угрожает надёжности измерения, систематическая ошибка – скорее, его валидности: надёжность измерения: насколько точно мы что-то померили? валидность измерения: насколько мы померили то, что нам нужно – или что-то другое?

56 Виды валидности теста – 1

Виды валидности теста – 1

Конструктная в.: тот ли конструкт, который был теоретически заявлен и описан, измеряет наш тест? можно рассматривать этот вид валидности как наиболее общий, а остальные виды валидности – как его подвиды. Операциональная в.: измеряем ли мы конструкт тем способом, который позволяет его измерить? Конвергентная и дискриминантная (дивергентная) в.: как результаты нашего метода измерения соотносятся с другими данными измерений того же конструкта и других конструктов: для оценки этих видов в. Д. Кэмпбелл и Д. Фиске (1959) предложили тип исследования «multitrait-multimethod»: несколько конструктов x несколько методов измерения = матрица Multi-Trait-Multi-Method (MTMM).

57 Виды валидности теста – 2

Виды валидности теста – 2

Структурная в.: соответствует ли структура связей между пунктами теста теоретически ожидаемой? Критериальная в.: как результаты теста соотносятся с объективными (или поведенческими) данными? Прогностическая (предиктивная) в.: предсказывает ли наш показатель будущие объективные (или поведенческие) данные? Иногда говорят о «дискриминативной» валидности: насколько хорошо тест различает представителей разных подгрупп. В нашей классификации это критериальная валидность. Очевидная в. (face validity): очевидно ли из пунктов теста, что они измеряют? Экспертная в.: согласны ли эксперты в данной области с тем, что эти пункты позволяют измерить конструкт?

58 Валидность теста

Валидность теста

Л. Кронбах: валидность – свойство не самого теста, а решений, принимаемых на его основе в определённом контексте (ситуации, задач и т.д.) Как правило, под «коэффициентом валидности теста» имеют в виду его критериальную валидность (корреляцию с каким-то принципиально важным критерием): например, корреляция балла по тесту при отборе персонала с последующей успешностью человека в качестве сотрудника. Даже тест с низкой валидностью может быть практически полезным:

пример: т.н. таблицы Расселла-Тэйлора для принятия решений при отборе персонала (1939) .

В ячейках – доля отобранных кандидатов, которые окажутся успешными, при условии, что по умолчанию успешны 50% кандидатов.

Доля кандидатов, отбираемых на основе теста

Доля кандидатов, отбираемых на основе теста

Доля кандидатов, отбираемых на основе теста

Доля кандидатов, отбираемых на основе теста

R (крит. Вал.)

.10

.30

.50

.90

.00

.50

.50

.50

.50

.25

.67

.62

.58

.52

.50

.84

.74

.67

.54

59 Что угрожает валидности решений

Что угрожает валидности решений

[Случайная ошибка ?] низкая надёжность теста (А.Г. Шмелёв: ненадёжный тест не может быть валидным) [Систематическая ошибка (смешение измеряемого эффекта с другими) ?] низкая валидность показателя Ошибки при применении (выборе) теста (не то!); предъявлении теста (не так!); интерпретации баллов по тесту (не об этом!).

60 Чтобы снизить случайную ошибку (Guilford, 1959, Клайн, 1994):

Чтобы снизить случайную ошибку (Guilford, 1959, Клайн, 1994):

Вопросы (утверждения) должны быть понятными респондентам, не использовать сложной лексики; Утверждения должны быть недвусмысленными (содержать только одну мысль, а не две связанные); Утверждения должны быть одинаково применимы ко всем респондентам, независимо от гендера, соц.статуса и пр.; Вопросы должны быть конкретными (связанными с конкретным примером, а не заданными в общем); Вопросы не должны провоцировать у подавляющего большинства респондентов однозначный ответ (напр., «да»); Из вопросов (утверждений) не должно быть ясно, что они измеряют [ЕО: в наши дни от этой идеи отказались]; Вопросы не стоит формулировать в относительных (субъективных) терминах (часто…редко, нравится…не нравится); + Стоит обратить внимание на порядок и количество вопросов для снижения позиционных эффектов и усталости респондентов.

61 Виды систематической ошибки (bias) в пунктах субъективной оценки

Виды систематической ошибки (bias) в пунктах субъективной оценки

Ошибка центрации (mid-point responding) Ошибка сгущения (extreme responding, ER) Склонность к согласию (acquiescence, AR) Случайные ответы (random responding, pattern responding, RR) Социальная желательность (social desirability, SD): сознательное или неосознанное искажение ответов; мотивация: быть хорошим (аффилиация) или быть крутым (достижение).

62 Борьба с bias в опросниках, (методиках самоотчета):

Борьба с bias в опросниках, (методиках самоотчета):

Балансирование шкалы (прямые и обратные пункты – борьба с AR) Оптимальный подбор числа категорий для ответа (снижение ER) Пункты с очевидными ответами, напр. «Я умею читать» (выявление RR) Меры выявления, снижения и статистического контроля эффектов социальной желательности

63 Межгрупповая ошибка (bias)

Межгрупповая ошибка (bias)

Если в исследовании используется несколько групп, причиной межгрупповой ошибки может быть: неэквивалентность конструкта (в одной из культур такого понятия нет или оно связано с другими проявлениями); неэквивалентность выборок (по демографии…); неэквивалентность пунктов (отдельные пункты понимаются респондентами конкретной группы иначе). При использовании переводных инструментов в нескольких культурах необходимо оценить уровень их эквивалентности и вытекающие возможности и ограничения сопоставления данных.

64 Установление эквивалентности инструментов

Установление эквивалентности инструментов

Уровни эквивалентности: эквивалентность конструкта (структурная эквивалентность): одна и та же картина связей пунктов с латентными переменными (факторами) в двух культурах ? можно содержательно сопоставлять результаты; эквивалентность единицы измерения (эквивалентность шкалы): добавляется требование равенства нагрузок пунктов на факторы в двух культурах ? можно сопоставлять корреляции шкалы с другими и стандартизованные баллы; эквивалентность сырых баллов (полная эквивалентность): добавляется требование равенства остатков (и иногда дисперсий ошибки) пунктов в разных культурах ? можно сопоставлять сырые баллы. Методология: конфирматорный факторный анализ, IRT.

65 Переменные

Переменные

Являются ли измерения надёжными и валидными (в данных условиях)? Если используется несколько групп, являются ли измерительные инструменты эквивалентными?

66 Выборка

Выборка

67 Создание выборки

Создание выборки

Определитесь, насколько важна репрезентативность. Выберите оптимальную стратегию подбора: полностью случайный отбор (по списку); стратифицированный отбор; кластерный отбор; смешанные (двухуровневые стратегии); слабые: «снежный ком» / удобная выборка / добровольцы. Оцените потребный объем выборки с учётом: количества переменных, характера гипотез и планируемых методов анализа данных; размера интересующих вас эффектов и статистической мощности анализа. Рассмотрите возможность проведения исследования онлайн.

68 Статистическая мощность анализа

Статистическая мощность анализа

Уровень значимости: вероятность того, что мы приняли гипотезу H1, которая на самом деле неверна. Статистическая мощность анализа (1-?): вероятность того, что мы на выборке примем гипотезу H1, если на самом деле она верна (= шанс обнаружить эффект, если он на самом деле есть).

69 Уровень значимости

Уровень значимости

Достоверность взаимосвязи зависит: от её силы (чем больше r по модулю, тем больше шансов, что он будет значим); от объёма выборки (чем больше выборка, тем больше шансов, что r будет значим). ? на очень маленьких выборках даже для сильных взаимосвязей значимость может не достичь приемлемого уровня; ? на очень больших выборках даже очень слабые (и потому практически бессмысленные) взаимосвязи могут оказаться значимыми.

70 Статистическая мощность анализа

Статистическая мощность анализа

Зависит от… объёма выборки: чем он больше, тем она выше; размера эффекта: чем он сильнее, тем она выше; от выбранного критерия принятия решений о значимости: чем строже требование к уровню значимости, тем она ниже; от используемого статистического метода (для разных способов проверки одной и той же гипотезы она м.б. разной). Является критерием для определения объёма выборки с учётом размера ожидаемого эффекта. Важно! Только высокая мощность (0,95 и выше) даёт нам возможность делать достоверный вывод о том, что искомый эффект отсутствует (верна H0). При недостаточной статистической мощности подобный вывод является необоснованным (правильный вывод: мы не обнаружили эффект, но не можем сказать, есть он или нет).

71 Зависимость статистической мощности от размера выборки

Зависимость статистической мощности от размера выборки

72 Зависимость статистической мощности от силы взаимосвязи

Зависимость статистической мощности от силы взаимосвязи

73 Исследования в Интернет

Исследования в Интернет

74 Интернет в России

Интернет в России

Данные ФОМ, весна 2013

75 Проблема репрезентативности

Проблема репрезентативности

Выборки из Интернет имеют ограниченную репрезентативность по отношению к некоторым социальным группам, в первую очередь, людям: старших возрастов; с невысоким уровнем образования; с низким социально-экономическим статусом. Но для многих исследовательских задач это не является проблемой. Интернет-выборки принимаются в ведущих мировых журналах. Борьба с проблемой репрезентативности: балансировка выборки путём взвешивания наблюдений; проведение раздельного анализа на разных подвыборках (например, младшей и старшей ? сравнить результаты).

76 Выборка

Выборка

Достаточен ли объём выборки? Каков ожидаемый размер эффекта, какой будет статистическая мощность? Достаточно ли выборка репрезентативна относительно группы, на которую обобщаются результаты? Позволяет ли состав выборки (подгруппы) проверять нужные гипотезы планируемыми методами?

77 Анализ данных

Анализ данных

78 Шаги выбора метода

Шаги выбора метода

Определение набора исходных переменных и их места в анализе (есть ли независимые и зависимые). Определение шкалы, по которой они измерены и характера распределения (допустимы ли параметрические методы). Выбор оптимального метода из допустимых, с учётом объёма выборки.

79 Два вида методов

Два вида методов

Количественные: выявление общих закономерностей и статистическая оценка достоверности обобщений; познание частного случая на основе общих закономерностей.

Качественные: описание и анализ частного случая; познание общих закономерностей на основе частного случая.

80 Смешанная методология: зачем

Смешанная методология: зачем

(Greene, Caracelli, Graham)

Триангуляция: соответствие, подтверждение результатов одних методов другими. Дополнение: расширение, прояснение, иллюстрация результатов одних методов другими. Развитие: использование результатов одних методов для принятия решений о развитии дальнейших исследований другими методами (напр., решений о выборке, операционализации). Инициация: поиск парадоксов или противоречий, новых точек зрения благодаря пониманию результатов одних методов исходя из других. Экспансия: большая широта исследования благодаря использованию разных методов для решения разных отдельных вопросов.

81 Способы объединения качественных и количественных данных (Creswell)

Способы объединения качественных и количественных данных (Creswell)

82 Примеры качественных методов

Примеры качественных методов

Дескриптивный феноменологический анализ Интерпретативный феноменологический анализ «Тематический анализ», качественный контент-анализ Конверсационный анализ (conversation analysis) Дискурс-анализ (discourse analysis) Нарративный анализ и нарративное интервью Фокус-группы (focus groups) Обоснованная теория (grounded theory) Исследование действием (action research)

83 Процедуры повышения валидности качественных данных (Yardley)

Процедуры повышения валидности качественных данных (Yardley)

Триангуляция: сопоставление данных, полученных разными методами или от разных источников. Экспертное согласие: сравнение данных (картин реальности), полученных разными исследователями (экспертами). Обращение к респондентам: респонденты выступают в качестве экспертов, которые оценивают валидность полученной картины реальности. Анализ выпадающих случаев: выявление наблюдений (респондентов), не согласующихся с общей картиной. «Бумажный след» (paper trail): документированы все этапы анализа ? можно проследить его ход. Рефлексия собственных ценностей, ожиданий, представлений исследователя об изучаемой реальности.

84 Виды количественных методов

Виды количественных методов

Описательные статистики Методы проверки гипотез: гипотезы о соответствии теоретическому распред-ю; гипотезы о различиях эмпирических распределений ? критерии сравнения выборок; гипотезы о связях переменных ? корреляционный анализ, регрессионный анализ, … Методы поиска взаимосвязей: на наблюдаемых переменных: путевой анализ, многомерное шкалирование, эксплораторный факторный анализ, кластерный анализ, …; моделирование латентных переменных: структурное моделирование, IRT, анализ латентных классов, …

85 Проблемы статистических методов

Проблемы статистических методов

Статистические методы исходят из того, что наша выборка является случайной. Если она не такова, статистические методы могут вводить нас в заблуждение. Содержательная валидность выводов всех корреляционных методов зиждется на отсутствии неизмеренной третьей переменной, определяющей наши связи. Возможность артефактов.

86 Проблема множественных сравнений

Проблема множественных сравнений

Уровень значимости = 0,05: шанс того, что такая корреляция получена случайно, составляет 1 из 20. Если у вас в матрице 20 корреляций, значимых на уровне 0,05, то в среднем одна из них окажется случайной. Чем больше статистических гипотез вы проверяете, тем более жёсткий критерий принятия решения (уровень значимости 0,01 или даже 0,001) имеет смысл брать: существуют поправки для множественных сравнений, например, поправка Holme-Bonferroni; при простом выборе более жёсткого критерия снижается статистическая мощность анализа.

87 Другие возможные артефакты

Другие возможные артефакты

Корреляция двух переменных может объясняться влиянием третьей переменной (пример: у детей размер ноги и IQ связаны друг с другом, а реальная причина – связь обеих переменных с возрастом) ? расчёт частной корреляции. Объединение двух выборок с различающимися средними по обеим переменным может приводить к возникновению ложных корреляций на объединённой выборке ? проверять наличие различий в средних и в характере и степени взаимосвязи перед объединением. Наличие выбросов (наблюдений, существенно отклоняющихся от общих закономерностей) в данных на небольших выборках может приводить к появлению ложных корреляций или к снижению значений коэффициента корреляции ? проверка на нормальность, анализ графика разброса. Низкая надёжность наблюдаемых переменных приводит к снижению коэффициента корреляции ? коррекция аттенюации.

88 Источники артефактов

Источники артефактов

В исследовании не измерены (или не включены в модель) переменные, являющиеся общими причинами моделируемых переменных (? «spurious correlations»). Низкая надёжность измерений (Loehlin, 1998) – пример с частной корреляцией:

89 Источники артефактов: N выборки

Источники артефактов: N выборки

На малой выборке может не хватить статист. мощности для отвержения плохой модели. На малой выборке оценки параметров неточные, значимость параметров низкая. Стоит учитывать доверительные интервалы для статистик.

90 Артефакт объединения двух выборок (Наследов, 2004)

Артефакт объединения двух выборок (Наследов, 2004)

В каждой из выборок по отдельности корреляция отсутствует. В объединённой выборке она наблюдается.

91 Многоуровневый анализ

Многоуровневый анализ

Кросс-культурное исследование ? пример многоуровневых данных, когда в рамках общей выборки есть группы наблюдений (индивидов), свойства которых связаны друг с другом. Обычные статистические методы исходят из того, что наблюдения (= чаще всего индивиды) попарно независимы, и применение этих методов к подобным выборкам будет приводить к артефактам. В таких случаях необходим многоуровневый анализ.

92 Виды пропущенных данных

Виды пропущенных данных

MCAR (missing completely at random): пропущенность ни от чего не зависит (на практике это бывает редко). MAR (missing at random): пропущенность зависит от значений других измеренных переменных (x-variables). NMAR (not missing at random): пропущенность зависит от значений неизмеренных переменных, значения которых мы пытаемся оценить (y-variables).

93 Примеры:

Примеры:

MCAR – некоторые люди случайно отвлеклись при заполнении теста или не пришли на один из замеров; MAR – тест не заполнили некоторые люди с низкой conscientiousness, которую мы померили, или на пост-тест не пришли люди с высокими показателями претеста; NMAR – на пост-тест не пришли люди, которым не помог тренинг, эффективность которого нас интересует.

94 Работа с пропущенными данными: 1. Выявление

Работа с пропущенными данными: 1. Выявление

Подсчитать долю пропущенных данных: чем она больше, тем важнее с ними правильно обойтись при анализе. Проверка допущения MCAR: Little’s test в SPSS (значим => не MCAR). Проверка MAR: 1) создаём для каждой переменной dummy variable, обозначающую пропущенность (напр., 1=значение пропущено, 0=значение есть); 2) смотрим, есть ли значимые корреляции между переменными пропущенности (если да, то какова их факторная структура); 3) смотрим, коррелирует ли пропущенность со значениями измеренных переменных (если да, то имеет место как минимум MAR, или есть какая-то 3-я переменная, которая может определять это всё – надо это теоретически осмыслить).

95 Работа с пропущенными данными: 2. Коррекция

Работа с пропущенными данными: 2. Коррекция

Слабые методы, пригодные при условии MCAR и/или небольшом количестве пропущенных значений: casewise/listwise deletion ? теряется много данных; pairwise matrix ? хорош только если пропущенных очень мало; mean imputation: замена пропущенных значений средними ? уменьшает дисперсию, крайне не рекомендуется; regression imputation (факультативно: +error term), или предсказание пропущенных с введением ошибки (факультативно) ? не так уж плохо, если очень нужно. Сильные методы, пригодные при MAR: EM imputation: итеративная регрессия (пропущенные значения каждой переменной восстанавливаются на основе всех остальных по кругу, пока алгоритм не сойдётся на стабильных значениях) – можно делать в SPSS; более сложные: Multiple Imputation (генерируется несколько наборов данных, где пропущенные заменены ожидаемыми случайными значениями из распределений, результаты оценки моделей сравниваются). Full-Information Maximum Likelihood (в структурном моделировании): метод максимального праводоподобия с использованием только имеющейся информации, при этом пропущенные данные не заменяются как таковые: Если NMAR: использовать сильные методы и думать содержательно о том, почему данные пропущены.

96 Работа с пропущенными данными

Работа с пропущенными данными

Сильные методы, пригодные при MAR: EM imputation: итеративная регрессия (пропущенные значения каждой переменной восстанавливаются на основе всех остальных по кругу, пока алгоритм не сойдётся на стабильных значениях) – можно делать в SPSS; MI imputation: генерируется несколько наборов данных, где пропущенные заменены ожидаемыми случайными значениями из распределений, результаты проверки модели сравниваются (Mplus с Estimator=BAYES – годится для любых распределений). Full-Information Maximum Likelihood: метод максимального праводоподобия с использованием только имеющейся информации, при этом пропущенные данные не заменяются как таковые: EQS: надо создать dummy variable V999 с нагрузками на все переменные Mplus: используется по умолчанию при методах оценки ML/MLR (WLSMV всегда исходит из допущения MCAR!) Если NMAR: использовать сильные методы и думать содержательно о том, почему данные пропущены.

97 Кросс-валидизация

Кросс-валидизация

Если модель эксплораторная (построена отталкиваясь от данных), её кросс-валидизация необходима (иначе модель может включать артефакты = особенности конкретной выборки). Самый простой способ – делим выборку случайно пополам, на одной половине строим модель, на другой – проверяем. Для некоторых методов возможен bootstrapping (из выборки выбирается много случайных подвыборок ? более точные оценки ошибок и эффектов).

98 «Попытка подогнать цифру под то или другое предвзятое мнение есть

«Попытка подогнать цифру под то или другое предвзятое мнение есть

преступление уголовного характера» -- И. В. Сталин

(А попытка представить модель, полученную в результате долгих мучений с данными, как исходную теоретически обоснованную гипотезу – всего лишь мелкое научное жульничество) – ЕО

99 Советы В. М. Аллахвердова (2005: «Блеск и нищета эмпирической

Советы В. М. Аллахвердова (2005: «Блеск и нищета эмпирической

психологии»)

«Осмысленность вычислений статистических параметров не определяется используемыми математическими методами, правомерность применения математического аппарата должна специально содержательно обосновываться и проверяться». Любое обобщение полученных эмпирических результатов является внеэмпирической интерпретацией и должно независимо проверяться. Фиксируйте алгоритм обработки данных до начала анализа. Если в ходе анализа выяснится, что другой алгоритм работает лучше, применяйте его ко всем данным последовательно. Из всех способов обработки данных начинайте с простых (например, описательных статистик, анализа распределений, корреляций, сравнения средних), чтобы лучше понять ваши данные, и только потом переходите к более сложным.

100 Проблема факторного анализа

Проблема факторного анализа

«Проблема заключается в том, что ФА часто используется в ходе попыток “спасти” плохо спланированное исследование. В ситуациях, когда иные статистические процедуры не применимы, данные по крайней мере можно подвергнуть факторному анализу. Таким образом, в сознании многих многочисленные варианты ФА ассоциируются с сырыми исследованиями. Способность ФА и АГК создавать видимость порядка там, где реально имеет место хаос, вносит свой вклад в их подмоченную репутацию в качестве инструментов научного исследования» (Tabachnik & Fidell, 2007, p. 608-609)

Барбара Табачник Бывший профессиональный танцор живота, выдающийся художник и писатель, почётный профессор California State University, автор учебника Using Multivariate Statistics (в соавторстве с Линдой Фиделл).

101 Выбор метода

Выбор метода

Чем обоснован именно такой выбор методов? Соответствуют ли друг другу результаты разных методов? Как теоретически обоснована выбранная математическая модель? Соответствуют ли результаты полученным на других выборках? Каковы возможные источники артефактов, какие шаги предприняты для борьбы с ними, каковы возможные погрешности?

102 Написание текста

Написание текста

103 Виды текстов по содержанию

Виды текстов по содержанию

Эмпирические исследования Количественные Качественные Обзоры литературы Теоретические статьи Методологические статьи Case study

104 Структура статьи с эмпирическим исследованием (по APA)

Структура статьи с эмпирическим исследованием (по APA)

Название (title) Информация об авторах, аффилиация Аннотация (abstract) 150-250 слов Введение (introduction) Методы (methods) Aim, Design, Instruments, Procedure, Sample Результаты (results) Обсуждение (discussion) Литература (references) Приложения (appendices)

105 Представление эмпирических данных по стандартам APA

Представление эмпирических данных по стандартам APA

Cтандартный вид таблиц данных для наиболее популярных матметодов = легко разобраться. Давать не только результат проверки значимости, но и точную информацию о размере эффекта (для мета-анализа): например, для корреляции Z = r * корень(N), где Z – значение нормального распределения, соответствующее уровню значимости, N – количество наблюдений в выборке; соответственно, в публикации должны быть представлены как минимум 2 из 3 членов уравнения, чтобы при мета-анализе можно было рассчитать недостающий.

106 Советы по представлению данных эмпирического исследования

Советы по представлению данных эмпирического исследования

Давать в тексте полную информацию обо всех действиях по сбору и обработке данных, чтобы процедуру можно было повторить Давать в тексте полную информацию о результатах: уровень значимости и размер эффекта Представлять количественные данные в общепринятой форме (таблицы по стандартам APA) Не перегружать текст результатами: лучше выбрать самое важное и представить это как следует Можно разбить большое исследование на несколько публикаций, но нужно чётко указать, как они соотносятся друг с другом (не должны повторять)

107 Этические стандарты

Этические стандарты

Использованы ли процедуры защиты прав респондентов? Рекомендуется: право на добровольное участие ? информированное согласие; право на информацию, благополучие ? дебрифинг; право частной жизни ? конфиденциальность, защита личных данных. Нет ли нарушений научной этики? Необходимо: убедиться, что не допущен плагиат; верное указание авторства, аффилиаций. Нет ли нарушений авторских прав? Необходимо: убедиться, что есть разрешение на использование чужих инструментов, примеров и пр. Нужно/есть ли одобрение этической комиссии (IRB)?

108 Только один вопрос

Только один вопрос

Выглядит ли моя статья (по структуре, оформлению) так же, как действительно хорошие статьи в действительно хороших журналах?

109 Где публиковать

Где публиковать

110 Куда податься

Куда податься

Статьи в рецензируемых журналах Статьи в нерецензируемых журналах, в сборниках статей Авторские монографии Тезисы в сборниках тезисов Отчёты о научно- исследовательской работе Препринты, неопубликованные рукописи

111 Качество публикаций

Качество публикаций

Определяется не статусом и авторитетом автора, а качеством экспертизы (рецензирования) материала: статью в рецензируемом журнале или диссертацию оценивают как минимум 3 человека (автор + 2 и более рецензента); статью в нерецензируемом журнале оценивает 1 человек (редактор); научную монографию в хорошем издательстве оценивают несколько человек (рецензенты), в плохом – никто; учебник – как повезёт.

112 Рецензирование

Рецензирование

Западные журналы peer-review: 2-4 рецензента + редактор. От 2 недель до 3 месяцев, 1-3 варианта. Российские журналы ВАК: чаще всего 1 рецензент + редактор (или даже только редактор). Около 3 месяцев, чаще всего 1 итерация.

113 Оценка

Оценка

Accept Accept with Minor Revisions R & R (Revise and Resubmit) Major Revision Reject Если 2 рецензента не согласны, 3-ю рецензию даёт редактор. Редактор может также сразу отвергнуть статью без рецензирования.

114 Reject – не приговор статье, а всего лишь пессимистическое мнение

Reject – не приговор статье, а всего лишь пессимистическое мнение

редактора относительно возможности и желания автора привести статью в приемлемый для данного журнала вид за относительно небольшой промежуток времени. Даже безнадёжно плохую статью часто можно «спасти», вопрос в том, ценой каких усилий.

115 Возражения рецензентов

Возражения рецензентов

Рецензенты и редактор хотят помочь вам улучшить вашу статью. У них может быть своя, узкая точка зрения на вашу предметную область. Вы можете внести в статью изменения или мягко поспорить с возражениями по отдельным пунктам, хорошо аргументируя свою позицию ссылками.

116 Выбор журнала

Выбор журнала

Поиск подходящих журналов: Индексы цитирования: Impact Factors по Web of Science / Scopus, РИНЦ Определить круг возможных журналов, примерно ознакомиться с их стандартами, почитать типичные статьи, оценить свои шансы с учётом их rejection rate Выбрать приоритетный журнал, подробно ознакомиться со стандартами оформления

117 Цитирование

Цитирование

Чем больше людей прочтут вашу статью, тем больше шансов, что её процитируют. Для этого она должна быть в достаточно хорошем и достаточно доступном журнале. Легче всего найти статью в журнале открытого доступа (open-access). Главы в монографиях цитируются хуже.

118 Типичные ошибки

Типичные ошибки

Статья подаётся в журнал, для которого она не подходит по тематике или типу исследований (обзоры, эксперименты, серии экспериментов, репликации, корреляционные исследования…) Статья подаётся в журнал слишком высокого уровня (но часто ничего не теряем, т.к. в таких журналах обычно быстрый отказ). Статья не оформлена по стандартам конкретного журнала.

119 Оценка своего исследования

Оценка своего исследования

Публикуются ли исследования с таким планом, выборкой, результатами в журнале такого уровня? Убедиться, что ваш математический анализ проведён эффективно и валидно. Чётко определить те исследования и результаты, которые вы хотите представить. Можно определить общую идею и выстроить статью вокруг неё.

120 Типичные ошибки авторов

Типичные ошибки авторов

121 Типичные ошибки авторов

Типичные ошибки авторов

Автор «изобрёл велосипед»: решает проблему 1960-х годов методами 1930-х Автор не рефлексирует сущностный характер того, что он изучает, или множит сущности Автор строит теорию, которая становится для него самоцелью Автор не утруждает себя идентификацией своего места в контексте науки и не задумывается о том, понятен ли его текст

122 Типичные ошибки авторов

Типичные ошибки авторов

Автор не осознаёт ограничения выбранного плана исследования и не думает о других возможностях Автор не задумывается о качестве и адаптации измерительных инструментов Автор не задумывается о необходимости валидизации своих экспертных процедур Автор использует заведомо неадекватную целям или нерепрезентативную выборку

123 Типичные ошибки авторов

Типичные ошибки авторов

Автор не описывает процедуру сбора данных Автор недостаточно полно описывает данные и/или свои шаги по их анализу Автор ненавидит статистику и использует одни лишь корреляции или вообще ничего Автор не задумывается о статистической мощности своего анализа Автор забывает об условиях применимости матметодов

124 Типичные ошибки авторов

Типичные ошибки авторов

Автор думает, что хорошая статистика гарантирует достоверные выводы Автор не осознаёт или умышленно не обсуждает ограничений своего исследования Автор не стремится получить обратную связь о своих результатах от коллег до публикации

125 Sternberg: Критерии качества теорий

Sternberg: Критерии качества теорий

Clarity and detail original substantive contribution (8 видов) relation to past work falsifiability generalizability discriminability internal consistency correspondence to past data prediction parsimony excitement

126 Sternberg & Grigorenko: Методы

Sternberg & Grigorenko: Методы

Выборка Достаточный ли объём? Подходящая ли популяция использована? Сбалансирована ли выборка по демографии? Для лонгитюдов: есть ли выпадение, сторонние эффекты смешения? Для срезов: сравнимы ли когорты? Подходят ли методики для разных возрастных групп?

127 Sternberg & Grigorenko: Методы

Sternberg & Grigorenko: Методы

Материалы Подходят ли материалы для респондентов? Понятны ли материалы респондентам так, как понимает их экспериментатор? Мотивированы ли респонденты? Адекватно ли материалы операционализируют изучаемые теоретические конструкты? Удовлетворительно ли описание материалов?

128 Sternberg & Grigorenko: Методы

Sternberg & Grigorenko: Методы

План исследования Каков принцип разбиения на группы? Есть ли контрольные группы? Продуман ли в целом дизайн? Подходит ли зависимая переменная к гипотезам и соответствует ли выводам? Подходят ли независимые переменные гипотезам и выводам?

129 Sternberg & Grigorenko: Методы

Sternberg & Grigorenko: Методы

Процедура Чётко ли показана процедура? Нет ли пропущенных шагов? Подходит ли процедура для гипотез? Описано ли оборудование? Выполнены ли этические нормы (информированное согласие, дебрифинг). Было ли что-то неэтичное в исследовании? Подходит ли процедура респондентам? Если были ошибки, влияют ли они на валидность?

130 Sternberg & Grigorenko: Методы

Sternberg & Grigorenko: Методы

Гипотезы Ясно ли, как гипотезы следуют из теории? Соответствуют ли гипотезы имеющимся данным? Если нет, объясняется ли это? Правдоподобны ли гипотезы? Интересны ли гипотезы? Согласуются ли гипотезы друг с другом? Проверяемы ли они?

131 Спасибо за внимание

Спасибо за внимание

«Основные проблемные аспекты методологии научных исследований: как сделать хорошее исследование»
http://900igr.net/prezentacija/ekonomika/osnovnye-problemnye-aspekty-metodologii-nauchnykh-issledovanij-kak-sdelat-khoroshee-issledovanie-117568.html
cсылка на страницу

Макроэкономика

23 презентации о макроэкономике
Урок

Экономика

125 тем
Слайды
900igr.net > Презентации по экономике > Макроэкономика > Основные проблемные аспекты методологии научных исследований: как сделать хорошее исследование