Эмпирическое исследование в педагогике: особенности количественных методов, уровни измерения или шкалы презентация

Измерения в педагогике
Измерение – процедура сравнения 2-х объектов, когда 1 выступает в роли эталона.
Специфика педагогических измерений: дискуссионность самого понятия измерения – проблема эталона
Количественные методы оперируют идеализированными объектами

Специфика количественных методов
Необходимость репрезентатиной выборки
Проблема объема выборки
Ошибки выборки
Возможность измерений разного уровня
Проблема ошибок измерений
Валидность измерений
Надежность измерений

Репрезентативность - генерализуемость
По способу формирования выборки делятся на:
Случайные
Экспертные
Квотные
На необходимый объем выборки влияют:
Гомогенность
«Размерность объекта исследования»
Требуемая точность

Об объеме выборок
Необходимые объемы выборок
для различных допустимых процентов ошибки выборки

Измерение
Измерение — это процедура, с помощью которой измеряемый объект сравнивается с некоторым эталоном и получает числовое выражение в определенном масштабе или шкале
Процедуры измерения – средства категоризации и упорядочивания явлений. Одни дают выявить более тонкие и детальные различия, чем другие.
Понятия уровня измерений и измерительной шкалы

Шкалы (по возрастанию «силы»), соответствующие разным уровням измерения
Номинальная (шкала наименований)
Порядковая (частный случай – ранговая)
Интервальная (метрическая шкала равных интервалов)
Пропорциональная ( шкала отношений, идеальная метрическая)

Номинальное измерение (номинальная шкала)
Номинальная шкала устанавливает отношения равенства между явлениями, которые включены в один класс
Пункты шкалы — эталоны качественной классификации свойств. Полезны, если они взаимоисключающие и исчерпывающие
Примеры: ?
Лед – вода – пар
Пол / Гендер

Номинальная шкала
Пример1. Группировка по перечню профессий
Пример2. Группировка по мотивам увольнения с работы

Номинальная шкала
Все элементы должны иметь единое основание для выделения
Отношения равенства между явлениями, которые включены в один класс
Операции с числами для номинальной шкалы :
Нахождение частот распределения по пунктам шкалы с помощью процентирования
Поиск средней тенденции по модальной частоте (Mo)

Номинальная шкала

Номинальная шкала
Установление взаимосвязи между рядами свойств, расположенных неупорядоченно, в данном случае является самым сильным способом количественного анализа.
С этой целью составляют перекрестные таблицы.
Критерий сопряженности признаков по Пирсону: хи-квадрат — простейший показатель обоснованности вывода о наличии или отсутствии связи между сопоставляемыми характеристиками, т. е. связанности качественных классификаций.

Порядковая и ранговая шкала
Порядковая (полностью упорядоченная) шкала наименований устанавливает отношения равенства между явлениями в каждом классе и отношения последовательности в понятиях ">" и "<" между всеми без исключения классами
«вполне согласен», «пожалуй, согласен», «затрудняюсь ответить», «пожалуй, не согласен», «совершенно не согласен»
Шкала Мооса, шкала Рихтера
Ранговая шкала (разновидность порядковой) предполагает полное упорядочение каких-то объектов от наиболее к наименее важному, значимому, предпочитаемому

Разновидности порядкового шкалирования
ранжирование (в ряд, может быть перевернут)
группировка (ранжирование по группам)
парное сравнение
метод рейтинга
метод полярных профилей
(можно использовать при разных методах сбора информации – анкетировании, интервью, наблюдении и др.)

Ранжирование методом парных сравнений

Рейтинг
Метод полярных профилей
Рейтинг. В этом приеме оценка объекта производится путем усреднения оценочных суждений группы компетентных экспертов. Имея общие критерии оценки (в порядковой шкале, в баллах), эксперты независимо друг от друга (в устной или письменной форме) выносят свои суждения. Усредненный результат экспертной оценки является достаточно объективным и иногда называется рейтингом.
Метод полярных профилей. Этот прием предполагает применение для оценки условной шкалы, крайними точными которой являются противоположные значения признака (например, добрый - злой, теплый - холодный и т. п.). Промежуток между полюсами делится на произвольное количество частей (баллов).
Пример. Оценка различных качеств учителя учениками дается в полярной шкале:
(Строгий) 10 - 9 - 8 - 7 - 6 - 5 - 4 - 3 - 2 - 1 (Совсем не строгий)

Порядковая шкала
Операции с числами для порядковой шкалы следующие:
Числа поддаются монотонным преобразованиям: их можно заменить другими с сохранением прежнего порядка
Возможен поиск средней тенденции с помощью медианы (Me), которая делит ранжированный ряд пополам
Наиболее сильный показатель для ранговых (порядковых) шкал — корреляция рангов (по Спирмену или по Кендаллу).

Интервальная шкала
Это полностью упорядоченный ряд с одинаковыми интервалами между пунктами, причем отсчет начинается с произвольно избранной величины (нет «естественного нуля» на шкале)
Возраст, доход, …
Операции с числами в интервальной метрической шкале допускают линейные преобразования: у=ах+b. Можно использовать коэффициент корреляции по Пирсону
Псевдометрические шкалы: балльные оценки, «Термометр общественного мнения» и т.п.- это по сути ранговые шкалы. Интервалы между «2», «3», «4» - на самом деле не равны!!!

Псевдометрические шкалы
Можно ли назвать корректным, например, утверждение о том, что знания учащихся в экспериментальных классах в среднем на 0,5 балла выше, чем в контрольных?
Пример «странного» изменения результата:

Шкала пропорциональных оценок (идеальная метрическая)
Отсчет в этой шкале начинается не с произвольной точки, а с экспериментально установленного нулевого пункта
Примеры: количество действий, ошибок, продуктов, протяженность во времени или пространстве и т.п.
Возможны все операции с числами

Нахождение эталона измерения осуществляется в четыре стадии:
Качественная классификация свойств объекта
Поиск протяженности выделенных в качественном анализе свойств
Установление эмпирических индикаторов
Проверка шкалы на применимость ко всем единицам измеряемого объекта
1
2
3
4
Поиск эталона измерения или конструирование шкалы

Цель первой стадии:
Классификация типов ориентаций личности
Основа для классификации:
Иерархия потребностей
Цель первой стадии:
Классификация типов ориентаций личности
Основа для классификации:
Сферы деятельности
Цель первой стадии:
Классификация типов ориентаций личности
Основа для классификации:
Социальные функции
Пример: Измерить структуру ценностных ориентаций личности
Собираясь измерить структуру ценностных ориентаций или социальных установок личности, мы прежде всего должны четко классифицировать типы ориентации, исходя из теоретической концепции и задач исследования
Можно положить в основу классификации иерархию потребностей или интересов, сфер деятельности, социальные функции, социальные ситуации, которые бы различались по степени свободы выбора целей и средств деятельности и т. д.
Теоретическаяконцепция
Задачи исследования
Первая стадия — качественная классификация свойств объекта

Следует установить, обладают ли эти свойства прерывной или непрерывной протяженностью, можно ли их представить в виде различных последовательных состояний измеряемого качества.
Рассмотрим с этой точки зрения какую-нибудь ценностную ориентацию (на материальный достаток, культурные ценности, творчество и др.). Ее можно "вытянуть" в несколько протяженностей — континуумов.
сильная—средняя—слабая
устойчивая—малоустойчивая— неустойчивая
господствующая—рядоположенная—подавленная
центральная или периферийная
В зависимости от концепции исследования можно выделить и другие протяженности.
Вторая стадия — поиск протяженности

Индикатор — внешне хорошо различимый показатель измеряемого признака. С его помощью устанавливается наличие или отсутствие признака, его состояние.
Например, высота ртутного столбика термометра — индикатор температуры.
Третья стадия — установление эмпирических индикаторов или внешних признаков тех свойств объекта, которые поддаются расположению в континуум

Простейший индикатор расположения какого-то объекта среди других объектов ориентации — порядковое место, отмечаемое опрашиваемым в заданном списке.
Например, из 18 объектов он помечает объект М порядковым номером 1. Этот номер — индикатор доминирования объекта М с точки зрения интересов субъекта (господствующая ориентация). Объект N, помеченный порядковым номером 18, будет располагаться в конце протяженности ("подавленная ориентация на N ").
Индикатор - порядковое место
Построение индикатора путем ранжирования

Сложнее найти индикатор для протяженности по критерию "сильные", "средние", "слабые" ориентации. Один из возможных вариантов таков.
Испытуемым предлагают три ситуации, различающиеся по степени свободы выбора.
В первой ситуации (широкий диапазон выбора) испытуемый выбирает без ограничения. Во второй ситуации (средний диапазон выбора) он оставляет в списке лишь шесть наиболее важных объектов, в третьем случае (узкий диапазон) — не более трех, для него особенно значимых.
Сильные: C, F, M. Средние: G, I, R. Слабые: A, P.
Использование метода выбора в нескольких ситуациях

Сложное первичное измерение - индекс
Пример: шкала Лайкерта.
Отношение к детям. 8-12 суждений
Считается сумма баллов

Пример.
Для исследования отношения рабочих к труду был взят в качестве индикатора показатель нормы выработки (значительно перевыполняет норму — перевыполняет — выполняет — не выполняет норму).
Вопрос: он применим ко всем рабочим? Труд некоторых рабочих оценивается по другим показателям: качеству работы прежде всего. Например, чем меньше времени тратит ремонтник на устранение текущих неполадок, тем выше качество профилактического ремонта.
Четвертая стадия — проверка шкалы на применимость ко всем единицам измеряемого объекта

Ошибки измерений
Ошибки – случайные и систематические
Возможные причины ошибок (при опросе):
Ответы зависят от интеллектуального уровня, от уровня знаний
Ответы зависят от настроения
Неоднозначность восприятия вопросов
Различия в условиях проведения опроса
Ошибки в инструкциях
Ошибки при кодировке, при вводе в компьютер

Валидность
Термин валидность используется для обозначения степени соответствия измерений понятиям, которые эти измерения должны отражать (действительно ли мы измеряем то, что предполагали измерять)
Чтобы быть валидным, измерение должно быть исчерпывающим и полным

Проверки измерений (показателей) на валидность
Необходим тщательный логический анализ альтернативных операционализаций понятий, анализ объекта исследования
Проверить валидность наших измерений для определения того, хороши ли они, можно лишь после того, как собраны данные
Сверить с результатами, полученными путем использования другого показателя, признанного в качестве валидного измерения соответствующего понятия
Сверить прогнозируемые результаты с реально наступившими
Убедить профессионалов, что это валидный показатель

Наиболее простой способ — логические рассуждения на основе опыта и здравого смысла.
Тест по «эталонной группе» – более сильный прием проверки инструмента на обоснованность. Смысл проверки — в сопоставлении данных, полученных путем измерения по шкале, с достоверными сведениями об объекте измерения.
Поиск независимого критерия как разновидность внешнего контроля надежности для измерения того же самого объекта или свойства.
Использование метода судей для отбора пунктов шкалы.
Построение индекса - совмещение нескольких показателей для регистрации определенного одного свойства.
Способы повышения обоснованности (валидность) измерения

Устойчивость
Устойчивость - воспроизводимость результатов при повторном наблюдении или на другой аналогичной выборке
Проверка на устойчивость:
Неоднократным тестированием инструмента на 1 группе
Тестированием на разных группах
Методом подвыборки

Точность и правильность измерения зависят от (а) степени устойчивости измеряемого объекта или свойства, (б) чувствительности эталона измерения (дробности пунктов шкалы), (в) отсутствия систематических ошибок измерения и (г) от устойчивости измерения.
Дробность метрики — чувствительность шкалы — прямо связана с точностью измерения.
Шкала в 10 делений измеряет точнее, чем в 5. Но дробность пунктов шкалы нельзя увеличивать беспредельно. Надо установить оптимум, удовлетворяющий двум требованиям: максимум градаций шкалы при условии высокой устойчивости результатов измерения.
Точность и правильность

Измерение может быть вполне точным и вместе с тем неправильным, постоянно воспроизводя какую-то систематическую ошибку.
Типичная ситуация — какие-то пункты «не работают». Например, при опросе все ответы концентрируются в позитивном или только в негативном полюсе шкалы. Шкала неудачна, если содержит пункты, сформулированные с сильным нормативным давлением на опрашиваемых. Например, может «не работать» крайне отрицательный пункт шкалы: он отпугивает. Вследствие этого шкала неправильна.
Другой причиной неправильности может быть плохая различительная способность соседних пунктов шкалы высокой дробности. «Срединная» часть такой шкалы будет крайне сомнительной, а вся шкала неточной и неправильной.
Точность и правильность

Обоснованность (валидность)
Устойчивость
Точность и правильность
Измерительная процедура проверяется на надежность

О восприятии шкал
Давать или не давать словесные наименования каждому элементу шкалы
Выбор длины шкалы
Насколько конкретный респондент способен воспринять шкалу – возможно, что он будет огрублять шкалу
Лучше опираться на достоверные и менее детальные сведения, чем на детальные и малодостоверные

Предварительная работа при построении шкал
Насколько тонко требуется оценить то или иное событие, отношение или процесс - возможно исследователю и не требуется слишком большая точность?
Насколько содержательно данное явление, чтобы изучать его по дробной шкале. Насколько обоснованно сущностью изучаемого явления применение длинных шкал?
Сможет ли респондент воспринять дробную шкалу? Насколько он восприимчив к данному явлению, насколько информирован, представляет ли оно интерес для респондента, каков порог его чувствительности?

О векторных («комплексных») оценках
Когда возможно оценивание по сумме очков, баллов? Практика оценки на педагогическую категорию, на конкурсах и т.д. Не наука!!!
Допустимо - суммарные затраты времени на выполнение учащимися отдельных заданий, или суммарное количество ошибок, допущенных учащимися при выполнении отдельных, относительно однородных заданий
Суммирование отметок – уже не строго
Лучше не использовать суммы и другие формулы

Шкалы и статистические критерии