ТОП авторов и книг ИСКАТЬ КНИГУ В БИБЛИОТЕКЕ
Истинно это или нет, зависит от
подбора адекватной выборки испытуемых в исследованиях надежно-
сти.
Решающее значение при формировании такой выборки имеют две
переменные.
Объем выборки
Поскольку, как и любая другая статистическая величина, стан-
дартная погрешность коэффициента корреляции связана с объемом
169
выборки, на которой она была получена, то вполне естественно, что
должны использоваться большие выборки, чтобы минимизировать
погрешность такого рода. Решение вопроса о том, каков минималь-
ный объем выборки, позволяющий пренебречь этим источником по-
грешности, является до некоторой степени произвольным. GuiSford
(1956), обсуждая этот момент по отношению к факторному анализу,
предполагает в качестве минимума 200 испытуемых. Nunnally
(1978), несколько более строго, говорит о 300. Автор этой книги
исследовал стандартные погрешности корреляций при указанных
объемах выборки и пришел к выводу, что с выборкой из 200 испыту-
емых этот источник погрешностей уже можно не принимать в расчет.
Таким образом, рекомендуется, чтобы исследования надежности те-
стов выполнялись на выборках с объемом не менее 200, хотя и жела-
тельны большие объемы. Для точности вычислений по формуле К-
R20, в которой используется процент от количества испытуемых,
давших ключевые ответы, необходимы большие выборки, и 200 - это
в данном случае, конечно, лишь желательный минимум.
Состав выборки
Однако, даже более важным, чем объем выборки, является ее
состав. Большая, но несоответствующая по составу, выборка может
дать нам полностью ошибочные значения надежности.
Во-первых, существенно, чтобы выборка отражала ту категорию
лиц (популяцию), для которой предназначен тест. Если мы разраба-
тываем тест для высококвалифицированных работников, то показа-
тели надежности должны быть получены именно на этой специали-
зированной выборке. Если тест предназначен для обычных граждан,
то наша выборка должна отражать данную категорию населения.
Аналогично, надежность теста, разработанного для нужд психиат-
рии, должна быть показана на соответствующих пациентах. Не име-
ет смысла доказывать, что тест для испытуемых с отклонениями от
нормы надежен, например, на выборке из школьников.
Для теста, предназначенного к использованию в разных группах,
часто полезно показать, что он надежен для каждой группы в отдель-
ности. Здесь допустимы объемы выборок ниже 200. Например, если
показана устойчивая, высокая надежность для выборок из 100 сту-
дентов, ЮОбывших пациентов психиатрической клиники и 100 шко-
льных учителей, тогда мы можембыть уверены, чтоонбудетнадежен
в этих группах. Обратите внимание, что одна конкретная выборка из
300 испытуемых нс была бы репрезентативной для каждой из этих
групп.
С точки зрения надежности тестирования, нет необходимости в
столь же тщательной комплектации выборок, как при стандартиза-
ЦЕИ (см. главу 8). Так, нет необходимости в том, чтобы выборка точно
отражала разнообразные параметры генеральной совокупности (все-
го населения). Однако, это не должны быть только студенты или
только почтовые служащие или лица из какой-либо другой особой
группы, которые, как это случается, могли быть протестированы.
Причина, по которой выборки должны отражать ту категорию
лиц, для которой разрабатывается тест, состоит в том, что для раз-
личных особых групп значение корреляций между заданиями могут
изменяться, как и дисперсии заданий. Так, если мы опять рассмотрим
формулу K-R20 (1.8)- особый случай коэффициента О. для дихото-
мических заданий:
k
k-l
PQ
(1.8)
то можем увидеть, что если изменяется дисперсия (О у), то изменяет-
ся и надежность. Таким образом, в случае теста способностей, если
мы дадим его испытуемым, для которых он будет слишком легким
или слишком трудным, дисперсия будет незначительной (все резуль-
таты теста будут либо правильными, либо неправильными). Анало-
гично, в зависимости от выборки, Р (доля правильных ответов) и,
следовательно, Q (Р ~ 1) будут различаться. Так, если мы предло-
жим тест, созданный для различения выраженности невротических
симптомов, тем испытуемым, которые не имеют отклонений от нор-
мы, значение Р будет низким, Q - высоким, а дисперсия - незна-
чительной, что и происходит с тестом ММР1 на выборках из нормаль-
ных испытуемых.
Выводы
Таким образом, существенно, чтобы надежность теста вычисля-
лась на релевантных выборках адекватного объема.
Вычисление коэффициентов надежности
В этом разделе будут описаны шаги, необходимые для вычисления
различных коэффициентов надежности, обсуждавшихся ранее.
Коэффициент а
Не может быть никакого сомнения в том, что коэффициент о. -
это наиболее эффективное средство измерения надежности примени-
тельно к классической модели погрешностей измерения, и s идеаль-
171
ных обстоятельствах (при наличии достаточного времени и средств)
он всегда должен быть рассчитан. Формула (1.7):
1 -
Scr?
(1.7)
где k - это количество заданий, О у - квадрат стандартного от-
клонения для всего теста, S(7?- сумма квадратов стандартных
отклонений для заданий.
Для дихотомических заданий может быть использована формула
K-R20 :
где "LPQ=0 и Р - доля испытуемых, давших ключевые
ответы на задания, aQ=l -Р.
ПРОЦЕДУРЫ ВЫЧИСЛЕНИЯ ПО ФОРМУЛЕ K-R20 ДЛЯ ТЕ-
СТА Y (ВЫЧИСЛЕНИЕ 5.1)
(1) Вычислите дисперсию для показателей теста. Это дает нам
.
(2) Вычислите долю испытуемых, давших ключевые ответы для
каждого задания. Это дает нам значение Р для каждого задания.
(3) Для каждого задания вычтите Р из 1.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114
подбора адекватной выборки испытуемых в исследованиях надежно-
сти.
Решающее значение при формировании такой выборки имеют две
переменные.
Объем выборки
Поскольку, как и любая другая статистическая величина, стан-
дартная погрешность коэффициента корреляции связана с объемом
169
выборки, на которой она была получена, то вполне естественно, что
должны использоваться большие выборки, чтобы минимизировать
погрешность такого рода. Решение вопроса о том, каков минималь-
ный объем выборки, позволяющий пренебречь этим источником по-
грешности, является до некоторой степени произвольным. GuiSford
(1956), обсуждая этот момент по отношению к факторному анализу,
предполагает в качестве минимума 200 испытуемых. Nunnally
(1978), несколько более строго, говорит о 300. Автор этой книги
исследовал стандартные погрешности корреляций при указанных
объемах выборки и пришел к выводу, что с выборкой из 200 испыту-
емых этот источник погрешностей уже можно не принимать в расчет.
Таким образом, рекомендуется, чтобы исследования надежности те-
стов выполнялись на выборках с объемом не менее 200, хотя и жела-
тельны большие объемы. Для точности вычислений по формуле К-
R20, в которой используется процент от количества испытуемых,
давших ключевые ответы, необходимы большие выборки, и 200 - это
в данном случае, конечно, лишь желательный минимум.
Состав выборки
Однако, даже более важным, чем объем выборки, является ее
состав. Большая, но несоответствующая по составу, выборка может
дать нам полностью ошибочные значения надежности.
Во-первых, существенно, чтобы выборка отражала ту категорию
лиц (популяцию), для которой предназначен тест. Если мы разраба-
тываем тест для высококвалифицированных работников, то показа-
тели надежности должны быть получены именно на этой специали-
зированной выборке. Если тест предназначен для обычных граждан,
то наша выборка должна отражать данную категорию населения.
Аналогично, надежность теста, разработанного для нужд психиат-
рии, должна быть показана на соответствующих пациентах. Не име-
ет смысла доказывать, что тест для испытуемых с отклонениями от
нормы надежен, например, на выборке из школьников.
Для теста, предназначенного к использованию в разных группах,
часто полезно показать, что он надежен для каждой группы в отдель-
ности. Здесь допустимы объемы выборок ниже 200. Например, если
показана устойчивая, высокая надежность для выборок из 100 сту-
дентов, ЮОбывших пациентов психиатрической клиники и 100 шко-
льных учителей, тогда мы можембыть уверены, чтоонбудетнадежен
в этих группах. Обратите внимание, что одна конкретная выборка из
300 испытуемых нс была бы репрезентативной для каждой из этих
групп.
С точки зрения надежности тестирования, нет необходимости в
столь же тщательной комплектации выборок, как при стандартиза-
ЦЕИ (см. главу 8). Так, нет необходимости в том, чтобы выборка точно
отражала разнообразные параметры генеральной совокупности (все-
го населения). Однако, это не должны быть только студенты или
только почтовые служащие или лица из какой-либо другой особой
группы, которые, как это случается, могли быть протестированы.
Причина, по которой выборки должны отражать ту категорию
лиц, для которой разрабатывается тест, состоит в том, что для раз-
личных особых групп значение корреляций между заданиями могут
изменяться, как и дисперсии заданий. Так, если мы опять рассмотрим
формулу K-R20 (1.8)- особый случай коэффициента О. для дихото-
мических заданий:
k
k-l
PQ
(1.8)
то можем увидеть, что если изменяется дисперсия (О у), то изменяет-
ся и надежность. Таким образом, в случае теста способностей, если
мы дадим его испытуемым, для которых он будет слишком легким
или слишком трудным, дисперсия будет незначительной (все резуль-
таты теста будут либо правильными, либо неправильными). Анало-
гично, в зависимости от выборки, Р (доля правильных ответов) и,
следовательно, Q (Р ~ 1) будут различаться. Так, если мы предло-
жим тест, созданный для различения выраженности невротических
симптомов, тем испытуемым, которые не имеют отклонений от нор-
мы, значение Р будет низким, Q - высоким, а дисперсия - незна-
чительной, что и происходит с тестом ММР1 на выборках из нормаль-
ных испытуемых.
Выводы
Таким образом, существенно, чтобы надежность теста вычисля-
лась на релевантных выборках адекватного объема.
Вычисление коэффициентов надежности
В этом разделе будут описаны шаги, необходимые для вычисления
различных коэффициентов надежности, обсуждавшихся ранее.
Коэффициент а
Не может быть никакого сомнения в том, что коэффициент о. -
это наиболее эффективное средство измерения надежности примени-
тельно к классической модели погрешностей измерения, и s идеаль-
171
ных обстоятельствах (при наличии достаточного времени и средств)
он всегда должен быть рассчитан. Формула (1.7):
1 -
Scr?
(1.7)
где k - это количество заданий, О у - квадрат стандартного от-
клонения для всего теста, S(7?- сумма квадратов стандартных
отклонений для заданий.
Для дихотомических заданий может быть использована формула
K-R20 :
где "LPQ=0 и Р - доля испытуемых, давших ключевые
ответы на задания, aQ=l -Р.
ПРОЦЕДУРЫ ВЫЧИСЛЕНИЯ ПО ФОРМУЛЕ K-R20 ДЛЯ ТЕ-
СТА Y (ВЫЧИСЛЕНИЕ 5.1)
(1) Вычислите дисперсию для показателей теста. Это дает нам
.
(2) Вычислите долю испытуемых, давших ключевые ответы для
каждого задания. Это дает нам значение Р для каждого задания.
(3) Для каждого задания вычтите Р из 1.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114