Из этого рассмотрения должно быть ясно, что высокая надежность
по внутренней согласованности может противоречить высокой ва-
лидности тогда, когда измеряемая переменная охватывает широкую
область. Это утверждение, как мы уже видели, никоим образом не
обесценивает роль статистической теории погрешностей измерения,
из которой следует, что для того, чтобы результаты измерения не
зависели от погрешностей, существенно важно добиться высокого
значения надежности. Все зависит от значения истинных показате-
лей и состава генеральной совокупности заданий. Из этого следует,
что тест должен быть сделан настолько внутренне согласованным,
насколько возможно, но только не за счет ограничения содержания
заданий. Следовательно, при конструировании тестов необходимо
иметь четкое представление о заданиях, которые мы собираемся
включить в окончательную версию теста (в том, что касается их
содержания), а не просто отбирать из множества заданий те, которые
обеспечивают наибольшее значение надежности. В противном слу-
чае мы создадим тесты ложных особенностей (bloated specifics) (Cat-
tell, 1973). Таким образом, можно заключить, как это и предполага-
ется в нашей модели погрешностей измерения, что надежность явля-
ется существенной характеристикой, но не главной.
Источники неудовлетворительной надежности
Теперь мы должны обратиться к одному важному вопросу, с кото-
рым теория погрешностей измерения сталкивается, однако на реше-
ние которого она не направлена - к вопросу об источниках неудов-
летворительной надежности. Этот вопрос имеет огромное значение
для практики разработки тестов, вероятно даже большее, чем для
теории, поскольку если эти источники нам известны, то становится
возможным, по крайней мере в некоторых случаях, устранить их
влияние при помощи процедур конструирования тестов.
(1) Субъективное оценивание. Субъективное оценивание являет-
ся общим источником ошибок. При таком оценивании допускаются
различия между результатами различных экспериментаторов и меж-
ду результатами работы одного и того же экспериментатора в разных
случаях. Очевидно, что это снижает корреляции между заданиями и,
следовательно, резко уменьшает значение коэффициента а. Очевид-
ным решением этой проблемы будет использование только тех типов
заданий, результаты выполнения которых могут быть обработаны
объективно. При использовании таких заданий источником неудов-
летворительной надежности может стать только случайная ошибка
при подсчетах. Все полезные типы заданий для разных тестов уже
обсуждались в главах 2-4.
(2) Угадывание. Эта проблема обсуждалось уже в главе 2 (стр. 88).
Угадывание ответов испытуемыми действительно снижает надеж-
ность тестов. Однако, как указывалось, оно в основном влияет на
задания с ответами типа "истинно-ложно", использование которых
не рекомендуется в любом случае. При большом количестве заданий
влиянием угадывания вообще можно пренебречь.
(3) Понятные задания. Как указывалось в главе 3, использование
понятных, недвусмысленных заданий улучшает надежность лично-
стных тестов (стр. 97).
(4) Величина теста. Как было показано в главе 1 (стр. 36), чем
длиннее тест, тем он надежнее. Для удовлетворительной надежности
обычно достаточно двадцати заданий.
(5) Инструкции к тесту. Инструкции к тесту должны быть не-
двусмысленными и понятными. Неоднозначные инструкции приво-
дят к неудовлетворительной надежности. При помощи инструкций
можно легко изменять уровень трудности заданий. Например, с ин-
струкцией "составьте эту фигуру из четырех элементов", задание
выполнить легче, чем с инструкцией "составьте эту фигуру из эле-
168
ментов", если испытуемым предъявляется шесть элементов. Если
необходимо изменить инструкции, то следует заново провести все
статистические процедуры.
(6) Неудовлетворительная ретестовая надежность. Nunnally
( 1978) проводит различия между ошибками, встречающимися в рам-
ках проведения одного теста, и ошибками, появляющимися при тес-
тированиях, проведенных через определенный промежуток времени;
последние являются источником неудовлетворительной ретестовой
надежности. Очевидно, что здесь важными факторами являются из-
менения в условиях тестирования, а также вариации в самочувствии
обследуемых. Могут сыграть роль как субъективность оценивания
показателей, так и реальные различия между заданиями, если ис-
пользуются параллельные формы теста. Нельзя путать реальные
изменения в выраженности измеряемой переменной с неудовлетво-
рительной надежностью или погрешностью измерения.
(7) Другие источники ошибок. Другие источники ошибок при
измерениях исходят от испытуемых, а не от заданий теста. Достаточ-
но лишь упомянуть о них. Испытуемый может почувствовать себя
нехорошо в процессе работы над тестом, так что его производитель-
ность ухудшится. Для некоторых может быть слишком жарко или
слишком холодно в помещении. Испытуемые могут ошибиться в фор-
ме задания и, следовательно, указать неверные ответы, или они мо-
гут перевернуть две страницы одновременно, и таким образом про-
пустят ряд вопросов. Могут проявиться усталость, скука и повлиять
на результаты выполнения последних заданий. Очевидно, что суще-
ствует большое количество таких возможных причин ошибок.
Таковы основные источники ошибок в тестах, снижающие их
надежность.
Выборка испытуемых для изучения надежности
Все выводы, которые могут быть сделаны на основании надежно-
сти теста об отношении показателей теста к истинным показателям,
предполагают, конечно, что значения корреляций или дисперсий в
уравнениях являются точными.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114