например, испытуемый путает латинские буквы "р" и "Ь", или "d"
и "Ь", и тому подобное. Однако следует заметить, что оценка выпол-
нения заданий в форме "правильно" и "неправильно" также указала
бы на этот факт. Можно утверждать, что содержательный критерий
не всегда является полезным методом для оценки показателей тестов:
в любом случае, сфера его использования ограничивается только
тестами достижений.
Прогнозирование критерия
Вторым методом интерпретации показателей, отличным от ис-
пользования норм, является построение серий таблиц ожиданий, в
которых указывается вероятность того, что испытуемые, получив-
шие некоторый показатель по тесту, достигнут критериального пока-
зателя. Здесь существует несколько заслуживающих рассмотрения
моментов. Во-первых, этот метод применим только тогда, когда воз-
можно явное определение некоторого критериального показателя.
Это чаще всего имеет место при тестировании результатов обучения,
когда могут быть получены экзаменационные оценки и степени. Ана-
логичные показатели возможны в промышленности, где для профот-
бора используются экзамены и разного рода рейтинговые процедуры.
В инженерной психологии могут использоваться предоставляемые
контролирующими лицами (экспертами) рейтинги успехов в работе,
хотя надежность и валидность таких критериев может подвергаться
сомнению.
И во-вторых, значения этих вероятностей должны определяться
экспериментально. Чтобы сделать это, должны быть проведены круп-
номасштабные исследования на соответствующих популяциях. Это,
конечно, приводит к тем же самым проблемам формирования выбо-
рок, которые обсуждались при рассмотрении выборок для определе-
ния норм. В этом смысле значения вероятностей из таблиц ожиданий
- это также нормативные данные. Вместо стандартных показателей
для отдельных групп или группового среднего и стандартного откло-
нения, представлены вероятности достижения некоторого критери-
ального показателя.
В-третьих, таблицы ожиданий иллюстрируют с особой ясностью
дилемму практической психологии: различие между статистическим
и индивидуальным прогнозом. Если конкретному показателю по тес-
ту соответствует вероятность 0,38 успешной сдачи конкретного экза-
мена, то это означает, что 38% испытуемых с таким показателем (в
нормативной группе) успешно пройдут этот экзамен. Имеется в ви-
ду, что 38 % испытуемых с таким показателем смогут сдать экзамен
- но какие 38 % ? Имея дело с отдельными индивидуумами в практи-
ческих приложениях психологии, трудно интерпретировать такие
статистические предсказания. Однако, отсев испытуемого с таким
показателем будет вообще-то означать, что производящий отбор бу-
дет чаще прав, чем неправ. В этом смысле такие цифры полезны, но
только в этом смысле. Недейственность статистических прогнозов в
индивидуальных случаях имеет место для большинства норматив-
ных исследований в психометрии. Это непосредственно очевидно и в
случае с таблицами ожиданий, которые, казалось бы, предоставляют
230
такие явные прогнозы. Разработчики тестов должны иметь это в
виду, прежде чем браться за составление таких таблиц.
ШАГИ ВЫЧИСЛЕНИЯ ТАБЛИЦЫ ОЖИДАНИЙ
(1) Получите показатели для данной выборки по тесту и по кри-
терию.
(2) Разделите показатели по критерию на значимые группы, на-
пример, на удовлетворительные и неудовлетворительные.
(3) Разделите показатели по тесту на категории так, чтобы в
каждой категории было большое количество показателей. Наилуч-
шим способом будет деление на категории с равным количеством
показателей, за исключением крайних интервалов.
(4) Затем строится таблица, в которой показывается частота (т.е.
количество) показателей в каждой категории:
Таблица 8.3
КатегорияКритерийОбщее
УдовлетворительныеНеудовлетворительныеколичество
1хУх+у
2zаz+a
3bсb+c
(5) Для каждой категории вычислите долю случаев, удовлетвори-
тельных и неудовлетворительных относительно данного критерия;
например, для категории 2 вычислите отношение z к а + z или а к
a+z.
(6) Затем может быть построена таблица ожиданий, в которой
вместо частоты в качестве элементов указываются вычисленные от-
ношения, которые представляют вероятность того, что испытуемые с
некоторым показателем по тесту будут иметь удовлетворительные
или не удовлетворительные показатели по критерию.
Замечание . Очевидно, что при использовании этого метода значимость таблицы
ожиданий зависит от качества и объема конкретной выборки. При неадекватном
формировании выборки результаты метода будут незначимыми из-за больших
выборочных погрешностей.
АЛЬТЕРНАТИВНЫЙ МЕТОД КОНСТРУИРОВАНИЯ ТАБЛИ-
ЦЫ ОЖИДАНИЙ
Шаги (1) - (3) выполняются так, как указано выше.
(4) Для каждой категории показателей теста представьте значе-
ния среднего и стандартного отклонения по показателю для данного
критерия. Однако, если только корреляция между тестом и критери-
ем не является высокой, по всей вероятности будет настолько много
231
пересечений между средними значениями для категорий, что их
практическое значение будет не очень высоким.
УРАВНЕНИЕ РЕГРЕССИИ КАК МЕТОД ВЫЧИСЛЕНИЯ ТАБ-
ЛИЦ ОЖИДАНИЙ
В рамках данного метода уравнение регрессии используется для
прогноза критериального показателя по показателям теста. Вычис-
ления для этого подхода более сложные, но тем не менее они легко
могут быть выполнены при помощи электронного калькулятора.
Программа для компьютера будет, конечно же, более быстродейст-
вующей и простой.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114