Более того, чтобы удовлетворить статистические требования для по-
лучения наиболее статистически значимых оценок, необходимо по
крайней мере 1000 испытуемых. Но когда первоначальная оценка
заданий уже выполнена, шкалирование по Рашу уже является неза-
висимым от выборки, а все зависит от объема и репрезентативности
начальной выборки. Следовательно, она должна состоять как мини-
мум из 1000 испытуемых.
(3) Разбейте выборку на две группы: получивших высокие и низ-
кие показатели, причем все показатели испытуемых первой группы
должны быть выше любого из показателей испытуемых второй груп-
пы.
(4) Определите показатели по каждому заданию для каждого чле-
на этих групп следующим образом: 1 - правильное выполнение, 0 -
неправильное.
(5) Вычислите параметры модели Раша.
262
(6) Так как появляется ряд различных результатов, то они будут
изучаться отдельно.
(7) Компьютерная программа вычислений по модели Раша дает
значения коэффициентов трудности заданий вместе с их стандарт-
ными погрешностями, для каждого задания отдельно по двум груп-
пам. Считается, что задания удовлетворяют модели Раша, если их
показатели трудности в обеих группах одинаковы (в рамках стандар-
тной погрешности). Следует помнить, что эти группы совершенно
раздельны (в соответствии с их отбором, см. шаг 3) по отношению к
степени выраженности данной латентной черты. Обычные, нормаль-
ные показатели уровня трудности заданий должны будут показать,
что эти две группы никак не пересекаются.
(8) Отберите те задания, для которых в двух группах получены
одинаковые уровни трудности заданий.
(9) Если количество заданий недостаточное, сформулируйте дру-
гие задания в свете эффективных по модели Раша заданий. Следует
также изучить неудачные задания с целью их возможной коррекции,
чтобы увидеть и понять, почему задания не прошли отбор, и в даль-
нейшем избегать таких ловушек при формулировании заданий.
(10) Независимое от заданий измерение индивидуальных ка-
честв. Первые девять шагов связаны с анализом заданий по модели
Раша, дающим нам задания, имеющие одинаковые показатели уров-
ня трудности на двух совершенно отдельных выборках. Однако, те-
перь уже может быть выполнена вторая проверка (и гораздо более
важная, так как она составляет основную суть модели Раша). Дейст-
вительно ли различные подмножества заданий модели Раша дают
одинаковые показатели для индивидуумов или нет?
(11) Чтобы проверить, является ли измерение независимым от
заданий: (а) разделите задания модели Раша на две группы, одна из
которых должна содержать самые простые, а другая -самые трудные
задания. Очевидно, что средние показатели для испытуемых по двум
таким тестам будут различными.
(12) При помощи компьютерной программы найдите для каждого
испытуемого показатель по степени выраженности черты по каждому
тесту и связанную с ним стандартную погрешность измерения. Если
задания удовлетворяют модели Раша, каждый испытуемый в преде-
лах стандартной погрешности получит одинаковые показатели по
каждой группе заданий. Если испытуемые не получили одинаковые
показатели, следует эти задания удалить или переформулировать.
(13) Задания должны быть кросс-валидизированы. Задания, ото-
бранные ранее при помощи анализа по Рашу, должны быть предъяв-
лены новой выборке испытуемых для проверки их соответствия. Ра-
бота над тестом может считаться завершенной только тогда, когда
задания эффективно работают и на новых выборках.
(14) Если показатели испытуемых выходят за пределы эквивален-
тности по двум тестам, то это может происходить из-за угадывания
ответов, что является основной трудностью в применении модели
Раша (Nunnally, 1978). Мера, которую в этом случае можно принять
- улучшение качества дистракторов, что поможет избежать угады-
вания. Birnbaum (1968) разработал трехпараметрическую модель,
учитывающую возможность угадывания ответов, хотя Wood (1976)
утверждает, что это нарушает размерность модели.
(15) И, наконец, можно выполнить преобразование результатов
измерений уровня выраженности черты по шкалам Раша с интерва-
лом от +4 до -4 к шкале, показатели которой наиболее похожи на
получаемые при помощи обычных тестов. Это особенно важно, так
как большинство приложений этой модели относится к сфере образо-
вания, а учителя категорически против применения отрицательных
значений показателей для оценки способностей. Оценки трудности
заданий, как и оценки степени выраженности некоторой черты, яв-
ляются вероятностными, поскольку модель Раша является вероятно-
стной моделью.
Шкала, обычно используемая на шаге (15)- это шкала W или
Wits (Chopin, 1976). Из уравнений Раша можно видеть, что если
оценка способностей индивидуума превосходит уровень трудности
задания на одну единицу, то вероятность правильного ответа возра-
стает на 2.178. Как указывают Wilmott и Fowles (1974), шкала Wits
имеет произвольную точку отсчета 50, полученную путем преобра-
зования D = 50+4,55 d , где D - новое значение трудности задания,
d - значение уровня трудности, вычисленное по уравнениям Раша
при заданном среднем уровне трудности заданий, равном 0.
Эта шкала была выбрана потому, что в ней успешность испытуе-
мого и трудность задания связаны относительно понятным способом.
Для каждого различия на пять баллов между показателем индивиду-
альной выраженности черты и коэффициентом трудности задания
вероятность успешного выполнения задания возрастает или умень-
шается в три раза. Это чрезвычайно полезно при отборе подходящих
заданий в банки заданий для групп учащихся и составляет метод
индивидуального ориентирования тестов в соответствии с индивиду-
альными потребностями и получения при этом сравнимых средств
измерения способностей испытуемых.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114