ТОП авторов и книг ИСКАТЬ КНИГУ В БИБЛИОТЕКЕ
Отдельно была выделена те-
ория погрешностей измерения, которая лежит в основе этих психо-
метрических понятий, а далее были описаны некоторые отличные от
классического подходы к тестированию, в том числе базирующиеся
на кривых зависимости "задание-ответ", шкалировании Раша, ин-
дивидуально-ориентированном и компьютеризированном тестиро-
вании.
Подводя итог, можно сказать, что целью конструирования тестов
является разработка высоко валидных, надежных и дискриминатив-
ных тестов. Как это делается для тестов различных типов, будет
описано в последующих главах данной книги.
В англ. яз. tailored testing означает специально приспособленное для кого-либо
тестирование.
Глава 2. Создание надежных тестов 1:
Интеллект и способности. Разработка заданий
Как уже обсуждалось в главе 1, высокая надежность является
неотъемлемым атрибутом эффективных тестов. Было также показа-
но, что надежность зависит до некоторой степени от величины теста.
Следовательно, при разработке тестов важно иметь возможность
сформулировать настолько большое количество заданий, насколько
это возможно. Кроме того, одной из причин неудовлетворительной
надежности тестов является субъективизм исследователя, обрабаты-
вающего полученные данные, то есть наличие различий как между
результатами работы одного и того же исследователя в двух различ-
ных случаях, так и между результатами работы разных исследовате-
лей. Этот недостаток может быть полностью устранен, если можно
сформулировать задания, не требующие никаких субъективных суж-
дений от лица, проводящего тестирование,- то есть объективные
задания. Очевидно, именно по этим причинам разработка заданий
является решающим моментом при создании эффективных тестов. В
самом деле, тест не может быть лучше своих заданий. Однако, он
может быть хуже, если он плохо стандартизирован или если проце-
дуры отбора и оценивания заданий и валидизации выполнены невер-
но (эти процедуры подробно описаны в последующих главах данного
руководства).
Здесь основное внимание будет уделено фундаментальному ас-
пекту конструирования тестов: разработке заданий. В настоящее вре-
мя существует большое количество и разнообразие психологических
тестов и, как следствие, существует огромное количество разного
вида заданий. В данной главе обсуждение ограничивается рассмотре-
нием тестов интеллекта и специальных способностей, объединяемых
иногда термином "когнитивные тесты". Но даже в пределах этой
категории тестов невозможно обсудить все типы заданий, которые
могут использоваться. Тем не менее, когда будут понятны основные
принципы разработки заданий для когнитивных тестов, станет легче
формулировать и специфические задания. Основные принципы раз-
работки заданий будут иллюстрированы примерами наиболее часто
используемых типов заданий. Посредством этого я надеюсь вдохно-
вить читателя на разработку новых заданий, что является краеуголь-
ным камнем психометрии.
Прежде чем обсуждать разработку заданий, следует упомянуть о
некоторых небольших, но тем не менее важных моментах в констру-
ировании тестов. Как уже говорилось, игнорирование этих по суще-
ству тривиальных истин может разрушить то, что в противном случае
могло бы стать эффективным тестом.
Инструкции
Инструкции для испытуемых, выполняющих тест, должны быть
настолько простыми и понятными, насколько это возможно. Если они
будут сложными, некоторые испытуемые не смогут понять их, что
неблагоприятно отразится на полученных результатах. Может ока-
заться так, что общий фактор интеллекта (с учетом понимания ин-
струкции) будет смешан с фактором или факторами, присущими
предполагаемым заданиям.
При апробации тестов на некотором этапе могла бы оказаться
результативной попытка оценить инструкции. Я не хочу углубляться
в подробности этого очевидного момента, но все же стоит убедиться,
что инструкции не являются источником ошибок для испытуемых,
не справившихся с заданиями. Наилучшим образом это можно выя-
вить в ходе беседы, позволяющей узнать, что же пытались делать
испытуемые, показавшие низкие результаты. Такого рода беседы-
- опросы также неизбежно выявляют неудовлетворительную часть
(части) инструкций, которая впоследствии должна быть заменена.
Вот несколько правил для написания инструкций: ( 1 ) будьте крат-
ки, насколько это возможно; (2) изъясняйтесь настолько просто,
насколько возможно, употребляя простые предложения без уточня-
ющих придаточных предложений; (3) примеры должны всегда помо-
гать понять инструкции. Привлекательной возможностью является
написание инструкции к тесту как части до-тестовой процедуры. Это
требует от проводящего тестирование разъяснения инструкций ис-
пытуемым до начала тестирования, вплоть до предъявления им про-
стейших заданий, дающих возможность удостовериться в том, что
они поняты. Это приведет в результате не только к тому, что все
испытуемые будут понимать инструкции и ознакомятся с видами
заданий (и то, и другое может стать источником погрешностей изме-
рения: в терминах классической модели эти аспекты заданий явля-
ются частью другой генеральной совокупности заданий), но кроме
того установится хороший контакт между испытуемыми и экспери-
ментаторами, что существенно, когда от испытуемых требуется де-
монстрация максимальных их возможностей, и это рассматривается,
как указывает Nisbet (1972), в качестве преимущества индивидуаль-
ного тестирования по сравнению с групповым.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114
ория погрешностей измерения, которая лежит в основе этих психо-
метрических понятий, а далее были описаны некоторые отличные от
классического подходы к тестированию, в том числе базирующиеся
на кривых зависимости "задание-ответ", шкалировании Раша, ин-
дивидуально-ориентированном и компьютеризированном тестиро-
вании.
Подводя итог, можно сказать, что целью конструирования тестов
является разработка высоко валидных, надежных и дискриминатив-
ных тестов. Как это делается для тестов различных типов, будет
описано в последующих главах данной книги.
В англ. яз. tailored testing означает специально приспособленное для кого-либо
тестирование.
Глава 2. Создание надежных тестов 1:
Интеллект и способности. Разработка заданий
Как уже обсуждалось в главе 1, высокая надежность является
неотъемлемым атрибутом эффективных тестов. Было также показа-
но, что надежность зависит до некоторой степени от величины теста.
Следовательно, при разработке тестов важно иметь возможность
сформулировать настолько большое количество заданий, насколько
это возможно. Кроме того, одной из причин неудовлетворительной
надежности тестов является субъективизм исследователя, обрабаты-
вающего полученные данные, то есть наличие различий как между
результатами работы одного и того же исследователя в двух различ-
ных случаях, так и между результатами работы разных исследовате-
лей. Этот недостаток может быть полностью устранен, если можно
сформулировать задания, не требующие никаких субъективных суж-
дений от лица, проводящего тестирование,- то есть объективные
задания. Очевидно, именно по этим причинам разработка заданий
является решающим моментом при создании эффективных тестов. В
самом деле, тест не может быть лучше своих заданий. Однако, он
может быть хуже, если он плохо стандартизирован или если проце-
дуры отбора и оценивания заданий и валидизации выполнены невер-
но (эти процедуры подробно описаны в последующих главах данного
руководства).
Здесь основное внимание будет уделено фундаментальному ас-
пекту конструирования тестов: разработке заданий. В настоящее вре-
мя существует большое количество и разнообразие психологических
тестов и, как следствие, существует огромное количество разного
вида заданий. В данной главе обсуждение ограничивается рассмотре-
нием тестов интеллекта и специальных способностей, объединяемых
иногда термином "когнитивные тесты". Но даже в пределах этой
категории тестов невозможно обсудить все типы заданий, которые
могут использоваться. Тем не менее, когда будут понятны основные
принципы разработки заданий для когнитивных тестов, станет легче
формулировать и специфические задания. Основные принципы раз-
работки заданий будут иллюстрированы примерами наиболее часто
используемых типов заданий. Посредством этого я надеюсь вдохно-
вить читателя на разработку новых заданий, что является краеуголь-
ным камнем психометрии.
Прежде чем обсуждать разработку заданий, следует упомянуть о
некоторых небольших, но тем не менее важных моментах в констру-
ировании тестов. Как уже говорилось, игнорирование этих по суще-
ству тривиальных истин может разрушить то, что в противном случае
могло бы стать эффективным тестом.
Инструкции
Инструкции для испытуемых, выполняющих тест, должны быть
настолько простыми и понятными, насколько это возможно. Если они
будут сложными, некоторые испытуемые не смогут понять их, что
неблагоприятно отразится на полученных результатах. Может ока-
заться так, что общий фактор интеллекта (с учетом понимания ин-
струкции) будет смешан с фактором или факторами, присущими
предполагаемым заданиям.
При апробации тестов на некотором этапе могла бы оказаться
результативной попытка оценить инструкции. Я не хочу углубляться
в подробности этого очевидного момента, но все же стоит убедиться,
что инструкции не являются источником ошибок для испытуемых,
не справившихся с заданиями. Наилучшим образом это можно выя-
вить в ходе беседы, позволяющей узнать, что же пытались делать
испытуемые, показавшие низкие результаты. Такого рода беседы-
- опросы также неизбежно выявляют неудовлетворительную часть
(части) инструкций, которая впоследствии должна быть заменена.
Вот несколько правил для написания инструкций: ( 1 ) будьте крат-
ки, насколько это возможно; (2) изъясняйтесь настолько просто,
насколько возможно, употребляя простые предложения без уточня-
ющих придаточных предложений; (3) примеры должны всегда помо-
гать понять инструкции. Привлекательной возможностью является
написание инструкции к тесту как части до-тестовой процедуры. Это
требует от проводящего тестирование разъяснения инструкций ис-
пытуемым до начала тестирования, вплоть до предъявления им про-
стейших заданий, дающих возможность удостовериться в том, что
они поняты. Это приведет в результате не только к тому, что все
испытуемые будут понимать инструкции и ознакомятся с видами
заданий (и то, и другое может стать источником погрешностей изме-
рения: в терминах классической модели эти аспекты заданий явля-
ются частью другой генеральной совокупности заданий), но кроме
того установится хороший контакт между испытуемыми и экспери-
ментаторами, что существенно, когда от испытуемых требуется де-
монстрация максимальных их возможностей, и это рассматривается,
как указывает Nisbet (1972), в качестве преимущества индивидуаль-
ного тестирования по сравнению с групповым.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114