Надежность теста определяется, как правило, по окончании процедуры анализа задач и составления окончательной формы теста. Метод повторного тестирования (ретестирования) является основным при определении надежности теста. Метод повторного тестирования чаще всего находит применение при контроле надежности скоростных тестов и опросников. Наиболее простой способ нахождения коэффициента надежности заключается в расчете коэффициента полной корреляции (по Пирсону) между результатами первого и второго тестирования у группы испытуемых.
Тест считается надежным, когда коэффициент надежности находится в пределах 0,6 ± 0,1. Случаи, когда r < 0,6, должны рассматриваться особо.
3.6. Оценки валидности психологических тестов
Основным критерием качества метода является его валидность. Валидность зависит от точности, так как неточный метод не может быть валидным. Однако и наиболее точный метод без знания его валидности не имеет практически никакой цены. В исследовательской работе он может иметь определенное место, если выявляет явные индивидуальные различия, но для практических целей необходимо знать, какое психологическое значение имеют эти различия. Каждый точный метод имеет определенную валидность, иначе говоря, его результаты выражают определенную психическую характеристику, его результаты создают образ исследуемого явления. Большинство методов является валидными по отношению к нескольким психическим характеристикам.
В переводе термин «валидность» означает обоснованность, достоверность. С методологической точки зрения валидность является основной гносеологической проблемой психодиагностики. Она основана на предположении о существовании психических характеристик, которые внешне проявляются определенными индикаторами. Речь идет об особом случае отношения между «сущностью и явлением». Мы исходим из вероятностного понимания этого отношения. Отношение между психической характеристикой и ее индикаторами является более однозначным в том смысле, что определенный индикатор у разных испытуемых может свидетельствовать о разных психических характеристиках, но множество возможностей является конечным и познаваемым.
Вопрос о валидности тестовых методик был фактически поставлен известным русским психологом Г. И. Челпановым (подробно анализировавшим еще на заре тестологии методики Бине—Симона), А. П. Нечаевым, Г. И. Россолимо. Так, характеризуя тест Бине—Симона, Г. И. Челпанов справедливо указывал: «При помощи этого метода можно только определить, соответствует ли умственное развитие данного ребенка его возрасту или нет. Определить его одаренность нет никакой возможности» [294].
Весьма интенсивно и плодотворно проблема валидизации психологических тестов разрабатывалась в период становления советской психологии [42; 43; 72; 73; 96; 138; 147; 294].
Впервые в советской литературе на источник данной проблемы указал М. Г. Геллерштейн. В той мере, писал он, в какой тест оценивает поведение человека, он, безусловно, является методом объективным. «В него вкрадывается элемент субъективности лишь постольку, поскольку многообразные формы человеческого поведения, регистрируемые нами в тестовых испытаниях, истолковываются под углом зрения тех психических процессов, которые за ними скрываются… Субъективность будет тем большей, чем меньше нам понятна связь, существующая между определенными психическими процессами и их реализацией, т. е. их выявлением в форме того или другого акта или реакции» [72].
К сожалению, справедливая критика мнимого, невалидного измерения врожденной умственной одаренности, развернувшаяся с лета 1937 г., имела своим побочным результатом прекращение на длительный период любой конструктивной работы в этой области. Однако с начала 60-х гг. в ряде публикаций ведущих советских психологов [42; 43; 75] вновь была подчеркнута актуальность вопросов, связанных с валидизацией психологических тестов.
«Возможна ли в психологии разработка таких тестовых проб, которые служили бы совершенно однозначным и достоверным признаком реальных психологических особенностей?» – задаются вопросом И. И. Иванова и В. Г. Асеев. Ответ их звучит весьма осторожно: «возможности разработки таких однозначных тестовых проб ограниченны» [119].
В настоящее время отечественная психология уже имеет в своем активе ряд теоретических разработок [42; 43; 184; 277], представляющих интерес для данной проблемы. Однако специальных, систематических исследований, органически сочетающих теоретический анализ и эксперимент, в этой области еще не проводилось.
Создание эффективных методов валидизации психологических тестов требует прежде всего научно обоснованной, четко оформленной классификации существующих типов и видов валидности. На Западе, где проблема валидности была осознана более или менее глубоко лишь в 50-х гг. (в связи с наметившимся к тому времени глобальным кризисом тестологии), описанию различных видов валидности посвящены тем не менее десятки пространных публикаций [см. 341; 342; 343; 382]. Однако высказываемые мнения касаются по преимуществу лишь отдельных, разрозненных аспектов проблемы. Выделенные по различным признакам типы и виды валидности должным образом не специфицированы и не соотнесены друг с другом. Какой-либо единой классификационной системы пока нет, и ее создание даже не ставится на повестку дня. В связи с этим и в практической сфере, т. е. в деле валидизации конкретных психологических тестов, существенного прогресса пока не достигнуто – почти все тесты, используемые в настоящее время в научных или практических целях, валидизированы лишь на уровне определения их ценности для конкретных практических целей или путем определения степени их корреляции с другими тестами.
С формальной точки зрения валидность бывает подлинная, выражающая отношение между результатами метода и тем, что с помощью метода изучалось, и ложная, в которой зафиксирована видимость ценности метода. Подлинная валидность в зависимости от характера критерия, с помощью которого она проверяется, разделяется на эмпирическую и теоретическую, текущую и прогностическую.
Ложная валидность имеет также четыре варианта (Р. Кэттелл): очевидную валидность, валидность, основанную на опыте, на убеждении и на желании [336].
1. Очевидная валидность исходит из того, что данный метод на первый взгляд якобы исследует. Если, например, содержание вопросов направлено на неуверенность в себе, то исследуется неуверенность, а если на знания по истории – то исследуется духовная культура в области истории и т. д. Очевидная валидность соответствует подлинной валидности по содержанию только в случае так называемых дидактических тестов или тестов знаний; их содержательный анализ является столь явным, что нет необходимости изучать его. При всех остальных методах, включая опросники, мы обязательно должны исследовать валидность, хотя во многих случаях и кажется понятным, о чем идет речь.
2. Валидность, исходящая из опыта, основывается на уверенности в том, что метод позволяет «понять испытуемого»; использование метода доставляет личное удовлетворение.
3. Валидность, опирающаяся на убеждение, исходит из необоснованного убеждения, что данный метод является хорошим, потому что, в частности, хорошей является теория, на которой он построен. Часто такое убеждение усиливается по мере овладения методом, без исследования его реальной валидности.
4. Валидность, основанная на желании, предполагает наличие предубеждений исследователя относительно возможностей метода.
Валидность всех психодиагностических методов, кроме дидактических, требует проверки психометрическими методами. Психометрика разработала много так называемых процессов валидизации, среди которых наиболее часто используются различные коэффициенты корреляции для подсчета отношения между результатами метода и значением критерия. Тип коэффициента зависит от типа математической шкалы, на которой представлены результаты и значения критерия.
Коэффициент валидности может быть выражен и с помощью t-теста, коэффициента энтропии, теста c2 или с помощью прогностических таблиц и иных мер отношений.
Теоретическая валидность определяется на основе логического доказательства и эмпирического подтверждения последствий, вытекающих из теории, взятой за основу метода, и ее результатов. Преимуществом теоретической валидизации является применение факторного или дискриминационного анализа, но в матрицу анализируемых переменных должны входить и методы с известной валидностью, чтобы с их помощью можно было адекватно интерпретировать факторы или синдромы. Большинство специалистов характеризуют валидность как вероятность соответствия между результатами теста и тем, что мы с помощью теста хотим узнать. Значит, валидность говорит о том, в какой степени (или как) результаты проверенного уже теста соответствуют измеряемой или оцениваемой характеристике личности, насколько тест адекватен по отношению к изучаемой проблеме и в какой степени полученные результаты являются образом исследуемого знака. Это значит, что валидность – это данные об информативной ценности теста как средства познания человека.
