Хорошо, изменим конструкцию. Приделаем на автомобиль сверху крыльчатку, и пусть наш спидометр показывает скорость движущейся мимо атмосферы. Все равно не выйдет: порыв ветра — и наш прибор опять-таки покажет скорость воздушного потока, а не автомобиля.
Я уже не говорю об элементарных поломках самого, в общем-то довольно сложного, прибора.
Все то же самое можно сказать о тестах. На самом деле они никогда не измеряют то, что вы хотите померить. Просто они так сконструированы, что позволяют вам по результатам давать суждения и оценки.
Вот здесь и начинается блеск и нищета, прямо по Бальзаку. С одной стороны, вам предлагается без особого труда за полчаса определить, на что человек способен. С другой стороны: а вы уверены, что оценка будет правильной?
Поэтому главное требование к тестам — валидность. Внятного русского перевода в одно слово этого термина нет, потому и употребляется англоязычный. Он означает следующее: «данный прибор действительно меряет то, что должен мерить».
Возьмем, к примеру, какой-нибудь из распространенных тестов на интеллект. Большинство из них состоит из коротеньких логических задач: кто больше решит за заданное время, у того и интеллект выше. Хочется сразу сказать: тот умнее. Того и возьмем на работу.
Так? Нет, потому что мы измеряли не «ум» и не «интеллект» (кстати, психологи до сих пор так и не договорились между собой, что это такое), а способность к решению логических задач, и ничего более!
Видите: мы совершили логическую ошибку, поставив знаки равенства между цепочкой понятий, в начале которой стоят логические задачки, а в конце — предполагаемая профессиональная успешность. Которую, собственно, и хотели измерить.
Что же, тесты на интеллект ни о чем не говорят? Да нет же. Просто прежде чем использовать их в практике, например, профотбора, сначала необходимо доказать их валидность. То есть тот факт, что их результаты действительно как-то позволяют оценивать профессиональную пригодность кандидатов. Я сказал «как-то», потому что могу назвать[42] несколько профессий, где интеллект и профессиональные результаты связаны отрицательно. То есть люди с низким интеллектом работают успешнее!
Немного выше я обещал рассказать, как мы (в смысле СССР) на пятьдесят лет обогнали Америку в смысле проблем с целесообразностью тестирования. Это драматичная история, не всем известная, и ее стоит послушать.
В первые годы советской власти очень остро стояли проблемы образования, в первую очередь — среднего. Старая гимназическая система явно не подходила для формирования «нового человека», поэтому разные экспериментальные школы, концепции, теории возникали одна за другой. Многое пытались принести из Европы (напоминаю: это было еще очень задолго до холодной войны, и «иностранное» еще не воспринималось как «чуждое» и «не наше»). В частности, таким образом к нам попала модная наука педология, которая показалась привлекательной как ученым, так и педагогам-практикам.
Суть дела, если кратко: проводим детей через набор тестов, показывающих уровень интеллектуального развития. Кто набрал нужное количество баллов — учись в «нормальной» школе. Кто нет — отправляйся в «специальную», то есть «для дурачков».
В каком-то смысле эта идея звучит перспективно: действительно, зачем учить вместе и по одной программе и явно «продвинутых» и явно «слабых» детишек: не лучше, ли создать для них более соответствующие условия?
В действительности все оказалось намного сложнее. Одна из главных проблем была связана со слабостью самих педологических и педагогических кадров. Все мы учились в средней школе уже конца XX века, у многих дети учатся сейчас, и я уверен, у большинства мнение об учителях, а тем более чиновниках от педагогики не самое высокое. А представьте, что было в двадцатых-тридцатых!
Другая проблема была связана с примитивным пониманием педологами самого образовательного процесса и критериев уровня развития. Наш великий психолог Л.С. Выгодский показал, что дело не в достигнутом уровне, а в так называемой зоне ближайшего развития. Важно не то, что ребенок способен сделать сам (а именно это и измеряли тесты), а то, на что он способен при минимальной информационной поддержке взрослого. Это позволяет оценить его возможности к развитию[43].
Но мы увлеклись. Конец этой истории таков. Говорят, педологи определили «не в ту» школу дитя кого-то из высших чинов. Последовало разбирательство, а за ним — известное всем отечественным психологам и педагогам постановление ЦК ВКП(б) от 1936 года «О педологических извращениях в системе Наркомпроса»[44], которое положило конец педологии, а заодно и психологии и напугало выживших психологов на всю оставшуюся жизнь. После чего тесты и тестирование в СССР были забыты где-то до начала 70-х. Отсюда, думаю, и столь романтичное к ним отношение сейчас.
Вернемся к нашей основной теме. Если тест — это измерительный прибор, то нам надо прежде всего понять, что мы им собираемся мерить. Отсюда наши требования к сложности прибора и, естественно, согласие за него платить. Еще одна «электрическая» аналогия: чтобы просто найти обрыв в цепи, нужен копеечный пробник, состоящий из батарейки, лампочки и пары проводков, его легко самому сделать. А если надо определять частоты колебаний, придется покупать осциллограф.
Бесплатные или почти бесплатные тесты, которые вы можете скачать из Интернета или купить на пиратском диске за 100 рублей, — это вообще не тесты. Как измерительному прибору им доверять нельзя. Что-то они покажут, вот только что?
Приобретая психологический тест у серьезных разработчиков, вы платите не за примитивную программную оболочку, какую напишет первокурсник, а именно за валидность. Как же она достигается? Для этого нам придется покопаться в технологии изготовления тестов. Это пригодится, потому что чуть ниже мы попытаемся создать тест сами.
Есть такой тест, довольно известный, классификатор Майёрс — Бриггс (MBTI). Он позволяет отнести человека к одному из шестнадцати типов, различающихся по темпераменту, стилю жизни и работы, общению с окружающими. Эта методика очень популярна среди психологов, работающих по менеджерской проблематике, потому что вроде бы отражает социально-психологическую структуру компании. Если среди менеджеров будет преобладать один тип, то фирму ждут определенные проблемы, а если другой — то иные.
Купив MBTI на пиратском диске за 100 рублей, я обнаружил, что именно эту его версию (взявшуюся лет десять назад в нашей стране, как и многое другое, непонятно откуда) кое-кто из коллег рекомендовал как «нормальную». Решил попробовать. Мне удалось провести через тест более 150 человек, большинство из которых мне хорошо известны с точки зрения оцениваемых тестом параметров. И вот что получилось.
Из шестнадцати возможных типов я обнаружил только девять, остальные вообще не встречались.
Из них только один, ISTJ, названный в интерпретаторе «Прирожденным организатором жизни», попавшийся с десяток раз, всегда абсолютно соответствовал своему описанию по всем параметрам, до мелочей.
Тип ESTJ, «Прирожденный руководитель», встречался намного чаще других, но… в действительности отнесенные к нему люди были какими угодно. Они могли соответствовать характеристикам полностью или частично, а пара-тройка обследованных — как говорится, с точностью до наоборот.
Один из типов попался мне лишь раз. Это был хорошо знакомый по совместной работе зам генерального директора средней компании, весьма своеобразная личность. Про него в интерпретации говорилось: «Этот тип часто свойственен высшему руководству крупных японских корпораций». Я понял, что в нем действительно есть что-то от самурая.
У меня был лишь один случай, когда MBTI действительно помог при профотборе, да и то условно. Одна весьма импозантная дама, которая произвела на всех большое впечатление знаниями и опытом, попала под тип, характеризующийся нерешительностью и неумением занять жесткую позицию по отношению к подчиненным. А должностная позиция, напротив, требовала «выстроить» достаточно распущенный прежним руководством и к тому же женский коллектив. При обсуждении кандидатуры я высказал сомнения, но оказался в меньшинстве… Через полгода с дамой пришлось расстаться, поскольку бардак в отделе при ней принял уже совсем катастрофические масштабы.
Как вы полагаете, можно ли использовать этот тест при профессиональном отборе менеджеров? В каком-то смысле да. По крайней мере, если попадется ISTJ, вы с достаточной уверенностью будете знать, чего от него ожидать. Если ESTJ, то вы можете смело заявить: «Я знаю, что ничего не знаю». Если попадется один из не попавшихся мне семи типов, вы можете насторожиться тем, что перед вами — редкий экземпляр, практически не встречающийся среди менеджеров.
