Есть два варианта, простой и сложный. Простой: имеется текст, в котором изложена необходимая информация (учебник), и вам достаточно проверить, насколько она хорошо усвоена. Достаточно распространенный пример — подготовка страховых агентов. Их задача — усвоить основные термины, правила, условия страхования данной компании. Они все есть на бумаге.
Сложный: нет единого текста (учебника), а знания приобретались где-нибудь и как-нибудь. Характерный пример — то же пользование современными программными средствами персонального компьютера.
Сейчас каждый пишет в резюме, что является грамотным пользователем. В действительности человек вроде бы и курсы закончил, а дашь ему простейшую задачку — гроб и свечи.
В первом случае вам предстоит составить простую контрольную работу в форме теста, то есть с готовыми ответами на вопросы, правильными и неправильными. Во втором — все, что полагается при изготовлении тестов, включая валидизацию. В практике тестирования такие методики называют тестами достижений.
Для начала возьмем более простой вариант.
В любом случае начинать придется с вопросника.
Я рекомендую делать его простейшим: на вопрос — три варианта ответов, из которых один правильный. Некоторые делают до пяти, но я не вижу в этом особого смысла: лишний труд, а не знающий провалится на третьем и пятом вариантах с одинаковым успехом.
Возьмем учебник или другую необходимую документацию, и поехали прямо по тексту.
Страховая премия — это[47]:
A. Сумма, выплачиваемая страхователем страховщику за обязательство возместить ущерб при наступлении страхового события.
Б. Сумма, выплачиваемая страховщиком страхователю, являющемуся постоянным клиентом данной страховой организации.
B. Сумма, выплачиваемая страховщиком третьим лицам (например, службе пожарной охраны) за предотвращение страхового события.
Маржа — это:
А. Синоним слова «прибыль».
Б. Стоимость товара вместе с упаковкой. В. Разница между продажной и покупной стоимостью товара.
Позиционирование товара на рынке— это:
A. Определение места и способа продажи товара.
Б. Определение потенциальных сегментов рынка с учетом качеств и свойств товара.
B. Размещение точек реализации данного товара в большом торговом комплексе.
Сегмент рынка— это:
A. Группа сходных товаров.
Б. Группа фирм, выпускающих сходную продукцию.
B. Социальная группа потребителей, сходно ведущих себя по отношению к данному товару.
И так далее.
Здесь есть несколько тонкостей, которые надо знать.
Во-первых, самое трудное — это придумывать неправильные ответы, особенно если вы сами хорошо разбираетесь в материале. На это есть следующий прием.
Один неправильный ответ делайте похожим на правильный, например, определение близкого термина или понятия (см. вопрос про маржу: первый вариант ответа близок к правильному, но неверный). Или просто поменяйте местами пару слов, чтобы смысл фразы изменился. Второй — какой угодно, для тех, кто совсем уж «не рубит».
Не думайте, что решить тест будет слишком просто: всегда найдутся те, кто даст «дурацкие» ответы (правда, в приведенном выше примере про страховую премию оба неверных ответа — именно такие).
Во-вторых, проследите за тем, чтобы не дать на какой-нибудь вопрос два правильных варианта ответов. Говорю не просто так: это случается.
В-третьих, расположение правильного варианта (А, Б, В) в разных вопросах необходимо чередовать, желательно в случайном порядке. Можно сделать это, вынимая на ощупь буквы на листочках из шапки. Можно и просто «на глаз»: А, А, В, Б, В, Б, А и так далее (только потом посчитайте, не выпадала ли одна из букв чаще остальных).
В-четвертых, скорее всего, вам придется сделать два варианта вопросника, чтобы не списывали при групповом тестировании. Для этого вовсе не обязательно делать два комплекта вопросов: это слишком трудоемко. Ограничьтесь перемешиванием; проще всего — сделайте второй вариант «задом наперед».
Сколько должно быть вопросов? Это зависит от объемности темы. Если документы (учебник) поделены на разделы, каждый из которых надо знать, достаточно по 2-3 вопроса на каждый раздел. Однако опыт показывает, что большинство людей либо знает материал, либо не знает. Поэтому проверять все вовсе не обязательно. Когда вы сдаете экзамен, вы же отвечаете только на один билет, а оценку вам ставят за весь курс!
В принципе 20-30 вопросов бывает достаточно, чтобы оценить знания даже довольно обширного материала.
Как выставлять оценки? Это зависит от ваших представлений о том, насколько проверяемые знания необходимы для работы сотрудников. Пример: на теоретических экзаменах в ГИБДД вы получите «неуд», если ошибетесь всего 2 раза на 10 задач! А можете ввести балльные оценки: за половину правильных ответов — троечка, за 2/3 — четверка, за 3/4 —«отлично». Ваше дело.
Теперь займемся тестами достижений. Здесь все будет сложнее: и составление вопросника, и расставление оценок, и, главное, валидизация. В тесте типа «контрольная работа» она не нужна, потому что мы и так знаем, что хотим проверять: насколько хорошо человек изучил конкретный материал.
Допустим, к вам приходит поток кандидатов, которых вы хотите проверить на компьютерную грамотность. Если бы вы сами их готовили, все было бы проще — достаточно составить «контрольную» на прочитанный им курс и на предложенные учебники. А в нашем случае вам придется определяться, какой базовый уровень считать достаточным для работы, а какой нет; какой материал из обширнейшей компьютерной тематики необходим, а какой не обязателен!
Например, можно ли считать «компьютерно грамотным» человека, умеющего загружать Word и печатать в нем тексты? Или требуется что-то большее?
Для начала получим предварительный набор вопросов. Берем несколько специалистов, которые, по нашему мнению, знают, что есть компьютерная грамотность. То есть хороших пользователей. Только не приглашайте профессиональных айтишников: эти считают безграмотным любого, кто не умеет программировать на Ассемблере. Собираем их вместе (можно даже с пивом: это стимулирует процесс) и просим накидать вопросы. Желательно — не меньше 50-100 (все равно потом большая часть отпадет). Когда набор вопросов будет готов, попросите их же дать варианты ответов по принципу, описанному выше: правильный, похожий на правильный и явно «дурацкий».
Здесь есть одна тонкость.
Бывают вопросы, которые напрямую вроде и не отражают квалификацию человека, но, если он грамотен, ответы на них он просто не может не знать.
Пример: объем стандартной трехдюймовой дискеты. В процессе работы на компьютере мы обычно не помним, что он составляет 1,44 Мб (только если не выясняется, что ваши файлы не помещаются на дискету). В общем-то, этого и помнить не надо. Но любой, кто как следует повозился с персональным компьютером, ответит на этот вопрос даже среди ночи.
Итак, мы сформировали набор вопросов. Они будут выглядеть примерно так:
Картинка, которая появляется на экране после полной загрузки Windows, называется:
A. Рабочей папкой.
Б. Рабочим столом.
B. Рабочим полем.
Или:
Можно ли рисовать картинки в программе MS Excel?
А. Нельзя.
Б. Можно, но для этого нужна дополнительная программа рисования.
В. Можно.
Или:
Стандартная клавиша для получения справки:
A. F1.
Б. Знак вопроса (?).
В. F10.
Или:
Браузер— это:
A. Устройство для подключения компьютера к телефонной сети.
Б. Программа для просмотра страниц Интернета.
B. Программа для поиска и уничтожения компьютерных вирусов.
И так далее, в том же духе. Обратите внимание, что я постоянно меняю место правильного ответа!
