В этой книге мы не будем приводить полного описания метаанализа. Если читатель захочет получить базовую информацию и подробное описание новейших методов метаанализа, то мы предлагаем ему ознакомиться со следующими источниками: Schmidt (1992); Hunter & Schmidt (1990); Lipsey and Wilson (1993); Bangert-Drowns (1986); Schmidt, Hunter, Pearlman and Rothstein-Hirsh (1985).
Гипотезы и характеристики исследования
Перечислим гипотезы, протестированные в ходе метаанализа.
1. Восприятие сотрудником качества управления, измеряемое с помощью 13 ключевых элементов, связано с результатами коммерческой деятельности бизнес-единицы. (Другими словами, бизнес-единицы, набравшие больше баллов по этим показателям, демонстрируют в целом более высокие результаты коммерческой деятельности.)
2. Достоверность восприятия сотрудниками качества управления, измеренного 13 ключевыми элементами, значима во всех изученных организациях.
В базу данных Института Гэллапа было включено в совокупности 28 исследований, выполненных по заказу различных организаций. В рамках каждого из этих исследований были использованы один или несколько ключевых элементов; данные по ним исследователи обобщили на уровне бизнес-единицы и проверили, насколько они коррелируют с обобщенными результатами измерений показателей результатов коммерческой деятельности.
• Потребительская удовлетворенность/лояльность.
• Прибыльность.
• Производительность.
• Текучесть рабочей силы.
Таким образом, объектами этого анализа были организационные единицы. Вычислив корреляции Пирсона, мы оценили взаимосвязь между показателями восприятия сотрудников, усредненными по бизнес-единицам, и каждым из четырех показателей результатов деятельности. Такие коэффициенты корреляции были вычислены для бизнес-единиц каждой компании и занесены в базу данных для каждого из 13 ключевых элементов. Затем аналитики рассчитали средние достоверности, стандартные отклонения достоверностей и статистики значимости достоверностей для каждого из ключевых элементов и каждого из четырех показателей результатов деятельности бизнес-единицы.
Вот краткое описание исследований, включенных в этот метаанализ.
• В 18 исследованиях мы проанализировали зависимость между восприятием сотрудников бизнес-единицы и восприятием клиентов. Восприятие клиентов включало в себя меру потребительской удовлетворенности, рейтинги учителей среди учащихся и оценки качества обслуживания мнимыми покупателями5. Инструменты изучения мнения потребителей менялись в зависимости от исследования. Совокупный индекс потребительской удовлетворенности/лояльности был рассчитан как усредненное значение всех показателей, включенных в каждое измерение.
• Показатели прибыльности были доступны в 14 исследованиях. Прибыльность мы обычно определяли как процент от выручки (продаж). Но для некоторых компаний в качестве наилучшего индикатора исследователи использовали изменение прибыли по сравнению с результатами прошлого года или относительно целевых значений, поскольку это позволяло точнее всего измерить относительную прибыльность каждой бизнес-единицы. Таким образом, мы избегали влияния специальных благоприятных условий, когда показатели прибыльности было трудно сравнивать для разных бизнес-единиц. Например, переменная изменчивости включала отношение прибыли к выручке, выраженное в процентах, из которого вычитали затем процент вложенных средств. В каждом случае переменные прибыльности измеряли ставку доходности, а переменные производительности измеряли общий объем произведенных товаров/услуг.
• 15 исследований включали показатели производительности. Для каждой бизнес-единицы это были данные по общему объему выручки, по объему выручки на одного сотрудника, доходу с одного пациента, управленческие оценки, основанные на всех имеющихся показателях производительности, а также суждения менеджеров о том, какие подразделения являются наиболее производительными. Зачастую это была дихотомическая переменная (для производительных подразделений она принимала значение 2, для менее успешных — 1).
• Показатели текучести рабочей силы были доступны в 15 исследованиях. Эти данные были представлены в виде процента текучести персонала за год в каждой бизнес-единице.
Наше исследование включило в совокупности 105 680 индивидуальных опросов и 2528 бизнес-единиц, в среднем 42 человека на бизнес-единицу и 90 бизнес-единиц на компанию.
Вот сводка данных о том, к каким отраслям и типам относятся исследованные бизнес-единицы.
• 28% всех бизнес-единиц, включенных в метаанализ, входили в финансовые организации, 21% — в сферу здравоохранения и 18% — в сферу ресторанного бизнеса. К оставшимся отраслям, рассмотренным в нашем метаанализе, относились сферы развлечений, пищевых продуктов, исследований, телекоммуникаций/издательского дела, продаж в медицине, электроники, гостиничного дела, государственного администрирования и образования.
• 31% всех бизнес-единиц занимались розничными операциями, 28% — финансовыми; 21% оказывали медицинские услуги, 9% — образовательные и 11% занимались другими видами деятельности.
Объем данных о восприятии сотрудников и о результатах коммерческой деятельности, которые можно было обобщить (агрегировать) на уровне, достаточном для проведения сравнительного анализа, сильно варьировался. В организациях розничной торговли и финансовых учреждениях нам представилось множество возможностей собрать численные данные для такого анализа, так как каждая такая компания обычно включает большое число бизнес-единиц, которые используют сходные показатели.
Методы метаанализа
Исследования включали в себя средневзвешенные оценки истинной достоверности, оценки стандартного отклонения достоверностей, а также корректировку ошибок выборки и измерения зависимых переменных для этих достоверностей. Метаанализ в своей простейшей форме позволяет корректировать оценки дисперсии только для ошибки выборки. Существуют и другие корректировки (Hunter & Schmidt, 1990): ограничение пределов измерения или ошибка измерения переменных, отражающих результаты коммерческой деятельности. Определения этих процедур мы дадим чуть позже.
Для этого исследования мы собирали данные о результатах коммерческой деятельности за несколько периодов, чтобы рассчитать надежность показателей коммерческой деятельности. В некоторых случаях у нас не было возможности получить такие данные для разных периодов, и тогда мы использовали методы метаанализа, опирающиеся на искусственные распределения (Hunter & Schmidt, 1990, p. 158–197), для того, чтобы скорректировать ошибки измерения переменных, отражающих результаты коммерческой деятельности. Использованные искусственные распределения были основаны на стабильных, повторяющихся из года в год результатах различных исследований, если они были доступны.
