«Очищение эффекта»: Оценка результатов обучения руководителей высшего звена ОАО «РЖД»

Аннотация

 

Как оценить эффект от обучения топ-менеджеров? Существует ли вообще возможность оценки эффективности программ, в которых участвуют руководители высшего звена? И если после обучения в деятельности топ-менеджера появляются позитивные изменения, не являются ли они скорее следствием стечения обстоятельств  и влияния внешних факторов, чем результатом обучения? Такие вопросы часто возникают по результатам проведения программ обучения для руководителей высшего звена, поскольку специфика таких программ затрудняет объективную оценку их эффективности. В данной статье рассматривается опыт проведения программы обучения руководителей высшего звена компании ОАО «РЖД» «Корпоративный лидер», который позволяет ответить на вопросы о том, дают ли эффект программы обучения топ-менеджеров, каким может быть этот эффект и как его можно оценить.

Подходы к оценке эффективности программ обучения топ-менеджеров

 

Очевидно, что наиболее понятный для бизнеса способ оценки эффективности программы обучения – это анализ результативности обучившихся сотрудников, выраженной в измеримых количественных бизнес-показателях. Но в программах развития топ-менеджеров такой подход сложно осуществим, в первую очередь потому, что обучается руководитель персонально, а измеряемый результат дает управляемая им система, включающая других людей и подверженная влиянию множества внешних факторов. К тому же, чем выше уровень руководителя, тем большую значимость для его развития, по сравнению с узко-профессиональными знаниями, приобретают лидерские навыки и целостное понимание бизнеса. Соответственно, программы обучения топ-менеджеров в большей степени ориентированы на развитие личностных качеств руководителя – на его установки, способы мышления, коммуникации и действия. И поэтому содержание таких программ редко может быть напрямую «конвертировано» в конкретный измеримый производственный показатель.

Более реалистичный способ оценки эффективности обучения «топов» – это оценка изменений в наблюдаемом поведении участников. Но и при таком подходе бывает сложно установить прямую связь между обучением и последующими изменениями. Ведь наблюдаемое поведение зачастую ситуативно обусловлено, т.е. зависимо от событий, смежных по времени с обучением, а значит, «маскирующих» эффект этого обучения. При этом программы обучения топ-менеджеров в силу своей эксклюзивности в большинстве компаний проводятся локально – т.е. единовременно и в отдельно взятом подразделении. И такие локальные программы, действительно, не дают возможности оценить эффект обучения, т.к. этот эффект «смешивается» с влиянием локальных факторов.

Возможность объективно оценить эффективность программы появляется тогда, когда мы проводим ее системно – т.е. периодически и в масштабе всей компании. В этом случае мы получаем своеобразное «очищение эффекта», когда влияние внешних ситуативных факторов нивелируется благодаря разнообразию ситуаций в каждом конкретном подразделении и в каждый отдельный отрезок времени. И единственным значимым фактором, которым в итоге можно объяснить изменения в наблюдаемом поведении руководителей, остается сама программа обучения.

О целевой программе Корпоративного университета ОАО «РЖД» «Корпоративный лидер»

 

Целевая программа обучения топ-менеджеров компании ОАО «РЖД» «Корпоративный лидер» является примером системного подхода к обучению и развитию руководителей высшего звена.

Программа «Корпоративный лидер» — программа повышения квалификации руководителей, продолжительностью 1,5 года, стартовавшая в 2010 году, и составлявшая основное содержание деятельности Корпоративного университета ОАО «РЖД» в первые два года его функционирования. Уникальной особенностью этой программы стало количество руководителей высшего звена, принявших в ней участие. Общее число участников программы в потоке 2010 – 2011 года составило 1570 человек, почти каждый из которых являлся руководителем самостоятельной организационной единицы – вертикали, функции, предприятия, дочернего общества. Участники представляли все структурные подразделения Холдинга и все железные дороги (см. рис. 1).

 

Рис. 1: Участники программы «Корпоративный лидер»

Рассмотрим «архитектуру» данной программы. Идеологической основой программы стала идея развития топ-менеджмента и обновления управленческого стиля в масштабе всей компании. Элементы целевого управленческого стиля были заложены в Модель корпоративных компетенций, которая явилась базисом данной программы. В самом начале программы участники получили мощный мотивирующий заряд, просматривая яркое видеообращение Президента компании, который призывал слушателей развиваться самим, развивать подчиненных и обновлять свой подход к управлению персоналом и бизнесом.

Содержание программы было построено по принципу «расширения масштаба» от семестра к семестру (один семестр в КУ длится полгода). В первом семестре в фокусе внимания находился сам руководитель и навыки его персональной эффективности, тематика второго семестра строилась вокруг компании и инструментов управления, в третьем семестре рассматривалось взаимодействие компании с окружающей средой (см. рис. 2).

 

 

Рис. 2: Содержание программы «Корпоративный лидер»

В ходе разработки и проведения данной программы обеспечивались:

• концептуальное единство: в основу программ для руководителей разного уровня были заложены общие ключевые понятия, а в зависимости от уровня руководителей отличался только метод подачи материала и набор конкретных упражнений.
• преемственность обучения: по итогам 1 и 2 семестров слушатели получали практические задания и комплекс методических рекомендаций, над которыми работали между семестрами. Каждый следующий семестр начинался с «мастерской», на которой актуализировался опыт практического применения инструментов, освоенных на предыдущих этапах.
• личностная вовлеченность: акцент ставился на освоении навыков и моделей эффективного поведения, на тренингах много времени отводилось действию участников и последующему их анализу. Немаловажный фактор – это вовлеченность и общий уровень профессионализма тренеров и оценщиков, которые работали с полной самоотдачей, понимая значимость и уникальность проекта.

Еще одна примечательная особенность этой программы – проведение полноценных ассессмент-центров «на входе» и «на выходе», что, в конечном счете, и позволило обоснованно судить о наличии эффекта. Как известно, «ассессмент» – один из наиболее валидных методов оценки. В рамках программы «Корпоративный лидер» были предприняты специальные усилия для того, чтобы обеспечить преемственность между входной и выходной оценками: оценочные процедуры разрабатывались и проводились по единой методологии, одной и той же командой, при этом само содержание оценочных заданий было разным на «входе» и на «выходе».

 

Оценка эффекта программы на основе экспертных заключений

 

Сопоставление результатов входной и выходной оценок позволило оценить влияние программы «Корпоративный лидер» на уровне изменения в наблюдаемом поведении ее участников. Оценка по компетенциям проводилась с использованием шкалы от 0 до 3, исходный (входной) уровень развития компетенций принимался за 100%.

 

Рис. 3: Прогресс в развитии компетенций по итогам участия в программе «Корпоративный лидер»

Какие выводы можно сделать на основе полученных результатов?

Основной вывод – это наличие прогресса в развитии корпоративных компетенций как такового. Среднее значение прогресса по всем участникам и по всем компетенциям составило 16,7 %. Влияние на данный результат локальных и ситуативных факторов можно исключить, т.к. в каждом подразделении на каждой дороге за полтора года произошло множество событий, каждое из которых могло как «в плюс», так и «в минус» повлиять на прогресс в развитии компетенций конкретного топ-менеджера.  Но в совокупности в масштабе полутора тысяч топ-менеджеров и всех дорог эти события создали нейтральный, статистически незначимый фон.

Единственный внешний фактор, который мог бы повлиять на результаты выходной оценки – это менее стрессовая обстановка самой процедуры «выходной» оценки по сравнению с «входной». Ведь для большинства участников «входная оценка» была первым в их жизни опытом участия в ассессмент-центре. Но если бы имело место влияние такого фактора, как «менее стрессовая обстановка», оно сказалось бы в равной степени на результатах по всем оцениваемым компетенциям. На графике же мы видим, что изменения не равномерны: по некоторым компетенциям есть весьма существенный прогресс («Управление развитием»), а некоторые компетенции («Стратегическое мышление») практически остались на исходном уровне.

Если проанализировать график, то можно увидеть, что различия входной и выходной оценок обусловлены причинами, лежащими в плоскости именно обучения и развития. Так, наименьший прогресс наблюдается в компетенциях «Стратегическое мышление» и «Нацеленность на результат», которые традиционно являются наиболее сложно развиваемыми. С другой стороны, такие компетенции, как «Управление развитием» и «Управление эффективностью» не связаны с фундаментальными особенностями личности и поддаются развитию, и мы действительно видим существенный прогресс в развитии данных компетенций. Из чего можно сделать вывод, что прогресс в развитии компетенций обусловлен не чем иным, как самой программой обучения.

Наибольший прогресс был достигнут в компетенции «Управление развитием» (содержание данной компетенции связано с навыками развития подчиненных) — 34%. И это не случайно. Теме «развития подчиненных» в программе «Корпоративный лидер» было уделено особое внимание – она прорабатывалась не только в аудиторном формате, но и в виде домашних практических заданий, направленных на отработку навыков предоставления подчиненным развивающей обратной связи. К тому же, эта тема «красной нитью» проходила через все три семестра программы. В ИПР руководителей наиболее часто встречались цели, связанные с освоением навыков управления развитием подчиненных. На примере этой компетенции мы получаем подтверждение тому, что наилучшие результаты приносит комплексное развивающее воздействие, включающее как аудиторный формат, так и различные формы развития на рабочем месте.

В целом, по наблюдениям тех тренеров и оценщиков, кто работал на программе на протяжении всех трех семестров, в ходе полутора лет реализации программы общее отношение участников к обучению изменялось от формально-отстраненного до вовлеченного и заинтересованного. По общему мнению этих экспертов, причина такого изменения состояла в том, что участники стали понимать логику происходящего, которая выражалась в периодичности и преемственности обучения, в направленности программы на актуальные задачи компании, в ее массовости и охвате различных уровней управления.

 

Оценка эффекта программы на основе восприятия подчиненными изменений в управленческом стиле руководителей

 

Интересные результаты были также получены в ходе исследования, которое проводилось независимой исследовательской компанией «Amplua Insights» по окончании программы (сентябрь – декабрь 2011). Задачей исследования была оценка влияния программы «Корпоративный лидер» на управленческий стиль топ-менеджеров, но не с позиции внешних экспертов, а с точки зрения самих работников компании, которые имеют возможность наблюдать своих руководителей в повседневной деятельности. В ходе исследования было опрошено две группы подчиненных. Первая группа – подчиненные руководителей, прошедших обучение в КУ (400 человек), вторая группа – подчиненные руководителей, не прошедших такого обучения (100 человек, контрольная группа). Респонденты представляли все уровни управления и все дороги, так что выборка была достаточно разнородной, чтобы исключить влияние локальных и ситуативных факторов. В рамках исследования подчиненным нужно было оценить обе группы руководителей по тем же корпоративным компетенциям, что и во «входном – выходном» ассессменте (в исследовании «Amplua» суммарный показатель по оцениваемым компетенциям назывался «Индекс управленческого стиля»). По результатам исследования руководители, прошедшие обучение в КУ, получили стабильно более высокие оценки по всем компетенциям, чем их коллеги, не проходившие такого обучения. Разница в Индексе управленческого стиля между обучившимися и не прошедшими обучение составила 17%.

 

 

 

 

 

Рис. 4: Восприятие работниками влияния обучения в Корпоративном университете на управленческий стиль руководителя

Если сравнить этот график с графиком экспертных оценок (рис. 3), можно увидеть, что подчиненные в отличие от внешних экспертов воспринимают своего руководителя более интегрально — не через призму отдельных компетенций, а на основе факта его участия/неучастия в программе. Для подчиненного сам факт обучения руководителя в Корпоративном университете является основанием для его более высокой оценки по всем компетенциям. Конечно, по сравнению с оценками экспертов, валидность данных оценок не столь велика, поскольку подчиненным со своей позиции сложно объективно оценить, например, степень стратегичности мышления своего руководителя или то, как он управляет эффективностью. Но эти оценки являются объективным показателем влияния программы «Корпоративный лидер» на восприятие ее участников остальными работниками компании. Полученные результаты являются отражением «общественного мнения», которое было сформировано за время работы Корпоративного университета.

 

Заключение

 

Опыт проведения и оценки эффективности программы «Корпоративный лидер» объективно подтверждает тезис о том, что обучение топ-менеджеров может давать измеримый эффект на уровне «изменений в наблюдаемом поведении».

Оценка данного эффекта возможна в случае системного проведения программы, когда влияние внешних локальных и ситуативных факторов нивелируется за счет масштабности и периодичности реализации программы.

Эффективность программы достигается за счет комплексной проработки конкретных тем – как в очном формате, так и с использованием различных форматов развития на рабочем месте.

В настоящее время по программе «Корпоративный лидер» начали обучение следующие 1500 руководителей высшего звена компании. Структура и содержание программы в 2012- 2013 году останутся такими же, как в первом потоке, добавится функционал он-лайн сопровождения индивидуального развития участников программы. Есть основания с оптимизмом смотреть в будущее и ожидать, что со временем эффективность данной программы будет расти.

 

Антон Капитонов

Заместитель директора Корпоративного университета ОАО «РЖД»