Как измерить результативность проектного управления

Управление проектами

Андрей Малахов Цель данной статьи – кратко представить практический подход и ограничения использования различных метрик для оценки эффективности проектного управления, включая деятельность Проектного офиса.

Если кратко, то мы затронем следующие темы:

Заинтересованные стороны (стейкхолдеры) в проектном управлении и их интересы.
Ситуация с объективной оценкой Проектным офисом своей результативности.
Ключевые показатели эффективности Проектного офиса и их особенности.

Анализ приводится для Проектного офиса банка или другой непроектной организации. Использование выводов для проектных организаций может иметь ограничения и остается на усмотрение читателя.

Заинтересованные стороны в проектном управлении и их интересы

Ниже (в таблице) представлены заинтересованные в проектном управлении лица и их интересы. Какие-то из них прямо или косвенно относятся к проектному управлению и могут быть оценены с помощью численных (измеримых) метрик, другие качественные или носят сугубо субъективный характер. При этом, это вовсе не значит, что только численные и объективные показатели деятельности позволяют добиться адекватного понимания заинтересованными лицами эффективности проектной деятельности и Проектного офиса.

Скорее наоборот – зачастую именно субъективное мнение топ-менеджмента об эффективности проектной деятельности может быть куда более значимым для проектного управления и Проектного офиса и оказывать непосредственное влияние на принятие важных управленческих решений.

Интересы стейкхолдеров

Собственник	Достижение запланированных показателей доходности и стоимости бизнеса Предсказуемость данных показателей Непосредственное влияние проектов на достижение запланированных показателей
CEO и ТОП-менеджмент	Достижение запланированных показателей бизнеса Своевременная реализация стратегических проектов Экономия ресурсов, в том числе: повышение эффективности организации (достижение больших результатов при меньших затратах ресурсов), экономия организационных и управленческих ресурсов при реализации проектов и программ Повышение уровня власти и расширение зоны влияния Повышение репутации в глазах CEO и собственника Оценка эффективности проектного управления или Проектного офиса
Проектный офис	Демонстрация полезности своей деятельности основным заинтересованным лицам (Собственник/CEO/Топ-менеджмент), т.е. повышение репутации Контроль деятельности менеджеров (сроки, результаты) Эффективность использования ресурсов (бюджет, внутренние трудозатраты) Профессиональная самореализация
Инициаторы, бизнес-заказчики	Достижение бизнес-эффекта от реализации проектов Своевременная реализация своих проектов (достижение результатов в рамках конкретного отчетного периода – например, квартала или года) Понимание состояния проектов Соответствие требованиям (ожиданиям) к результатам проектов

Показатели измерения эффективности Проектного офиса

Сомнения в эффективности деятельности Проектного офиса, читай – эффективности проектного управления, высказывают от 33% до 52% респондентов. [The multi-project PMO: A Global analysis of the Current state of practice, Hobbs, 2007]

Но несмотря на то, что эффективность - тема для жарких споров, обсуждений и сомнений со стороны высшего руководства, организации отнюдь не торопятся измерять ее объективно.

Согласно отчету ESI International - The Global State of the PMO in 2011 в среднем ~70% респондентов (не сотрудники Проектного офиса) указали, что измерения эффективности либо не проводятся, либо о них им неизвестно.

Ниже я предлагаю несколько видов метрик, которые позволяют в первом приближении понять, в правильном ли направлении движется проектное управление в организации. Это важно как для высшего менеджмента, так и для Проектного офиса, который должен обосновать целесообразность своего существования.

Сразу оговорюсь, каждая метрика в отдельности может не давать необходимого понимания эффективности проектного управления. Поэтому крайне важным является как правильная комбинация выбранных метрик, так и критическое к ним отношение, так как практически каждым показателем можно «злоупотреблять», т.е. использовать для создания искаженного восприятия реальной ситуации.

Что измеряем

Показатели (и комментарии к ним)

Предсказуемость (актуальность и точность прогнозов и планов)

Время пересогласования плана до истечения срока /после вехи, дней
Среднее значение корректировки плана после перепланирования, дней

Данные метрики показывают насколько «вперед» позволяют смотреть планы проектов и насколько уверенно можно это делать. Наличие такой возможности показывает качество планирования и позволяет использовать планы для ресурсного, финансового и других видов сводного планирования. В отсутствие резких изменений внешней среды при эффективном проектном управлении не ожидается, что каждое отдельное перепланирование будет существенным в % к общему сроку проекта, что по сути говорит о точности даваемых прогнозов по срокам завершения работ.

Накопленные отклонения (перепланирования), дней

Имеются в виду отклонения по «субъективным» причинам, т.е. несвязанными с внешними факторами и изменениями требований)

Измерение отклонений по срокам важно не само по себе, а в привязке к причинам, которыми оно вызвано. Часть причин не являются контролируемыми средствами проектного управления (например – изменение сроков вступления в силу законодательства).

Другие – точность планирования ресурсов, низкое качество работ, оказываемых поставщиками, могут быть существенно улучшены за счет качественного управления проектами.

Удовлетворенность заказчиков

Индекс удовлетворенности (формально рассчитывается редко, обратная связь дается на специализированных проектных / управляющих комитетах)

Конечно, можно разработать специальный инструментарий для измерения удовлетворенности (неудовлетворенности) топ-менеджеров. Однако их вербальная и невербальная реакция во время специально организованных при участии Проектного офиса проектных/ управляющих комитетов с обзором текущего состояния отдельного проекта или портфеля проектов не дает усомниться в их оценке качества управления. Формализовывать эту реакцию или нет – решать Проектному офису и менеджерам проектов, главное понимать – что в данном вопросе крайне важно обладать достоверной информацией из первых рук и проактивно работать с ней.

С этой целью Проектный офис и менеджеры проектов должны создать и поддерживать регулярное функционирование «коммуникационных площадок» (управляющих и проектных комитетов), где эту реакцию топ менеджеров на целостную картину по проектам можно увидеть. Помимо выяснения степени удовлетворенности такие «площадки» при надлежащей подготовке участников способны положительно влиять на проектную деятельности и имидж Проектного офиса, формируя его ценность в глазах стейкхолдеров.

Производительность (throughput)

	количество проектов завершенных за период
	общее количество идущих проектов на дату

Данный показатель может быть актуален для для компании с более или менее стабильным объемом ресурсов и бюджетами.

	количество проектов завершенных за период
	количество использованных ресурсов

Для вычисления данного показателя можно оценивать количество завершенных проектов на одного менеджера проекта или единицу других ресурсов исполнителей.

Понятно, что при изменении качества или количества ресурсов, производительность также изменится, поэтому нужно аккуратно выбирать метрику для этого важного показателя, которая отделит качество исполнения от качества управления.

С целью исключения возможности злоупотребления количеством завершенных проектов необходимо ввести четкие правила для определения содержания проектов, т.е. какие итоговые результаты достаточны для признания некой активности проектом, а также их минимального размера по ресурсам и бюджету.

Утилизация ресурсов

Выполнение бюджета проектов (портфеля), %
Экономия бюджета проектов, %
Утилизация ресурсов исполнителей, %

Этот показатель является двояким – с одной стороны, при сохранении целевых результатов необходимо добиться экономии ресурсов, если возможно, с другой– необходимо добиться максимальных результатов при заданном объеме ресурсов (так как они уже зарезервированы для реализации проектов).

Таким образом, в зависимости от стратегической установки – на максимизацию результата или минимизацию затрат нужно стремиться либо к повышению утилизации (полезное использование бюджета и ресурсов для достижения целей портфеля), либо к экономии ресурсов и затрат.

Высокий % утилизации бюджета, например, может свидетельствовать о планировании средств на реализацию проектов в нужном объеме, отсутствии избыточного планирования средств, «замораживаемых» на длительный период. Однако данный показатель работает только в связке с показателями производительности, в противном случае – его использование может нанести только вред организации.

Унификация

Соответствие методологии в виде % выполненных требований в точках принятия решения («ворота принятия решений» = stage gate), %

Требования методологии управления проектами могут разделяться на мягкие (рекомендованные) и жесткие (обязательные для прохождения «ворот принятия решений»). Как ни странно, % выполненных требований при переходе к следующим «воротам» можно считать не только для мягких, но и для жестких требований, так как их 100% выполнение в реальных условиях обеспечить практически не возможно. В любом случае эта метрика показывает, насколько реальные проекты соответствуют предъявляемым к ним требованиям, что говорит как о степени проникновения проектного управления и дисциплины его применения, так и о применимости конкретной методологии в конкретной компании, и ставит вопросы о ее адаптированности к условиям организации.

Скорость получения результатов проекта

(time-to-market)

Средний срок завершения этапов и проектов, дней

Все результаты поставки проекта делятся на востребованные клиентом («бизнес-ориентированные» - те, которые клиент «заказывает» в рамках проекта) и все остальные («технические»), чем меньше сроки получения бизнес-ориентированных результатов, тем быстрее ресурсы, затраченные на проект превращаются в реальзую пользу для заказчиков. Данный показатель способствует разделению бизнес-ориентированных результатов во времени и способствует тому, чтобы они поставлялись как можно раньше.

Сроки запуска проектов

(idea-to-project)

Средняя продолжительность пред-проекта (фазы планирования), дней

Данный показатель может показывать насколько быстро оцениваются идеи и принимается решение о реализации проекта Чем быстрее, тем больше ресурсов тратится на действительно востребованные проекты.

Кроме того, снижение данного показателя позволяет гибко реагировать на действия конкурентов и изменения рыночных условий.

Сумма выгод портфеля (planned portfolio value)

Сумма плановых Net Present Value (Чистый приведенный доход) проектов утвержденного портфеля в течение n-лет.

Сумма выгод портфеля может измеряться как сумма Чистых Приведенных Доходов всех проектов портфеля. При этом даже проекты, направленные на снижение рисков, могут быть оценены подобным образом с учетом вероятности и влияния рисков.

Хотя данный показатель и выглядит привлекательно, могут возникнуть существенные сложности с вычленением доходов/экономии, связанных с реализации определенного проекта. Кроме того, показатель может говорить не только и не столько об улучшении качества проектного управления, сколько о благоприятном изменении внешней конъюнктуры.

Не стоит забывать, что хотя оценка плановых выгод портфеля с одной стороны делает его крайне стратегически и бизнес-ориентированным, с другой - она требует постоянной актуализации бизнес-кейсов проектов, что не всегда практически возможно и целесообразно. Кроме того, реальные показатели NPV по опыту могут в разы отличаться от плановых. Без анализа фактически полученных выгод данный показатель может приводить к чересчур идеалистичной оценке ситуации.

При всей пользе данного показателя, можно утверждать, что пока в приложении к портфелю проектов он не так уж часто встречается.

Возврат инвестиций (Portfolio ROI)

Return-on-investment (ROI) от фактически полученных выгод реализованных проектов за n-лет,%

Аналогично предыдущему показателю – он способствует крайне бизнес-ориентированному подходу к оценке реализованных проектов.

С другой стороны, для корректности расчета он может требовать детального расчета фактически потраченных внутренних ресурсов, а не только «внешнего» бюджета. Сложности расчета аналогичны описанным в предыдущем пункте.

Кроме того, надо понимать, что далеко не всегда данный показатель является «руководством к действию», так как проекты, особенно внутренние, будучи по природе уникальными, довольно неточно прогнозируются в части ROI, а показатель указывает на «посмертную» ситуацию с выгодами портфеля.

В целом данный показатель находится для большинства компаний за пределами «области ближайшего развития»

Совершенно намеренно в статье не упомянуты такие показатели, как

Уровень зрелости проектного управления;
Показатели освоенного объема;
«Светофоры» по состоянию проектов портфеля.

Не вдаваясь в подробности – они либо мало применимы для внутренних проектов, либо в большей степени ориентированы не на анализ результативности проектного управления, а на анализ текущей ситуации и определение области корректирующих действий.

Безусловно, возможные метрики проектного управления не исчерпывается приведенным перечнем, однако я надеюсь, что он даст начальную базу для построения свой системы метрик для всесторонней и постоянной оценки результативности проектного управления в вашей компании.