Гайд: делаем матрицу компетенций для качественной оценки сотрудников

Чтобы проводить оценку и прокачивать менеджеров продуктов в небольшой компании, достаточно анализировать их личные результаты, разбирать каждый случай невыполнения целей, давать развивающую обратную связь и корректировать их работу в ручном режиме.

Однако на масштабе это становится сложнее: когда команда растет, руководитель уже не может удерживать в фокусе одновременно задачи по работе над продуктом, развитию команды в целом и каждого сотрудника в отдельности. При этом ему постоянно приходится думать: каких компетенций не хватает в команде, кем ее надо усилить и как научиться быстро оценивать кандидатов. В такой момент возникает потребность в матрице или модели компетенций — инструменте для систематизации профессиональной оценки.

Светлана Ратнер, руководитель направления развития продуктов в Контуре рассказала, как в компании создавали и тестировали матрицу компетенций для отдела продакт-оунеров, а также сделала большую подборку матриц открытых компетенций для менеджеров продуктов.

Контекст: Продакт-оунер в Управлении разработки в Контуре отвечает за создание программного продукта (или его части) и максимизацию ценности продукта для конечного пользователя. Обычно в его обязанности не выходит клиентский опыт (в B2B-сервисах Контура разделяют пользователя и клиента), поиск новых рынков и маркетинг — эти задачи закрывают другие сотрудники. При этом выделенная роль продакт-оунера есть не в каждой команде — в основном только в крупных, технически сложных продуктах с множеством сценариев и разными целевыми аудиториями.
Примечание: продакт-оунер в Контуре — не роль из Scrum, а название должности, синоним менеджера продуктов.

Почему не подошли готовые модели

В открытых источниках есть множество готовых моделей компетенций менеджеров продуктов, но ни одна их них не подойдет, если нужно оценить сотрудников компании. К тому же готовые модели не универсальны: функциональные обязанности и ожидания от роли менеджера продуктов сильно зависят от индустрии, стадии жизненного цикла продукта и оргструктуры компании.

Мы с командой продакт-оунеров из Управления разработки Контура находили готовые модели компетенций — причем из компаний, похожих на нашу, — но содержание нас разочаровывало. Матрицы эти создавались под решение конкретных задач, а потому описание компетенций, индикаторов и способов оценки сильно отличалось. В одних моделях ожидания от сотрудников разных уровней описаны через результаты их деятельности, в других — через задачи, в третьих — через набор инструментов и фреймворков, которыми они должны владеть.

Мы пришли к выводу: использовать готовую модель «из коробки» не выйдет. И чтобы инструмент нам подходил, нужно разработать собственную модель оценки — или как минимум серьезно доработать одну из существующих.

Мы пишем о менеджменте продуктов и развитии в телеграм-каналах make sense и Продуктовое мышление.

По какой механике работали над матрицей

Модель компетенций можно формировать «сверху вниз» — командой топ-менеджеров и HR-ов, привлекая самих оцениваемых сотрудников в качестве экспертов. В Управлении разработки Контура используется обратный подход — матрица создается внутри отдела, для оценки которого предназначена, а стейкхолдеры сверху транслируют свои ожидания от роли продакт-оунера и самого инструмента (матрицы).

Мы считаем путь «снизу вверх» более эффективным. И вот почему:

он позволяет создать более точный инструмент оценки;
готовый инструмент проще внедрять, потому что сотрудники причастны к его созданию и настроены более лояльно.

Однако этот путь может показаться сложнее: нужно организовать командную работу экономно (с сотрудников не снимаются прямые задачи), а на выходе получить качественный инструмент, который не будет сделан небрежно или впопыхах.

Мы совместно разрабатываем матрицу компетенций уже во второй раз. Форматы используем разные: в первый раз прорабатывали модель интенсивно — на командном выезде, во второй — растянули удовольствие на 2 месяца, чередуя общие встречи для синхронизации и асинхронную работу. При этом сами принципы работы над матрицей остаются неизменными, да и затраты в чистых человеко-часах не слишком отличаются.

К созданию матрицы мы подошли как к продукту: изучили потребности пользователей (руководителей и оцениваемых менеджеров), сформулировали цели, двигались небольшими шагами, декомпозировали задачи так, чтобы выполнять их параллельно, сразу заложили время и ресурс на регулярный сбор обратной связи и доработку модели.

make sense#162: Об управленческом фреймворке, принципах и борьбе с возрастающей сложностью с Дмитрием Абрамовым

Этапы создания матрицы компетенций

Этап 1. Кому и зачем нужна матрица

Мы начали с определения потребностей целевой аудитории — поштормили и составили список вопросов:

Кто они — потенциальные пользователи матрицы компетенций продакт-оунера внутри компании?
Какие задачи, связанные с оценкой менеджеров продуктов, они решают? Какие инструменты используют?
Используют ли готовые матрицы компетенций? Какие возникают трудности?
Чего они ждут от нового инструмента и как поймут, что он работает хорошо?

Результатом штурма стал набор гипотез относительно задач и проблем потенциальных пользователей матрицы, а также наброски гайда для проведения интервью с ними. Каждый участник рабочей группы взял на себя одно интервью и на вторую общую встречу принес набор ключевых задач своего респондента.

Кому и зачем нужна матрица компетенций (карта навыков):

Потенциальным кандидатам, переходящим из других ролей разработки. Помогает прояснить, чего от них ждут на новой позиции, каких компетенций им не хватает и что прокачать, чтобы успешно пройти собеседование и онбординг.
Уже работающим специалистам. Помогает понять свой уровень относительно других менеджеров продуктов в компании, проанализировать перспективы своего роста, а также давать обоснованную обратную связь коллегам.
Функциональному руководителю. Помогает выстроить справедливую систему грейдов и зарплатных вилок, планировать обучение в отделе.
Группе найма, куда входят продакты-наставники и специалисты по HR. Помогает последовательно оценивать кандидатов.
Непосредственному руководителю каждого продакт-оунера (CPO в продукте). Помогает сформировать ожидания к сотруднику и подобрать задачи, которые соответствуют планам развития продукта и самого специалиста. Инструмент должен фиксировать, что сотрудник умеет сейчас, какие компетенции нужно прокачать и какие задачи можно делегировать этому сотруднику в следующий период, чтобы помочь в развитии.

Этап целеполагания при создании матриц часто пропускают и сразу приступают к содержанию — формулированию набора компетенций и индикаторов роли. Однако мы рекомендуем сначала договориться, для кого создается инструмент, какие задачи и проблемы он призван решить.

*Приметы времени. Командная работа на удаленке*

Время на этап: 2 встречи рабочей группы по 1 часу + 10 интервью.

Этап 2. Что делает продакт-оунер

Этот этап по-научному называется «каскадирование целей»: нужно детально разобрать ожидания и задачи, которые стоят перед конкретной ролью — вплоть до конкретных знаний и навыков, которые позволяют успешно решать рабочие задачи.

Помогают вопросы:

Какие задачи стоят перед менеджером продуктов на каждом этапе работы над продуктом? В чем выражается результат работы?
Как необходимо выполнять эти задачи? Какие промежуточные шаги обеспечивают продвижение к цели?
Какие знания и навыки обязательны? Какие качества и какое поведение стоит демонстрировать, чтобы достичь результата?

Обсуждать эти вопросы полезно командой экспертов. Поэтому мы разделились на группы в соответствии с условной «специализацией» менеджеров продуктов и договорились, какой блок задач возьмет на обсуждение каждая группа. При этом мы понимали, что можем пересечься и немного залезть на территорию друг друга — на втором этапе это допустимо.

Кроме личного опыта экспертов нам пригодились модели компетенций разных авторов: мы изучали референсы и брали на заметку классные идеи — какие компетенции они выделяли и как их формулировали. Весь список моделей со ссылками мы привели в конце статьи.

Результатом этого этапа стал лонг-лист компетенций — длинный список всех знаний, умений и навыков, которые полезны в работе менеджера продуктов. Получился большой набор карточек в Miro. Использовали именно карточки, а не список в документе, потому что с карточками потом гораздо удобнее работать и категоризировать навыки.

*Команды накидали задачи и компетенции продакт-оунера*

Время на этап: 1-2 встречи каждой малой группы по 1 часу (у нас было 4 группы).

Этап 3. Что самое важное в работе продакт-оунера

На третьем этапе нам необходимо было сократить лонг-лист и превратить его в короткий список самых важных компетенций, которые отличают «хороших» менеджеров продукта от «посредственных».

И здесь полезно сразу договориться, что именно вы понимаете под компетенцией — чтобы на карточках оказались единообразные формулировки и не было разнобоя. В разных источниках давались разные определения, и мы выбрали самое простое:

Компетенция — это поведение, которое приводит к нужному результату. То есть компетенция отвечает на вопрос «Что человек на конкретной позиции делает ежедневно и работая над задачами». Это не просто знания, умения и навыки — это именно поведение, то, как действует сотрудник. Потому что кроме багажа знаний и навыков на поведение влияют наши установки и мотивация.

Теория. Есть классный способ сформировать шорт-лист компетенций — основанный на данных подход DEEP. Руководителям предлагают оценить всех сотрудников конкретной роли по всем компетенциям из лонг-листа и по эффективности, а затем смотрят связи между обеими оценками. В итоговой модели оставляют только те компетенции, которые коррелируют с высокой результативностью сотрудников. Нам как менеджерам продуктов такой подход очень понравился — все-таки он основан на метриках — однако наша группа оказалась слишком мала для подобного эксперимента.

Поэтому здесь мы снова использовали экспертный подход — внутри групп договорились о том, какие из выделенных на штурме компетенций считаем ключевыми.

Время на этап: 1 встреча малой группы на 1 час.

Этап 4. Как собрать и визуализировать матрицу

Теперь осталось собрать все воедино и проверить, что выделенные компетенции (наш шорт-лист) не противоречат и не повторяют друг друга, но при этом описывают все ключевые аспекты деятельности менеджеров продукта. То есть своеобразная перекрестная проверка результатов работы малых групп. Тут мы руководствовались принципом MECE — элементы системы должны быть взаимоисключающими и охватывать всю тему, не оставляя пробелов.

А еще экспериментировали с визуализацией матрицы, пробовали разные логические принципы разделения компетенций на блоки.

*Пробуем разные раскладки компетенций по блокам*

Время на этап: 1 встреча рабочей группы на 2 часа

Этап 5. Как описать каждую компетенцию

Это самый кропотливый этап — нам пришлось потратить немало времени, чтобы описать индикаторы и способы оценки компетенцией и связать их с уровнями менеджеров продукта.

Индикаторы — это признаки, по которым мы можем понять, что человек владеет компетенцией на должном уровне. Каждая рабочая группа расписывала видимые проявления компетенций и проверяла, чтобы индикаторы были объективными (то есть был способ более-менее достоверно проверить или оценить компетенцию) и не пересекались между компетенциями (нет индикаторов, которые можно использовать для оценки разных компетенций) .

Теория. Существует несколько базовых способов оценки компетенций:
— вопросы в ходе оценочной беседы (проверяем знания);
— тестовый кейс (проверяем владением навыком);
— рабочие артефакты — расчеты экономики, результаты исследования и т.п. (более комплексная оценка поведения, а не локального навыка);
— обратная связь от руководителей и стейкхолдеров;
обратная связь от команды (подходит для оценки компетенций, связанных со взаимодействием, и софт-скиллов);
— оценка экспертом, ассессмент-центр.

В своей матрице мы прописали возможные способы проверки для каждой компетенции. Сейчас в ней преобладают относительно дешевые способы — обратная связь от руководителя и коллег, оценка рабочих артефактов. Еще в матрице есть вопросы, которые надо задать сотруднику во время оценки, чтобы проверить его знания. А на собеседованиях кандидатам дают и тестовые кейсы.

Также мы прикинули, какие компетенции и на каком уровне нам необходимо проверять более надежно и дорого — с помощью ассессмент-центра и внешних экспертов.

Время на этап: индивидуальное «домашнее задание» + 1-2 встречи рабочей группы на 1 час.

Этап 6. Как протестировать модель и исправить недостатки

Предпоследний этап — тестирование модели. Для этого мы пригласили нескольких руководителей и менеджеров продукта, которые не принимали активного участия в работе над матрицей, и смоделировали процесс подготовки к оценочной беседе.

Сотрудник знакомился с описанием компетенций, пробовал подобрать примеры проявления каждой из них и определить собственный уровень. При этом модератор просил обращать внимание на формулировки — отмечать непонятные моменты и туманно описанные индикаторы.

После этого тех же сотрудников оценивал по матрице их руководитель. Помимо обратной связи по формулировкам здесь мы проверяли, что новый инструмент дает адекватную оценку уровня сотрудников. В итоге напротив каждой компетенции собрали замечания от всех участников теста, выделили связанные и повторяющиеся проблемы.

Получившийся список разделили на два TODO-листа:

формулировки, которые необходимо исправить уже к ближайшей оценке — в этом списке оставили однозначные и недвусмысленные комментарии;
формулировки, за практическим использование которых необходимо понаблюдать — для более сложных идей и замечаний.

Время на этап: 10 тестов по 1 часу + 1 встреча группы для обсуждения итогов и TODO-листа (1 час).

Этап 7. Как создать процесс постоянного обновления и улучшения матрицы

На ближайшей регулярной оценке мы раскатили матрицу компетенций на всех сотрудников. Снова собрали обратную связь и внесли изменения, а через полгода (регулярная оценка сотрудников проходит в Контуре дважды в год) повторили процедуру.

За каждым тематическим блоком матрицы мы закрепили отдельную рабочую группу. Когда очередная оценка сотрудников завершается, функциональный руководитель собирает обратную связь от сотрудников и руководителей, а рабочая группа разбирает фидбэк по каждому блоку и принимает решение, какие изменения стоит внести.

В первый год использования матрицы мы в основном уточняли формулировки — например, выявили и убрали пару компетенций с пересекающимися индикаторами. А в этом году мы уже созрели до того, чтобы увеличить количество уровней — трех классических (junior, middle, senior) нам оказалось недостаточно для описания всех ступеней развития продакт-оунера внутри компании.

Матрица компетенций — живая сущность, она должна меняться вместе с рынком, компанией и ожиданиями от роли продакт-оунера, поэтому еще в момент создания инструмента важно договориться о процессе рефакторинга: как и когда снимается обратная связь, как вносятся изменения.

*Доска для сбора обратной связи после оценки*

Время на этап: 1 час работы группы после каждого периода оценки.

Что получилось: матрица компетенций продакт-оунера

В матрице 4 группы компетенций: работа над продуктом, исследования, управление и лидерство, софт-скиллы.

*Матрица компетенций продакт-оунера в Контуре*

В блоке «Работа над продуктом» компетенции условно расположены в порядке работы над фичей/продуктом — от расчета экономической эффективности до оценки результата с помощью метрик.

Все компетенции, связанные с качественными и количественными исследованиями, вынесены в отдельный блок. Причина не в том, что исследования не относятся напрямую к работе над продуктом — наоборот, так мы можем постоянно держать их в фокусе. У многих продакт-оунеров они включены в цели развития на ближайшие полгода.

В блоке «Управление и лидерство» — все, что касается взаимодействия с другими людьми: мотивация команды, наставничество, управление подчиненными. Это блок для старших уровней.

В софт-скиллах мы оцениваем только две ключевые компетенции — коммуникацию и способность справляться с неопределенностью (сюда же относим умение снижать ее и в рамках своей команды). От других необходимых софт-скиллов: обучаемости, системного мышления, сплоченности — пока решили отказаться. Во-первых, мы не очень хорошо умеем измерять их, а во-вторых, мы считаем их важными не только для роли продакт-оунера, но и для других участников продуктовых команд. По сути, эти черты мы относим к портрету любого «контуровца».

Прямо сейчас у нас выделено 3 уровня развития компетенции:

Джун — знает теорию и применяет знания на уровне фичи, набора сценариев, подпродукта. Работает с наставником.

Миддл — системно применяет знания и навыки на уровне целого продукта, подбирает практики, подходящие продукту или команде, участвует в формировании целей и стратегии продукта. Работает самостоятельно.

Cиньор — применяет знания и навыки на уровне нескольких продуктов, участвует в формировании стратегии и целей направления или группы продуктов, улучшает практики взаимодействия и управления на уровне группы продуктов. Выступает в качестве наставника.

Приведу несколько примеров подробного описания каждой компетенции по уровням.

make sense#168: О том, как пережить первый год в роли менеджера, оценке своих достижений и переходе в топ-менеджмент

Компетенция: учитывает экономику продукта

Junior

Знает бизнес-модель продукта.
Знает экономическую эффективность фич, над которыми работает.

Как проверить:

Может раскрыть эти вопросы применительно к своему продукту в ходе оценочной беседы.

Middle

Все индикаторы уровня «Junior», а также:

Знает экономическую эффективность части продукта или целого продукта.
Рассчитывает экономическую эффективность фич.
Понимает точки роста и развития продукта.

Как проверить:

Может раскрыть эти вопросы применительно к своему продукту. Приводит примеры, как он сам рассчитывал экономическую эффективность.
Рассчитывает эффективность, решая кейс: экспертная оценка по тестовому кейсу.

Senior

Все индикаторы уровня «Middle», а также:

Понимает бизнес-модель направления или нескольких продуктов.
Может рассчитать эффективность нескольких продуктов, межпродуктовых проектов.
Может рассчитать эффективность новых проектов в продуктах.
Способен определить точки роста и развития для целого бизнес-направления или большого сложного продукта.

Как проверить:

Может раскрыть эти вопросы применительно к своему направлению.
Обратная связь от руководителя направления.

Компетенция: Проводит исследования

Junior

Знает разницу между качественными и количественными методами исследований. Умеет выбирать подходящий метод для определенного этапа работы над продуктом или задачей. Знает и пробует применять фреймворки (JTBD, CJM и т.п.). Для выбора метода прибегает к помощи наставника или специалиста по юзабилити.
Знает, как сформировать выборку. Консультируется с наставником или специалистом по юзабилити.
Фиксирует результаты исследования, используя рекомендации или наработки юзабилиста или советуется по поводу формы фиксации результатов с наставником.

Как проверить:

Обсуждение рабочего или тестового кейсов.
Уже имеет несколько завершенных исследований (5−10). Во время оценки можно обсудить артефакты исследований — материалы, выводы. Оценка артефактов исследования экспертом.

Middle

Индикаторы уровня «Junior», а также:

Формулирует и фиксирует план исследования без наставника с адекватными сроками и последовательностью этапов. Умеет составлять многоэтапные исследования, способен наметить комплексно, верхнеуровнево цепочку исследований для решения задачи.
Понимает, какими ресурсами можно провести исследование. Договаривается о ресурсах, распределяет работу.
Сочетает качественные и количественные методы; использует в работе фреймворки. Может самостоятельно выбрать метод и аргументировать, почему именно этот метод подходит для конкретного исследования.
Может сам выделить критерии для формирования целевой выборки, понимает и принимает решение, сколько респондентов нужно для проведения исследования.
Собирает информацию о пользователях и их сценариях из разных источников. Сам выбирает форму фиксации результатов исследований, обеспечивает доступ команды к результатам.

Как проверить:

Обсуждение рабочего или тестового кейса.
Имеет 7−10 самостоятельно проведенных завершенных исследований с использованием не менее трех разных методов, участвовал минимум в 20 исследованиях. Оценка артефактов исследования экспертом.
Обратная связь от команды.

Senior

Индикаторы уровня «Middle», а также:

Выступает в роли наставника по исследованиям.
Пробует новые методы исследований или адаптирует их под специфические задачи и аудитории. Подстраивает, корректирует существующие фреймворки под конкретные задачи.
Может гибко корректировать критерии выборки в зависимости от данных, которые получает в ходе исследования.

Как проверить:

Обсуждение рабочего или тестового кейса.
Обратная связь от команды.
Обратная связь от коллег, для которых он выступал наставником.

Что в итоге

На выходе у нас получилась матрица компетенций, которая отражает универсальные ожидания от продакт-оунеру в командах Контура, учитывает специфику B2B-сервисов и инфраструктурных продуктов. Теперь матрица служит базисом, основой для оценочной беседы сотрудника и руководителя каждые полгода.

В целом матрица уже способна эффективно решать задачи «пользователей» — это мы выяснили с помощью количественной (сколько сотрудников и руководителей использовали инструмент) и качественной обратной связи. Однако мы продолжаем постоянно собирать фидбэк и дорабатывать ее.

Благодаря групповой работе над матрицей большинство сотрудников естественным образом оказались знакомы с матрицей еще до запуска — поэтому на внедрение и объяснение, как пользоваться инструментом, уходит меньше ресурсов.

Совместная работа над матрицей компетенций оказалась классным способом командообразования и хорошим механизмом передачи мудрости от опытных сотрудников к начинающим. А еще это отличная практика коллективной рефлексии профессионального опыта.

DIY. Как разработать матрицу компетенций менеджеров продукта для качественной оценки сотрудников и кандидатов + подборка из 14 готовых матриц

Почему не подошли готовые модели

По какой механике работали над матрицей