제품 운영에서 영향력을 측정하기

제품 관리자로서 우리는 새로운 기능을 출시한 후, 내장된 제품 분석 도구를 통해 성공 여부를 측정합니다. 일반적으로 기준 수치가 있고, 그 기준 대비 얼마나 개선되었는지를 살펴보죠. 예를 들어, 온보딩 도구를 새로 도입한 이후 전환율이 얼마나 증가했는가? 와 같은 방식입니다.

하지만, 제품 운영에서 우리가 다루는 문제나 솔루션은 훨씬 다양하기 때문에, 단일 기준으로 성과를 측정하기는 어렵습니다.

 

운영팀은 무슨 일을 하나요?

성과 측정에 대해 본격적으로 이야기 하기 전 제품 운영팀이 어떤 일을 하는지 간단히 요약하는 것이 좋습니다. 아래는 FreeAgent 제품 운영팀이 수행하는 다양한 업무를 요약한 ㄴ내용입니다.

• 데이터 기반 의사결정 지원
  • 데이터에서 인사이트를 도출해 제품 관리자들이 빠르게 의사결정을 내릴 수 있도록 지원합니다
  • 다양한 출처의 데이터를 손쉽게 접근 가능하도록 만들어, 제품 스쿼드가 의사결정에 더 효과적으로 활용할 수 있도록 합니다
• 업무 방식 간소화
  • 제품 관리자들의 시간을 절약할 수 있도록 리포팅 및 계획 수립 프로세스를 개선합니다.
  • 제품 생애주기를 개선해 제품 스쿼드가 빠르게 제품을 출시할 수 있게 합니다
• 새로운 기회 발굴
  • 사용자 및 제품 리서치를 기반으로 새로운 제품 기회를 발굴하고 제안합니다
  • 시장 조사를 바탕으로 제품 전략에 영향을 미칩니다

다양한 업무들의 영향력을 일관하고 정확하게 측정하기

이 질문에 답하기 위해서는 우리가 먼저 마주한 측정상의 과제들을 살펴보면 다음과 같습니다:

 

1. 정량적이거나 자동화된 추적이 어렵다

제품 운영에서의 솔루션은 매우 다양하고 디지털 형태가 아닐 때도 많으며, 설령 디지털이라 하더라도 자동으로 추적되는 경우는 드뭅니다.

예 : OKR 리포팅 방식을 개선했다면, 그 개선이 얼마나 도움이 되었는지 어떻게 측정할 수 있을까요?

 

2. 성과물이 형태적으로 다양하다

어떤 프로덱트는 Google Sheets, notion, Locker 등과 가티은 다양한 도구의 프로세스 개선일 수 있고, 어떤 것은 신제품 기회 포착이나 전략 제안일 수 있습니다. 이 모든 것을 동일한 방식으로 측정하기 어렵습니다

 

3. 성과가 나타나는 데 시간이 걸린다.

AI를 활용한 고객 JTBD 리서치를 통해 새로운 제품 제안을 했다면, 실제 로드맵에 반영되어 출시되기까지 1년이 걸릴 수도 있습니다. 2개월 단위로 성과를 측정할 경우, 이런 프로젝트는 어떻게 평가할까요?

 

위와 같이 정량적 측정은 불가능한 경우가 많기에, 유연성과 약간의 수작업이 필요합니다.

 

영향력의 정의 

먼저, 우리에게 영향력이 무엇인지 정의해야합니다.

 

영향력 : 우리의 작업으로 인해 긍정적인 변화, 행동 또는 의사 결정이 일어나는 것

보다 구체적으로, 우리는 아래의 여섯가지 중 하나라도 발생하면 영향력이 있었다 판단합니다.

1. 새로운 정보 또는 인사이트 제공

2. 의사결정 또는 방향 설정에 기여

3. 프로세스 또는 워크플로우 개선

4. 팀 간 협업 또는 커뮤니케이션 개선

5. 전략 수립에 기여

6. 제품 기획 또는 기회 포착에 기여

 

모든 프로젝트가 위 기준에 맞는 영향을 주는 것은 아닙니다.

예를 들어, 경쟁사 분석을 수행했는데 이미 우리 제품이 앞서 있다는 결론이 나왔다면, 별도 조치는 없을 수 있지만 여전히 유의미한 문석이었을 수 있습니다.

또한, 성과는 장기적인 관점에서 봐야 할 때도 있습니다. 측정 기간 내에 결과가 없다고 해서 그 프로젝트가 실패한 것은 아닙니다.

 

영향력을 정량적으로 분류하기

우리는 아래 4가지 분류 체계를 통해 각 프로젝트 영향력을 분류합니다 : 

1. High Impact : 명확하고 실질적인 변화가 있었던 경우

2. Medium impact : 간접적이지만 중요한 인사이트나 논의 촉진이 있었던 경우

3. Low Impact : 미약하거나 단기적인 영향

4. No Impact : 의도된 영향이 나타나지 않은 경우(정상적인 결과일 수도 있음)

 

측정은 어떻게?

모든 프로젝트는 시작할 때, 성공의 기준을 정하고, 어떻게 측정할지를 정의합니다.

프로젝트 종료시에는 실제 어떤 영향이 있었는지를 문서화합니다. 아래는 2개월 단위 사이클에서 수행한 프로젝트 예시입니다.

프로젝트 명	목적	측정 방법	영향분류
OKR 개선 프로젝트	리포팅 품질 향상	리더십 피드백	Medium Impact
제품 아이디어 리서치	AI기반 JTBD 탐색	제안된 아이디어 수 및 채택 여부	High Impact
신규 프로세스 수립	협업 구조 개선	정성적 피드백	Low Impact

 

우리는 사이클마다 얼마나 많은 프로젝트에서 실질적인 영향력이 있었는가를 주요 성과 지표로 봅니다.

KPI 점검표

사이클 밑에는 모든 프로젝트를 요약한 단일 페이지 KPI 대시보드를 만듭니다. 여기에 포함되는 항목은 다음과 같습니다.

• 영향 프로젝트 수 / 비율
• 정성적 피드백 요약
• 프로젝트별 정량적/정성적 성과
• 팀 효율성(평균 프로젝트 소요 기간 등)

또한, 모든 프로젝트 종료 후에는 이해관계자에게 간단한 설문을 발송해 피드백을 받습니다. 대부분 정성적인 응답이지만, 일부는 점수화된 정량 질문도 포함되어 있습니다.

 

후행 지표도 중요합니다

앞서 살펴본 지표는 대부분 선행 지표입니다. 즉, 향후 더 큰 가치를 예측해주는 역할을 합니다. 그러나 후행 지표도 인식하고 있어야 합니다.

• 고객 가치 창출 : 우리의 제안이 실제 제품에 반영되어 고객 만족으로 이어졌는가?
• 팀 효율성과 만족도 : 우리가 제안한 협업 방식이 장기적으로 업무를 더 쉽게 만들었는가?
• 비즈니스 성과 : 전략적 제안이 기업 목표 달성에 기여했는가?

 

무엇을 성공으로 보지 않는가?

속도를 성공의 기준으로 삼지 않습니다

제품 운영 프로젝트는 범위가 유동적이고, 탐색 중 기회가 더 커지는 경우가 많기 때문입니다. 속도보다 임팩트와 품질이 더 중요합니다.

그 대신 프로젝트 진행 중 병목 현상을 파악하기 위해 다음과 같은 Team Fitness 지표는 참고합니다.

• 진행 중인 프로젝트 수
• 평균 프로젝트 소요 기간

 

앞으로..

우리는 최근 이 방식으로 영향력을 측정하고 있으며, 꽤 잘 작동하고 있다고 느끼고 있습니다.

물론 앞으로 더 나아가기 위해 계속 실험하고 개선할 계획입니다.

혹시 제품 운영의 영향력을 측정하는 다른 방식이 있다면 또 알려주세요!