프로덕트 지표를 위한 앰플리튜드 가이드 톺아보기
맡은 프로젝트의 이벤트 로그 디자인을 고민하면서 앰플리튜드에서 제공하고 있는 프로덕트 지표 설정을 위한 가이드<The Amplitude Guide to Product Metrics>를 오랜만에 다시 읽었다.
이벤트 로깅은 PM에게 정겨운 웬수같은 친구다. 이벤트 기반의 의사결정을 원활하게 하려면 이벤트 로그를 우선 잘 쌓아야 하는데, 이벤트 로그는 알아서 잘 쌓이지 않는다. 새로운 피처에는 새로운 로그가 붙어줘야 하고, 새로운 플로우를 검증하려면 새로운 로그가 붙거나 기존의 로그를 알맞게 수정할 수 있어야 한다. 이벤트로그가 기존에 잘 정비된 조직은 트래킹 플랜과 데이터 파이프라인이 잘 세팅되어 있어 어렵지 않게 데이터의 흐름을 파악하고 필요한 로그를 뽑고 로그를 추가로 디자인하거나 수정할 수 있지만, 사실 피치 못할 여러가지 사정으로 잘 정비된 조직보다는 잘 정비되지 않은 조직이 대부분이다. 중구난방 흩어져 있거나 필요할 때마다 어떻게든 얼기설기 엮어놓은 이벤트로그를 가지고 기획을 할 때엔 사용자를 제대로 파악할 수 없어서, 참으로 막막하다. 이를 보완하기 위한 다양한 리서치 기법이나 프레임워크를 동원한다 해도 결국 프로덕트 데이터에서 확보할 수 있는 인사이트를 대체할 수는 없다.
그래서 PM이라 부르든 PO라 부르든 기획자라 부르든, 오너십을 가진 채 프로덕트의 피처를 설계하고 구현 전후로 꾸준한 개선을 이뤄내야 하는 사람이라면 로그를 자신의 의도에 맞게 설계하고, 이를 따라갈 수 있어야 한다. 앰플리튜드가 제시하는 프로덕트 지표 설정을 위한 가이드는 그럴 때 항상 되새겨볼만한 좋은 원칙을 제시하고 있다. 오늘은 이 가이드를 읽으며 개인적으로 형광펜을 쫙쫙 치고 싶었던 부분을 꼽아 정리해두려 한다.
<The Amplitude Guide to Product Metrics>는 누구나 여기에서 다운로드 받을 수 있다.
*모든 용어의 번역은 임의.
예측(leading)/사후(lagging) 지표
예측 지표는 프로젝트의 목적을 달성하기 위해 가정하고, 짧은 주기로 측정하고, 테스트하는 지표를 말한다. 즉, 우리가 어디로 향하고 있는지를 보여주는 지표다. 사후 지표는 우리가 지금까지 어떤 여정을 거쳐왔는지 확인할 수 있는 지표다. 연, 반기, 분기, 혹은 달 등 주기적인 점검과 장기적인 전략을 수립하고 퍼포먼스를 평가할 때 활용한다. 예측과 사후 지표 모두 사업 목표를 달성하기 위해 반드시 필요하다.
프로덕트 지표의 종류
앰픝리튜드는 전반적인 프로덕트 라이프사이클을 관통할 수 있도록 프로덕트 지표를 크게 다섯 가지 카테고리로 분류하고 있다.
유입지표(Acquisition metrics): 사용자가 처음으로 제품을 사용하기 시작할 때의 수치. 신규 가입자 수가 대표적이다. 어떤 마케팅 채널이 잘 작동하고 있는지 확인하기 좋은 지표.
활성지표(Activation metrics): 사용률과 체류시간처럼 유입된 사용자 중 얼마나 “아하” 모먼트를 만나 제품에 체류하는지를 확인할 수 있는 지표들. 우리가 제품의 가치를 얼마나 잘 창출하고 있는지, 조금 더 나이브한 말로는 우리가 얼마나 잘 하고 있는지 확인할 수 있는 지표.
참여지표(Engagement mectics): MAU나 피처 사용률처럼 사용자들이 제품과 얼마나 상호작용하는지 확인하는 지표. 어떤 의미로든 제품과 상호작용하는 사용자만을 액티브 유저라고 부를 수 있다. 그리고 이 액티브 유저의 수를 늘리는 건 회사의 성장에 아주 중요한 영향을 끼친다.
잔존지표(Retention metrics): 잔존율이나 유료전환율처럼 일정 기간동안 얼마나 많은 사용자들이 “다시” 제품을 사용하러 오는지 측정하는 지표다. (당연하게도) 회사의 성장에 핵심적인 지표다. 아무리 많은 사용자가 유입된다 해도, 이 잔존지표를 일정 수준 이상 유지하지 못하면 아무 의미가 없기 때문이다.
수익지표(Monetization metrics): 매 달 수익이나 유저별 평균 수익처럼 사용자의 참여를 얼마나 수익으로 잘 전환하고 있는지 확인할 수 있는 지표.
지표들을 세팅할 때 주의할 점
액티브 유저를 측정할 때, 로그인이나 앱을 여는 등 기본적인 이벤트를 기준으로 측정한다면 유효하지 않을 확률이 크다. 실제로 사용자가 얼마나 제품을 사용하고 있는지 확인하고 싶다면 중요 이벤트를 기준으로 액티브 유저를 측정하라. 모바일 게임을 예시로 든다면 특정 레벨에 도달하거나 경험치를 얻는 등의 이벤트를 기준으로 액티브 유저를 측정하는 게 게임을 켠다는 이벤트를 기준으로 측정하는 것보다 훨씬 액티브 유저의 정의에 부합하는 측정이다.
북극성지표는 사용자들의 행동패턴을 파악한 다음 도출해도 늦지 않다. 오히려 그게 더 구체적이고 정확하다. 예를 들어, 페이스북의 북극성지표는 얼마나 많은 사용자들이 10일 안에 친구 일곱 명을 추가하는지였다. 이 행동을 수행한 사용자라면 제품을 오래 사용하는 고객으로 전환될 가능성이 높다는 사실을 발견했기 때문이다.
의미없는 지표는 데이터화하지 마라. 너무 많은 데이터는 혼란만 불러일으키며, 트래킹 비용과 시간만 낭비한다. 우리가 혹시 의미없는 지표를 측정하고 있진 않은지 걱정된다면 앰플리튜드의 Vanity Metrics Test 참고.
데이터 기반으로 사고하려면 일단 데이터가 있어야지, 그런데 데이터가 있으려면, 내가 세팅을 해야지
모든 테크 기반 조직에서 수도 없이 강조하고 JD의 인재상에 밥먹듯 등장하는 ‘데이터 기반의 사고’는 사실 데이터를 캐내고 해석하는 능력만 말하지 않는다. 내가 생각하는 가설을 실험하고 그 결과를 측정하기 위해 어떤 데이터가 필요한지 정의하고 설계하는 능력도 데이터 기반의 사고의 중요한 측면이다. 데이터를 다루는 방법만큼이나 데이터를 설계하는 방법을 익히는 것도 중요하다는 뜻. 이 두 측면을 자유자재로 드라들며 의도와 목적을 명확히 가진 데이터를 누적해, 성공적으로 제품을 개선해내는 사람이 되자.
