목표 및 배경
목표
기능이 유저에게 가장 효과적으로 가치를 전달할 수 있는지 검증한다.
배경
PMF를 찾기 위해서 아래의 2가지 질문을 답할 수 있어야 합니다.
1.
(고객) 서비스의 진정한 고객은 누구이고, 이들은 무엇을 원하는가?
2.
(서비스) 고객이 원하는 바를 프로덕트가 충실히 해결하는가?
이제 그 다음 질문인 “고객이 원하는 바를 프로덕트가 해결했는가?”를 알아볼 차례였습니다.
이 질문에 답을 하기 위해선 MVP 수준을 넘어 실제 의도한 바에 따라 완전히 동작하는 서비스를 만들어 유저에게 제공해야 했고, 베타 서비스 준비를 시작했습니다.
액션
1. CBT App 기획
완전한 서비스를 만들기 위해 FlowChart를 그리고, 와이어프레임 작업을 진행했습니다.
Flowchart
기획 + 디자인 작업 w/ 디자이너
2. 학습 클래스 제작
CBT 서비스에서 제공할 학습 클래스도 함께 제작을 했어야 합니다.
이전 MVP 실험에서 정의한 페르소나는 “대학교 3~4학년 초보자”이며, 이들이 초보자로 있는 학습 도메인은 취준과 직무 개발입니다. 따라서, 취준과 직무 개발과 관련된 클래스를 제작했습니다.
3. 목표 KPI 설정
CBT의 목표는 고객 가설과 가치 가설이 아닌, 솔루션 가설의 검증입니다.
즉, “유저에게 필요한 가치를 얼마나 잘 전달했는가?”를 검증해야 하며 이를 위해 MVP 실험의 데이터를 기준으로 핵심 KPI와 목표 지표를 설정했습니다.
카테고리 | KPI명 | 정의 | 최소 목표 수치 |
유저 | 유저 완주율 | “1개라도 완주한 클래스가 있는 유저 비율” | 20% |
클래스 | 클래스 완주율 | “전체 클래스 중에서 완주한 비율” | 5.6% |
클래스 | 클래스 달성율 | ”클래스 내 완료한 세션 비율” | 12% |
결과
1. 실험 데이터 확인
확인 결과, 모든 지표가 목표치에 도달했습니다.
카테고리 | KPI명 | 정의 | 최소 목표 수치 | 최종 수치 |
유저 | 유저 완주율 | “1개라도 완주한 클래스가 있는 유저 비율” | 20% | 20.7%
달성 |
클래스 | 클래스 완주율 | “전체 클래스 중에서 완주한 비율” | 5.6% | 24.6%
달성 |
클래스 | 클래스 달성율 | ”클래스 내 완료한 세션 비율” | 12% | 31.2%
달성 |
통계적 오류가 없는지 분포도를 히스토그램으로 확인한 결과, 클래스 완주율이 10% ~ 40%대에 고르게 분포된 걸 확인했습니다.
X축 : 개별 클래스의 완주율 / Y축 : 밀집도
유입 단계와 학습 단계에서 유저들의 반응도가 높은 클래스는 서로 다른 걸 확인했습니다.
유입 단계에서는 PV 대비 CVR이 높은 카테고리는 직무 개발입니다. 반면, 학습 단계에서는 완주율이 높은 카테고리는 자기 계발입니다.
유입 단계 데이터
학습 단계 데이터
클래스가 언제 실패하는지 조회해보니 실패 클래스의 81.8%가 첫 번째 세션에서 끝나는 걸 확인했습니다.
X축 : 실패한 시점의 세션 / Y축 : 해당 세션에서 실패한 클래스 수
X축 : 실패한 시점의 세션 / Y축 : 클래스명
일 리텐션도 꾸준히 10%대를 유지하는 걸 확인했습니다.
(1) 코호트 차트
(2) 리텐션 차트
클래스도 여러 개를 다운로드 하는 유저를 확인했습니다. 다수 클래스 다운로드 유저는 3개를 다운 받을 때까지 비례적으로 감소하다가, 4개 이상부터는 급격히 감소하는 걸 볼 수 있습니다. 또한, 보통 5일 이내에 새로운 클래스를 다운 받거나 혹은 일주일이 지난 후에 다운 받는 모습을 확인했습니다.
X축 : 클래스 다운로드 수 / Y축 : 해당 유저 밀집도
X축 : 클래스 다운로드 사이의 기간 / Y축 : 유저 밀집도
2. 최종 결론 및 넥스트 액션
최종 결론
목표 수치의 달성, 재방문, 재다운로드 등을 고려해보면, 현재 CBT에 구현한 기능이 가치를 효과적으로 전달하고 있다.
유입 단계에서 효과적인 학습 도메인은 “직무 개발”이지만, 유저 리텐션에 효과적인 도메인은 “자기 계발”입니다.
유저는 클래스를 다운 받고 마음에 들지 않으면, 도전 자체를 하지 않습니다.
넥스트 액션
CBT의 기능을 활용해 정식 런칭을 준비하기로 했습니다.
유입 단계에 더 큰 도움이 되는 “직무 개발” 콘텐츠를 집중적으로 확보하며, 그 대신 유저 리텐션은 리마인드, 쿠폰 등의 기능으로 햇징하기로 했습니다.