상품의 사용자를 이해하는 가장 기본적인 과정을 데이터를 분석하는 것이다. 사용자가 어떤 상품에 반응하는지를 읽고 동선을 추적하며, 사용자에게 긍정적인 영향을 주기 위해 끊임없이 개선하며 이루고자 하는 사업 방향성을 향한 일련의 과정을 거친다. 어떤 산업에서도 동일하게 사용자를 세분화해 보고 어떤 상품, 목적, 영향이 효과적인지를 고민하며 이를 시장 데이터와 함께 비교/분석하며 제품 강화를 진행한다. 이는 게임 사업에서도 똑같이 적용되며, 어떤 영역에서도 의사결정 시 중요하게 고려되는 요소이다.
그로스 해킹 방법론
그로스 해킹(Growth Hacking) 방법론은 상품을 AARRR 기반의 핵심 지표로 세분화해 정의하고, 데이터 기반의 실험을 통해 핵심 지표를 개선하는 방법론이다. 즉, 데이터와 실험을 통해 성장하는 서비스를 만드는 과정으로, 지표를 활용하여 마케팅과 상품 개선으로 나아가도록 만드는 방법론이다.
AARRR은 일종의 분석 프레임워크로, 특정 지표를 중심으로 데이터를 읽는 방법론이다.
| Acquisition | Activation | Retention | Revenue | Referral |
- Acquisition(유치/획득) 처음 접하는 경로
- Activation(활성화) 처음에 긍정적인 경험을 제공하는지
- Retention(재방문/ 잔존) 다시 사용하는 정도
- Referral(추천) 소개나 공유하는 정도
- Revenue(수익) 수익 창출
A/B 테스트
근원적인 방법론에 대한 이야기보다, 오늘은 A/B TEST의 목적과 실행 과정에 대해 공부하고자 했다. 그로스 해킹에서 성과를 내기 위해 다양하게 시행하는 실험 중, 가장 대표적인 실험은 'A/B TEST'이다.
A/B 테스트
- A와 B 버전의 요소를 비교하여 어떤 버전이 더 나은 성과를 보이는지 확인하는 방법이다. 결과에 따른 효과적인 의사결정을 위한 근거를 찾는 과정이 된다.
- 기존의 A와 변경하는 B가 각각 다른 유저 그룹에게 표시한다.
- 테스트는 UI/UX를 보기도 하고, 마케팅, 콘텐츠 전략 등 다양한 전략에서 활용된다.
→ 테스트를 하는 목적은 크게 더 나은 성과를 내는 것이나, 원인이 명확히 작동하는지를 살펴볼 수도 있고 개선이 필요한 부분을 찾아내기 위해서도 있다.
→ 과거에 오프라인에서 소비자들을 대상으로 테스트 조사를 시행했던 것처럼, 디지털 환경에서도 동일한 실험을 진행한다고 생각하면 이해가 쉽다.
A/B 테스트 필요시기
1. 성과가 최적 수준에 도달하지 못한 경우
- 문제를 발견하고 사용자 동선을 파악하기 위해서
2. 새로운 것을 시작할 때, 어떤 접근 방식이 효과적인지 판단해야 하는 경우
- 리스크 최소화를 위해, 성과를 대조해 의사결정 하기 위해서
진행 과정
1. 목표 설정 / 데이터 수집
- 테스트를 진행하는 목적을 분명히 설정하고, 관찰하기 위한 성취(e.g. 전환율 증가, 이탈률 감소)와 변화 요소를 구체화한다.
- 핵심 성과 지표(KPI)에 따른 측정 목표를 설정할 수 있으며, 테스트의 우선순위를 결정할 수도 있다.
- 목표 달성과 변화를 가시적으로 볼 수 있는 데이터를 수집한다.
2. 가설 수립
- 기존 데이터를 기반으로, 문제점에 대한 해결 방향성을 구체화하는 아이디어를 구축한다.
- 확실한 비교 분석과 비용 절감을 위해 우선순위에 따라 실험 요소를 결정한다. 보통은 1개만 설정하여 실험 환경을 통제한다.
3. 디자인
- 기존 요소인 A안과 특정 요소를 변형한 B안을 제작한다.
- A안을 보는 유저 = 콘트롤 그룹(Control Group) / B안을 보는 유저 = 테스트 그룹(Experimental Group)
- 실험 기간을 설정하고 예산을 수립한다.
4. 실험
- 통계적 유의성(가설이 우연이 아닌 의미 있는 결과를 내는 정도)을 변별하기 위해, 충분한 데이터가 모일 수 있도록 표본의 크기를 설정한다. 그러므로 A안과 B안은 동시에, 동일한 기간에 진행하여 변수를 최대한 통제한다.
- 진행 중인 테스트를 모니터링하며, 체계적으로 데이터를 수집한다.
5. 결과 분석 및 의사결정
- 모든 메트릭을 검토하고 분석하며, 목표에 적절한 대안을 선택하여 효과적인 의사결정을 수행한다.
- B안이 적합하다면, 이유를 분석하고 다음 테스트에 반영하며, 유의미한 결과가 아닐 경우 A안을 그대로 운영하거나 B안을 개선하여 재테스트 한다.
A/B 테스트 사례
A/B테스트의 대표 사례로는 2008년 미국 대선이 꼽힌다.
500건의 A/B 테스트를 통해 기부 전환율을 49% 올렸고 이메일 수집률을 161%나 증가시켰다. 정책이 크게 변했거나 하는 외부 변수 없이 단순히 사이트의 UI를 대상으로 한 A/B 테스트만으로도 저 정도나 증가 시켰던 것이다. A/B 테스팅을 1차원적으로만 활용한 것이 아니라 기부를 하는 버튼 1개만을 가지고도 3가지 사용자그룹으로 나눠 테스트를 했다. 그 결과 가입하지 않은 사용자에게는 [기부 하고, 선물을 받기] 버튼이, 가입했지만 기부하지 않은 사용자에게는 [기부해주세요] 버튼이, 이미 기부했던 사용자에게는 [기여하기] 버튼이 가장 큰 효과를 발휘한다는 것을 알 수 있었다.
▶ [매일경제] 대선 때 빛 발한 디지털 마케팅 기법, A/B 테스팅
오바마 전 미국 대통령의 선거캠프는 2008년과 2012년 모두 빅데이터 기법을 선거에 적극 활용했다. 버튼 형태를 변경하는 UI를 활용한 테스팅을 통해 500건의 테스트를 통해 기부 전환율을 49% 올리고 이메일 수집률을 161% 증가시켰다. 초선 당시 경쟁자들에 비해 상대적으로 인지도가 낮았고, 이를 극복하기 위해 소셜 미디어와 온라인에 집중하며 A/B 테스트를 적극 활용했다. 당시 사용자 관점에서 성과를 냈다는 평을 냈으며, 이때부터 A/B 테스트가 널리 알려서 활용되었다는 말이 있다.
또한 A/B 테스트를 실제 활용한 기업들의 좋은 사례를 볼 수 있는 VWO와 GoodUI라는 유료 웹사이트를 발견하였다. 홈, 콘텐츠, 가입 등 테스트하고 싶은 여러 요소를 구분하여 볼 수 있고, 실제 개선 예시와 영향을 보여주는 결과값까지 보여준다. A/B 테스트를 서칭하면 보이는 넷플릭스, 아마존 등의 예시도 모두 해당 웹사이트에서 퍼진 내용이다. 사실 개인이 진행하기엔 조금 부담스러운 가격이기 때문에, VWO가 제공하는 무료 예시 정도만 참고할 수 있었다. VWO에서는 트래픽이 적은 웹사이트에서 A/B 테스트를 진행하는 방법 등 기타 인사이트를 제공하기도 하여, 참고하기 좋은 사이트라고 생각한다.
[참고자료]
▶ [ASCENT] 그로스 해킹, 데이터로 만드는 성장 방법론 by 정길선
▶ [ASCENT] AB 테스트 (A/B test) by 정길선
▶ [Youtube] Pirate Metrics: (AARRR) with Firebase
▶ [Quora] When A/B testing, how do you decide what to test? How do you know where to start?
근래 게임만큼이나 데이터, 마케팅을 공부해야 할 필요를 느낀다. 요즘 읽고 있는 건 게임 데이터 관련 도서 2가지인데, 갑자기 두 트랙으로 나뉘어서 병렬독서(라고 부르고 미루기 독서) 개념으로 하다 보니 많이 헷갈리고 진도도 잘 안 나가는 듯하다. 사실 한 권은 지난 달에 시작을 했으니... 요즘 정신도 없고 막 술술 읽히는 개념들이 아니라 그런가, 막막함이 앞서 습득하는 데 시간을 두기로 했다. 그래서 일단 공부하고 싶은 개념 먼저 리서치하고 인터넷 환경에서 조금씩 익혀보는 정도로 협의했다.
개념에 대한 공부 외 이를 실무로 적용할 수 있는 기회를 가지고 있다. 일을 할 때마다 실제 새로운 업무를 하고 있음을 실감하고, 새로운 사람들을 만날 수 있다는 것에 흥미를 느낀다. 주요 대화 소재가 변하는 것에 적응하고, 논의하는 내용에 인사이트를 덧붙일 수 있는 힘을 기를 수 있어진다. 당연하게 부족한 부분이 배로 많지만 더 배우고 성장하고 싶게 만드는 원동력이 된다. 어떤 성장의 결산을 보일지 기대도 되고, 이러한 감각은 점차 느끼기 어렵기 때문에 이 시기를 더욱 기억하려 노력할지도 모르겠다.
최근 신년 액땜이 다양하게 겹치고 있지만 그만큼 또 얼마나 좋은 일이 생길지를 상상하며 긍정적으로 보려 한다. 요즘은 제철 딸기를 먹을 수 있음에 만족한다. 어떻게 잘 굴려서 1월도 보내고 있다. 얼른 어려웠던 1월을 보내고 싶다!
'STUDY' 카테고리의 다른 글
| [개발] 게임 QA (4) | 2025.04.06 |
|---|---|
| [개발] 넷마블 기술 블로그 - 퍼블리싱 플랫폼 (3) | 2025.01.12 |
| [게임사업] 중국 국내외 퍼블리싱 성공을 위한 6가지 팁 (텐센트) (2) | 2024.12.23 |
| [시장분석] 2024년 국내 게임 산업 돌아보기 (6) | 2024.12.15 |
| [게임사업] "이탈 고객 대상 리타깃팅, 비용 효율적인 마케팅" (2) | 2024.11.26 |
