[ 데이터 분석 실무 ] A/B Testing

 

 

실제 비즈니스 케이스, A/B Testing 관련 질문을 이해하고 답변 가이드라인을 잡기 위해 정리합니다.
원문에서 필요한 내용을 요약, 번역함과 동시에 제 생각을 덧붙인 글입니다.

 

A라는 서비스가 제공, 유지에 있어 비용이 크기 때문에, 팀내에서 효용성에 대해 비판적인 의견이 존재한다. 이런 상황에서 A의 효용성을 확인 할 수 있는 실험을 설계한다면 어떻게 할 것인지? 평가지표는?

 

최근 데이터 분석가 (3년 경력 포지션) 면접에서 실제로 받았던 질문이다. 고민할 시간을 충분히 주셨고, `어떻게 그룹을 나눠서 실험을 할 것인지, 평가 지표는 어떤 수치로 할 것인지` 에 초점을 두고 대답을 하긴 했다. 답이 없는 문제라고 하셨지만 내 답에 정말 자신이 없었다. 실제 케이스에 적용해보기 전에! 기본적인 A/B 테스트 관련 조건, 통계 백그라운드를 정리해보고자 한다.

 

데이터 분석가 직무 인터뷰에서 자주 등장하는 `A/B Testing`, 실험 평가지표 metric question, 회사의 프로덕트 이해도를 파악하고자 하는 것 같다.

 

 

실험의 우선순위는 어떻게 정할까?
Before a Test - Not every idea is worth Testing

테스트하고자 하는 수많은 아이디어들 중 어디에 투자해야할까?

이커머스 웹사이트에서 전환율을 높이기 위한 여러 개의 아이디어가 존재한다. multiple-items check out, non-registered users to check out, changing the size and color of the purchase button 이 중 어떤 아이디어를 실험할 것인가?

 

 

• 실험의 목적 : 전환율 개선
• 선정 방법 : 1 or 2 or Combination of 1&2

1. Quantative Analysis for opportunity sizing

각 아이디어의 Business Impact 을 수치화해서 우선순위를 결정한다.

 

예를 들면, 첫번째 케이스 multiple-items check out의 경우, 유저별 multiple-items 구매한 횟수를 분석해 해당 기능 효과의 upper-bound를 계산한다.  multiple-items 구매 횟수가 전체 횟수에서 차지하는 비율이 작은 경우 해당 기능의 도입 효과가 크지 않을 수 있다. 

 

이 때, `why users do not purchase multiple items together?` 유저의 행동을 이해하는 게 중요하다. `선택지가 적어서? 가격이 비싸서? multiple-items 구매 절차가 복잡해서?` 등의 원인이 있을 수 있다.

 

2. Qualitative Analysis with focus group and survey

서베이 혹은 특정 그룹의 피드백을 통해 유저들의 pain points, preference를 파악한다. 

 

 

Desinging A/B Test

 

 

 

 

 

 

 

 

 

---

Resource

7 A/B Testing Questions and Answers in Data Science Interviews