운영 · 개선 · 양식
A/B 테스트 설계서 양식
가설과 판단 기준을 실험 시작 전에 못 박고 결과까지 남긴다.
이럴 때 써요
- 어느 안이 나은지 의견이 갈릴 때
- 판단 기준을 결과 보기 전에 못 박아야 할 때
양식 구성
10개 절로 이루어져 있습니다.
- 실험 정보
- 버전 · 실험 ID · 실험명 · 담당 · 기간
- 1 배경 · 문제
- 왜 이 실험을 하는지 적는다. 실험이 아니라 그냥 바꿔도 되는 일이면 실험하지 않는다.
- 2 가설
- "무엇을 바꾸면 어떤 지표가 얼마나 달라진다" 로 적는다. 방향만 적으면 결과 해석에서 다툰다.
- 3 실험 설계
- 대조군과 실험군이 무엇이 다른지, 누구를 어떤 비율로 나눌지 적는다.
- 4 측정 지표
- 판단할 지표 하나를 먼저 정하고 나머지는 보조로 둔다. 지표가 여럿이면 유리한 것만 고르게 된다.
- 5 표본 크기 · 기간
- 얼마나 모아야 판단할 수 있는지와 그 근거를 적는다. 기간을 먼저 정하고 중간에 끊지 않는다.
- 6 판단 기준
- 실험을 시작하기 전에 확정합니다. 결과를 보고 정하면 안 됩니다.
- 7 중단 조건
- 나빠지면 언제 멈출지 미리 정한다. 손해를 보면서 기간을 채울 이유는 없다.
- 8 결과
- 숫자를 그대로 적고 해석은 따로 적는다. 유의하지 않았다면 그것도 결과다.
- 9 후속 조치
- 적용할지 접을지 정하고 할 일을 적는다. 결과만 적고 끝내면 실험이 반복된다.
바로 써 보기
로그인 없이 바로 쓸 수 있습니다. 다 쓰면 PDF·Word·한글(HWPX)·Markdown 으로 내보냅니다.