실험 기록 템플릿
모든 실험은 이 형식으로 기록한다. 기록하지 않은 실험은 학습이 되지 않는다.
템플릿
| 항목 | 내용 |
|---|---|
| 실험명 | 한 줄로 무엇을 테스트하는지 |
| 날짜 | 시작일 ~ 종료일 |
| 담당자 | 실험 책임자 |
| 가설 | ”X를 Y로 바꾸면 Z가 될 것이다” (XYZ 형식) |
| 바꾼 것 | 변경한 변수 (한 가지만) |
| 바꾸지 않은 것 | 고정한 조건 |
| 측정 지표 | 무엇으로 성공/실패를 판단하는가 |
| 기대한 결과 | 구체적 숫자 또는 방향 |
| 실제 결과 | 실측 데이터 |
| 성공/실패 | 가설 지지/기각 |
| 배운 것 | 왜 이 결과가 나왔는가 |
| 다음 액션 | 결과를 받아 무엇을 할 것인가 |
사용 기준
- 실험 시작 전에 가설과 측정 지표를 먼저 정한다. 결과를 보고 가설을 바꾸면 검증이 아니다.
- 변수는 한 번에 하나만 바꾼다. 여러 개를 동시에 바꾸면 원인을 알 수 없다.
- 최소 2주, 충분한 표본. 1~2건으로 판단하지 않는다.
- 실패한 실험도 기록한다. 실패 기록이 다음 실험의 방향을 잡아준다.
예시
| 항목 | 내용 |
|---|---|
| 실험명 | 리프팅 랜딩페이지 메시지 변경 A/B |
| 날짜 | 2026.03.01 ~ 2026.03.14 |
| 담당자 | 김OO |
| 가설 | ”통증 없는 리프팅” → “1회 만에 체감” 변경 시 전환율 +2%p |
| 바꾼 것 | 히어로 메시지 문구 |
| 바꾸지 않은 것 | 타깃, 채널, 예산, 랜딩 디자인 |
| 측정 지표 | 랜딩 → DB 전환율 |
| 기대한 결과 | 전환율 5% → 7% |
| 실제 결과 | 전환율 5% → 6.3% |
| 성공/실패 | 부분 성공 (방향은 맞으나 기대치 미달) |
| 배운 것 | ”체감” 메시지가 “통증” 메시지보다 반응이 좋음. 단, 기대치에 미달한 이유는 히어로 이미지와 메시지 불일치 가능성 |
| 다음 액션 | 이미지도 함께 변경한 2차 실험 설계 |
관련: Ch.37 작은 검증, Ch.58 작은 가설, Ch.78 실패를 자산으로