What is A/B TESTING? (실무에서의 A/B 테스트)

A/B 테스트란?

• A안과 B안을 가지고 사람들의 반응이 어떻게 달라지는지 확인하는 작업

ex. A화면 일 때 구매력 vs B화면 일 때 구매력 

---

고객 분석을 위한 테스트

 

고객분석 

1) 종단적 연구

- 코호트 분석(특정 기간 동안 공통된 특성이나 경험을 갖는 사용자 집단을 의미합니다. 첫방문, 캠페인 유입 등 특정 조건에 해당되는 사용자들을 그룹화하고 시간 흐름에 따른 행동 패턴을 추적합니다.)

 

2) 횡단적 연구

- A/B 테스트

- 다변량 분석

 

---

A/B 테스트 수행 과정

1. 실제 대상자를 반으로 나눈 후

2. 두가지 포맷의 테스트 자료(버튼, 이미지 등을 바꿈)를 만들어서

3. 이를 A,B 그룹 각각에 제공

4. 이에 따라 각 그룹이 얼마나 반응했는지를 판단

5. 결과가 우수한 내용을 실전에 반영  

 

---

A/B 테스트의 배경

1) 내생성과 외생성

- 내생성: 해당 시스템 내에서 결정되거나 생성되는 것

- 외생성: 시스템 밖의 요소로 결정되거나 생성되는 것(ex. 날씨)

예) 우산 장수가 비가 많이 와서 우산을 팔러 나갔을 때,
비가 그치고 해가 쨍쨍해졌다.
대부분의 사람들이 우산을 갖고 나왔다.
위의 예는 외생성이 많은 영향을 미침
외생성 때문에 장사가 잘 될지 아닐지를 잘 알 수 없음
추정도 어렵고 요인 분석도 매번 달라질 수 있음
어떤 날씨 따른 최소/최대 판매량에 대한 근거를 만들어 놓는다면 재고관리 등에 도움이 될 것

 

2) 사용자의 행동

- 많은 경우 여러 가지 요소가 복합적으로 작용됨 → 외생성 및 고려하는 변수의 영향으로 명확한 요인 및 원빈 분석이 어려움

- 많은 실제 상황(실무)의 경우 내생성을 위한 시스템을 일부 요소만으로 구축하기 어려움

 

3) 상관관계는 인과관계를 나타내지 않는다.

→ 최대한 다른 요인을 제거함으로써 인과관게에 최대한 가까운 근거를 만들고자 

---

A/B 테스트 설계

• 사용자의 반응도에 대한 실험 → 사용자를 대상으로 한 실제 환경에서의 실험

---

목적 지표 선정

• 가설 검정에 가장 직관적이면서 구하기 용이한 지표 선정
• 양적으로 확인 가능한 실질적 지표(감정 정도 같은 모호한 지표는 제외, 실험을 통해서 기록되지 않는 데이터가 필요한 수치는 제외)
• 비율: 사용 흐름상 전 후(퍼널의 실험 참여 단계 → 실험 결과 반응 단계, 클릭수 & 페이지 뷰 수)
• 실험 대상: 사람 → 지표 대상도 사람이 되어야 보다 정확한 결과 얻을 수 있음(ex. 클릭한 사용자/ 페이지를 본 사용자)

---

테스트 평가 및 유의사항

 

비교 전 확인

1. 실험군과 대조군의 사용자 집합 크기가 동일한가?

2. 실험군과 대조군의 사용자 분포가 크게 다르지 않는가?

 

확인 방법

1. 집합 크기가 다름: 1:1 비교 대신 집합 크기를 통한 비교의 유의성 판단

2. 분포 파악: 성질이 다른 집합끼리의 비교는 무의미할 수 있음

 

유의사항

1. 실험으로 얻은 값은 항상 그와 동일한 결과를 담보하는 것은 아님

2. 실험 크기가 통제가 되지 않을 경우에는 사후 추정으로 판단할 수 있음

---

가설 검정

 

통계적 가설: 특정 주장을 특정 변수에 대해서 나타낸 것을 뜻함

 

절차

1. 귀무가설과 대립가설 설정, 유의수준 설정

2. 검정통계량 설정

3. 기각의 설정

4. 감정통계량 계산

5. 결과 기반 의사 결정 

 

결과값 비교

1. 이항 분포의 상태 비교

2. 비교군의 해당 지표에 대한 신뢰구간을 구한 뒤, 실험군의 지표의 크기가 이 신뢰구간에 들어가는지(유사), 벗어나는 지를 확인함 

---

설계 시 유의점

 

1. 목표와 가설의 애매함

2. 데이터 수집

---

A/B 테스트 관련 최신 주제

- MAB 알고리즘 

A/B 테스트의 확장판, MAB (Multi-Armed Bandits) 알고리즘 | Product Analytics Playground (playinpap.github.io)

A/B 테스트의 확장판, MAB (Multi-Armed Bandits) 알고리즘

 

- MVT 다변량 테스트

A/B 테스트 & MVT(다변량 테스트) (brunch.co.kr)

A/B 테스트 & MVT(다변량 테스트)

 

- LLM 활용

 

 

 

 

 

---

참고사항

권정민 작가님 특강 cojette@gmail.com

A/B 테스트란 (datarian.io)

A/B 테스트란 - kakim0.github.io

A/B 테스트란

A/B 테스팅이란? - Blog for Data (dongsukang.github.io)

A/B 테스팅이란?