그래서, 'AB 테스트' 도대체 어떻게 하는 건데?

"왼쪽, 오른쪽? 당신은 어떤 게 마음에 드시나요?"

'많이 듣긴 했는데...' AB 테스트가 뭔가요?

기업에 근무하고 있다면 한 번쯤은 들어봤을 'AB 테스트'

​하지만 많은 사람들이 정확히, 어떻게 수행하는지 몰라 애를 먹기도 하는 테스트입니다. 다른 테스트 방법론과 달리 쉽다고 생각해서 방식에 대해 제대로 설명하지 않는 게 크다고 생각하는데요. 이번 시간을 통해 AB 테스트를 제대로 알아볼까요?

AB 테스트는 통계적 가설 검정의 한 형태로 두 개의 변형 A, B를 사용하는 종합 대조 실험입니다.

​통계적 추론 가설 검정은 통계적 추론의 하나인데요. '모집단의 실제 값이 얼마가 될 것이다'라는 주장에 대해, 표본의 정보를 사용해서 가설의 합당성 여부를 판정하는 과정입니다. 말이 좀 어려운데요. 쉽게 풀어보면

​

'CTA 버튼의 위치를 이미지 하단에 놓으면 CTR이 더 높아질 것이다'

​

라는 하나의 주장이 있다면, CTA 버튼 위치를 중단(A), 하단(B)에 배치하여 테스트하고, 나온 결과를 분석하여 더 좋은 방식을 도출한다는 의미입니다. 분할 테스트나 버킷 테스트라고도 합니다.

​AB 테스트는 199년대 후반 인터넷이 성장하면서 각광받기 시작했고 주로 유저의 반응을 체크해 개선하는 데 사용됐기 때문에 디자인, 마케팅, 콘텐츠와 같이 유저 인터렉션이 높은 부서에서 사용되고 있습니다.

AB 테스트, 방법이 세 개지요!

많은 분들이 AB 테스트는 트래픽 비율로 나눠 결과를 내는 것만 알고 계시는데요.

​실제로는 노출 빈도 분산, 사용자 분산, 시간 분할 이렇게 세 가지 방식이 존재합니다.

노출 빈도 분산은 가장 많이 활용되는 방식이라 알고리즘, UI와 UX, 마케팅 테스트 모두에 적합합니다. 다만 A, B가 사용자에게 번갈아가며 지속적으로 노출되는 구조기 때문에 UI와 UX는 사용자 분산 방식을 사용하기도 합니다.

​노출 빈도 분산 방식이 가장 대중적으로 알려져 있어 'AB 테스트 = 노출 빈도 분산 방식'으로 기억하는 분들이 많은데요. 두 가지 방식이 더 있기 때문에 상황에 맞게 활용해 보시면 좋을 것 같습니다.

​그리고 AB 테스트를 진행할 때 가장 많이 실수하는 건 '완전히 다른 시안'을 가지고 오는 경우인데요.

출처: Digital Native Magazine 브런치

AB 테스트를 가장 잘 활용하고 있는 넷플릭스의 CTA 버튼을 예시로 가져왔는데요. 보면 디자인이 고정되어 있고 카피 AB 테스트를 진행한 것을 알 수 있습니다. 이처럼 테스트를 진행하고자 하는 한 가지를 확실한 변수로 둔다면 나머지는 고정으로 둬야 제대로 된 테스트를 진행할 수 있습니다. 이름이 AB 테스트지만 사실 A, A-1 테스트에 가까운 거죠.

​이 예시를 꼭 기억하세요!

AB 테스트, 언제 필요할까?

보통 두 가지 상황일 때 AB 테스트를 진행하는데요.

성과가 최적 수준에 도달하지 못하는 경우

새로운 것을 해야 할 때 어떤 방식이 효과적인지 판단이 필요한 경우

에 진행하게 됩니다.

​첫 번째는 마케팅에서 많이 마주하는 상황인데요. 디지털 마케팅 캠페인이 성과에 도달하지 못하는 경우 AB 테스트를 통해 결과를 개선합니다. 특히 클릭률이라고 부르는 'CTR(Click Through Rate)'는 디지털 마케팅에서 매우 중요한 지표인데요. 클릭률이 목표했던 것보다 낮거나 평균 대비 하락한 경우, AB 테스트를 통해 결과를 개선합니다.

​두 번째는 최적의 수준까지 개선 후 더 이상 개선이 어려워 새로운 것을 도입해야 할 때 AB 테스트를 진행합니다. 이럴 땐 보통 새로운 콘셉트 또는 새로운 시안이 등장하는데요. 어떤 결과가 나올지 예상이 안 될 경우, 테스트를 통해 결과를 확인하고 변경안으로 진행할지 아니면 새로운 안을 만들지 판단하게 됩니다.

AB 테스트를 통해 소비자의 반응과 선호도를 파악할 수 있고 이를 기반으로 더 제품을 개선하고 더 많은 판매를 유도할 수 있습니다. 또 마케팅 비용을 최적화하여 불필요한 지출을 줄일 수도 있고요. 즉 비용 효율화, 수익 극대화와 밀접하게 연관되어 있기 때문에 반드시 제대로 알아두고 다양한 시도를 해보시길 바랍니다.