A/B테스트의 13가지 실수 사례와 어떻게 고치는가?

A/B테스트를 하며 프로세스에 대한 오류가 있을 수 있다고 생각합니다. 이 때 피해야 할 A/B테스트의 13가지의 일반적 오류에 대해 설명해보겠습니다.

 

13가지 실수

1) A/B 테스트가 랜딩페이지 테스트에만 효과가 있다고 생각함

다들 A/B테스트에 대해 이야기 할때면 랜딩페이지와 광고에서만 사용되는지 알고 있지만 A/B테스트를 사용할 수 있는 곳은 많습니다. 사용자의 온보딩부터 기능, 가격 전략 등 다양하게 응용될 수 있습니다. 사용자의 플로우에 따라 어떤 영향을 받을 수 있는지 테스트 할수도 있습니다.

 

해결방법 : 사용자의 flow 데이터를 분석하고 이를 사용해서 제품 경험에 대한 가설을 세워 개선의 기회 및 반응들을 확인하세요.

2) 잘못된 A/B테스트 검증 가설 선택하기

A/B테스트를 하기 전 효과적일 수 있는 프로세스와 연구를 하셔야 합니다. 정확하게 검증하고자 하는 가설을 찾아서 검사해야합니다.

 

해결방법 : 가설을 작성하기 전 적절한 조사를 수행해야합니다. 사용자와 대화를 나누거나 행동 데이터를 분석하고, 원하는 목표에 대해 세우면 더 정확한 가설을 얻을 수 있습니다.

 

3) 동시에 많은 가설을 검증하기

여러 요소를 한번에 테스트하면 시간을 절약하는 것처럼 보이지만 실제로 어떤 결과가 영향을 미치는지 확인할 수 없습니다. 예를들어 데모 가입페이지에서 이탈이 발생하고 결과를 개선한다면 CTA문구, 색상 변형 및 가입 양식의 변경등을 확인할 수 있습니다.

데모 가입자의 수가 늘어날 수는 있겠지만 어떤 변화로 인해 바뀐건지는 정확하게 모르고 사용자에 대해 알 수 없습니다. 유사한 문제가 발생된다면 또 다시 실험해야하는 리소스의 낭비가 나타납니다.

 

해결방법 : 충분한 사용자가 있다면 여러 변수를 동시에 비교해보세요. 테스트할 변수를 식별하고 다른 조합을 테스트하는 등의 변형을 만드세요. 적절한 분석을 통해 테스트를 해보고 다변량 테스트를 사용하거나 사용자 설문조사를 수행하면서 문제를 해결해야합니다.

 

4) 무조건 A/B테스트를 사용하기

모든 것을 A/B테스트를 하지 않아도 됩니다. 때로는 당신의 가설과 성취하고자 하는 결과에 가까운 것을 사용하는 것이 좋습니다.

 

해결방법 :  다양한 표본의 크기를 갖고 있고 제품의 작은 변경 혹은 변형의 영향을 보기위해 사용한다면 최적의 결과를 얻기 위해 효과적인 검증을 할 수 있는 다변량 테스트를 진행해도 좋습니다.

 

5) 충분한 사용자를 모집하지 않고 A/B테스트를 실행하기

충분한 사용자가 있을때 유의미한 데이터를 얻을 수 있습니다. 충분한 사용자가 없다면 유의미한 테스트 결과를 얻기위해 시간이 많이 소요되는데 가설이 부정확하면 여러 주, 개월 등 걸립니다.

 

해결방법 : 설문조사를 활용하여 이 문제를 해결하세요. 예를 들어, 사용자 경험을 향상하기 위해 인터페이스 재설계에 대한 이야기를 하고 새로운 디자인에 대한 의견들을 받아보세요

 

6) 해야하는 실험을 식별하지 못할 떄

사용자 플로우를 염두하지 않고 시작할때 수가 나오는데, 사용자가 사용하는 도구의 과정을 상상하지 않고 만든다면 우선순위를 정확하게 알기 어렵습니다. 모든 페이지는 동일하게 사용된는 것이 아니기에 더 높은 가치의 페이지를 최적화 하는데 중점을 두세요

 

해결방법 : SaaS의 제품에서는 가격안내, 데모 예약페이지, 가입페이지 및 가입 방법 등의 예시가 있습니다. 즉, 중요한 페이지라고 생각되는 곳에서 식별하길 바라며 보기 어렵다면 유저플로우에 대한 리서치를 진행하세요.

 

7) 테스트 기간을 설정하지 않음

A/B테스트는 통계적 원리에 기반을 두기에 정확한 결과를 억디 위해선 충분한 데이터를 수집해야합니다. 테스트 기간이 적절하지 못하면 문제가 된다는 것입니다. 예를 들어 구독 가입을 늘리기 위해 제품 가격 페이지를 수정해 테스트를 하고 있는데 결과를 빨리 보고자 조기에 종료를 했다면, 이는 어쩌면 제한된 데이터를 기반으로 결론을 내린다는 것입니다. 고객은 주중/주말, 마케팅 캠페인, 시즈너블 등에 다양한 요소에 의해 결정될 수 있는데, 짧은 테스트 기간동안에만 이런 변동이 될 수 있다는 것입니다.

충분한 데이터가 수집될때까지 약 95%이상의 신뢰될 수 있을만큼 수집하세요.

 

해결방법 : 사용자 수와 영향을 미치는 시간에 따라 항목을 설정하세요

 

8) 잘못된 트래픽 소스를 사용한 A/B 테스트

모바일과 데스크탑에서 사용하는 것에 대한 문제일 수 있는데 대상 그룹에 따라 예외가 있을 수 있으나, 어떤 환경에서 이용되는지 테스트를 포함하지 않고 수행하면 잘못된 결과를 얻을 수 있습니다.

 

해결방법 :  제이터를 분석할 떄 사용자를 적절하게 세분화 하고 다양한 사용자 그룹을 통해 그룹에 맞게 실험을 확인하시면 되겠습니다.

9) A/B테스팅 도구를 잘못고름

 만약 두가지 버전의 웹사이트를 보여주고 사용자 참여도가 높은 버전을 찾는것을 돕는데 만약 A/B테스팅 도구의 속도가 매우 느리다면 사용자는 속도로 인해 웹사이트가 별로라는 평가를 내릴 수도 있다는 것입니다. 이로 인해 잘못된 결론과 웹사이트 최적화를 해야한다는 결정으로 이어져야 할 수 있습니다.

 

해결방법 : A/B테스트 전 A/A테스트를 수행해서 문제가 없는지 테스트하세요. A/A테스트를 통해 웹사이트나 앱 성능에 미치는 영향이 있는지 평가해야합니다. 페이지로드시간, 서버 리소스 시간 등에 대한 것이 포함됩니다.

 

10) A/B테스트 결과가 없을 시 생각하지 않기

결과가 없다고 해서 조사를 중단하지말고 더 심층적인 탐구를 해보세요. 보고서를 작성 후 다음 가설로 가지말고 더 깊은 내면에 있는 통찰력을 키워서 보세요

 

해결방법 : 가설에 대해 문제를 발견했다면 넘어가도 되지만 가설이 없다는 것은 잘못된 것이 있다는 것입니다. 다양한 각도로 보고 다른 가설을 통해 결과가 아예 없다는게 정확한 가설인지 증명하세요. 다양한 실험을 통해 변경이 플랫폼이나 웹사이트 다른 측면에도 영향을 미치는지 보세요.

 

11) A/B테스트를 전략적으로 실행하지 않기

전략적으로 테스트하지 않으면 정확한 결론을 도출하기 어렵습니다. 실험에서 얻을 중요한 결론을 얻을 수 없거나 성공에 대해 재현 혹은 왜 그런 결과가 나왔는지 이해하기 어렵습니다. 또한, 이는 일시적인 성공을 추구할 수 있어 시간과 자원을 낭비할 수 있습니다.

 

해결방법 : (1) 문서로 기록을 작성하여 실험 결과를 작성하고 (2) 순차적으로 테스트를 하며 결과분석과 통찰력을 찾고 (3) 1번,2번을 지속적으로 제품팀에게 알리세요

 

12) 다른 A/B테스트 따라하기

가장 위험한 실수 중 하나가 우리 회사의 고유한 사용자, 맥락 및 목표등에 깊은 뜻이 없이 타사의 A/B테스트 사례 연구를 똑같이 카피하는 것입니다. 이런 카피는 영감을 제공하고 시간을 절약하지만 효과가 있던 것이 무엇인지 배우고 주요 아이디어를 특정 상황에 맞게 조정하세요

 

해결방법 : 테스트를 데이터로 기반하여 작성하고 우리 회사에 영향력이 있는 것을 기준으로 우선순위를 만들어서 시작하세요

 

13) 테스트의 영향을 과대평가하기

성공적인 A/B테스트를 실행하면 흥분이 뒤따릅니다. 그래서 다른 곳에서도 동일하게 변화를 반복하고 싶을 수 있는데요, 예를 들어 가입페이지에 종료하지 않게 하는 팝업을 추가해서 가입이 증가되는 것을 발견하면 실험의 영향을 과대 평가해 모든 페이지에 추가할 수 있단 겁니다.

이 작업을 수행하면서 페이지 내에 반드시 작동하는지 확인해야하고 의도할 수 있는 결과를 확인하세요.

 

해결방법 :  테스트를 너무 의존하여 결정하지마세요. Google Analytics를 활용해여 분석하고 적절한 결정을 하세요.

 

출처

https://userpilot.com/blog/ab-testing-mistakes/

13 A/B Testing Mistakes And How to Fix Them

개인적으로.. userpilot사이트에 쓰여진 글이다 보니 상품 판매 목적으로 글이 작성되어 일부 말이 어렵게 해석되는 부분도 존재했다...

알아서 잘 걸러서 보길 바랍니다!