두번째 아티클 - 가설 검증하기

https://yozm.wishket.com/magazine/detail/1113/

실험 조직으로 거듭나기: ② 검증할 ‘만’한 가설은? | 요즘IT

 

오늘은 가설을 검증하는 방법에 대한 아티클을 가지고 정리를 해보려고 합니다.

해당 아티클의 내용이 이전에 원티드에서 진행한 프리온보딩 마케팅 에서 들었던 부분과 많이 비슷하네요.

 

그래서 아티클과 원티드에서 들었던 내용을 같이 정리해보도록 하겠습니다.

 

아티클에서는 가설을 검증하기 위한 순서를 아래와 같이 정리했습니다.

 

1. 검증할 가설 선택

2. 가설 검증 방식 결정

3. 검증 지표와 목표 수치를 결정

4. 실험 기간 결정

5. 기존 실험 환경을 튜닝해 최적의 실험 환경 만들기

6. 실험을 진행하고 검증 데이터 모으기

7. 데이터를 분석해 가설을 검증

8. 학습

 

 

 

 

빠르게 가설을 진행하기 위해서는 어떤 상황을 개선하고 싶은지 현재 상황에 대한 인지가 필요합니다.

그러기 위한 수단으로 OKR 방법을 사용합니다.

 

OKR은 Objective(목적)와 KeyResult(목표)를 구성요소로 가지는 현재 상태를 확인하는 방법으로 요즘 회사에서도 많이 사용되는 것으로 알고 있습니다.(일단 원티드는 그렇게 한대요)

 

가장 큰 목표인 Objective를 설정하고 그에 따른 부수 목표인 KeyResult를 설정하는 것입니다.

주의할점으로는 KR같은 경우는 수치로 표시하여 실질적으로 이룰수 있는 가시적 목표를 설정해야합니다.

 

이렇게 설정한 KR에 현재 수치가 많이 도달하지 못했다면 그 부분을 문제라고 상정할 수 있겠습니다.(물론 이렇게 발견한 문제상황을 바로 가설 대상으로 삼지는 않습니다.)

발견한 문제를 확인하고 계속해서 왜 이런 문제가 생겼는지 근본적인 원인을 찾으면서 가설 대상을 찾는 과정이 필요합니다.

 

이 아티클에서는 Actionable함을 강조하는데 한가지 가설검증을 계속해서 해봤자 학습의 의미가 없다고 하고 있습니다.

Actionable이란 하나의 가설을 검증했을 때 또다른 다음 가설을 검증할 수 있는지에 대한 것입니다. 즉, 하나의 검증에서 다음 가설에 인사이트를 줘야한다는 것입니다.

 

 

 

가설 검증 방법으로는 주로 AB테스트를 사용합니다.

AB테스트를 가끔은 다른 방안을 차례대로 진행하는 건가? 하고 오해하시는 분들이 계십니다.

 

하지만 실무에서 AB테스트는 같은 시간에 동시에 고객들에게 두가지의 다른 방안을 보여줌으로써 변화되는 데이터를 확인하여 가설이 맞았는지 검증하는 방법입니다.

그 이유로는 아무래도 최대한 다른 변수의 변화를 없게하고 최대한 비슷한 상태에서 진행해야 유의미한 결과를 얻을 수 있기 때문입니다.

 

고객이 어떤 반응을 보였는지 어떻게 하면 정량적으로 분석할 수 있을까요?

 

XYZ가설 검증을 사용할 수 있습니다.

 

XYZ가설검증
X의 Y%는 Z할 것이다.
X: 우리의 타켓층
Y: 타켓 시장의 몇 퍼센트(양)을 차지할 수 있을까?
Z: 타겟 시장은 우리 제품에 어떤 식으로, 어느범위까지 호응할까?

 

예를 들자면

• 아이디어 (전략) : 할인 쿠폰으로 햄버거 판매를 늘리기
• 애매모호한 가설 : 최근에 햄버거를 주문하지 않은 사람에게 햄버거 할인 쿠폰을 주면 더 좋아할 것이다.
• XYZ가설 : 전체 고객 중 1년간 재주문이 한번도 되지 않는 사람들(N%)에게 햄버거 할인 쿠폰(N천원)을 발행하면 재주문율이 N% 상승할 것이다.

와 같이 좀더 구체적인 가설을 세움으로써 분석해야할 데이터가 어떤 식으로 반응했는지 더 구체적으로 확인할 수 있습니다.

 

 

짧은 이 아티클을 요약하자면

OKR 방법을 통해 현재 어떤 문제를 가지고 있는지, 어떤 가설을 검증해야하는지 결정할 수 있고,

XYZ가설검증을 통해 조금더 구체적인 가설을 설정하여 AB테스트 후 데이터 분석에서 유의미한 분석을 할 수 있습니다.

 

그 외에도 현재 내가 일하고 있는 기업 혹은 서비스가 어떤 위치(서비스시작, 서비스쇠퇴 등등)인지에 따라도 어떤 가설을 검증해야하는지 어떻게 검증할 것인지에 대한 내용이 달라진다는 점도 꼭 명심하면 좋겠습니다.

 

또한 하나의 가설검증을 진행할때 최종적으로 어떤 결과를 실험해보고 싶었는지를 잊지않도록 주의해야합니다.