서비스·경험디자인 개발 및 운영난이도 중2회차
다음 중 A/B 테스트에 대한 설명으로 옳지 않은 것은?
①A/B 테스트의 결과에 대해 일관되고 정교한 테스트를 위해서는 t-검정을 적용하여 유의성을 검증해야 한다.
②A/B 테스트를 진행하기 위해서는 먼저 정량적으로 측정 가능한 목표를 설정하는 것이 필요하다.
③A/B 테스트는 둘 이상의 요소 간의 조합을 찾아 최상의 콘텐츠를 파악하기 위해 측정한다.✓ 정답
④A/B 테스트의 가장 큰 단점 중의 하나는 측정 결과의 명확한 원인을 파악하기 어렵다는 것이다.
해설
👉 A/B 테스트는 한 가지 요소만 변경한 두 버전을 비교하는 것이지, '둘 이상의 요소 간의 조합'을 찾는 방식은 아니다. 여러 요소의 조합을 동시에 비교하려면 다변량 테스트(Multivariate Test)가 필요하다. 정답(옳지 않은 설명): ③ — A/B 테스트는 단일 변수의 두 변형을 비교하는 단순 비교 실험이다. 나머지는 옳은 설명: • ② 정량적으로 측정 가능한 목표 설정은 A/B 테스트의 필수 전제 • ④ 단점으로 결과의 명확한 원인 파악이 어려움 (어떤 변수가 영향을 줬는지 분리하기 힘들 수 있음) • ① 통계적 유의성 검증을 위해 t-검정 등 적용