A/B 테스트는 한 가지 항목에 대해 두 가지 버전으로 이메일을 발송하여 성과를 비교하는 것입니다. 예를 들어, 같은 이메일을 제목만 달리하여 발송해보고 어떤 제목이 성과가 좋은지 검증하는 것이죠. 주소록에 포함된 수신자 중 일부에게 먼저 테스트 한 뒤 성과가 좋은 버전을 나머지 수신자에게 보내는 것도 가능합니다.

사용방법

1단계: 이메일을 새로 만들거나 수정할 때, 상단의 단계 이동 메뉴에서 A/B 테스트를 클릭하여 A/B 테스트 단계로 이동합니다.

2단계: A/B 테스트를 하시겠습니까?에서 예를 선택합니다.

3단계: 어떤 항목을 테스트하시겠습니까?에서 테스트 할 항목을 선택합니다. 이메일 제목, 발신자 이름, 발송 스케줄 중 1개를 선택할 수 있습니다. 이번 도움말에서는 발신자 이름을 선택하여 진행해보겠습니다.

4단계: 테스트 그룹과 발송 그룹의 비율을 설정하세요.에서 슬라이더를 움직여 테스트 그룹과 발송 그룹의 비율을 설정합니다. 설정한 비율에 따라 테스트 그룹과 발송 그룹의 구독자 수가 결정됩니다. 어떤 구독자가 해당 그룹에 속하게 되는지 여부는 무작위로 결정됩니다.

• 테스트그룹: A안, B안을 서로 다르게 보내 성과를 테스트 할 구독자 그룹을 의미합니다.

• 발송그룹: 테스트그룹에 발송된 A안, B안 이메일 중 더 좋은 성과를 보인 버전의 메일이 발송되는 그룹입니다. (발송그룹이 설정된 경우 A안, B안 이메일의 성과가 동일하다면 A안 이메일로 발송됩니다.)

기본적으로 테스트 그룹이 100%로 설정되어 있으며, 전체 주소록 구독자 중 50%는 A안, 나머지 50%에게는 B안이 전송됩니다.

테스트그룹과 발송그룹의 비율을 설정하고 난 뒤 발송그룹의 발송 스케줄을 설정할 수 있습니다. 테스트 그룹 발송 후 몇일 뒤까지 성과를 판단해 우수한 버전을 발송그룹에 보낼지 발송스케쥴을 설정할 수 있습니다. 우수한 성과의 판단 기준은 "오픈" 입니다. 발송 그룹의 발송 스케줄은 테스트 그룹의 발송 스케줄을 기준으로 일 단위(1일 뒤, 2일 뒤, ...)로 설정할 수 있습니다. 예를 들어, 테스트 그룹의 발송 스케줄이 9월 13일 오전 8:00이고 발송 그룹의 발송 스케줄을 2일 뒤로 설정했다면, 발송 그룹은 9월 15일 오전 8:00에 발송됩니다.

※ 잠깐! 발송그룹이 항상 필요한 것은 아닙니다!

테스트 그룹을 100%로 설정하거나 발송스케쥴이 테스트 항목인 경우 발송그룹 스케쥴은 설정하지 않습니다.

만일, 테스트 그룹을 50%로 설정하면 주소록에 등록된 전체 구독자의 50%를 다시 2개 그룹으로 나누어 2개 버전을 각각 발송합니다.이 중 성과가 좋은 버전을 나머지 50%인 발송 그룹에게 발송합니다.

예를 들어 전체 주소록에 12명이 등록되어 있고 테스트 그룹을 50%로 설정했으며 테스트 그룹 발송 후 2일 뒤에 발송그룹에 이메일을 보내도록 설정했다고 가정하겠습니다. 테스트 그룹을 50%로 설정하였으니 전체 주소록 12명 중 6명은 테스트 그룹으로 분류되어 메일이 발송됩니다. 테스트 그룹으로 분류되지 않은 나머지 6명은 발송그룹으로 분류됩니다. 테스트 그룹 6명은 다시 한번 3명씩 2그룹으로 분류되고 각 그룹에 A안, B안이 발송되어 성과를 테스트 합니다. 테스트 그룹에 메일 발송 후 48시간 후에 각 버전의 성과를 비교하여 더 우수한 성과를 보인 버전이 나머지 발송 그룹 6명에게 발송됩니다.

5단계: 테스트 항목 값을 2개 입력합니다. 예를 들어, 발신자 이름을 테스트 항목으로 선택했다면, 발송 정보 단계에서 테스트 그룹 A와 테스트 그룹 B에 대한 발신자 이름을 각각 입력합니다.

6단계: 예약하기 또는 발송하기 확인 단계에서 최종 내용을 확인합니다. 테스트 항목을 발신자 이름 또는 이메일 제목으로 설정한 경우 이 화면에서 테스트 내용을 확인할 수 있습니다.

발송 전 구독자 상태에 따른 발송 유무가 궁금하시다면 여기를 참고해주세요.

발송스케줄을 테스트 항목으로 선택했다면, 예약 또는 발송 확인 화면에서 테스트 그룹 A와 테스트 그룹 B에 대한 발송 스케줄을 각각 설정합니다.

테스트 그룹이 모두 발송되면 이메일 대시보드 A/B 테스트 화면에서 A/B 테스트 결과를 확인할 수 있습니다. 테스트 그룹 2개에 대한 각각의 통계와 어떤 테스트 그룹이 성과가 더 좋았는지 확인할 수 있습니다.

A/B 테스트를 하기 위해 가설을 세우고 검증하는 과정이 궁금하다면 테스트를 통해 더 좋은 성과를 얻을 수 있을까요?를 참고하세요.