이 글에서는
발송할 이메일의 제목, 발신자 이름, 발송 스케줄에 대한 A/B 테스트를 활용해 이메일을 발송하는 방법에 대해 알아봅니다. 콘텐츠 A/B 테스트가 궁금하다면, 아래 문서를 참고해 주세요.
목차
마케팅에서 A/B 테스트는 마케팅 성과를 개선하기 위해 가장 많이 사용되는 방법론입니다. 스티비를 사용하면 이메일 성과를 개선하기 위한 A/B 테스트를 간단하게 진행할 수 있습니다. 전체 구독자를 두 개 그룹으로 나눠 이메일의 성과를 테스트하거나 전체 그룹 중 일부에만 테스트를 진행한 뒤 더 성과가 좋은 안으로 나머지 그룹에 발송되도록 할 수 있습니다. 예를 들어 전체 100명의 구독자가 있다고 가정한다면,
- 100명의 구독자를 50명, 50명으로 나눠 A/B 테스트를 진행한 뒤 결과를 각각 확인하는 것이 가능합니다.
- 또는 100명의 구독자 중 50명을 25명, 25명으로 나눠 테스트를 1시간 진행한 뒤 아직 이메일이 발송되지 않은 나머지 50명에게 1시간 후에 더 성과가 좋은 안으로 자동 발송되도록 설정할 수 있습니다.
A/B 테스트 시작하기
이메일 편집 단계 중 [A/B 테스트]에서 테스트를 설정할 수 있습니다.
- [이메일 → 새로 만들기]를 클릭해 새로운 이메일을 생성하거나 이메일 목록에서 [작성 중] 상태인 이메일을 클릭해 이메일 편집 단계로 이동합니다.
- [A/B 테스트] 단계로 이동합니다.
- 'A/B테스트를 하시겠습니까?' 에서 [예]를 클릭합니다.
테스트 항목 설정하기
'A/B 테스트를 하시겠습니까?' 에서 [예]를 클릭하면 테스트 항목을 설정할 수 있는 화면이 표시됩니다.
- 이메일 제목, 발신자 이름, 발송 스케줄: 스타터(무료), 스탠다드
- 이메일 제목, 발신자 이름, 발송 스케줄, 콘텐츠: 프로, 엔터프라이즈
현재 A/B 테스트 조건으로는 [이메일 제목, 발신자 이름, 발송 스케줄, 콘텐츠] 4가지 항목을 제공합니다. 이 4가지 항목은 이메일 오픈율에 영향을 끼치는 주요 변수입니다. 여러 항목을 기준으로 테스트를 진행하여 이메일 오픈 성과를 개선할 수 있습니다.
* '콘텐츠 A/B테스트'는 프로와 엔터프라이즈 요금제에만 제공합니다.
* 테스트 항목은 업데이트를 통해 추가할 예정입니다.
이메일 제목 테스트하기
이메일 제목을 기준으로 테스트하면 같은 내용이지만 제목만 다른 이메일을 A안과 B안으로 나눠 발송하고, 이메일 성과를 비교할 수 있습니다.
- 테스트 항목 중 [이메일 제목]을 선택합니다.
- '테스트 그룹'과 '발송 그룹' 비율을 설정하고 [다음]을 클릭합니다.
*비율 설정 방법에 대한 자세한 내용은 테스트, 발송 그룹 비율 설정하기 항목을 참고하세요. - [발송 정보] 단계에서 A안, B안 이메일 제목을 입력합니다. 미리보기 화면에서 작성한 결과를 확인할 수 있습니다.
- [콘텐츠] 단계에서 편집을 마무리한 뒤 이메일을 발송합니다.
발신자 이름 테스트하기
발신자 이름을 기준으로 테스트하면 같은 제목, 내용의 이메일의 발신자 이름만 다르게 설정하여 A안, B안으로 나눠 발송하고, 이메일 성과를 비교할 수 있습니다.
- 테스트 항목 중 [발신자 이름]을 선택합니다.
- '테스트 그룹'과 '발송 그룹' 비율을 설정하고 [다음]을 클릭합니다.
*비율 설정 방법에 대한 자세한 내용은 테스트, 발송 그룹 비율 설정하기 항목을 참고하세요. - [발송 정보] 단계에서 A안, B안 발신자 이름을 입력합니다. 미리보기 화면에서 작성한 결과를 확인할 수 있습니다.
- [콘텐츠] 단계에서 편집을 마무리한 뒤 이메일을 발송합니다.
발송 스케줄 테스트하기
같은 내용, 제목, 발신자 이름의 이메일을 두 가지 시간으로 나눠 발송한 뒤 이메일의 성과를 비교할 수 있습니다. 예를 들면, A라는 이메일을 100명에게 보내는 경우 50명에게는 오전 9시에 발송하고 나머지 50명에게는 오후 6시에 발송해서 두 이메일의 성과를 비교할 수 있습니다. 발송 스케줄 조건을 사용해 테스트를 진행하면 언제 이메일을 보내는 것이 가장 성과가 좋은지 확인할 수 있어 발송 스케줄을 최적화하는 데 도움을 받을 수 있습니다.
- 테스트 항목 중 [발송 스케줄]을 선택합니다.
- [콘텐츠] 단계에서 편집을 마무리한 뒤 [예약하기]를 클릭합니다.
- 그룹 별로 원하는 발송 시간을 설정한 뒤 [예약하기]를 클릭합니다.
테스트, 발송 그룹 비율 설정하기
[이메일 제목]과 [발신자 이름] 조건에서는 테스트, 발송 그룹 비율을 설정할 수 있습니다. 이 설정을 활용해 전체 구독자를 50대 50으로 테스트만 진행 후 각 그룹 간 차이를 비교할지 아니면 '테스트 그룹'에만 이메일을 발송해 일정 시간 동안 테스트를 진행한 뒤에 더 성과가 좋은 안으로 나머지 '발송 그룹'에 이메일을 발송해 이메일의 성과를 개선하도록 할지 여부를 선택할 수 있습니다. 예를 들어 A라는 이메일을 100명에게 발송할 때 전체 구독자를 50대 50으로 나눠 보내고 싶다면,
- 테스트 그룹과 발송 그룹 비율을 100%로 설정해서 보냅니다.
만약에 A 이메일을 50명을 25대 25로 나눠 우선 테스트를 진행한 뒤 1시간 뒤에 나머지 50명에게 더 성과가 좋은 안으로 발송되도록 설정하고 싶다면,
- 테스트 그룹과 발송 그룹의 비율을 50%로 설정합니다.
- 테스트 그룹에게 발송하고 1시간 뒤, 성과가 더 좋은 버전을 발송 그룹에게 발송하도록 설정합니다.
- 만약에 테스트 그룹에는 오전 7:00에 발송한 뒤 발송 그룹에는 더 성과가 좋은 안으로 1시간 뒤 발송되도록 설정했다면, 오전 7:00 ~ 8:00까지 테스트를 진행한 뒤 더 성과가 좋은 안으로 오전 8:00에 나머지 발송 그룹 50명에게 이메일이 자동으로 발송됩니다.
*발송 그룹에 얼마나 테스트를 진행한 뒤 보낼지 여부는 직접 설정할 수 있습니다. 최소 1시간부터 최대 7일까지 설정할 수 있습니다.
A/B 테스트 성과 확인하기
전체 성과 확인하기
[이메일 대시보드 → A/B 테스트 결과]에서 A안, B안에 대한 이메일 성과와 발송 그룹의 이메일 성과 등의 데이터를 비교할 수 있습니다.
- 메인 메뉴에서 [이메일]을 클릭합니다.
- 이메일 목록에서 A/B 테스트를 진행하고 있는 이메일을 클릭합니다.
- [A/B 테스트 결과]를 클릭합니다.
A안, B안 중 어떤 안이 더 성과가 좋은 지 여부는 이메일의 '오픈'을 기준으로 결정됩니다. '오픈'이 동일하다면 자동으로 A안을 기준으로 이메일이 발송됩니다.
상세 통계에서 확인하기
이메일 상세 통계에서 '테스트 A 그룹', 테스트 B 그룹', '발송그룹' 별로 나눠 통계를 확인할 수 있습니다. 예를 들면, '이메일을 오픈한 구독자 중 테스트 A 그룹에 속하는 구독자 명단'만 확인하고 싶은 경우라면, 이메일 [오픈] 상세 통계에서 '모든 구독자'를 [테스트 A그룹]으로 설정하면 됩니다.
- 이메일 대시보드의 [상세 통계]를 클릭합니다.
- 확인하고 싶은 상세 통계를 선택합니다.
- [모든 구독자]를 클릭하고 확인하고 싶은 그룹을 선택합니다.
A/B 테스트 중단하고 바로 발송하기
A/B 테스트를 중단하고 발송 그룹에 A안, B안 중 더 우수한 안으로 바로 발송할 수 있습니다.
- A/B 테스트를 진행하고 있는 이메일을 클릭합니다.
- [A/B 테스트 결과]를 클릭합니다.
- 테스트 결과 화면에서 '발송그룹'의 [발송 버전 선택해서 지금 발송하기]를 클릭합니다.
- 발송할 버전을 선택한 뒤 [지금 발송하기]를 클릭합니다.
- 발송 그룹 구독자별로 순차적으로 발송 처리가 즉시 진행됩니다.
*발송은 순차적으로 진행되기 때문에 처음 이메일을 받아보는 구독자와 나중에 받아보는 구독자 사이에 시간 차이가 존재할 수 있습니다.
A/B 테스트를 하기 위해 가설을 세우고 검증하는 과정이 궁금하다면 테스트를 통해 더 좋은 성과를 얻을 수 있을까요?를 참고하세요.