A/B 테스트 따라하기

이 글에서는

발송할 이메일의 제목, 발신자 이름, 발송 스케줄에 대한 A/B 테스트를 활용해 이메일을 발송하는 방법에 대해 알아봅니다.

A/B 테스트란?

마케팅에서 A/B 테스트는 마케팅 성과를 개선하기 위해 가장 많이 사용되는 방법론입니다. 스티비를 사용하면 이메일 성과를 개선하기 위한 A/B 테스트를 간단하게 진행할 수 있습니다. 전체 구독자를 두 개 그룹으로 나눠 이메일의 성과를 테스트하거나 전체 그룹 중 일부에만 테스트를 진행한 뒤 더 성과가 좋은 안으로 나머지 그룹에 발송되도록 할 수 있습니다.

예를 들어 전체 100명의 구독자가 있다고 가정한다면,

100명의 구독자를 50명, 50명으로 나눠 A/B 테스트를 진행한 뒤 결과를 각각 확인하는 것이 가능합니다.
또는 100명의 구독자 중 50명을 25명, 25명으로 나눠 테스트를 1시간 진행한 뒤 아직 이메일이 발송되지 않은 나머지 50명에게 1시간 후에 더 성과가 좋은 안으로 자동 발송되도록 설정할 수 있습니다.

A/B 테스트 시작하기

이메일 편집 단계 중 [A/B 테스트]에서 테스트를 설정할 수 있습니다.

[이메일 → 새로 만들기]를 클릭해 새로운 이메일을 생성하거나 이메일 목록에서 [작성 중] 상태인 이메일을 클릭해 이메일 편집 단계로 이동합니다.
[A/B 테스트] 단계로 이동합니다.
'A/B테스트를 하시겠습니까?' 에서 [예]를 클릭합니다.

테스트 항목 설정하기

'A/B 테스트를 하시겠습니까?' 에서 [예]를 클릭하면 테스트 항목을 설정할 수 있는 화면이 표시됩니다. 현재 A/B 테스트 조건으로는 [이메일 제목, 발신자 이름, 발송 스케줄, 콘텐츠] 4가지 항목을 제공합니다. 이 네 가지 항목은 이메일 오픈율에 영향을 끼치는 주요 변수입니다. 여러 항목을 기준으로 테스트를 진행하여 이메일 오픈 성과를 개선할 수 있습니다. 테스트 항목은 업데이트를 통해 추가할 예정입니다.

이메일 제목 테스트하기

이메일 제목을 기준으로 테스트하면 제목만 다른 같은 내용의 이메일을 A안과 B안으로 나눠 발송하고, 이에 따른 성과를 비교할 수 있습니다.

테스트 항목 중 [이메일 제목]을 선택합니다.
'테스트 그룹'과 '발송 그룹' 비율을 설정하고 [다음]을 클릭합니다. 비율 설정 방법에 대한 자세한 내용은 테스트, 발송 그룹 비율 설정하기를 참고하세요.
[발송 정보] 단계에서 A안, B안 이메일 제목을 입력합니다. 미리보기 화면에서 작성한 결과를 확인할 수 있습니다.
[콘텐츠] 단계에서 편집을 마무리한 뒤 이메일을 발송합니다.

발신자 이름 테스트하기

발신자 이름을 기준으로 테스트하면 같은 제목, 내용의 이메일을 발신자 이름만 다르게 설정해 A안, B안으로 나눠 발송하고, 이메일 성과를 비교할 수 있습니다.

테스트 항목 중 [발신자 이름]을 선택합니다.
'테스트 그룹'과 '발송 그룹' 비율을 설정하고 [다음]을 클릭합니다. 비율 설정 방법에 대한 자세한 내용은 테스트, 발송 그룹 비율 설정하기를 참고하세요.
[발송 정보] 단계에서 A안, B안 발신자 이름을 입력합니다. 미리보기 화면에서 작성한 결과를 확인할 수 있습니다.
[콘텐츠] 단계에서 편집을 마무리한 뒤 이메일을 발송합니다.

발송 스케줄 테스트하기

같은 내용, 제목, 발신자 이름의 이메일을 두 가지 시간으로 나눠 발송한 뒤 이메일의 성과를 비교할 수 있습니다.

예를 들어, 'A 이메일'을 100명에게 보내는 경우, 50명에게는 오전 9시에 발송하고 나머지 50명에게는 오후 6시에 발송해서 두 이메일의 성과를 비교할 수 있습니다. 발송 스케줄 조건을 사용해 테스트를 진행하면 언제 이메일을 보내는 것이 가장 성과가 좋은지 확인할 수 있어 발송 스케줄을 최적화하는데 도움받을 수 있습니다.

테스트 항목 중 [발송 스케줄]을 선택합니다.
[콘텐츠] 단계에서 편집을 마무리한 뒤 [예약하기]를 클릭합니다.
그룹별로 원하는 발송 시간을 설정한 뒤 [예약하기]를 클릭합니다.

콘텐츠 테스트하기

💬 이 내용은 프로, 엔터프라이즈 요금제에 해당하는 도움말입니다.

콘텐츠 테스트는 콘텐츠를 A안, B안 두 가지로 나눠 발송한 뒤, 어느 콘텐츠의 구독자 클릭률이 더 높았는지를 비교해서 내 구독자가 선호하는 콘텐츠를 확인할 수 있습니다.

*주의: [HTML 만들기] 템플릿에서는 콘텐츠 A/B 테스트를 진행할 수 없습니다.

테스트 항목 중 [콘텐츠]를 선택합니다.
발송 그룹의 비율을 선택하고, 다음 단계로 이동해 발송 정보를 입력합니다.
템플릿을 선택하고, 다음 단계로 이동합니다.
콘텐츠 단계에서, 에디터 왼쪽 상단의 [테스트 그룹 A]를 클릭합니다. 현재 편집 중인 버전이 선택되어 있으며, 다른 버전인 [테스트 그룹 B]로도 편집 화면을 전환할 수 있습니다. [테스트 그룹 B]의 콘텐츠를 편집하려면, 왼쪽 상단의 [테스트 그룹 A]의 메뉴에서 [테스트 그룹 B]를 클릭합니다.
테스트 그룹 A의 콘텐츠와 테스트 그룹 B의 콘텐츠를 동일한 내용으로 만들려면, [콘텐츠 불러오기]를 클릭합니다. 콘텐츠를 확인한 후, [불러오기]를 클릭하면 테스트 그룹 B의 콘텐츠가 변경됩니다.
편집을 완료한 후, [발송하기]를 클릭해 이메일을 발송합니다.
이메일이 발송된 후, 이메일 대시보드로 이동해 [A/B 테스트 결과]에서 테스트 결과를 확인합니다.

테스트, 발송 그룹 비율 설정하기

[이메일 제목]과 [발신자 이름] 조건에서는 테스트, 발송 그룹 비율을 설정할 수 있습니다. 전체 구독자를 50대 50으로 나눠 테스트만 진행해서 각 그룹 간 차이를 비교할지, 혹은 '테스트 그룹'에 이메일을 먼저 발송해서 일정 시간 테스트를 진행한 뒤, 더 좋은 성과를 보인 안으로 나머지 '발송 그룹'에 이메일을 발송할지 여부를 선택할 수 있습니다.

A안, B안 중 어떤 안이 더 성과가 좋은지 여부는 이메일의 '오픈'을 기준으로 결정됩니다. '오픈'이 동일하다면 자동으로 A안을 기준으로 이메일이 발송됩니다.

예를 들어 A라는 이메일을 100명에게 발송할 때, 전체 구독자를 50대 50으로 나눠 보내고 싶다면, 테스트 그룹과 발송 그룹 비율을 100%로 설정해서 보냅니다.

만약에 A 이메일을 50명을 25대 25로 나눠 우선 테스트를 진행한 뒤, 1시간 뒤에 나머지 50명에게 더 성과가 좋은 안으로 발송되도록 설정하고 싶다면,

테스트 그룹과 발송 그룹의 비율을 50%로 설정합니다.
테스트 그룹에게 발송하고 1시간 뒤, 성과가 더 좋은 버전을 발송 그룹에게 발송하도록 설정합니다.
만약에 테스트 그룹에는 오전 7:00에 발송한 뒤 발송 그룹에는 더 성과가 좋은 안으로 1시간 뒤 발송되도록 설정했다면, 오전 7:00 ~ 8:00까지 테스트를 진행한 뒤 더 성과가 좋은 안으로 오전 8:00에 나머지 발송 그룹 50명에게 이메일이 자동으로 발송됩니다.

발송 그룹에 얼마나 테스트를 진행한 뒤 보낼지 여부는 직접 설정할 수 있습니다. 최소 1시간부터 최대 7일까지 설정할 수 있습니다.

A/B 테스트 성과 확인하기

전체 성과 확인하기

[이메일 대시보드 → A/B 테스트 결과]에서 A안, B안에 대한 이메일 성과와 발송 그룹의 이메일 성과 등의 데이터를 비교할 수 있습니다.

메인 메뉴에서 [이메일]을 클릭합니다.
이메일 목록에서 A/B 테스트를 진행하고 있는 이메일을 클릭합니다.
[A/B 테스트 결과]를 클릭합니다.

상세 통계에서 확인하기

이메일 상세 통계에서 [테스트 A 그룹, 테스트 B 그룹, 발송 그룹] 별로 통계를 확인할 수 있습니다. 예를 들면, '이메일을 오픈한 구독자 중 테스트 A 그룹에 속하는 구독자 명단'만 확인하고 싶은 경우, 이메일 [오픈] 상세 통계에서 '모든 구독자'를 [테스트 A그룹]으로 설정하면 됩니다.

이메일 대시보드의 [상세 통계]를 클릭합니다.
확인하고 싶은 상세 통계를 선택합니다.
[모든 구독자]를 클릭하고 확인하고 싶은 그룹을 선택합니다.

콘텐츠 A/B 테스트

콘텐츠 A/B 테스트를 진행하면 그룹별로 발송 성과를 확인할 수 있습니다. 발송이 완료된 이메일을 클릭해서 이메일 대시보드로 이동한 뒤 [A/B 테스트 결과]를 클릭하면 확인할 수 있습니다. A/B 테스트 결과 어떤 안이 성과가 좋은지 여부에 대한 판단은 '클릭 수'를 기준으로 평가합니다.