A/B 테스트 따라하기
이 글에서는
발송할 이메일의 제목, 발신자 이름, 발송 스케줄에 대한 A/B 테스트를 활용해 이메일을 발송하는 방법에 대해 알아봅니다.
A/B 테스트란?
마케팅에서 A/B 테스트는 마케팅 성과를 개선하기 위해 가장 많이 사용되는 방법론입니다. 스티비를 사용하면 이메일 성과를 개선하기 위한 A/B 테스트를 간단하게 진행할 수 있습니다. 전체 구독자를 두 개 그룹으로 나눠 이메일의 성과를 테스트하거나 전체 그룹 중 일부에만 테스트를 진행한 뒤 더 성과가 좋은 안으로 나머지 그룹에 발송되도록 할 수 있습니다. 예를 들어 전체 100명의 구독자가 있다고 가정한다면,
100명의 구독자를 50명, 50명으로 나눠 A/B 테스트를 진행한 뒤 결과를 각각 확인하는 것이 가능합니다.
또는 100명의 구독자 중 50명을 25명, 25명으로 나눠 테스트를 1시간 진행한 뒤 아직 이메일이 발송되지 않은 나머지 50명에게 1시간 후에 더 성과가 좋은 안으로 자동 발송되도록 설정할 수 있습니다.
A/B 테스트 시작하기
이메일 편집 단계 중 [A/B 테스트]에서 테스트를 설정할 수 있습니다.
[이메일 → 새로 만들기]를 클릭해 새로운 이메일을 생성하거나 이메일 목록에서 [작성 중] 상태인 이메일을 클릭해 이메일 편집 단계로 이동합니다.
[A/B 테스트] 단계로 이동합니다.
'A/B테스트를 하시겠습니까?' 에서 [예]를 클릭합니다.
테스트 항목 설정하기
'A/B 테스트를 하시겠습니까?' 에서 [예]를 클릭하면 테스트 항목을 설정할 수 있는 화면이 표시됩니다.
이메일 제목, 발신자 이름, 발송 스케줄: 스타터(무료), 스탠다드
이메일 제목, 발신자 이름, 발송 스케줄, 콘텐츠: 프로, 엔터프라이즈
현재 A/B 테스트 조건으로는 [이메일 제목, 발신자 이름, 발송 스케줄, 콘텐츠] 4가지 항목을 제공합니다. 이 4가지 항목은 이메일 오픈율에 영향을 끼치는 주요 변수입니다. 여러 항목을 기준으로 테스트를 진행하여 이메일 오픈 성과를 개선할 수 있습니다. 프로 요금제부터 제공되는 콘텐츠 A/B 테스트에 대한 자세한 내용은 여기에서 확인해보세요.
* 테스트 항목은 업데이트를 통해 추가할 예정입니다.
이메일 제목 테스트하기
이메일 제목을 기준으로 테스트하면 같은 내용이지만 제목만 다른 이메일을 A안과 B안으로 나눠 발송하고, 이메일 성과를 비교할 수 있습니다.
테스트 항목 중 [이메일 제목]을 선택합니다.
'테스트 그룹'과 '발송 그룹' 비율을 설정하고 [다음]을 클릭합니다. *비율 설정 방법에 대한 자세한 내용은 테스트, 발송 그룹 비율 설정하기 항목을 참고하세요.
[발송 정보] 단계에서 A안, B안 이메일 제목을 입력합니다. 미리보기 화면에서 작성한 결과를 확인할 수 있습니다.
[콘텐츠] 단계에서 편집을 마무리한 뒤 이메일을 발송합니다.
발신자 이름 테스트하기
발신자 이름을 기준으로 테스트하면 같은 제목, 내용의 이메일의 발신자 이름만 다르게 설정하여 A안, B안으로 나눠 발송하고, 이메일 성과를 비교할 수 있습니다.
테스트 항목 중 [발신자 이름]을 선택합니다.
'테스트 그룹'과 '발송 그룹' 비율을 설정하고 [다음]을 클릭합니다. * 비율 설정 방법에 대한 자세한 내용은 테스트, 발송 그룹 비율 설정하기 항목을 참고하세요.
[발송 정보] 단계에서 A안, B안 발신자 이름을 입력합니다. 미리보기 화면에서 작성한 결과를 확인할 수 있습니다.
[콘텐츠] 단계에서 편집을 마무리한 뒤 이메일을 발송합니다.
발송 스케줄 테스트하기
같은 내용, 제목, 발신자 이름의 이메일을 두 가지 시간으로 나눠 발송한 뒤 이메일의 성과를 비교할 수 있습니다. 예를 들면, A라는 이메일을 100명에게 보내는 경우 50명에게는 오전 9시에 발송하고 나머지 50명에게는 오후 6시에 발송해서 두 이메일의 성과를 비교할 수 있습니다. 발송 스케줄 조건을 사용해 테스트를 진행하면 언제 이메일을 보내는 것이 가장 성과가 좋은지 확인할 수 있어 발송 스케줄을 최적화하는 데 도움을 받을 수 있습니다.
테스트 항목 중 [발송 스케줄]을 선택합니다.
[콘텐츠] 단계에서 편집을 마무리한 뒤 [예약하기]를 클릭합니다.
그룹 별로 원하는 발송 시간을 설정한 뒤 [예약하기]를 클릭합니다.
콘텐츠 테스트하기
콘텐츠 테스트는 콘텐츠를 A안, B안 두가지로 나눠 어떤 콘텐츠가 더 효과적인지 확인할 수 있는 테스트입니다. 콘텐츠 테스트는 프로 요금제부터 사용할 수 있습니다. 자세한 내용은 여기에서 확인해보세요.
테스트, 발송 그룹 비율 설정하기
[이메일 제목]과 [발신자 이름] 조건에서는 테스트, 발송 그룹 비율을 설정할 수 있습니다. 이 설정을 활용해 전체 구독자를 50대 50으로 테스트만 진행 후 각 그룹 간 차이를 비교할지 아니면 '테스트 그룹'에만 이메일을 발송해 일정 시간 동안 테스트를 진행한 뒤에 더 성과가 좋은 안으로 나머지 '발송 그룹'에 이메일을 발송해 이메일의 성과를 개선하도록 할지 여부를 선택할 수 있습니다. 예를 들어 A라는 이메일을 100명에게 발송할 때 전체 구독자를 50대 50으로 나눠 보내고 싶다면,
테스트 그룹과 발송 그룹 비율을 100%로 설정해서 보냅니다.
만약에 A 이메일을 50명을 25대 25로 나눠 우선 테스트를 진행한 뒤 1시간 뒤에 나머지 50명에게 더 성과가 좋은 안으로 발송되도록 설정하고 싶다면,
테스트 그룹과 발송 그룹의 비율을 50%로 설정합니다.
테스트 그룹에게 발송하고 1시간 뒤, 성과가 더 좋은 버전을 발송 그룹에게 발송하도록 설정합니다.
만약에 테스트 그룹에는 오전 7:00에 발송한 뒤 발송 그룹에는 더 성과가 좋은 안으로 1시간 뒤 발송되도록 설정했다면, 오전 7:00 ~ 8:00까지 테스트를 진행한 뒤 더 성과가 좋은 안으로 오전 8:00에 나머지 발송 그룹 50명에게 이메일이 자동으로 발송됩니다.
*발송 그룹에 얼마나 테스트를 진행한 뒤 보낼지 여부는 직접 설정할 수 있습니다. 최소 1시간부터 최대 7일까지 설정할 수 있습니다.
A/B 테스트 성과 확인하기
전체 성과 확인하기
[이메일 대시보드 → A/B 테스트 결과]에서 A안, B안에 대한 이메일 성과와 발송 그룹의 이메일 성과 등의 데이터를 비교할 수 있습니다.
메인 메뉴에서 [이메일]을 클릭합니다.
이메일 목록에서 A/B 테스트를 진행하고 있는 이메일을 클릭합니다.
[A/B 테스트 결과]를 클릭합니다.
A안, B안 중 어떤 안이 더 성과가 좋은 지 여부는 이메일의 '오픈'을 기준으로 결정됩니다. '오픈'이 동일하다면 자동으로 A안을 기준으로 이메일이 발송됩니다.
상세 통계에서 확인하기
이메일 상세 통계에서 '테스트 A 그룹', 테스트 B 그룹', '발송그룹' 별로 나눠 통계를 확인할 수 있습니다. 예를 들면, '이메일을 오픈한 구독자 중 테스트 A 그룹에 속하는 구독자 명단'만 확인하고 싶은 경우라면, 이메일 [오픈] 상세 통계에서 '모든 구독자'를 [테스트 A그룹]으로 설정하면 됩니다.
이메일 대시보드의 [상세 통계]를 클릭합니다.
확인하고 싶은 상세 통계를 선택합니다.
[모든 구독자]를 클릭하고 확인하고 싶은 그룹을 선택합니다.
A/B 테스트 중단하고 바로 발송하기
A/B 테스트를 중단하고 발송 그룹에 A안, B안 중 더 우수한 안으로 바로 발송할 수 있습니다.
A/B 테스트를 진행하고 있는 이메일을 클릭합니다.
[A/B 테스트 결과]를 클릭합니다.
테스트 결과 화면에서 '발송그룹'의 [발송 버전 선택해서 지금 발송하기]를 클릭합니다.
발송할 버전을 선택한 뒤 [지금 발송하기]를 클릭합니다.
발송 그룹 구독자별로 순차적으로 발송 처리가 즉시 진행됩니다.
*발송은 순차적으로 진행되기 때문에 처음 이메일을 받아보는 구독자와 나중에 받아보는 구독자 사이에 시간 차이가 존재할 수 있습니다.
A/B 테스트를 하기 위해 가설을 세우고 검증하는 과정이 궁금하다면 테스트를 통해 더 좋은 성과를 얻을 수 있을까요?를 참고하세요.
콘텐츠 A/B 테스트
💬 이 내용은 프로, 엔터프라이즈 요금제에 해당하는 도움말입니다.
콘텐츠 A/B 테스트는 구독자의 클릭 데이터를 통해 어떤 콘텐츠에 반응하는지 확인할 수 있는 방법입니다. 이메일 발송의 성과를 개선하기 위한 가설을 세우고, 이를 직접 실험할 수 있습니다.
이메일 목록 화면에서 [이메일 만들기 → 일반 이메일 만들기]를 선택합니다.
발송할 주소록을 선택하고, [다음] 버튼 또는 [A/B 테스트] 탭을 클릭해서 다음 단계로 이동합니다.
A/B 테스트를 사용하시겠습니까?’에서 [예]를 선택합니다.
A/B 테스트를 사용하기로 설정하면, 테스트 항목이 표시됩니다. 4번째 항목인 [콘텐츠]를 선택합니다. 테스트 그룹의 ‘클릭’ 성과를 비교해 성과가 좋은 버전을 발송 그룹에게 발송합니다.
발송 그룹의 비율을 선택하고, 다음 단계로 이동해 발송 정보를 입력합니다.
템플릿을 선택하고, 다음 단계로 이동합니다.
[HTML 만들기] 템플릿에서는 콘텐츠 A/B 테스트를 진행할 수 없습니다.
콘텐츠 단계에서, 에디터 왼쪽 상단의 [테스트 그룹 A]를 클릭합니다. 현재 편집 중인 버전이 선택되어 있으며, 다른 버전인 [테스트 그룹 B]로도 편집 화면을 전환할 수 있습니다.
테스트 그룹 B의 콘텐츠를 편집하려면, 왼쪽 상단의 [테스트 그룹 A]의 메뉴에서 [테스트 그룹 B]를 클릭합니다.
테스트 그룹 A의 콘텐츠와 테스트 그룹 B의 콘텐츠를 동일한 내용으로 만들려면, [콘텐츠 불러오기]를 클릭합니다. 콘텐츠를 확인한 후, [불러오기]를 클릭하면 테스트 그룹 B의 콘텐츠가 변경됩니다.
편집을 완료한 후, [발송하기]를 클릭해 이메일을 발송합니다.
이메일이 발송된 후, 이메일 대시보드로 이동해 [A/B 테스트 결과]에서 테스트 결과를 확인합니다.
이메일 성과 확인하기
콘텐츠 A/B 테스트를 진행하면 각 그룹별로 발송 성과를 확인할 수 있습니다. 발송이 완료된 이메일을 클릭해서 이메일 대시보드로 이동한 뒤 [A/B 테스트 결과]를 클릭하면 확인할 수 있습니다. A/B 테스트 결과 어떤 안이 성과가 좋은지 여부에 대한 판단은 '클릭 수'를 기준으로 평가합니다.
Last updated
