⚖️스요일의 꿀팁: A/B 테스트, 이메일 마케팅에서는 어떻게 할 수 있을까?

A/B 테스트를 기반으로 뉴스레터의 성과를 개선하는 법

2023. 7. 26.

마케터로 일을 하다 보면 때로는 한참을 고민해도 답이 나지 않는 고민을 마주하게 됩니다. 광고 소재의 카피는 어떤 것이 좋을지, 뉴스레터의 제목에는 메일머지를 넣을지 말지 이런 것들 말이죠. 저는 그럴 때 이렇게 외칩니다. "A/B 테스트하죠!"

A/B 테스트란, 두 가지 콘텐츠를 비교해 더 좋은 반응을 보이는 콘텐츠를 찾아내는 방법론이자 콘텐츠 개선 방식입니다. 이메일 마케팅에서도 이메일 제목, 이메일 콘텐츠의 CTA 문구 등 이메일 성과와 직접적으로 연관이 있는 요소들이 고민된다면 A/B 테스트를 통해 인사이트를 발견할 수 있죠. 오늘은 더 나은 뉴스레터를 만들고 싶은 구독자님을 위해, 스티비에서 A/B 테스트를 하는 방법을 소개합니다. - 스티비 세솔

스요일의 꿀팁

⚖️ A/B 테스트를 기반으로

뉴스레터의 성과를 개선하는 법

왜 A/B 테스트 기능을 써야 할까요?

A/B 테스트는 이메일 콘텐츠를 개선할 수 있는 효과적이고 효율적인 방법이기 때문입니다. A/B 테스트를 활용하면 뉴스레터의 성과를 개선하기 위한 가설의 결과를 감이나 추측에 의존하는 것이 아니라, 데이터를 기반으로 독자들이 반응하는 콘텐츠를 발견하고 이를 기반으로 이메일을 개선할 수 있게 됩니다.

A/B 테스트 기능, 이렇게 사용하세요.

A/B 테스트를 잘 진행하기 위해서는 A/B 테스트를 왜 진행하는지 그리고 테스트를 통해 어떤 것을 발견하고 싶은지, 즉 목적과 가설이 중요합니다. 만약 우리 뉴스레터의 오픈율을 높이는데 메일머지 기능이 효과적인지 알고 싶다면 ‘이메일 제목에 이름 메일머지를 활용하면 이메일의 오픈율이 더 높아질 것이다'와 같은 방식으로 구체적이고 뾰족한 가설을 정해야 합니다. 가설이 명확할 때 이를 통해 얻는 인사이트 또한 명확할 수 있기 때문입니다.

1. A/B 테스트 그룹 설정하기

스티비에서는 전체 구독자 중 일부를 테스트 그룹으로 설정해 A/B 테스트를 진행하고, 일정 시간 후에 테스트에서 성과가 더 좋게 나온 이메일을 나머지 구독자인 발송 그룹에 발송할 수 있습니다. 특정 모수를 대상으로 테스트를 진행하고 그 결과가 반영된 이메일을 나머지에게 발송하는 것이기 때문에 더 좋은 이메일 성과를 기대할 수 있습니다.

전체 구독자 중 40%를 테스트 그룹으로 설정하고 60%를 발송 그룹으로 설정한 경우

2. A/B 테스트 항목 설정하기

가설을 바탕으로 ‘이메일 제목’, ‘발신자 이름’, ‘발송 스케줄’, ‘콘텐츠’ 중 원하는 항목의 A/B 테스트를 진행해 보세요. 이때 선택한 항목이 가설을 잘 증명할 수 있는 항목인지 확인해야 합니다. 앞서 설정한 가설인 ‘이메일 제목에 이름 메일머지를 활용하면 이메일의 오픈율이 더 높아질 것이다’를 증명하고 싶다면 A/B 테스트 항목을 ‘이메일 제목'으로 선택하고 아래 이미지와 같이 다른 메시지는 동일하되 이름 메일머지 포함 여부만 다르게 A, B 그룹을 설정합니다.

A 테스트 그룹(상), B 테스트 그룹(하)의 이메일 제목

또한 이메일을 발송하기 전 발송 모달에서 테스트가 의도한 대로 잘 설정되었는지 다시 한번 확인합니다. 설정이 잘 되어 있다면 발송하기를 눌러 A/B 테스트를 시작합니다.

3. A/B 테스트에서 인사이트 발견하기

A/B 테스트가 시작되면 전체 구독자가 아닌 테스트 그룹의 구독자에게만 이메일이 발송됩니다. 그리고 해당 그룹의 발송 결과는 A/B 테스트 결과에서 볼 수 있는데요. 테스트 그룹 A와 B의 발송 성공률, 오픈율, 클릭률, 수신 거부율 등을 볼 수 있고 오픈율을 기준으로 어떤 테스트 그룹이 오픈 성과가 더 좋은지 표시가 됩니다.

(예시) 오픈과 클릭에서 더 나은 성과를 보여주는 테스트 그룹 B

4. A/B 테스트 결과 바로 적용하기

A/B 테스트 중 명확한 인사이트를 발견했다면 테스트를 중단하고 더 우수하다고 판단되는 테스트 그룹으로 발송그룹에게 이메일을 발송해 보세요. 물론 성과와 상관없이 원하는 테스트 그룹을 선택해 발송할 수도 있습니다.

A/B 테스트를 중단하고 발송할 버전을 선택해 바로 발송하기

이렇게 발견한 인사이트는 다음 뉴스레터에 바로 반영할 수 있습니다. A/B 테스트를 반복적으로 진행하면 우리 뉴스레터의 구독자가 반응하는 뉴스레터의 패턴이나 공식을 데이터 기반으로 발견하고 실제로 적용할 수 있는 것이죠.

Tip. 만약 발송 시간을 구분하기 어렵거나, 구독자를 테스트 그룹과 발송그룹으로 분류하고 싶지 않다면, 구독자 전체를 두 그룹으로 나눠서 A/B 테스트를 진행해 보세요. 이 방식은 더욱 큰 모수를 바탕으로 테스트를 진행하기 때문에 더욱 명확한 결과를 얻을 수 있다는 장점이 있습니다.

💡블로그를 통해 자세히 알아보세요!

Stibee News

스티비의 새로운 기능을

만나보세요!

세그먼트와 구독자 목록의 필터에서 조건을 더 다양하게 설정할 수 있습니다. '지난주에 발송한 이메일을 오픈한 구독자 중 어제 발송한 이메일을 오픈하지 않은 구독자'와 같이 발송, 오픈, 클릭 등을 바탕으로 조건을 만들어 구독자를 조회해 보세요. 이때 AND 조건과 OR 조건을 함께 사용해 여러 조건을 만드는 것도 가능합니다.

이 외에도 이메일 발송 상태 추가, 구독자 목록의 정렬 오류 수정 등 더욱 자세한 업데이트 소식이 궁금하다면 업데이트 노트를 확인해 주세요.

더 많은 업데이트 보기