Как определить размер выборки для A/B-тестирования и временные рамки

Многие часто задаются вопросом о том, как определить объем выборки и сроки проведения A/B-тестирования.

В этой статье то, что может помочь уверенно определить правильный размер выборки и временные рамки для следующего A/ B-теста.

Объем выборки и временные рамки A/B-тестирования

Теоретически, чтобы провести идеальный A/B-тест и определить победителя между вариантами A и B, нужно дождаться получения достаточного количества результатов, чтобы увидеть, есть ли статистически значимая разница между ними.

Многочисленные эксперименты с A/B-тестированием доказывают, что это так.

В зависимости от компании, размера выборки и того, как вы проводите A/B—тест, получение статистически значимых результатов может занять часы, дни или недели - и придется потерпеть, пока вы не получите эти результаты.

Некоторые аспекты маркетинга требуют сокращения сроков проведения A/B-тестирования. Возьмем в качестве примера электронную почту. В случае с электронной почтой ожидание завершения A/B-тестирования может быть проблемой по нескольким практическим причинам, которые перечислены ниже.

1. У каждого электронного письма ограниченная аудитория.

В отличие от целевой страницы, как только вы запустите A / B—тест электронной почты, все - вы не сможете “добавить” больше людей к этому A / B-тесту.

Так что нужно придумать, как выжать максимум пользы из своих электронных писем.

Обычно для этого требуется отправить A/ B-тест наименьшей части списка, чтобы получить статистически значимые результаты, выбрать победителя и отправить победивший вариант остальным участникам списка.

2. Запуск маркетинговой программы по электронной почте означает, что вы отправляете как минимум несколько электронных писем в неделю.

Если вы потратите слишком много времени на сбор результатов, вы можете пропустить отправку следующего электронного письма, что может привести к худшим последствиям.

3. Отправка электронных писем должна быть своевременной.

Маркетинговые электронные письма оптимизированы для доставки в определенное время суток. Возможно, они поддерживают сроки запуска новой кампании и/или попадают в почтовые ящики получателей в то время, когда они хотели бы их получить.

Итак, чтобы провести A / B-тесты электронной почты и оптимизировать отправляемые сообщения для достижения наилучших результатов, учитывайте как размер выборки для A / B-тестирования, так и время ее проведения.

Как определить размер выборки для A/ B-теста

1. Проверьте, достаточно ли велик список контактов для проведения A/ B-теста.

Чтобы провести A/B-тестирование выборки из списка, нужен список размером не менее 1000 контактов.

2. Воспользуйтесь калькулятором размера выборки.

В наборе для A / B тестирования  есть отличный бесплатный калькулятор размера выборки для A / B тестирования.

3. Введите в калькулятор базовый коэффициент конверсии, минимальный обнаруживаемый эффект и статистическую значимость.

Статистическая значимость: это показывает, насколько вы можете быть уверены в том, что результаты выборки находятся в пределах установленного доверительного интервала. Чем ниже процентное соотношение, тем меньше вы можете быть уверены в результатах. Чем выше процентное соотношение, тем больше людей понадобится в выборке.

Базовый коэффициент конверсии (BCR): BCR - это коэффициент конверсии контрольной версии. Например, если отправлено электронное письмо 10 000 контактам и 6 000 из них откроют электронное письмо, коэффициент конверсии (BCR) при открытии электронного письма составит 60%.

Минимальный обнаруживаемый эффект (MDE): MDE - это минимальное относительное изменение коэффициента конверсии, которое нужно, чтобы выявить между версией A (исходным или контрольным образцом) и версией B (новым вариантом). MDE оказывает реальное влияние на размер выборки с точки зрения времени, необходимого для проведения теста, и трафика. 

4. В зависимости от используемой почтовой программы, может потребоваться рассчитать процентное соотношение объема выборки ко всему электронному письму.

При выполнении A/B—теста электронной почты нужно будет выбрать процент контактов, которым будет отправлен список, а не только размер исходной выборки.

Для этого нужно разделить количество контактов в выборке на общее количество контактов в  списке. 

Выберите правильные временные рамки для A/B-теста для электронной почты

Что касается электронных писем, нужно выяснить, как долго будет проходить A / B-тест электронной почты, прежде чем отправлять (выигрышную) версию остальным членам списка.

Знание временного аспекта в меньшей степени зависит от статистики, но определенно следует использовать прошлые данные для принятия более обоснованных решений. Вот как это можно сделать. Если нет временных ограничений на отправку выигрышного электронного письма остальным участникам списка, перейдите к аналитике.

Выясните, когда количество открываемых электронных писем / кликов (или каких-либо других показателей успешности) начинает снижаться. Чтобы выяснить это, просмотрите предыдущие электронные письма.

Вывод

После выполнения этих расчетов и изучения данных вы будете в гораздо лучшем состоянии для успешного проведения A / B—тестов, которые являются статистически достоверными и помогут достичь поставленных целей.