Вводные инструкции по А/В-тестированию для новичков (часть 2)
В первой части статьи мы рассмотрели понятие и важное значение A/B-тестирования. В процессе тестирования часто возникают вопросы, с которыми лучше разобраться до начала проверки, чтобы облегчить поставленную задачу.
Что тестировать?
В маркетинговых материалах можно тестировать практически всё: заголовки, призывы к действию, основной текст рекламы, картинки и т.д. Если что-то можно поменять, это можно и протестировать. Но это не означает, что непременно нужно тратить месяцы на проверку каждой мелкой детали. Вместо этого, сфокусируйтесь на тех элементах, которые с наибольшей вероятностью могут возыметь сильный эффект.
На вашем сайте объектами тестирования могут быть:
- заголовок;
- призыв к действию;
- любая графика, используемая в прямом соотношении с мерами по продажам;
- рекламный текст или описание товара.
В почтовой рассылке, вероятно, будет всё то же самое. В рекламе, особенно в текстовой рекламе (например, поисковая реклама), изменить можно меньше элементов, так что тестировать вы будете либо основной заголовок, либо само предложение.
Тестирование различных предложений также важно. Убедитесь, что вы точно можете гарантировать, что каждый человек всегда получает одно и то же предложение. Например, если группе А предлагается бесплатный подарок, а группе В – скидка, следует убедиться, что в группе А всегда одни и те же посетители, и в группе В свои одни и те же посетители.
Также можно тестировать различные элементы в сочетании друг с другом. Например, вы захотите протестировать новостную рассылку А с ссылкой на страницу А и рассылку В с ссылкой на страницу В. Затем можно протестировать новостную рассылку А с ссылкой на страницу В и наоборот. Это может дать более определённые результаты, если вы получаете смешанные или же очень близкие результаты.
Посвящение времени тестированию
А/В-тестирование – процедура не на одну ночь. В зависимости от числа покупателей, посещающих ваш сайт, вам может понадобиться проводить проверку длительностью в пару дня или же в пару недель. Конечно же, нужно проводить одну проверку за раз, чтобы получить наиболее точные результаты.
Выделение для тестирования недостаточного количества времени может привести к искажению результатов, поскольку число посетителей будет недостаточным для того, чтобы результаты были статистически точными. Проведение тестирования в течение слишком длительного срока также может привести к искажению результатов, поскольку за длительный период времени появляется больше неподконтрольных переменных. Следите за ходом проверки, чтобы быть в курсе любых явлений, которые могут повлиять на результаты тестирования, чтобы затем учесть их при рассмотрении результатов и выявлении возможных аномалий в статистических данных. Если у вас появляются сомнения, то разумно будет провести тест ещё раз.
Учитывая тот положительный эффект на прибыль, который может произвести А/В-тестирование, оно стоит всего времени, потраченного на проведение проверок. Тестируйте одну переменную за раз и выделяйте достаточно времени на проведение каждой проверки.
Можно ли тестировать более одного элемента за раз?
Существует два подхода к этому вопросу. Допустим, вы хотите проверить заголовок, но у вас три возможных варианта. В этом случае проведение одного теста с разбитием посетителей (или адресатов, если речь идёт о рассылке) на три группы, а не на две, вполне оправданно и также будет считаться А/В-тестированием. Это куда более эффективно, чем проведение трёх отдельных тестов (А/В, В/С, А/С). Возможно, на проведение такого теста понадобится пара дополнительных дней, чтобы получить достаточно данных для объективных выводов.
Тестирование более одного элемента за раз, например, заголовка и призыва к действию – это многовариативное тестирование, и проводить его гораздо сложнее. Существует множество ресурсов для многовариативного тестирования, но они не входят в понятие А/В-тестирование, поэтому и не затрагиваются здесь.
