A/B-тестирование для оптимизации конверсий: методы и сервисы для А/В-тестирования

Каким цветом выделить кнопки на сайте — синим или красным; стоит ли увеличивать размер заголовков; можно ли улучшить текст объявления? На все эти вопросы нельзя дать однозначный ответ без тестов, ведь то, что работает на одном ресурсе, может оказаться бесполезным на другом. Разберем, что такое A/B-тестирование и как оно помогает увеличить конверсию, изучим пошаговый план по настройке исследования и узнаем, как анализировать полученные результаты. 

Что такое A/B-тестирование, какие цели оно преследует

A/B-тестирование — метод исследования, используемый в маркетинге и веб-разработке для оценки эффективности различных вариантов страниц, элементов интерфейса или рекламных кампаний. Второе его название — сплит-тестирование. 

Аудиторию делят на две группы (A и B), каждая из которых видит свою версию тестируемой страницы. После проведения исследования анализируют целевые метрики (количество кликов, конверсию, ROI, показатель отказов и другие) и определяют, какой вариант показал лучшие результаты.

Что такое A/B-тестирование

Цели A/B-тестирования заключаются в поиске эффективной версии страницы, интерфейса или рекламного объявления, которая даст наибольшую конверсию или иные целевые показатели. 

По назначению цели можно поделить на три категории: 

• Улучшение дизайна и юзабилити. Для этого меняют расположение и цвет элементов на странице, добавляют новые блоки или убирают старые. 

• Оптимизация конверсии и увеличение продаж. Достигается путем работы над заголовками, креативами и текстами объявлений, дизайном кнопок, формами подписки и другими важными элементами на странице. 
• Поиск проблем и недочетов в дизайне и функционале сайта. Для этого определяют, на каком этапе пользователи чаще покидают ресурс (в этом поможет инструмент «Вебвизор» от Яндекс.Метрики), а затем работают над улучшением этой части страницы. 

Главное преимущество A/B-тестирования в том, что вы не потеряете существенную часть прибыли, если гипотеза окажется провальной и показатели ухудшатся. Исследование проводится на части аудитории, поэтому не приводит к резкому снижению конверсий. 

Как работает A/B-тестирование: рассматриваем на примере

Рассмотрим A/B-тестирование на простом примере. Есть лендинг по продаже сумок, где кнопка «Купить» выделена синим цветом. По мнению владельца проекта, изменение синего цвета на красный увеличит продажи. Однако пока это гипотеза, которая нуждается в проверке и подтверждении. Поэтому владелец создает вторую версию лендинга с таким же дизайном и товаром, но уже с красными кнопками, и переводит на него часть трафика. Через 2-3 недели тестов сравниваются результаты метрик обеих страниц. Если показатели улучшились, то гипотеза оказалась верной и пора вносить изменения в основную версию проекта. 

В каких сферах и зачем применяют A/B-тесты

A/B-тестирование применяется в различных сферах, включая email-маркетинг для бизнеса, продажи, дизайн и аналитику:

• Маркетологи используют тесты для поиска эффективных вариантов рекламных объявлений, призывов к действию, креативов и связок. Их цель — увеличить конверсию. 
• Продакт-менеджеры применяют A/B-тесты для улучшения продукта или услуги, чтобы они были привлекательными и полезными для пользователей.
• Дизайнерам тесты помогают найти оптимальный вариант интерфейса и внешнего вида страницы, уменьшить показатель отказов и улучшить пользовательский опыт. 
• Аналитики проводят эксперименты для оценки эффективности изменений на сайте или в приложении.

Все это говорит о том, что A/B-тестирование — важный инструмент, применимый в разных сферах для улучшения продуктов и услуг, повышения конверсии и роста продаж.

Какие способы запуска A/B-тестирования существуют

A/B-тест можно настроить и запустить вручную с помощью встроенного инструмента (такие есть в «Яндекс.Директе» и «VK Рекламе») или специального сервиса. Разберем все варианты подробнее.

Ручной запуск. Подходит для сравнения любых объектов, но имеет серьезные недостатки. Во-первых, это трудозатратный процесс, ведь показы и аудитории придется настраивать вручную. Во-вторых, контролировать и анализировать результаты без специального софта сложно, можно получить большую погрешность или запутаться в расчетах. 

Встроенные сервисы. Удобны, но подходят лишь для рекламы. В «Яндекс.Директе» для тестов применяют инструмент «Эксперименты», он находится в «Яндекс.Аудиториях». 

Как создать эксперимент в Яндекс.Директе

Система автоматически делит аудиторию на случайные и не пересекающиеся сегменты. Размеры выборки вы определяете самостоятельно и указываете в процентном соотношении. Например, 25% — тестовая группа и 75% — основная. В «Экспериментах» тестируются креативы, заголовки и тексты объявлений, посадочные страницы.

Настройка эксперимента в Яндекс.Директе

В «VK Рекламе» можно тестировать два варианта объявлений одновременно на одной аудитории. Эксперимент настраивается при создании или редактировании рекламной кампании. 

Специальные сервисы. Подходят для рекламных объявлений, сайтов, приложений и других объектов. Работают по простому принципу — вы устанавливаете код сервиса на ресурс и указываете, в каких пропорциях нужно делить трафик между двумя версиями страницы (тестовой и основной). После окончания тестов система сама посчитает результаты и покажет, какой вариант оказался эффективнее.  

Как автоматизировать запуск A/B-тестов

Для автоматизации A/B-тестов удобно применять специальные сервисы. Рассмотрим некоторые из них.

Varioqub

Varioqub — сервис для A/B-тестирования от «Яндекса». В нем проводят эксперименты с различными вариантами страниц и рекламных объявлений.

Сервис Varioqub для A/B-тестирования

Особенности Varioqub:

• Возможность проведения многовариантных тестов (MVT), где сравниваются не две, а несколько версий страниц. 
• Гибкая настройка правил тестирования, доступны разные метрики для отслеживания. 
• Есть встроенный визуальный редактор, в котором можно менять нужные элементы и создавать новые версии страниц для тестов. 
• Интеграция с Google Analytics и Яндекс.Метрикой. 
• Визуализация результатов тестирования в виде графиков и таблиц.
• Можно менять метрики после запуска тестирования. 
• Удобный интерфейс для управления тестами.
• Поддержка мобильных устройств.

Перед тем, как проводить A/B-тестирование сайта, подключите счетчик Яндекс.Метрики к сайту, перейдите в раздел «Эксперименты», скопируйте и установите код Varioqub на свой сайт.

Код для установки Varioqub на сайт

Далее настройте метрики для отслеживания, размеры выборки, период показа, регионы (при необходимости). 

Настройка условий эксперимента в Varioqub

Затем выберите тип эксперимента. Доступны 3 варианта:

• Визуальный редактор. Самый простой вариант, версии страниц настраиваются прямо в личном кабинете Яндекс.Метрики.
• Ссылки для редиректа. Подойдет, если вы хотите настроить тестирование через редирект, то есть, перенаправлять часть аудитории с основной страницы на тестовую. 
• Флаги в коде. Сложный способ, подходит для опытных пользователей. Для тестирования используются пары флаг/значение. Например, флаг или ключ — это color (цвет), а его значение — red (красный). 

Типы экспериментов

Разберем легкий вариант настройки через визуальный редактор. Выберите нужную вкладку в разделе «Тип эксперимента».

Как перейти в визуальный редактор

Нажмите кнопку «Редактировать» возле первого варианта. 

Как редактировать тестовый вариант

Внесите изменения в визуальном редакторе.

Внесение изменений в визуальном редакторе

Добавьте второй и последующие варианты при необходимости. 

Как добавить второй вариант

Далее вам останется запустить тестирование. Когда эксперимент завершится, Varioqub сравнит показатели и определит, какой вариант страницы оказался лучшим. 

Анализ результатов в Яндекс.Метрике

Roistat

Roistat — целая маркетинговая платформа, где можно проводить A/B-тестирование и анализировать рекламу, подключать виджеты для увеличения конверсии, отслеживать звонки и email, управлять ставками и ставить задачи в CRM. Есть бесплатный 14-дневный период. A/B-тестирование входит в тариф «Бизнес», который стоит от 543 рублей/месяц. 

Преимущества использования Roistat:

• Гибкая настройка тестирования: можно задавать различные условия и правила для проведения тестов.
• Интеграция с Google Analytics и Яндекс.Метрикой.
• Визуализация результатов в виде удобных графиков и таблиц для анализа данных.
• Отслеживание важных метрик, включая конверсию, время на сайте и показатель отказов.
• Анализ эффективности рекламных кампаний, который поможет определить прибыльные каналы трафика.
• Есть инструмент прогнозирования, который рассчитывает вероятность победы каждого варианта по конверсии в заявку (CBA) и прибыли (CBA+) до окончания теста. 

Для проведения исследования зарегистрируйтесь в сервисе и перейдите во вкладку «A/Б-тесты» через главное меню в личном кабинете. 

Как включить A/B-тестирование в Roistat

Нажмите «Начать использовать A/B-тестирование».

Как начать A/B-тестирование

Проведем эксперимент со стилем оформления.

Настройка A/B-теста для стилей оформления

Введите название нового теста и вставьте код CSS для оформления новой кнопки в пустое поле.  

Как настроить и запустить тестирование стилей

Чтобы добавить дополнительные варианты стилей, нажмите на плюсик над полем с CSS.

Как добавить второй вариант для A/B-тестирования

Вы можете проверить, как будет выглядеть измененный вариант. Для этого вставьте адрес страницы, где находится элемент, и нажмите «Посмотреть».

Предпросмотр варианта тестовой страницы

Завершив настройки, нажмите «Создать новый тест», если пока не хотите запускать эксперимент, или «Создать или запустить», если хотите начать исследование прямо сейчас.

Запуск A/B-тестирования в Roistat

Система Roistat автоматически поделит аудиторию между тестируемыми вариантами и после завершения теста выберет самую успешную версию кнопки.

Optimizely

Optimizely — зарубежный сервис для A/B-тестирования и маркетинговых исследований, сайт полностью на английском языке. Доступны эксперименты над юзабилити и эффективностью страниц, сегментирование аудитории по своим фильтрам, отслеживание работоспособности сайта или мобильного приложения. 

Сервис Optimizely для A/B-тестирования

Особенности сервиса Optimizely:

• Есть удобный визуальный редактор, где можно внести изменения в страницу без знаний кода.
• Стоимость тарифа рассчитывается по размеру выборки для теста, что удобно для проектов с небольшой посещаемостью.
• Можно отслеживать поведение пользователей на сайте и вносить правки в режиме реального времени. 
• Можно показывать пользователям разный контент, в зависимости от того, в каком регионе находится человек, какого он пола и возраста. 
• Интеграция с сервисом аналитики Google Analytics. 

Optimizely подойдет для тестирования сайтов и мобильных приложений.

Как провести A/B-тестирование: пошаговая инструкция

С сервисами и инструментами разобрались, переходим к инструкции по проведению A/B-тестирования. 

Определение целей

Перед проведением эксперимента определитесь, какой результат вы ожидаете. Это может быть увеличение продаж, уменьшение показателя отказов, рост конверсии, улучшение пользовательского опыта. От цели зависят дальнейшие этапы тестирования.

Цель должна быть выражена конкретно. Не используйте размытые формулировки вроде «надо увеличить прибыль». Лучше поставить точную задачу — «повысить конверсию до 5%». Тогда вам будет проще понять и рассчитать полученный результат. 

Формирование гипотез для A/B-теста

Основа A/B-тестирования — гипотеза. Ее формируют после определения цели. Гипотеза всегда включает предположение, измеримый показатель и результат: «Если мы изменим цвет кнопки с синего на красный, то конверсия вырастет минимум на 5%».  

Виды гипотез:

• Нулевая. Изменения не приведут к нужному результату.
• Альтернативная. Изменения приведут к цели. 

За один эксперимент лучше тестировать одну гипотезу. Это сократит погрешность расчетов и покажет, какие изменения повлияли на метрики.

Выбор необходимых метрик

Выбор метрики зависит от целей тестирования и особенностей вашего бизнеса. Рассмотрим основные:

• Конверсия. Процент посетителей, которые совершили желаемое действие (купили товар, оформили подписку, записались на вебинар).
• Показатель отказов. Процент посетителей, которые оставались на сайте менее 15 секунд.
• Время на сайте. Среднее время, которое пользователи проводят на вашем ресурсе.
• Средняя стоимость заказа. Средняя сумма, которую тратят покупатели на сайте.
• CTR (кликабельность). Отношение числа кликов по рекламе к числу ее показов.
• ROI (возврат инвестиций). Соотношение прибыли, полученной от вложений в рекламу, к затратам на эту рекламу.
• Количество просмотров. Среднее количество просмотров страниц на одного пользователя. 

Выбирайте метрики, которые соответствуют цели, обозначенной на первом этапе. Если вы хотите отследить рост прибыли, то выбирайте конверсию, ROI или среднюю стоимость заказа. Оценить кликабельность объявления поможет CTR. Для анализа пользовательского опыта и качества ресурса используйте метрики «Показатель отказов», «Время на сайте» и «Количество просмотров страниц». 

Подготовка групп и расчет размера выборки

Цели и гипотезы сформированы, метрики выбраны. Пора приступать к группировке аудитории. Чтобы тестирование было объективным, выборка должна быть репрезентативной, то есть, включать пользователей с соответствующими характеристиками. 

Например, аудитория интернет-магазина состоит из 70% женщин и 30% мужчин. Если не учитывать это соотношение, то результаты A/B-тестирования сайта будут некорректными. В выборку может попасть большая доля мужчин, которые реже совершают покупку. Следовательно, показатели теста будут низкими, а владелец проекта ошибочно посчитает свою гипотезу неверной. 

Поэтому при расчете выборки учитывайте основные характеристики аудитории — пол, возраст, регион проживания. Если сайт посещают 70% женщин и 30% мужчин, то и в выборке соотношение должно быть таким же. Тогда результаты тестирования будут корректными. 

Размер выборки — общее количество человек, которые увидят разные варианты объектов. Для его расчета используйте специальные калькуляторы от MindBox или Evan Miller. Для вычисления размера выборки укажите количество тестируемых версий, текущие показатели метрики и ожидаемый прирост. Сервисы определят размер выборки и посчитают, какой процент аудитории нужно отправить в тестовую группу, а какой — в основную.

Калькулятор MindBox для расчета размера выборки

Чем больше выборка, тем лучше. При расчете процентного соотношения между тестовой и основной группой учитывайте количество трафика. Если посещаемость сайта высокая, то тестовую страницу можно показывать всего 5-20% посетителей. При небольшом трафике этот показатель увеличивают до 50%. Больше 50% уже не стоит, лучше растянуть сроки тестирования, чтобы охватить нужное количество пользователей. 

Запуск эксперимента

После расчета выборки пора приступать к настройке и запуску эксперимента. Используйте для этого любой из сервисов, описанных выше. В среднем на одно тестирование уходит 2 недели. Срок зависит от размера выборки и общего трафика на сайте. Чем выше посещаемость, тем меньше времени уходит на тесты. 

Анализ результатов

К анализу результатов можно приступать после завершения тестирования. Не поддавайтесь соблазну прекратить исследование раньше, даже если в первые дни вы видите явное преимущество одного варианта перед другим. Результат может быть недостоверным, так как еще не все пользователи из выборки побывали на сайте.

В процессе анализа определите, какая версия дала лучший результат и соответствует ли он изначальной цели. Например, вы хотели повысить конверсию минимум на 5%. Если на тестовой странице конверсия достигла нужного показателя, то эксперимент прошел успешно. Внедряйте изменения и показывайте всей аудитории новый вариант страницы. Если же результаты оказались нулевыми или отрицательными, то создавайте и тестируйте новую гипотезу. 

При расчете результатов учитывайте такой показатель, как статистическая значимость. Его рассчитывают по методу Пирсона. Не будем углубляться в сложные математические формулы, все давно автоматизировано. Рассчитать статистическую значимость результатов тестирования можно в калькуляторах «MindBox» или «Evan Miller», о которых мы писали выше, либо в сервисе, где проводился эксперимент.

Калькулятор MindBox для расчета достоверности тестирования

Если система посчитает результаты недостоверными, то исследование придется повторить. Вводные оставляйте без изменений, а вот размер выборки попробуйте увеличить. 

Какие ошибки нельзя допускать при A/B-тестировании

Разберем основные ошибки, которые совершают владельцы проектов при проведении исследований:

• Много изменений в рамках одного эксперимента. Достаточно одной, максимум двух правок, например, изменить цвет кнопки и увеличить шрифт текста на ней. Часто владельцы сайтов настолько увлекаются доработками, что в итоге сравнивают две разные страницы. В этом случае непонятно, какое изменение в конечном счете повлияло на метрики. 
• Бездумное копирование чужих гипотез. Не повторяйте слепо все то, что делают конкуренты. Приемы, работающие на одном сайте, могут оказаться бесполезными и даже вредными на другом. Поэтому формируйте гипотезы, ориентируясь на свой проект.
• Досрочное прекращение исследования. Иногда владельцы прекращают тестирование, заметив первый положительный эффект. Это ошибка, так как размер выборки еще не достигнут, а значит, результаты недостоверны. Часто в начале эксперимента тестовая версия показывает лучшие результаты, но к концу теста показатели выравниваются. 
• Неправильные метрики. Человек хочет поднять конверсию, но тестирует гипотезу для увеличения количества просмотренных страниц. Даже если гипотеза окажется верной, то вовсе необязательно, что она повлияет на продажи. А значит, время потрачено впустую. Поэтому выбирайте метрику только в соответствии с целью. 
• Нерепрезентативная аудитория в выборке. Чтобы избежать этого, используйте специальные сервисы (Roistat, Эксперименты), которые автоматически распределяют показы между группами в нужных пропорциях. 
• Отсутствие учета внешних факторов. На результаты тестирования может влиять сезонность товара, новостной фон, дни распродаж. Например, если несколько дней эксперимента пришлись на «Черную пятницу» или новогодние праздники, то конверсия может резко вырасти, но это не будет связано с изменениями на сайте. Поэтому лучше проводить исследования в периоды, когда нет резких перепадов покупательской активности. 

Любая из этих ошибок может привести к тому, что результаты теста окажутся недостоверными и придется начинать все заново. Поэтому учитывайте перечисленные моменты в каждом эксперименте. 

В заключение

A/B-тестирование — это универсальный способ исследования и поиска лучших вариантов дизайна сайта, интерфейсов и рекламных объявлений. Оно помогает понять, как можно улучшить продукт, какие доработки стоит вносить, а какие нет. Поэтому рекомендуем регулярно проводить его на своем проекте, чтобы всегда быть на шаг впереди конкурентов.