Что такое аб тестирование сайта
A/B тест — это просто
A/B тестирование — это мощный маркетинговый инструмент для повышения эффективности работы вашего интернет-ресурса. С помощью A/B тестов повышают конверсию посадочных страниц, подбирают оптимальные заголовки объявлений в рекламных сетях, улучшают качество поиска.
Мне часто приходится сталкиваться с задачами организации A/B тестирования в различных интернет-проектах. В этой статье хочу поделиться необходимыми базовыми знаниями для проведения тестов и анализа результатов.
Зачем нужны А/B тесты?
Итак, представим ситуацию, наш проект запущен в жизнь, на нем собирается трафик, пользователи активно используют ресурс. И в один прекрасный день мы решили что-то поменять, например, разместить всплывающий виджет для удобства подписки на новости.
Наше решение — это интуитивное предположение о том, что пользователям ресурса станет проще подписываться на новые материалы, мы ожидаем повышения числа подписчиков.
Наши предположения и гипотезы строятся на основе личного опыта и наших взглядов, которые совсем не обязательно совпадают со взглядами аудитории нашего ресурса. Другими словами, наше предположение вовсе не означает, что после внесения изменений мы получим желаемый эффект. Для проверки таких гипотез мы и проводим A/B тесты.
Как проводим тесты?
Идея A/B тестирования очень проста. Пользователи ресурса случайным образом делятся на сегменты. Один из сегментов остается без изменений — это контрольный сегмент “A”, на основе данных по этому сегменту мы будем оценивать эффект от вносимых изменений. Пользователям из сегмента “B” показываем измененную версию ресурса.
Чтобы получить статистически значимый результат, очень важно исключить влияние сегментов друг на друга, т.е. пользователь должен быть отнесен строго к одному сегменту. Это можно сделать, например, записав метку сегмента в cookies браузера.
Для снижения влияния внешних факторов, таких как рекламные кампании, день недели, погода или сезонность, замеры в сегментах важно делать параллельно, т.е. в один и тот же период времени.
Кроме того, очень важно исключить и внутренние факторы, которые также могут существенно исказить результаты теста. Таким факторами могут быть действия операторов call-центра, служба поддержки, работа редакции, разработчики или администраторы ресурса. В Google Analytics для этого можно воспользоваться фильтрами.
Число пользователей в сегментах не всегда удается сделать равным, в связи с этим метрики, как правило, выбираются относительные, т.е. без привязки к абсолютным значениям аудитории в сегменте. Нормирование осуществляется либо на число посетителей, либо на число просмотров страниц. Например, такими метриками могут быть средний чек или CTR ссылки.
Одной из причин делить аудиторию непропорционально может быть существенное изменение в интерфейсе. Например, полное обновление устаревшего дизайна сайта, изменение системы навигации или добавление всплывающей формы для сбора контактной информации. Такие изменения могут привести как к положительным, так и к отрицательным эффектам в работе ресурса.
Если есть опасение, что изменение может иметь сильное негативное влияние, например, привести к резкому оттоку аудитории, то, на первом этапе, имеет смысл тестовый сегмент делать не очень большим. В случае отсутствия негативного эффекта, размер тестового сегмента можно постепенно увеличить.
Что улучшаем?
Если вы собираетесь провести A/B тестирование на своем ресурсе, то наверняка у вашего проекта уже сформированы основные показатели, которые необходимо улучшить. Если таких показателей еще нет, тогда самое время о них задуматься.
Показатели прежде всего определяются целями проекта. Ниже приведу несколько популярных метрик, которые используются в интернет-проектах.
Конверсия
Конверсия вычисляется как доля от общего числа посетителей, совершивших какое-либо действие. Действием может быть заполнение формы на посадочной странице, совершение покупки в интернет-магазине, регистрация, подписка на новости, клик на ссылку или блок.
Экономические метрики
Как правило, эти метрики применимы для интернет-магазинов: величина среднего чека, объем выручки, отнесенный на число посетителей интернет-магазина.
Поведенческие факторы
К поведенческим факторам относят оценку заинтересованности посетителей в ресурсе. Ключевыми метриками являются: глубина просмотра страниц — число просмотренных страниц, отнесенное к числу посетителей на сайте, средняя продолжительность сессии, показатель отказов — доля пользователей, покинувших сайт сразу после первого захода, коэффициент удержания (можно считать, как 1 минус % новых пользователей).
Одного показателя не всегда достаточно для оценки эффекта от вносимых изменений. Например, после изменений на сайте интернет-магазина средний чек может уменьшиться, но общая выручка вырасти за счет повышения конверсии посетителя в покупателя. В связи с этим, важно контролировать несколько ключевых показателей.
Анализ результатов
Отлично, ключевые показатели определены, тест запущен и мы получили первые данные. В этот момент, особенно если данные соответствуют нашим ожиданиям, возникает соблазн сделать поспешные выводы о результатах тестирования.
Торопиться не стоит, значения наших ключевых показателей могут меняться день ото дня — это значит, что мы имеем дело со случайными величинами. Для сравнения случайных величин оценивают средние значения, а для оценки среднего значения требуется некоторое время, чтобы накопить историю.
Эффект от внесения изменения определяют как разность между средними значениями ключевого показателя в сегментах. Тут возникает следующий вопрос, насколько мы уверены в достоверности полученного результата? Если мы еще раз проведем тест, то какова вероятность того, что мы сможем повторить результат?
Ниже на картинках приведены примеры распределения значений показателя в сегментах.
Графики распределения характеризуют частоту появления того или иного значения случайной величины в выборке. В данном случае все значения распределены вокруг среднего.
На обеих картинках средние значения показателя в соответствующих сегментах одинаковы, картинки отличаются только разбросом значений.
Данный пример хорошо иллюстрирует, что разности средних значений недостаточно для того, чтобы считать результат достоверным, необходимо также оценить площадь пересечения распределений.
Чем меньше пересечение, тем с большей уверенностью мы можем сказать, что эффект действительно значим. Эта “уверенность” в статистике называется значимостью результата.
Как правило, для принятия положительного решения об эффективности изменений уровень значимости выбирают равным 90%, 95% или 99%. Пересечение распределений при этом равно соответственно 10%, 5% или 1%. При невысоком уровне значимости существует опасность сделать ошибочные выводы об эффекте, полученном в результате изменения.
Несмотря на важность этой характеристики, в отчетах по A/B тестам, к сожалению, часто забывают указать уровень значимости, при котором был получен результат.
Кстати, на практике примерно 8 из 10 A/B тестов не являются статистически значимыми.
Стоит отметить, что чем больше объем трафика в сегментах, тем меньше разброс среднесуточных значений показателя. При небольшом трафике из-за большего разброса значений случайной величины потребуется больше времени для проведения эксперимента, но в любом случае это лучше, чем вовсе не проводить эксперимент.
Оценить значимость результатов
Для сравнения случайных величин математики придумали целый раздел под названием проверка статистических гипотез. Гипотез всего две: “нулевая” и “альтернативная”. Нулевая гипотеза предполагает, что разница между средними значениями показателя в сегментах незначительна. Альтернативная гипотеза предполагает наличие существенной разницы между средними значениями показателя в сегментах.
Для проверки гипотез существует несколько статистических тестов. Тесты зависят от характера измеряемого показателя. В общем случае, если мы считаем среднесуточные значения, можно воспользоваться тестом Стьюдента. Этот тест хорошо зарекомендовал себя для небольших объемов данных, т.к. учитывает размер выборки при оценке значимости.
В качестве примера приведу сравнение средней длительности сессии в сегментах на одном из ресурсов, для которых я проводил эксперимент: studentttest.xls.
Тест Стьюдента — универсален, его можно применять как для измерений конверсии, так и для таких количественных показателей как средний чек, средняя глубина просмотра или время, проведенное пользователем на сайте.
В случае, если вы измеряете только конверсию, то вы имеете дело с бинарной слуайной величиной, которая принимает только два значения: посетитель “сконвертировался” и “не сконвертировался”. Для оценки статистической значимости в этом случае можно воспользоваться он-лайн калькулятором.
Инструменты
Для организации теста необходим инструмент, позволяющий разметить аудиторию по сегментам и посчитать значения ключевых показателей отдельно в каждом сегменте.
Если ваши ресурсы позволяют, то такой инструмент можно реализовать самостоятельно на основе анализа логов действий пользователей. Если ресурсы ограничены, то стоит воспользоваться сторонним инструментом. Например, в Google Analytics есть возможность задавать пользовательские сегменты.
Существует ряд сервисов, которые позволяют полностью автоматизировать процесс тестирования, например, тотже Google Analytics Experiements, примеры других сервисов можно найти в обзоре.
А/В-тестирование: зачем нужно и как помогает бизнесу
Давайте разберёмся, что такое A/B-тестирование, какие бизнес-задачи решает, а также рассмотрим примеры тестов для разных отраслей. Адаптированный перевод гайда по A/B-тестам от компании VWO.
Куратор факультета «Аналитика и Data Science» Нетологии
Что такое A/B-тестирование
Сколько посетителей сайта — столько у бизнеса возможностей для роста. Поэтому важно привлекать новых клиентов и укреплять отношения с существующими. Воронка конверсии определяет, получит ли сайт хороший трафик и сможет ли вовлечь больше пользователей.
Компании заинтересованы в том, чтобы посетители совершали на сайте целевые действия. То, насколько это удаётся, измеряется коэффициентом конверсии.
Чем лучше оптимизирована воронка, тем выше конверсия.
A/B-тестирование — это способ оптимизации воронки сайта. Иногда его называют сплит-тестированием. Вы показываете два варианта одной веб-страницы разным сегментам посетителей и анализируете, какой вариант приводит к наилучшей конверсии. Выигрышный вариант поможет оптимизировать сайт и достичь лучших результатов.
Метрики уникальны для каждого сайта. Для электронной коммерции это может быть продажа продукта, а для b2b — генерация качественных лидов.
A/B-тестирование — один из компонентов процесса оптимизации коэффициента конверсии (CRO), с помощью которого собирают качественные и количественные оценки пользователей. Полученные данные используют для изучения потенциальных клиентов и оптимизации воронки конверсии.
Какие задачи бизнеса решают A/B-тесты
Электронная коммерция борется с брошенными корзинами, b2b страдают от некачественных лидов, а СМИ и издательства наблюдают низкую вовлечённость читателей. На показатели конверсии влияют распространённые проблемы: «утечки конверсии», потеря клиента на этапе оплаты и другие.
Давайте посмотрим, как A/B-тестирование поможет избавиться от этих проблем.
Решают проблемы пользователей
Посетители приходят на сайт с конкретной целью: больше узнать о продукте или услуге, что-то купить, изучить тему или просто поглазеть. При этом пользователи с разными целями сталкиваются с общими проблемами. Например, кнопка «Купить» расположена неудобно и её сложно найти. Такие нюансы формируют негативный пользовательский опыт (пользоваться сайтом неудобно) и влияют на конверсию.
Данные, собранные с помощью инструментов анализа поведения посетителей — тепловые карты, Google Analytics и опросы, — помогут определить болевые точки посетителей.
Это актуально для всех сфер, будь то электронная коммерция, туризм, SaaS, образование, СМИ или издательский бизнес.
Обеспечивают лучшую окупаемость инвестиций (ROI)
Маркетологи знают, каким дорогим бывает качественный трафик. A/B-тестирование позволяет эффективно использовать существующий трафик и помогает повысить конверсию без затрат на привлечение нового. Иногда даже незначительные изменения влияют на конверсию.
Уменьшают показатель отказов
Для оценки эффективности сайта важно отслеживать показатель отказов. Люди покидают сайт по разным причинам: слишком много вариантов товара, несоответствие ожиданиям и другие. Поскольку сайты различаются по аудиториям и целям, нет универсального надёжного способа определения показателя отказов.
Но решение есть: в каждом случае поможет A/B-тестирование. Можно протестировать несколько вариантов расположения элементов на сайте и найти оптимальное решение.
Тестирование помогает улучшить пользовательский опыт — сделать так, чтобы посетителям сайта было удобнее им пользоваться. Люди проводят больше времени на сайте ⟶ показатель отказов уменьшается.
Снижают риски при изменениях
Рекомендуем вносить небольшие и последовательные изменения вместо того, чтобы одновременно делать редизайн всей страницы. Так снизится вероятность ухудшения коэффициента конверсии.
A/B-тесты позволяют получать хороший результат и при этом вносить лишь небольшие изменения, что приводит к увеличению ROI.
В качестве примера приведём изменения в описании продукта. Вы можете сделать A/B-тест, когда нужно удалить или обновить описание продукта и не знаете, как посетители будут реагировать на это.
Другой пример модификации с низким риском — добавление новой функции. A/B-тест поможет сделать результат внедрения более предсказуемым.
Изменения без тестирования могут оказаться успешными, но могут и не окупиться. В отличие от вполне определённого результата, который достигается с помощью тестирования и внесения соответствующих изменений.
Обеспечивают статистически значимые улучшения
A/B-тестирование полностью основано на данных и не оставляет места для догадок. Поэтому можно легко определить «победителя» и «проигравшего» на основе статистически значимых улучшений: показателей времени на странице, число запросов пробников, количество брошенных корзин, CTR.
Помогают улучшить дизайн
Редизайн может быть разным: от небольших изменений цвета до полного изменения сайта. Решение об изменениях важно принимать на основании данных A/B-тестов.
Улучшение дизайна — непрерывный процесс. Если что-то изменили на сайте, протестируйте элементы, которые остались нетронутыми, и убедитесь, что используете лучшую версию ✌
Примеры A/B-тестов
Медиа и издательское дело
Издания стремятся увеличивать количество читателей, подписчиков, проведённое время на сайте, количество просмотров на самом сайте и в соцсетях.
Протестируйте разные варианты форм регистрации и подписки, блоков рекомендуемого контента, кнопок социальных сетей и других каналов продвижения.
Зрители Netflix с удовольствием пользуются сервисом. Во многом благодаря тому, что Netflix последовательно и систематически тестирует любое изменение на сайте.
Например, Netflix персонализирует главную страницу так, чтобы пользователю было удобно ориентироваться на ней. Поэтому в зависимости от того, что он смотрел и что ему нравится, зритель на своей главной странице видит те или иные шоу и фильмы в том или ином порядке. Случайные решения не принимаются.
Электронная коммерция
A/B-тестирование помогает интернет-магазинам повысить средний чек, оптимизировать воронку заказа, уменьшить количество брошенных корзин.
Рекомендуем протестировать, как отображается цена товара, доставка, текстовые и цветовые настройки на странице оплаты или оформления заказа, вид обзоров и рейтингов.
Amazon — лидер по оптимизации конверсии. И дело не только в масштабе, но и в стремлении предоставить клиентам удобный сервис.
В конце 90-х после длительных испытаний компания запустила опцию «Заказ в один клик», которая позволяет делать покупки без добавления товара в корзину. Пользователю достаточно всего один раз ввести данные карты и адрес доставки. Для заказа останется нажать на кнопку и ждать доставку. Заказ в один клик оказался настолько удобен, что у клиентов пропало желание заказывать товары на других сайтах.
Это изменение так сильно повлияло на бизнес, что в 1999 году Amazon запатентовала опцию «Заказ в один клик». К слову, в 2000 году лицензию купила компания Apple для своего интернет-магазина.
В Amazon не полагаются на озарения, а тестируют каждое изменение. Воронка продаж компании похожа на воронки других сайтов с той лишь разницей, что все элементы сайта Amazon приведены в лучший вид и соответствуют ожиданиям покупателей. Любая страница, начиная с главной и заканчивая страницей оплаты, содержит только важную информацию и профессионально подводит к следующему этапу воронки продаж.
Давайте рассмотрим пример с корзиной для покупок.
В правом верхнем углу главной страницы Amazon есть небольшой значок корзины, который всегда остаётся в зоне видимости посетителя. Но это не просто иконка корзины или напоминание о добавленных товарах — посетителю предлагается 5 опций:
A/B-тестирование
Туризм
С помощью A/B-тестирования можно увеличить количество заказов, дополнительных покупок и других позиций.
Протестируйте поиск на главной странице, страницу выдачи результатов, рекомендации сопутствующих продуктов, трекер заказа и многое другое.
A/B тесты – что это такое и как их проводить
Выясняем, как и зачем тестировать разные варианты страниц и почему это критически важно для повышения конверсии и прибыльности сайта.
Что такое A/B-тестирование?
По названию можно предположить, что идет тестирование каких-то двух объектов. В нашем случае речь будет идти про веб-сайты, но описываемую методику можно применить к интерфейсам приложений, почтовым рассылкам, лендингам и т.п.
Это не просто тестирование, а сравнение эффективности двух вариантов страницы. Но не принципиально разных вариантов, а одной и той же страницы с небольшими изменениями, которые, по мнению вебмастера или дизайнера, могут увеличить доходность ресурса.
Допустим, у нас есть лендинг А с определенным дизайном кнопок. Владелец сайта считает, что кнопки другого цвета могут сделать ресурс более привлекательным для клиентов. Тогда он создает лендинг Б с другими кнопками и разделяет трафик между вариантами А и Б. Таким образом, удается проверить появившуюся теорию и выяснить, действительно ли кнопки другого цвета могут повысить продажи.
В общем, A/B-тестирование – это эффективный способ проверить полезность вносимых на сайте или в приложении изменений до их окончательного внедрения в финальный продукт.
Отличия между A/B-тестированием и сплит-тестированием
Некоторые пользователи путают эти понятия или считают, что они взаимозаменяемы. Это не совсем так. A/B-тестирование подразумевает движение от одной точке ко второй, то есть прогрессирующее развитие страницы или интерфейса, шаг за шагом ведущее к идеальному варианту, приносящему ожидаемую прибыль.
Сплит-тестирование в своем изначальном виде предполагает некое сравнение двух совсем разных страниц. То есть не лендинга с красной кнопкой и идентичного лендинга с зеленой кнопкой, а два кардинально отличающихся друг от друга лендинга.
Зачем нужно подобное тестирование?
Ответ прост: чтобы повысить доходность сайта. Ведь мало просто разработать ресурс и определенный дизайн, важно сделать и то, и другое эффективным, приносящим деньги. Желательно максимально возможное количество денег.
A/B-тестирование помогает выяснить, какое из принятых решений приносит больше денег. Причем позволяет делать это не вслепую, а ориентируясь на конкретные результаты. В итоге удается по крупицам выжать из первоначального дизайна максимальный доход (естественно, по ходу дела всячески меняя его и дополняя).
Если еще задаетесь вопросом, нужно ли вам A/B-тестирование, то спросите себя, должен ли ваш сайт приносить больше прибыли. Если ответ положительный, то и ответ на этот вопрос будет положительным.
Что нужно тестировать?
A/B-тестирование помогает оценить пользу буквально от любой части сайта – от цвета кнопок и наличия отдельных фраз до огромных кусков медиаконтента или количества материалов на сайте в целом.
Обычно в список тестируемых элементов входят:
Далее разберем каждый пункт более подробно.
Заголовки и тело статьи
Заголовок статьи – первое, что видит пользователь, решивший посетить ваш сайт. Если заголовок изначально не привлекает внимание приходящей аудитории и не способен заставить человека прочитать статью, то вы уже потеряли часть прибыли.
Старайтесь делать заголовки в меру цепляющими. До желтой прессы и совсем уж очевидного кликбейта скатываться, конечно, не стоит, но небольшая интрига, недосказанность или метафора не помешает. Экспериментируйте с разными заголовками.
Есть и другие аспекты текста, способные повлиять на количество посещений страницы. Как правило, это касается SEO-аспектов. Пробуйте разное количество вхождений ключевых слов и проверяйте, какая из стратегий написаний текстов работает лучше.
Конверсионные элементы
Это к вопросу о тех же кнопках и формах. Под конверсионными элементами (CTA) имеются в виду все части сайта, действия над которыми приводят к какого-либо рода выгоде. Это может быть форма регистрации, в которой посетитель указывает адрес электронной почты или номер телефона, или же кнопка оформления заявки на оказание услуги.
На эффективность конверсионных элементов влияет все – от их расположения до цветового оформления. В ходе тестирования можно попробовать сократить количество личных данных, которые нужно вводить для покупки услуги/товара, или сделать сам элемент более заметным при первом заходе на сайт (можно закрепить его на виду с помощью свойства sticky).
Медиаконтент
Невозможно затронуть каждый сегмент своей целевой аудитории, используя исключительно SEO-тексты. Важно использовать дополнительные форматы. Это может быть подкаст, видеоролик, какая-то наглядная инфографика и т.п.
При наличии подобных материалов есть два пути для тестирования.
Темы писем (в email-маркетинге)
При наличии отдельного сегмента целевой аудитории, с которым вы взаимодействуете через почтовую рассылку, стоит особое внимание уделить темам (subject) письма. Это важный аспект, который зачастую является решающим в вопросе, откроют ли ваше письмо.
Тут ситуация почти такая же, как в случае с заголовками для статей. Это первое, что видит потенциальный клиент, когда открывает свой почтовый ящик. Уже в теме должно быть четко изложена суть сообщения. Краткость и емкость – залог клика.
Поделите список доступных email-адресов на два и создайте несколько вариантов тем для одной и той же рассылки. Более удачный вариант можно выделить в отдельную группу, а потом тестировать какие-либо дополнения на более эффективной рассылке.
Степень погружения в тему статьи
Некоторые пользователи предпочитают краткость и легкое изложения материалов, а другие, наоборот, любят лонгриды с дотошным разбором каждого элемента темы до основания. Вы знаете, к какой категории относится ваша целевая аудитория?
A/B-тестирование поможет выяснить этот факт и протестировать разные степени глубины погружения в обсуждаемую тему.
Описание продукта/статьи
В отличие от самого материала, его описание должно быть по-настоящему кратким и информативным. При его составлении нужно руководствоваться теми же принципами, что движут копирайтером при написании заголовка. Пишем как можно более емко при наименьшем количестве знаков.
Сыграть важную роль в повышении конверсии за счет описания может не только контент, но и его оформление. Возьмем в качестве примера стандартное описание товара на Aliexpress. Зачастую оно исковеркано и идет полотном текста. А на условной Ламоде описание товаров оформлено в виде списка с использованием двух разных стилей (для характеристики и ее описания).
Такая, казалось бы, мелочь может заставить клиента задержаться и поближе ознакомиться с продуктом (поэтому даже на пресловутом Aliexpress многие продавцы стараются оформлять описание более лаконично и структурированно).
Наличие отзывов
Некоторые пользователи, посещая сайт, ориентируются на мнение других людей. Никто не верит в красивые слова от производителя товара или владельца сайта. Существует ненулевая вероятность, что именно ваша целевая аудитория содержит безмерное количество скептиков, которые верят лишь народу, а капиталистов-обманщиков на дух не переносят.
Для таких как раз и нужен блок с отзывами на сайте. Желательно от настоящих людей. Это создает контакт между существующими клиентами, уже оценившими качество оказываемых услуг, и потенциальными клиентами, еще раздумывающими по поводу приобретения товара. Повышается уровень доверия, а вместе с тем и шанс на конверсию.
Добавьте на главную страницу сайта небольшую карусель с отзывами настоящих покупателей и проверьте, как ее появление повлияет на количество посетителей, превратившихся в реальный доход.
Авторитетное мнение
Это изменение на странице похоже на предыдущее, но вместо реальных покупателей используются медиаканалы и медийные личности. Выше мы обсуждали людей, которые не верят бизнесу, а верят только людям. Есть еще категория людей, которая доверяет только известным личностям или брендам. Только они могут завоевать их внимание.
Поэтому хостинг-провайдеры сообщают на своих сайтах о крупных партнерах, а разработчики приложений хвалятся тем, что их продукт используют в условной Apple или в другой популярной корпорации.
Упоминание может пойти на пользу и увеличить конверсию ресурса. Так что если вашим продуктом пользуется кто-то с громким именем или вас похвалило крупное издание, то не забудьте рассказать об этом потенциальным клиентам.
Выгодные условия и «триалы»
Если аудитория не растет, а замена кнопок не помогает, то стоит задуматься об изменении условий пользования. Один из трюков, которые применяют маркетологи, – триал, то есть пробный период. Они дают пользователям возможность подольше протестировать продукт. Это заметно повышает конверсию, особенно если речь идет о ПО.
Алгоритм проведения A/B-тестирования
Несмотря на прямолинейное и понятное описание в начале статьи, A/B-тестирование – это все же сложный процесс, состоящий из множества повторяющихся этапов, но перед их реализацией необходимо разработать стратегию тестирования.
Для начала нужно придумать гипотезу. Она может звучать так: «Думаю, если заменить цвет кнопки на зеленый, то больше людей ее заметит и захочет кликнуть. В связи с этим вырастет количество зарегистрировавшихся клиентов».
То есть надо решить, какое изменение будет тестироваться и по какой причине. А для этого сначала надо собрать статистику о текущем состоянии страницы, от чего отталкиваться и к чему стремиться. Ведь при создания страницы Б нужно решить, какого именно результата мы хотим достичь. Это не абстрактные хотелки, а реальные задачи, требующие анализа.
Выбираем страницу и элемент для тестирования
Начать стоит с выбора элемента, который надо протестировать. Выбрать не трудно. Смотрим, какую выгоду должен принести сайт. Анализируем все компоненты сайта, влияющие на получение этой выгоды.
Это может быть какая-то кнопка или форма для регистрации, картинка в статье, видеоролик в боковой панели, который идет фоном, или же вовсе количество символов в статье. Решите, с чего нужно начать, чтобы не распыляться и не проводить тестирование на большом количестве элементов. Внесете слишком много коррективов и незаметно для себя начнете сравнивать две принципиально разные страницы. В итоге так и не поймете, какое изменение позитивно (или негативно) повлияло на трафик и конверсию.
Ставим задачу
Определились с элементом? Теперь ставим себе четкую цель. Ключевое слово тут – «четкую». Никаких абстрактных «увеличить продажи» или «остановить падение количества регистраций». Смотрите на показатели страницы и думаете, в какую сторону их нужно менять.
Например, «увеличить количество переходов по ссылке на 6%». Понятно, к чему нужно стремиться, и не приходится отвлекаться на другие показатели.
Создаем B-вариант
Определившись с задачей и элементом, над которым будет проводиться эксперимент, переходим к разработке этого элемента.
Предпринимайте любые меры, которые могут оказаться эффективными при повышении количества переходов на 6%.
Настраиваем утилиту для тестирования и запускаем ее
Никто вручную тестированием страниц не занимается. Для этого есть специальное программное обеспечение. Оно хорошо тем, что изначально заточено именно под сравнение эффективности отдельных элементов страницы.
С помощью популярного сервиса Google Optimize можно запустить параллельное тестирование таких частей сайта, как заголовки статей, шрифты, конверсионные кнопки и регистрационные формы, отдельные изображения и т.п.
Ваша задача указать эти страницы в одной из программ для A/B-тестирования, выбрать элемент сайта и запустить проверку. Утилита все остальное сделает за вас: сама поделит трафик и соберет необходимую статистику.
Какие инструменты для A/B-тестирования стоит использовать?
Есть 4 популярных программы, которые чаще остальных используют для проведения подобных тестов.
Как провести A/B-тестирование с помощью сервиса Google Optimize?
Это наиболее популярное приложение для проведения подобных тестов, поэтому разберем процесс именно на его примере. Взглянем на интерфейс утилиты, настроим A/B-тестирование и подключим к Google Optimize какой-нибудь сайт.
После этого на сайте Google Optimize появится кнопка ОК, запускающая эксперимент. Уже через несколько суток там появится статистика. Она поможет сделать первые выводы о вносимых изменениях и их эффективности.
Как долго нужно проводить тестирование?
Сроки зависят от того, как идет тестирование. Если вы уже полгода экспериментируете с двумя кнопками, а на сайт зашли 5 с половиной человек, то говорить о какой-то репрезентативности бессмысленно. А если из результатов тестирования не удается сделать выводы, то оно автоматически становится бесполезным. Продолжать смысла, очевидно, нет.
Вообще, остановить эксперимент можно в тот момент, когда становится понятно, что в результатах тестирования не наблюдается конвергенции. Наличие конвергенции тоже может стать причиной закончить эксперимент. В случае с первым вариантом нужно запускать новую итерацию теста и добиваться еще более высоких результатов, в другом случае нужно завершать тест и пробовать иной вариант страницы Б.
Есть ли альтернатива A/B-тестированию?
Некоторые пользователи создают лендинг с помощью сервисов наподобие Unbounce. В такие сервисы часто встраивают функцию под названием Smart Traffic («Умный трафик»).
Это тоже своего рода тестирование, но более масштабное и продвинутое. Вы можете создать несколько вариантов страницы (больше двух). Искусственный интеллект автоматически подберет аудиторию под каждый тип страницы, причем он будет делать это на постоянной основе.
Вместо заключения
Как видите, A/B-тестирование – необходимый элемент для развития веб-сайтов и приложений. Без постоянных экспериментов и проверок ваш сайт перестанет расти, а в стагнации невозможно наращивать и прибыль. Так что не забывайте регулярно проверять предположительно эффективные гипотезы и модифицировать ресурс, используя A/B-тестирование.