A/B тестирование: что это такое, этапы и инструменты

Что такое A/B тест – основные концепции данного направления. Чтобы сделать интерфейс сайта более удобным для потенциальных посетителей, важно организовать тщательное изучение поведения пользователей. Мы расскажем, что такое A/B тест, как он помогает найти «золотую середину», повысить посещаемость, улучшить позиции портала и соответственно продажи. А/В тестирование – апробированный метод, который широко применяется самыми разными специалистами в области создания и продвижения сайтов.

Что такое A/B тест

A/B тестирование – это практически то же самое, что сплит-тестирование. То есть рассматриваемое нами направление является апробированным методом технического исследования, где алгоритм проводит анализ эффективности сразу двух различных вариантов. Всех респондентов делят на равные, а также однородные группы. По завершению аналитического мероприятия, система проводит тщательную оценку и определяет более успешный вариант.

Для наглядности рассмотрим на примере, как все происходит:

Строится неподтвержденная гипотеза о том, что поменяв единственный элемент конкретной страницы, ее технические и другие показатели улучшатся;
Система с участием специалиста подбирает оптимальные параметры для начала выполнения углубленного анализа, а именно клики, конверсии страницы и т.д.;
Для углубленной проверки подключаются имеющиеся метрики, то есть системы проведения при оценке;
Период выполнения теста варьируется, находится в значениях от 10 до 14 суток;
По завершению теста собираются результаты, после чего они оцениваются.

Данная оценка страницы дает возможность увидеть, какое влияние оказывает изменение одного параметра и какой уровень эффективности при этом может быть достигнут.

ВАЖНО. При проведении исследования допускается использование только одного конкретного параметра. В ином случае тестирование окажется недостоверным и будет содержать неактуальные данные. Если изменить несколько показателей одновременно и запустить тестирование, специалисту будет непросто определить, что в корне могло повлиять на сам результат.

Что исследует сплит-метод

Эксперты подтверждают, что А/Б тестирование можно применять при проверке любых составляющих страницы:

Кнопки: внешний вид сайта, качество имеющегося материала, расположение, а также размер и другие параметры;
Заголовок страницы, ее описание;
Конверсионные формы, а именно общее число полей, материал, расположение;
Макет страницы;
Присутствующие изображения;
Объем символов в тексте.

Можно применять несколько вариантов при проведении исследования конкретного параметра. В таком случае данное направление будет носить название A/B/n тестирование. Заметим, что каждая из систем метрик поддерживает несколько вариантов теста.

Проведение A/B тестов – для кого

Такой вариант, как проведение A/B тестов актуален для каждого, кто напрямую работает с сайтами, а также различными приложениями. Рассмотрим:

A/B тестирование незаменимо для вебмастеров;
Людей, осуществляющих администрирование портала;
Специалистам в области СЕО;
Аналитикам;
UX-писателям, а также исследователям;
Маркетологам.

Чтобы организовать проведение намеченного теста, человеку нет необходимости получать какие-то специальные знания и навыки. Вполне достаточно иметь понимание представленного интерфейса. Практика использования кода непременно окажется полезной при персональной настройке отдельных инструментов.

Для чего нужно проведение A/B тестирования

Такое исследование портала имеет первостепенную цель, а именно увеличение посещаемости, а также улучшение показателей. Можно включить в перечень оценку пользовательского практического опыта. Используя А/В исследования, те, кто заходит на сайт могут не подозревать, что участвуют в тесте. Ниже детально рассмотрим вопрос того, для чего все это применяется:

Проверка и улучшение имеющегося внешнего вида сайта. Эксперты относят сюда всевозможные дополнения, увеличение либо упрощение функционала;
Можно наглядно увидеть, что требуется для персонализации обеспечения коммуникации владельцев сайта с посетителями. Тут незаменимым окажется копирайтер, создающий и работающий с текстами;
Добиваемся цели увеличения общего числа конверсий. Следует поэкспериментировать с имеющимися формами обратной связи, подписками, различными активными кнопками, ссылками, другими важными элементами;
Проводится тщательная адаптация под востребованные направления реальной аудитории. Стоит помнить, что все меняется со скоростью молнии. Если вчера что-то вызывало у посетителей восторг, через сутки это может вызывать один негатив;
Важно добиться существенного уменьшения числа отказов. Работает формирование и тестирование гипотез, то есть что послужило причиной отказа. Это может быть непродуманная форма для оформления заявки, сложная форма заказа, ряд несоответствий ожиданиям вероятных клиентов и т. д. Если по завершению эксперимента есть показатели для работы с материалом или страницей, значит можно применять формулу на аналогичные ссылки;
Необходима реальная минимизация рисков в случае внесения кардинальных изменений. Если говорить о первичном плюсе направления, то использование метода не несет в себе потери продаж. Некоторые посетители будут находиться на начальной версии, соответственно обновленные элементы не приведут к вероятному уменьшению объема конверсий.

Этапы A/B тестирования

Перед тем, как воспользоваться сплит-тестом, владельцу портала требуется проверить, подходит ли формула для достижения поставленных целей. Достоверную информацию можно получить при условии, что сайт отличается наличием стабильного потока посетителей, имеет соответствующие конверсии, а также корректно настроенные параметры для аналитики функционирования.

Бывает, что под тест попадают новые ресурсы, но при этом конкретика данных может оказаться недостаточно репрезентативной. Эксперты нашей специализированной компании всегда порекомендуют оптимальный вариант действий. Тестирование стоит начинать на сайтах, где имеется постоянный поток реальных посетителей.

Выполнение работы тестировщика делится на ряд индивидуальных составляющих и об этом речь пойдет немного ниже:

Начальная ступень заключается в обеспечении построения гипотезы. Тут важно правильно обеспечить анализ конкретного ресурса. Специалист определяет, какие поведенческие факторы следует изменить, как подобные действия сказаться на уровне эффективности;
При построении гипотезы, эксперт формулирует предположение, после чего формирует сам результат. Рассмотрим на примере. Новая формула конверсии, которая будет отличаться простотой способна приносить больше лидов и наоборот;
Построенная страница с наличием ряда нововведений спроектирована для запросов, непосредственно связанных с поиском у посетителей некого вдохновения. Это может быть портал для поиска идеи нового декора в жилом помещении, вертикального зимнего сада, фонтана для улицы и т.п.

Оптимальная гипотеза всегда формулируется с использованием данных, полученных после некого исследования, а также практического опыта специалиста. Многие эксперты пользуются отчетами, апробированными системами метрик. Итогом гипотезы также выступает информация о том, какой показатель требуется изменить и на что.

Подключение метрик при выполнении тестирования

Подберите оптимальный вариант программы, которая и будет использоваться для выполнения тестирования сайта. Чтобы обеспечить подключение системы, пользователю понадобиться кодовый доступ администратора. Секретные данные добавляются в шапку той страницы, где выполняется исследование.

В самих метриках определите главные параметры, которые и обозначат цель проведения эксперимента. Выглядят они следующим образом:

Длительность процедуры;
Процент разделения потенциальной аудитории. Разделите, какие посетители будут видеть начальную версию, а кому станет доступен обновленный вариант;
Понадобиться обозначить минимальный объем выборки. Это значение не составит труда вычислить, если использовать калькулятора DriveBack.

Основная цель такого тестирования – выяснить, сколько пользователей понадобиться для участия в запланированном эксперименте. Нужно знать хотя бы базовую конверсию, также иметь информацию о минимальном видимом эффекте. Если уровень конверсии низкий, значит, выборка потребуется в большем объеме.

Выполнение теста

Временной интервал проводимого исследования варьируется и находится в значениях 10-14 суток. Первые 6-7 дней называют «чистыми». Тут статистика лишь начинает свое формирование, а посетители привыкают к визуальным изменениям. Бывает, что в этот период лидер уже обозначил себя, но даже в этом случае прерывать эксперимент категорически не рекомендуется.

При проведении теста следует обращать внимание и совершать проверки метрики. Когда обнаружится, что одна форма несет в себе положительные результаты, а вторая находится на нулевом уровне, необходимо проверить, как работают формы.

Результаты и выводы теста

По завершению двухнедельного периода следует выгрузить все результаты.

Для оценки корректности результата эксперты рекомендуют использовать специализированные программы с калькулятором. Одно из таких приложений – DriveBack. Выбираете раздел – «Определение статистической значимости». Используя данные о размере выборки, а также полученных результатов, программа позволит определить, можно ли использовать результаты теста и можно ли считать их достоверными.

Рассмотрим на примере. Допустим, в тесте принимало участие 15 000 реальных посетителей. Все они разделены на отдельные группы, количество которых две. Первая группа показала результат с 50 конверсиями, а вторая с 70.

Соответственно вводим указанные выше значения в форму калькулятора и получаем отчет о достоверности:

Когда значения оказываются в рамках погрешности, приложение рассчитает результат и предоставит данные об отсутствии статистической значимости.

При наличии необходимости, пользователь может запросить отчет о том, насколько достоверны результаты из Google Optimize. Данный уровень в норме находится в значениях от более 92 до 96%. Данный показатель доступен в период проведения исследования. Когда сервис в процессе работы показывает минимальные значения, эксперты рекомендуют не прерывать эксперимент.

Проверка основных и не основных показателей

При постановке цели, эксперты добавляют фундаментальную метрику. Если произойдут какие-либо изменения, они будут отслеживаться. Выше упоминалось, что стоит добавить отслеживание всех второстепенных значений. Любые изменения требуется использовать при создании отчета, а также для формирования гипотез.

Инструменты для организации процедуры исследования

В ассортименте есть ряд инструментов, призванных в существенной степени упростить работу обученных исследователей. Такие приложения способны самостоятельно разделять все категории возможных пользователей. Более того, софт подобного направления самостоятельно отслеживает уровень эффективности всего перечня вариантов тестируемых страниц на сайте.

Google Marketing Platform

Например, Google Marketing Platform. Стоимость – работает на безвозмездной основе. Подключение происходит посредством добавления специального индивидуального кода в шапку главной страницы. Пожалуй, один из популярнейших инструментов, разработанный для проведения широкомасштабных А/Б тестов. Софт бесплатный, использование его возможно при изучении одностраничных порталов, на выделенных страницах обычного сайта.

ВАЖНО. Для корректного подключения пользователю понадобится активный аккаунт Google Analytics.

Существует свое направление при тестировании одностраничных сайтов или как их еще называют «лендинги». Увидеть изменения на странице позволит такой вариант, как выполнение эксперимента с переадресацией. Тут пользователю станут доступны сразу две разные версии лендинга, которые будут представлены сегментам аудитории. Во всех остальных случаях эксперты рекомендуют использовать стандартное A/В тестирование.

Многие специалисты нахваливают платформу Google Marketing Platform, но ряд обычных пользователей и понятия не имеют о том, какие преимущества она в себе несет. Давайте поговорим на эту тему детально:

Платформа не требует оплаты, соответственно пользоваться ей можно на безвозмездной основе;
Не требуется специальных знаний, понять существующий интерфейс сумеет даже новичок;
Лично выбирайте интересующие вас цели из представленного системой перечня;
Система всегда пришлет на электронную почту все уведомления о персональных изменениях. Все, что требуется – это привязать свой адрес;
Имеет место техническая возможность на одновременное выполнение несколько тестов;
Можно самостоятельно определить процент трафика, который в последствие будет участвовать в организованном вами исследовании сайта.

Конечно, не обошлось без недостатков. О них пойдет речь ниже:

Платформа Google Marketing Platform не имеет возможности работать с рекламными объявлениями;
Не поддерживается какой-либо анализ идущего трафика;
Невозможно сформировать анализ поведения конкурентов;
Отсутствует многофакторная авторизация пользователей.

Optimizely

– Стоимость платформы. Можно выбрать бесплатную версию, которая будет работать с одним конкретным сайтом.

– Плдключение происходит следующим образом: добавьте код в следующий контейнер <head>. Он должен находиться в шапке сайта.

Программисты, создавшие Optimizely пошли по пути значительного улучшения своего интеллектуального продукта. С другой стороны речь о расширении технических возможностей, причем в разных направлениях тут не идет. Соответственно данный софт можно применить исключительно при организации А/Б тестирования. Основное преимущество – простой, лаконичный и понятный для каждого интерфейс. Эксперты подмечают, что самым сложным мероприятием окажется работа по добавлению кода в шапку сайта. Программу можно спутать с графическим редактором, где есть возможность изменить выбранный элемент.

ВАЖНО! Если пользователь имеет сайт, построенный на платформе WordPress, то все еще проще. В официальном виртуальном магазине можно выбрать и скачать бесплатный плагин. Он добавляется на сайт, а работа происходит через панель управления.

Какие преимущества несет в себе использование Optimizely:

Платформа показала себя с наилучшей стороны в области ее использования с многостраничными сайтами, рассылками, а также многочисленными платформами данных;
Можно получить максимально подробный отчет. Он формируется в отдельный файл, который система направляет в личный кабинет пользователя;
Точная сегментация возможной аудитории;
Софт предлагает индивидуальные тарифы. Пользователь может подобрать тариф ориентируясь на собственные нужны;

Теперь о недостатках Optimizely:

Отсутствует русский вариант интерфейса. Придется подтянуть английский язык, чтобы полноценно использовать платформу;
Нет двухфакторной аутентификации.

Visual Website Optimizer

Практически отсутствует бесплатная версия. Цена для пользователей от 59 долларов США. Можно использовать демо-версию. Ее активация закончится после 30 дней. Также имеет место ограничение по числу пользователей – не более 1000 посетителей.

Подключение происходит так же, как и у множества подобных сервисов. Просто добавьте представленный программой код в шапку сайта.

Рассматриваемый софт поддерживает и отлично справляется со сплит-тестированием. Происходит это на любой странице сайта. Настройки поддерживают направление отслеживания навигации, покажут конверсии, таргетинг. Присутствует понятный визуальный редактор. Поддерживает техническую возможность интеграции с платформой Google Analytics.

Что можно отметить в разделе преимущества? Рассмотрим:

Visual Website Optimizer позволяет проводить тестирование не только мобильной и десктопной версии конкретного портала;
Имеется возможность персональной настройки поведенческого таргетинга;
Пользователю не понадобиться тратить время на углубленное изучение языка HTML.
Можно создать тепловую карту.

Касательно недостатков Visual Website Optimizer:

Только английский язык для использования в интерфейсе;
Нет поддержки для обеспечения сегментации внешней аудитории;
Если использовать бесплатную версию, анализ будет выполнен, ограничено, до 1000 посетителей. Естественно такого количества недостаточно для организации полноценного тестирования.

ABtasty

По стоимости. Можно использовать бесплатную демо-версию. Ее работоспособность ограничена сроком в 30 дней. Дальше цена будет рассчитана по персональному запросу. Объем вознаграждения разработчикам варьируется, все зависит от количества реальных посетителей.

Подключение происходит посредством добавления персонального кода системы в шапку сайта.

Эксперты подтверждают, что особых специальных знаний, а также навыков в области владения HTML не требуется. Управления интерфейсом понятно интуитивно. Выполнен удобный графический, многофункциональный редактор. Он помогает пользователю вносить изменения практически во всех актуальных элементах страницы. Сервис поддерживает функцию для организации проведения сплит-тестов. Имеет место ряд вариантов для исследований. При необходимости можно обеспечить интеграцию с GA. Тут доступно не менее семи критериев настройки таргетинга.

ВАЖНО. Если количество посетителей сайта превышает значение в 200 000, то тарифы на использование будут сформированы индивидуально. Если портал построен посредством сервиса WP, можно установить себе плагин ABtasty. Данный софт можно установить на сайт.

Поговорим о некоторых преимуществах платформы ABtasty:

Пользователи отмечают гибкость при выполнении персональных настроек. При желании можно создать практически любой сценарий для обеспечения тестирования сайта;
Точный таргетинг. Правда, он изначально рассчитан на определенный сегмент аудитории;
Можно заказать формирование расширенных тематических отчетов.

Из недостатков ABtasty следует выделить:

Нет русскоязычной поддержки. Отсутствует русскоязычный интерфейс;
Уменьшенный объем для настройки таргетинга, если провести сравнение с рядом аналогов.

Convert

По стоимости. Можно инсталлировать бесплатную версию и пользоваться ей 15 дней. Затем придется раскошелиться, так как платный тариф стоит более 449 долларов США.

Добавив персональный системный код в шапку сайта, вы сумеете подключить приложение.

Эксперты подтверждают, что софт отличается наличием расширенных технических возможностей для организации таргетинга, если провести сравнение среди ряда популярных сервисов. Convert обеспечивает легкую интеграцию с GA. Программа успешно применяется при обеспечении сплит-тестов, способна порадовать массой вариантов для глубокого исследования страниц сайта. Если говорить о поддержки работы с аудиторией, то тут значения впечатляют. Обработка возможна с 1,2 миллиарда посетителей, а ведь это седьмая часть населения планеты.

Ниже поговорим о преимуществах приложения Convert:

Пользователи отмечают гибкость при проведении настройки платформы под персональные требования;
Техническая возможность позволяет организовать проведение нескольких экспериментов одновременно;
Можно лично отслеживать готовые результаты, причем делать это в режиме реального времени.

Недостатков Convert совсем немного, но они значительны:

Наверное, самая высокая цена из многочисленных площадок;
Отсутствует русскоязычная техническая и тематическая поддержка;
Бесплатный период работает лишь пару недель.

Changeagain

По стоимости – бесплатно для одного выбранного пользователем сайта. Если взять платную версию, придется заплатить не менее 14 долларов абонентской платы за период один календарный месяц.

Подключение к сайту. Интеграция может быть осуществлена с использованием встроенного счетчика GA. Естественно на сайт потребуется добавить код на весь период проведения тестирования.

Данная платформа отлично себя зарекомендовала в области корректной работы c GA. Программа получает нужные ей данные непосредственно из аккаунта аналитики. Если говорить про индивидуальные особенности, то следует заметить наличие на сайте ряда вариантов для проведения А/В тестирования. Это направление рекомендуется использовать в личной практике.

Поговорим о первичных преимуществах Changeagain:

Порадует высокой точностью предоставляемых данных;
Технически можно перенести цели в личный счетчик GA. Это позволит отслеживать результаты по завершению теста;
Не важно, открыта или закрыта страница логином и паролем. Система работает везде и всегда.

Ниже перечислим недостатки Changeagain:

По определенным причинам авторизация пользователя проходит не с первого раза. Например, замечены случаи, когда почтовый клиент получает блокировку, ограничения доступа к сервису, так как считает его ненадежным;
Если планируете использовать несколько вариантов тестирования, потребуется приобрести базовый либо более функциональный премиальный пакет.

Частые ошибки в исследованиях

Проведение процедуры исследования нескольких изменений. Когда требуется увеличить такой фактор, как конверсию формы обратной связи с внесением персональных изменений в содержание блока – как понять пользователю сайта, что при этом сработало? Возможно, что конкретный элемент способен вызвать положительную динамику. В тоже время другой элемент наоборот несет в себе отрицательную динамику. При этом результаты тестирования окажутся недостоверными.
Применение уже использованных кем-то гипотез. Требуется взять во внимание индивидуальные особенности и отличия каждой формы бизнеса. Более того функционал сайта и другие факторы. На разных ресурсах своя собственная оптимизация, иной трафик, отличительные особенности ЦА. На этом основании не все гипотезы функционируют одинаково.
Некорректная продолжительность по времени. Эксперты подтверждают, что нельзя завершать начатые эксперименты раньше положенного времени. С другой стороны растягивать процедуру тоже нельзя. Как уже упоминалось, идеальный период составляет 14 дней.
Единое проведение теста. Исследование можно осуществлять несколько раз подряд. Тестировать новые, не апробированные гипотезы. Дополнять сайт. После проведения действий можно узнать, какое улучшение несет в себе положительную динамику.
Игнорирование дополнительных факторов. Поведение посетителей конкретного сайта напрямую зависит от разного рода причин. Это может быть сезонность товаров или услуг, наличия акций и распродаж, праздники, выходные, политическая обстановка в стране. По этой причине завершенное исследование может нести в себе недостоверные данные. Специалисты настоятельно рекомендуют начинать организацию тестирования в нейтральные периоды.
Некорректная выборка инструментария. Несложно понять, что практически каждое приложение требует от пользователя добавления персонального кода на страницу сайта. При его добавлении можно наблюдать замедление загрузки, что негативно скажется на ряде поведенческих факторах. Дабы избежать этого, старайтесь пользоваться софтом, который не сильно сказывается на скорости загрузки.
Неполное отслеживание метрик. Недостаточно следить только за основными показателями, а также не учитывать дополнительные. При несоблюдении данных правил результат окажется неполным.

[ez-toc]