A / B-тестирование, сплит-тестирование или групповое тестирование - это контролируемое сравнение эффективности вариантов веб-сайта, электронной почты или другого коммерческого продукта.

Из Википедии :

A / B-тестирование, сплит-тестирование или групповое тестирование - это метод маркетингового тестирования, с помощью которого базовый контрольный образец является по сравнению с множеством тестовых образцов с одной переменной, чтобы улучшить показатели отклика. Классическая тактика прямой почтовой рассылки, этот метод был недавно принят в интерактивном пространстве для тестирования тактики, такой как рекламные баннеры, электронные письма и целевые страницы.

Ответ или зависимая переменная чаще всего представляют собой данные подсчета (например, клики по ссылкам или продажи), но могут быть непрерывной мерой (например, время на сайте). Данные подсчета иногда преобразуются в показатели для анализа.

Поскольку они создают временные варианты «живых» веб-сайтов, он-лайн A / B-тесты должны преодолеть несколько проблем, не характерных для традиционных экспериментов с человеческими предпочтениями. Например, дифференциальное кэширование тестовых версий может ухудшить производительность веб-сайта для некоторых версий. Пользователям может быть показано несколько вариантов, если они возвращаются на веб-сайт и не идентифицируются успешно с помощью файлов cookie или информации для входа. Более того, нечеловеческая деятельность (поисковые роботы, сборщики электронной почты и бот-сети) может быть ошибочно принята за пользователей.

Полезные ссылки:

Кохави, Рон, Рэндал М. Хенне и Дэн Соммерфилд. «Практическое руководство по контролируемым экспериментам в Интернете: прислушивайтесь к своим клиентам, а не к HiPPO». (2007).

Кохави, Рон и соавт. «Надежные онлайн контролируемые эксперименты: объяснение пяти удивительных результатов». Материалы 18-й международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных. ACM, 2012.