Как работает дробное тестирование с разбивкой на первый-второй часть 2

Как работает дробное тестирование с разбивкой на первый-второй

часть 2

Как работает многомерное тестирование

Многомерное тестирование более сложное и мощное, чем тестирование с разбивкой на первый-второй. Успех не сводится к результатам отдельных компонентов, а определяется тем, как дизайн и элементы контента работают вместе. Наши тесты неоднократно доказали, что суть в этом.

Если у вас есть идеи улучшения ряда элементов на странице, вы можете провести тест с разбивкой, сравнив оригинальную версию с той, в которую внедрены все ваши изменения. Хотя вы получите некий результат, этот тест не скажет вам, какие изменения оказали влияние. Половина изменений может сделать положительный вклад, тогда как другая половина — отрицательный. Тест с разбивкой не скажет вам, какие изменения были полезны и какие — вредны, и в этом случае в игру вступает многомерное тестирование.

В многомерном тесте индивидуальные изменения представляются в случайном порядке, создавая множество возможных комбинаций. Если бы у вас было три альтернативных заголовка, два альтернативных подходящих изображения и три призыва к действию, многомерный тест дал бы вам 18 различных комбинаций (3*3=18). Вы могли бы достичь такого же результата, создав 18 различных вариантов с тестом с разбивкой на первый-второй, но это потребовало бы гораздо больше работы.

Результат покажет вам, как все индивидуальные компоненты влияют на общий уровень успеха, но это менее значимо, чем вы можете себе представить. Настоящая ценность многомерного тестирования в том, что оно сравнивает, как все сочетания работают в гармонии. Этот тест часто дает результат, отличный от тех, что вы ожидали увидеть, посмотрев на результаты отдельных разделов страницы.

В GWO многомерные эксперименты дают вам вторую вкладку, которая показывает среднюю статистику для всех разделов страницы.

Заметьте, что в номинации «Комбинации» (Combination) лидирующая комбинация 22 показывает улучшение по сравнению с оригиналом в 83,0% (она является комбинацией всех оригинальных компонентов). Комбинация 22 включает в себя 2 раздела из оригинальной страницы и три варианта изменений. Однако когда вы посмотрите на средний результат отдельных разделов страницы в номинации «Разделы страницы», вы заметите:

¦ «Голубой, приближенный» (Blue, closer) вариант ссылки-изображения дает улучшение всего на 0,51%.

¦ Описание продукта «без рамки» (no border) работает на 0,87% хуже, чем оригинальное.

¦ «Центрированное» (centered) меню продукта ответственно всего за 9,56% улучшений в конверсии.

Эти отдельные результаты явно не дают в сумме 83% улучшений в коэффициенте конверсии. Причина в эффекте гармонии, которые я упомянул ранее. После года постоянного проведения многомерных тестов мы теперь полностью игнорируем вкладку «Разделы страницы» (Page sections) и опираемся только на то, какие комбинации дают лучшие результаты.

Хотя я создал всего пять альтернативных элементов страницы, эксперимент включает в себя 31 комбинацию (32, включая оригинальное сочетание), потому что 2*2*2*2*2=32.

«Вид комбинаций» показывает несколько выключенных комбинаций, отмеченных как недоступные для выбора ряды. Вы можете приказать GWO автоматически отключать проигрывающие комбинации, основываясь на низкой статистической возможности успеха. Здесь я вручную отключил несколько комбинаций, которые показывали плохие ранние результаты, чтобы направить больше посетителей через оставшиеся варианты. Чем больше посетителей увидят каждый вариант, тем быстрее вы получите убедительные результаты.

Вкладка «Разделы страницы» в первом столбце представляет сумму рейтинга релевантности. Она показывает, какой раздел страницы имеет наибольшее влияние на результаты. В этом случае только раздел «Меню продукта» вносит какой-то значительный вклад, но это все равно всего лишь 1/5 (потому что средняя разница между лучшим и худшим вариантом меньше 10%). Я считаю рейтинг релевантности интересным, но не всегда полезным. (На самом деле вторая по результатам комбинация использует оригинальное меню продукта и показывает 67,8% улучшение по сравнению с оригиналом, что лишено какого-либо смысла и всего лишь иллюстрирует эффект гармонии.)

Создание многомерных тестов

Процесс создания многомерного теста в GWO аналогичен настройке теста с разбивкой, в нем вы определяете страницу, которую хотите тестировать и единственную целевую страницу. Вместо создания альтернативных версий целой страницы, вы определите разделы страницы, для которых вы можете создать альтернативные варианты.