Comments 55
Политкорректный Пакман…
До того, как дочитал до строчки: Перевод осуществлен сотрудниками проекта Generate.club. Думал, что кто-то с хабра работал на Обаму. Не хуя себе — крутилось у меня в голове.
А где метка «перевод»?
Почему-то при создании поста не было возможности поставить тип публикации «перевод». Есть предложения как это можно сейчас исправить?
www.dropbox.com/s/nu2jdkuoq22xo46/Screenshot_2014-08-13-17-57-55.png
Простите за извращение, я с планшета и не очень удобно иначе показать.
Можно лирическое отступление в начале сделать, мол, «это — перевод, так и сяк».
Простите за извращение, я с планшета и не очень удобно иначе показать.
Можно лирическое отступление в начале сделать, мол, «это — перевод, так и сяк».
Возможно, в корпоративные блоги нельзя постить переводы?
11,6% — именно такая конверсия в подписки была у победившего варианта, в отличие от 8,26% конверсии оригинальной страницы.Вилами по воде…
А потом на основании такой оценки (имхо в корне неверной, совершенно не учитывающей другие факторы, типа параллельно идущей рекламной компании в прессе и на ТВ) делаем далекоидущие выводы — «вылились в дополнительные 60$ миллионов пожертвований.»
Я не говорю, что редизайн плох или про то что страница стала хуже/лучше — я про то, что место такой статистике, собраной основываясь на «ложных» или выдаваемых за действительность фактах, в лучшем случае в мусорном ведре, рядом с другими рекламными проспектами.
Реклама, такая реклама…
А вы поняли вообще как проводилось тестирование?
Метрикой, которую мы использовали для измерения успешности эксперимента, был темп получения подписок. Если быть точнее, то это количество подписавшихся людей, разделенное на количество людей, увидевших определенный вариант страницы.Чего тут непонятного?
Следующим предложением идет разъяснение ;)
Мне кажется что вы думаете что разные варианты видели в разный период времени. Однако это не так. На самом деле варианты демонстрировались одновременно. Так что влияние внешних рекламных компаний отражалось сразу на всех вариантах.
Если проводившаяся внешняя рекламная кампания включала в себя семейные видео с Обамой, то влияние такой кампании на картинку с семьёй Обамы было заметно сильнее чем на остальные, так что эти факторы обязательно надо было учитывать.
Хотя да. Об этом факторе я не подумал.
Так важен ведь результат. Все внешние факторы не учесть — и в статье сказано, что предпочтение изначально отдавали другому варианту. А здесь эмпирическим путем получаем оптимальный вариант. Не было бы внешний кампании — лучшей стала бы другая комбинация. Но она все-равно была бы оптимальной.
Именно так. В этом случае все варианты демонстрировались одновременно. Это суть А/Б и мультивариантного тестирования.
В 2008 году, работая директором аналитического отдела администрации Обамы, в мои обязанности входило принятие решений...
Проезжая мимо станции, у меня слетела шляпа.
Судя по приведенным результатам, сильнее всего на конверсию повлияла кнопка. Но, обратите внимание, эта кнопка обманывает посетителя! Нажимая на такую кнопку, я хочу получить информацию прямо сейчас, а не подписаться на рассылку.
Мало того, что этот прием — нечестный, так он еще и в итоге показывает ложную конверсию. Кто-нибудь вообще измерял, сколько людей, нажавших эту кнопку, потом пожертвовали средства, а сколько отсеялись?
Если для других вариантов кнопки и для разных вариантов картинок процент посетителей, прошедших второй этап, должен быть одинаковым, то с появлением варианта «Learn more» все тестирование превратилось в фарс.
Мало того, что этот прием — нечестный, так он еще и в итоге показывает ложную конверсию. Кто-нибудь вообще измерял, сколько людей, нажавших эту кнопку, потом пожертвовали средства, а сколько отсеялись?
Если для других вариантов кнопки и для разных вариантов картинок процент посетителей, прошедших второй этап, должен быть одинаковым, то с появлением варианта «Learn more» все тестирование превратилось в фарс.
Фарс — это еще очень мягко…
Например, в паралельной плоскости хочется увидеть хотя бы рост числа посетителей сайта в абсолюте, а он там думается был:)
Вообще странная оценка, для меня это пока выглядит вроде «Как мы подмазались к успеху предвыборной кампании».
Например, в паралельной плоскости хочется увидеть хотя бы рост числа посетителей сайта в абсолюте, а он там думается был:)
Вообще странная оценка, для меня это пока выглядит вроде «Как мы подмазались к успеху предвыборной кампании».
Ну да. Можно было на кнопке написать «Show me cute kittens!» Может ещё больше бы конверсии насчитали.
Я догадался, что Learn more нравится людям больше. Именно потому, что она вроде как ни к чему не обязывает.
Я догадался, что Learn more нравится людям больше. Именно потому, что она вроде как ни к чему не обязывает.
Да, конечно, можно было и так сделать :) Но вы в любом случае будете гадать, пока не увидите реальные цифры. Так сразу и не скажешь, что бы лучше сработало: видео или фото. Например, люди не смотрят видео на работе (вернее отключают звук) и им лучше показать картинку, а когда они будут дома, то могут и видео нормально посмотреть и оно может лучше сработать. И, кстати, если вы заметили в статье рассматривается случай, когда все думали, что видео эффективнее фотографии, а оказалось наоборот. В ближайшее время мы опубликуем техническую статью о том, как мы будем определять что кому показывать.
Кто-нибудь вообще измерял, сколько людей, нажавших эту кнопку, потом пожертвовали средства, а сколько отсеялись?
«В итоге получается, что нам удалось привлечь из 2 880 000 электронных адресов 288 000 волонтёров»
Мне тоже сразу этот показатель стал интересен, я так понимаю, 10% и будет конверсия «learn more в пожертвования», отличный результат, причем считали его уже «средним по больнице» )
Судя по всему практика «Learn more» уже давно используется устройствах для голосования в конгрессе США, да и не только там...!
Интересно, за какой период оценивались результаты и каким образом люди узнавали об этом Интернет-ресурсе. ИМХО 310 382 посетителя — само по себе является результатом, если это был короткий промежуток времени.
Тут все как раз очевидно — семейное фото Обамов (или Обам?) и «Узнать больше». Конечно, американцы хотят узнать больше о семье (а политика их как раз почти не интересует). Любопытство – сильнейший стимул тыканья мышой. Почти вся вирусная реклама так устроена.
То, что вы говорите об очевидности, очень хорошо, потому что вы наглядно на своем примере демонстрируете классическое когнитивное искажение, называемое ретроспективным искажением или синдромом я-знал-все-это-заранее.
Узнать больше о ретроспективном искажении.
Узнать больше о ретроспективном искажении.
Ох, сколько сложных незнакомых слов %)
По существу: ничуть не умаляя необходимость многовариантного тестирования комбинаций разных визуальных элементов на непосредственно целевой аудитории, мне в данном конкретном случае _действительно_ очевидно, почему именно семейное фото и «узнать больше» выиграли с большим отрывом. Я семь лет занимался точечной интернет-рекламой преимущественно на североамериканском рынке и съел собаку на всяческих тестах «вживую». Так вот, бывает так, что предполагаешь что-нибудь, а тесты показывают совершенно противоположное. А бывает, что предполагаешь, то и получаешь. Вот этот последний вариант я и имел в виду, используя научный термин «очевидно».
По существу: ничуть не умаляя необходимость многовариантного тестирования комбинаций разных визуальных элементов на непосредственно целевой аудитории, мне в данном конкретном случае _действительно_ очевидно, почему именно семейное фото и «узнать больше» выиграли с большим отрывом. Я семь лет занимался точечной интернет-рекламой преимущественно на североамериканском рынке и съел собаку на всяческих тестах «вживую». Так вот, бывает так, что предполагаешь что-нибудь, а тесты показывают совершенно противоположное. А бывает, что предполагаешь, то и получаешь. Вот этот последний вариант я и имел в виду, используя научный термин «очевидно».
UFO just landed and posted this here
>семейное фото Обамов (или Обам?)
Думаю, что и правильно, и благозвучно будет: «Фото( или фотография) семьи Обама»
Думаю, что и правильно, и благозвучно будет: «Фото( или фотография) семьи Обама»
Любопытство – сильнейший стимул тыканья мышой. Почти вся вирусная реклама так устроена.
Почти весь
Как раз таки задумываясь об использовании A/B тестирования для своего проекта
Как надумаете, обращайтесь к нам. Подскажем, проконсультируем :)
UFO just landed and posted this here
Вспомнилось:
www.artlebedev.ru/kovodstvo/sections/80/
www.artlebedev.ru/kovodstvo/sections/80/
UFO just landed and posted this here
Перед тем, как вы увидите результаты, попробуйте предположить какая кнопка и медиа-контент по вашему мнению оказались наиболее успешными?Ура, мне удалось угадать выигрышное сочетание :) Рассуждал так:
кнопки SIGN UP ассоциируются с кучей веб-сайтов, на которых они ведут на скучную унылую форму-портянку с вводом логина-пароля, фамилии бабушки, etc. Не будем кликать.
Долго сомневался между «Join Us» и «Learn More», пытаясь угадать психологию типичного американца, может он более склонен к коллективизму и вступлению куда-либо, чем мы? Но в итоге решил, что первое — «присоединяйся к нам» наверняка если и не заставит куда-то тащиться, подавать какие-нибудь заявления на вступление, то уж точно обяжет что-то, да делать. А человек ленив и осторожен, поэтому скорее предпочтёт сначала осторожно поинтересоваться через «Learn more», прежде чем подписываться на что-то. Тут мы с американцами не отличаемся.
С фото-видео проще. Видео сразу отринем, опять же, мы ленивы, чтобы тратить на это время, да и публичные хорошо поставленные выступления и без того можем посмотреть по телевизору. Остаются фотографии, из них семейная — самая душевная и вроде как «приближающая это высокопоставленное лицо ближе к народу».
Не раскрыли тему зависимости конверсии от времени суток. Было бы интересно.
по хорошему на выходе должен был получиться многомерный ответ, как минимум с разбивкой по регионам, слабо верится, что один и тот же вариант работал одинаково хорошо для всех штатов. красивая саксесс стори, но в реальности тесты часто не так однозначны в выводах ((
Sign up to leave a comment.
Как «простой эксперимент» принёс Обаме 60 миллионов долларов [перевод]