> две одинаковых рассылки с разницей в один неразрывный пробел в коде

Это называется А/А-тестирование, и похоже оно вам показывает, что у вас есть неравномерное распределение. Я видел такой эффект, когда анализировал довольно объемные (100к+) рассылки в Иннове. Я не знаю что позволяет Unisender, мы использовали ActiveCampaign, но попробуйте посмотреть такие зависимости:

— конверсия в переходы от времени суток. Если человек в рабочее время получает ваше письмо про игры и даже читает его, вполне возможно он не переходит и забывает. Для нашей аудитории мы старались делать рассылки после 19:00.
— конверсия открытия в переходы с мобильных клиентов. Она обычно удручающая, если вы не делаете мобильной верстки
— конверсия в отписки по времени суток и типу почтового клиента
По тесту — база была перемешана псевдослучайно, результат снимался через месяц. То есть вроде как все факторы неравномерного распределения учтены. По советам — большое спасибо.
Я не знаю вашей базы и паттернов ваших получателей, по своему опыту — 40% переходов было в течении 6 часов после рассылки. Соответственно, отсылать в 9 утра, 3 дня или 9 вечера — разница могла бы быть существенной, и больше половины эффекта — это первые сутки, что и могло бы давать перекос в A/A тесте.
В этом тесте две рассылки ушли одновременно (письма через 100 примерно в разные пулы), и поступали к юзерам одновременно. По времени мы жестко привязаны к работе колл-центра, то есть не можем отправлять с «хвостом» в ночь.
Согласен перекос есть. Но в диаграме нет маштаба, ничего сказать нельзя, может выборка маленькая.
Выборка очень большая.
Возможно, проблема с выборкой из-за того, что конверсия маленькая. Важнее не число испытаний а число успехов (если их меньше или неудач в противном случае).

Если вы не хотите сообщить размеры выборки, то проверить есть ли систематическая ошибка можно самостоятельно. По сути у вас биномиальное распределение каждый пользователь открывает письмо и переходит по ссылке или нет. Если эксперимент правильно поставлен.

Если нет систематической ошибки, то у ваших выборок А/А тестирования должны пересекаться доверительный интервалы. Если доверительные интервалы даже для 95% не пересекаются значит почти наверняка есть систематическая ошибка. Либо софт глючит либо вы неправильно проводите эксперимент.

Посчитать дов. интервалы можно здесь:
www.measuringusability.com/wald.htm
Конверсия тоже высокая. Вот конверсия по отпискам как раз низкая, и по ней наблюдается большая дельта. Но всё равно, она слишком большая для такого порядка чисел.
Например, для 10000 испытаний и 200 успехов (2%), то относительная точность при доверительном интервале 75% составляет 20%. Т.е. с вероятностью 75% погрешность не будет выше 20%.
Если вероятность отписки значительно больше 2% либо выборки значительно выше 10000, то можно со значительной долей уверенности сказать, что эксперимент нарушен.
Выборка больше 10.000, вероятность отписки меньше 2%.
что больше выборка/10.000 или 2%/вероятность отписки?
Начинал читать — думал оставить комментарий в духе «как же заколебали все эти рассылки», но под конец текста — понравилось. Хорошая информация.

И очень хочется, чтобы прочитавшие статью люди навсегда и твердо запомнили про «мегапрозрачная и простая отписка».

Тот же free-lance.ru, на котором не появлялся уже пару лет, регулярно задалбывает меня письмами, от которых можно отписаться только вспомнив пароль от личного кабинета, который я давно забыл и вспоминать не хочу. Ситуация усугубляется тем, что аккаунта было два (работник и работодатель), соответственно и письма приходят в двух экземплярах, с задержкой в несколько минут.

Самый яркий пример, но далеко не единственный, к сожалению.
Возможно, от прозрачных отписок отталкивает то, что если человек будет форвардить письма друзьям, друзья могут щёлкнуть за него по персональной ссылке. На мой взгляд, на практике — это настолько редкий случай, что удобство пользователя в сотни раз перевешивает.
У нас один из сотрудников отписал всю компанию от новостей, которые приходили на групповой адрес.
Но это уже совсем не розница.
Решается уведомлением на почту «Вы отписались от подписки, если захотите вернуться, просто перейдите по ссылке».
Те кого отпишут по ошибке легко вернется.
Там ниже целая ветка про это. Ну и как-то странно сразу после отписки слать «добивающее» письмо.
Знаете, если ссылка «отписаться» требует ввода пароля, то можно без зазрения совести нажимать кнопку «пожаловаться на спам». Даже если вы когда-то сами на неё подписались.
Да, наверное, в следующий раз так и сделаю.
Хотя внутри все равно что-то протестует — все же, если углубляться, это не совсем спам, хоть он мне и абсолютно не интересен :)
(удалено, промахнулся)
Спасибо, очень интересные, можно сказать «кейсовые» подробности.
Сейчас делаю сайт с конкурсами на Drupal, поискал интеграцию с unisender.com, оказалось, есть такой модуль. Буду делать еженедельную рассылку новых конкурсов через него.
P.S. Ваша статья по организации «колл-центра» — тоже, очень понравилась.
Спасибо. Если что — наша команда всегда готова рассказывать про бизнес. Что-то интересно — спрашивайте.
Хочу, сказать, кстати, спасибо вашей рассылочной службе. Из всего спама, который валится ко мне на ящик, только ваш я всегда с интересом читаю, прежде чем удалить.
Передам. Серьёзно, очень приятно слышать.
А я бы в области этого сделал бы фичреквест — возможность подписываться на поступление игр, причем с фильтром по жанрам. :) Хотя бы на уровне тех же фильтров, что есть на сайте. Ну что поделать, если не интересно мне появление новой версии Активити или Ерша, а вот за Пандемией или Doom'ом бы выбежал покупать, теряя тапочки.
У нас сейчас есть подписка на отдельные игры к их поступлению. За фичреквест спасибо, надо будет обучить робота. Не факт, что сделаем быстро, но идея классная.
Про A/B-тесты в вебе неплохо рассказывали на курсе Human-Coumputer Interaction на Курсере. Ссылка на лекции: class.coursera.org/hci-2012-002/lecture/index — правда, придётся, похоже, зарегистрироваться для получения доступа.

Смотреть лекции 7.4 (Running web experiments) и 7.5 (Comparing rates). В 7.5 хорошо описана математика, которую можно использовать для понимания результатов A/B-теста — когда можно считать, что гипотеза о равнозначности A/B групп отвергается и т. п. Там же можно скачать слайды с лекций. Рекомендую.
Я отправил статью супруге — она сразу обратила внимание на пример страницы рассылки, приведенный в статье.

Тексты в этом примере очень безграмотные — вчитайтесь в описание игры «Монополия с банковскими картами», к примеру. Кроме простых грамматических ошибок, там и смысл предложений сложно уловить — кто ее захочет купить, с таким описанием? Две последних игры тоже описаны не ахти как. Очень похоже на результат не очень качественного перевода с английского.

Сама статья очень хороша, а вот модерированием текстов описаний игр стоит заняться :-)
В подписи указано, что это драфт, тексты после менялись, разумеется. Для вёрстки нужен был пример контента.
Спасибо большое за материал — очень интересно. И отдельная благодарность за любовь к деталям и стремление к прекрасному — это замечательные качества.

Надо заметить, в статье приведен очень хороший пример письма: нет больших кусков текста, основные подаваемые продукты с иллюстрациями. Вот такие-то письма и будут читаться лучше всего. То есть маленький абзац для вступления, такой же для прощания, а основная идея выстроена таким образом, что можно сразу понять, интересно тебе это или нет. Если интересно — прочитать еще по предложению и сразу же перейти по ссылке. Если нет — пробежаться глазами и удалить. Это очень круто, потому что ощущается, что люди, которые готовили письмо, заботятся о твоём времени.
Единственный минус в отписке в один клик, если кто-то перешлёт письмо из рассылки, то тот, кому это письмо было переслано может отписать того кто пересылал.
Нужно на последнем шаге хотя бы спрашивать «вы уверены?». Случайно (!) перешедший по ссылке с высокой долей вероятности не отпишется.

Ещё вариант (правда, он на уровне «как бы не перешло в навязчивость») — кидать письмо «вы успешно отписались, но если передумали, вот вам ссылка для мгновенного включения назад со всеми настройками».
Проще в письме сделать ссылку не просто на подписку, а на управление ей. Т.е. ссылку пройдя по которой можно будет отписаться, если подписан, а если отписан — то подписаться. Да, достаточно первого предложения.
Можно отправить письмо «вы успешно отписаны» со ссылкой «я передумал», но проще и логичнее просто оставить как есть. Вероятность отписки по чужой ссылке крайне мала.
Можно сделать ссылку прямо на странице «вы отписаны».
Тогда её увидит только друг юзера, но не он сам. Тут рядом был пример, как человек отписал всю компанию от важной корпоративной рассылки. Это как раз для предотвращения такого.
Друг увидит, поймёт, что накосячил, и быстро вернёт обратно. А если друзьям не доверять, то не надо пересылать им письма.
Это вы про айтишника сейчас. А обычный пользователь, скорее, испугается и как можно быстрее закроет окно.
По-моему «вернуть обратно» понятно всем.
Все ищут проблем :) В ссылке на отписку передается токен, в котором зашифрован email пользователя. При переходе по ссылке просим человека руками подтвердить email для отписки. Совпадение прошло? Ок, пляшем. Отписываем пользователя.
ЮСендер делает так: отписывает по клику показывает страницу «Вы отписались», textarea для причины отписки и кнопку типа «Я передумал». Так вот, был уже с десяток читателей, которые думали, что кнопка внизу — это подтверждение отписки. И нажимали. И ругались страшными словами, когда она приходила заново.
Ребята из юнисендера немного странные. Несомненно рассылку они проводят достойно, иначе не было бы у них столько клиентов. Но на фидбэк реакции ноль. Не раз отправлял им репорты с косяками. Ответа(мол, спасибо за фидбэк) и исправлений не следовало.
Ну не знаю, мне по звонку за 5 минут реагировали по делу. Возможно, у нас немного разные объёмы отправки?
Я не совсем об этом. Я не являюсь их клиентом. Я просто добрый самаритянин, который находит косяки верстки в их же письмах и сообщает как это исправить :) Реакции ноль. Это один из примеров.
>Я не являюсь их клиентом.
Это многое объясняет :) Полагаю, просто ставят с низким приоритетом. А я что-то ни разу не видел, чтобы фичреквест с низким приоритетом исполнялся на практике.
Увы, это слабо поддается моему разумению :) Игнорировать бесплатную помощь?


Банальный пример :) Подчеркивание ссылок. Прибитый к полу футер, хотя хедер не прибит. Множество комбинаций шрифтов и их начертаний. Подчеркивание текста, хотя он не является ссылкой.
плюс подключили статистику по доставке

Подскажите, а что за статистика такая? Как я понимаю она предоставляется самими почтовыми сервисами?
Да. Удобство внешних площадок еще в том, что они собирают её за вас.
Под почтовыми сервисами я имел в виду gmail, mail.ru, yandex…
То есть данную статистику предоставляют именно сервисы по рассылке?
Цикл такой. Например, Мейл.ру может сказать вам, сколько писем с вашего почтового сервера доставлено, сколько в спаме, сколько задержалось. Площадка может собрать эти данные с кучи почтовых сервисов и еще связать с конкретными адресами отправки. А ваша аналитика дальше позволит, например, не отправлять письма тем, кто хоть раз положил их в спам.
Вот, можно ли как-то напрямую с тем же mail.ru взаимодействовать и получить от него подобную статистику. То есть без посредников, пусть эта статистика и будет в менее удобном формате.
Postmaster.mail.ru
Огромное спасибо. Я так понимаю, у гугла, яндекса и прочих ничего подобного нет?
Извините, что мучаю вопросами:)
За пределами площадок не встречал. Для Гугла есть другая малоизвестная опция — habrahabr.ru/post/101440/
Если такую статистику предоставляет только mail.ru, как её сбирают с других?
Очевидно, либо имеют доступ туда, куда обычного юзера не пускают, либо мониторят ответы серверов.
Имеют доступ — это из области фантастики, а насчёт мониторинга ответа — там просто ответ принято или нет, не говорится попало ли письмо.
с удовольствием читал только одну рассылку. Много всего приходит, но одну читаю. Хотя нет, теперь две. Первая — от Боффо (книги), вторая от мегаплана (недавно появилась). Видимо мосигра — третья такая.

Мосигра, а у вас есть архив рассылок? Показывать маркетологам, как нужно писать рассылки.
Архива нет (только локальный). Давайте лучше я как-нибудь позже расскажу детальнее и приведу примеры :)
Спасибо на добром слове. Печально видеть, конечно, что графика проигрывает плейну, но на мой взгляд цифра ничтожна хотя бы из-за ситуации с письмами в рунете. Каждый второй считает рассылки спамом. В топике много полезной информации на заметку рекламщикам. Есть куда стремиться. Поменять отношение людей в спаму(а ваши письма на спам не тянут никак), и все будет хорошо :)
> делать полезную рассылку

Хочу уточнить: старым клиентам, которые разрешили им слать рекламу, или тупо по всей базе?

Ничего не хочу сказать, возможно, карнавальные костюмы — вещь, часто покупаемая повторно, но когда получаю письмо с припиской, что это рекламы мы вам прислали, т.к. когда-то у нас что-то купили, я очень серьезно подумываю, идти ли туда второй раз. Ибо рекламы и так хватает, а, если мне понадобится повторно что-то купить, я просто найду старые письма от них же, зайду на сайт, «а дальше по старинке».

Дело притом не в том, что считать спамом, а в том, что я просто не рад видеть присланное без спроса в своем почтовом ящике.

Причем, кстати, совсем клиника бывает, когда клиенту, чтобы что-то купить, нужно обязательно подписаться на рассылку. Такое ли «светлое завтра» мы хотим?
У нас при получении карты в магазине или регистрации на сайте можно поставить галочку «хочу получать новости и всё такое». Отправка только на тех, кто такую галочку поставил.
Отличная статья, с удовольстием прочитал. Недавно сам ощутил силу персонализированных текстовых рассылок. Я взял некоторые фрагменты из статьи со ссылкой на источник, если не против. Мы тут с коллегами составляем базу знаний по email рассылкам — rizzoma.com/topic/773912b49d46ad4744215786f011e728/0_b_42h2_3gecc/
Если будет чем доплнить, буду признателен. Интересно было бы посмотреть на графики)
Только полноправные пользователи могут оставлять комментарии.
Войдите, пожалуйста.