Невизуальные методы защиты сайта от спама. Часть 1. Статистика

Неплохой набор идей для раздумья, спасибо.

Статистика конечно вещь интересная, но помоему посыл «спамеры будут строить свои сообщения так, что по нескольким критериям они будут явно отличаться от обычных сообщений» неверен. Качественные фишинговые сообщения не должны вызывать никаких подозрений.

Вот что чисто визуально видно по массиву спама — очень часто вместо текста тела письма — одна картинка (для обхода фильтров Байеса) и постоянные повторы. Письмо в разных вариациях имени отправителя приходит не менее 3х раз

Спасибо, интересно.

Уточните, пожалуйста, по статистике «Отношение длины сообщения ко времени заполнения, символы/с». Для нормальных пользователей дан показатель 23.81. Это значит, что обычный пользователь печатает со скоростью в почти 24 символа в секунду? За счёт чего получается такое значение?

Да, цифра действительно средняя, и скорее всего связана именно с копипастом.Тем не менее, спам-боты показывают значительно лучшие результаты по скорости набора ;)

Время заполнения формы, c
Отношение длины сообщения ко времени заполнения, символы/с

Еще полезно посмотреть на самых тормозных заполнителей. Там тоже высока вероятность спама.

2. Ник посетителя

3. Имя в электронной почте

А это хороший показатель лени разработчика. Особенно если счет идет не на тысячи email/день. Порядка 400-500 мыл в день с качественными именами и никами под них очень легко создавать в автоматическом режиме даже у яндекса (сомневаюсь, что их детектор ботов сильно изменился).

4. HTTP-заголовки

Опять таки лень. Не самый тупой воспользуется постоянно обновляемым списком из интернета.

5. JavaScript-тест

Вы привели проверку на выполнение JS скриптов вообще, но это позволит защитить только от любителей коврового спамометания.

Могу порекомендовать обратить внимание так же на следующие характеристики, для вылавливания спамеров на формах:
1. Подключение дополнительных скриптов/Модификация Head секции. Самая лучшая проверка — это проверка на подключение jQuery, если сайт может работать без нее (самый убийственный вариант);
2. Определение скриптами координат элементов (лучше переопределить эти методы, т.к. это отсеет хитрожопых, но тупых);
3. Несколько UserAgent-ов с одного IP;
4. IP адреса мобильных операторов(При наличии других факторов это верная примета!!!!!);
5. Ссылки на один домен с разных IP;
6. Периодичность похожих сообщений (обрабатывать только мат статистикой, т.к. разброс +-[0-0.25] от интервала это не редкость);
7. Несовпадение падежей/«битые» слова (обычная проблема криво отработанного синонимайзера).

А так же более раритетные случаи:
1. «Телепортация» курсора мыши внутри страницы;
2. Движение курсора мышки по идеально ровным прямолинейным/простым криволинейным траекториям (полиномы N порядка, гладкие кривые);
3. «Мгновенный» скрол;
4. «Отсекание» метрик/логеров активности.

А вообще идеальным вариантом будет случайная генерация блоков страницы с большим количеством фэйковых полей. Пожалуй это единственный условно надежный вариант, но требует больших, затрат как на разработку, так и на поддержание в актуальном состоянии. А условно потому, что «умный в гору не пойдет», он и скриншоты может анализировать.

К сожалению хорошего бота написать не сложно, но к счастью мало разработчиков ботов приличного уровня (что и не удивительно, но ради фана/рабочих нужд могут развлекаться).

PS. Бывший ботовод, правда не спамер, а парсер.