Pull to refresh

Comments 11

> Активность яндекса равна активности всех остальных вместе взятых

Верно замечено, активность яндекса порой сравнима с активностью недорогой DDoS-атаки ;)
Это плохо? Вам бы не нравилось активное посещение Яндексом вашей страницы?
Я не говорил, что это плохо. Всё зависит от того, с чьей позиции это рассматривать.

Для владельца сайта частое индексирование - признак того, что "яндекс его любит", а это, наверное, хорошо.

Для самого Яндекса тот факт, что он ходит на сайты чаще других, наверное, безразличен.

Для хостера, который размещает этот сайт, частое нашествие яндекса, как правило, безразлично. Но случаются исключения. Эти исключения - сайты горе-кодеров, которые даже не знают, как правильно расставлять индексы на базах, но которые, тем не менее, собрали на своих сайтов достаточное количество контента, так любимого всеми поисковиками.

И вот, когда случается очередной крупный апдейт базы на Яндексе, можно наблюдать такую картину: роботы Яндекса, обнаружив лакомый кусочек жирного контента, небольшими, по 2-3 бота, стайками, окружают несчастный сайт и начинают долбить его запросами с частотой, недоступной биологическому существу. Сайт, не ожидавший такой нагрузки (обычно такие сайты ориентируются на посещаемость 5-10 человек в сутки, и "летают" исключительно на localhost'е), начинает медленно умирать. Смерть его не тиха и печальна, а сопровождается огрушительным ревом запросов в MySQL: "Сделай мне select по декартовому произведению из 5 таблиц".

Глядя на рев десятка таких сайтов, администратор, ответственный за работоспособность сервера, понимает - вот он, апдейт!

Конечно, яндекс в этой ситуации не первый, кого нужно обвинять, однако почему-то никогда не наблюдал я, чтобы сайт таким же образом ложился под натиском роботов гугля или другого поисковика - они всегда ведут себя более этично по отношению к своим подопечным.
Оригинал статьи? Где тут статья?
ничего страшного в том, что люди пиарят свои блоги на хабре, создавая при этом полезный контент, нет.
Вы не поняли вопроса.
Чем не мини-статья? это просто наблюдение, в соответствующем блоге
Мини-статья, забавное определение))
в целом интересно, но мне кажется цифры в таком виде ни о чем кроме процентного соотношения не говрят. Может лучше привести по конкретным старницам, например сколько раз боты кушали голову сайта за месяц?
В Google Sitemap (https://www.google.com/webmasters/tools/…) есть возможность увеличить скорость сканирования сайта.
Для этого нужно зайти в добавленный сайт в Sitemap и далее "Инструменты" >> "Задать скорость сканирования".

P.S.
- Скорость увеличить или уменьшить можно на 90 дней, после этого сканирование вернется в нормальный режим.
- Новые сайты и редко-обновляемые сайты не могут увеличить скорость сканирования :)
Не знаю, на пару моих сайтов чаще гугл ходит...
Sign up to leave a comment.

Articles