Pull to refresh
6
0
Send message
Возвращаюсь к своему комментарию: habr.com/ru/post/446488/#comment_19979864
Эти люди решают проблему в лоб, но рассуждают на тему «защиты от студентов». Эти люди насилуют Селениум и сервера, жгут электричество на то, чтобы решать проблему в лоб, но не ищут другого подхода. Я узнал автора, но не увидел в статье того, что они за месяц пересмотрели свое отношение к вопросу эффективного парсинга, так что ничего интересного тут ждать и не приходится.

Я не спорю, что Aliexpress проще распарсить в лоб, но аптеку-то можно было сделать нормально.

А еще мне тогда в личные сообщения постучался какой-то подозрительный товарищ с вопросом по поводу источника происхождения JSON, на который я тогда вышел за 15 минут, но сказал, что он к ТС отношения не имеет, в чем я сомневаюсь.
Я разобрал ваш пример с аптекой и пришел к достаточно элегантному решению.
Картинка
image

Нахождение подобного в каждом из ваших 300 магазинов — ключ к ускорению процесса в сотни раз. Когда я занимался парсингом (для удовольствия) МВидео и Эльдорадо, к примеру, они еще работали на голом (с высоты моего понимания) Битриксе, где инфа о товаре содержалась в json в теле страницы и динамически не подгружалась. Решалось загрузкой по байтам и обрывом соединения там, где кончался json. На заголовок частичной загрузки сервер, увы, не отвечал. Эльдо вообще банили по айпи через 200 запросов, но это было год назад.
Я посмотрел ваше железо в комментарии ниже. Интересно, конечно, но актуальность цен на сайтах — в течение суток, я парсил легкие варианты раз в час, а тяжелые — три раза в сутки, и все равно находилась уйма отличий.
В любом случае, спасибо за ответы, было интересно ознакомиться с тем, как это происходит в промышленных масштабах.
Насколько я понял, парсите именно веб-страницы. Альтернативные пути не рассматриваете? Пользуетесь каким-то своим софтом, или это браузеры (headless?) с BeautifulSoup-подобным (Selenium, Splinter) решением? На каком железе запускаете?
Без понятия, для меня проще всего оказалось не обновлять приложение. Все эти нововведения приведут к тому, что F-Droid будет выглядеть гораздо более привлекательнее Google Play Store.
Чейнджлог любого актуального приложения для записи звонков содержит следующую строку: «Гугл нам сломал доступ к контактам и прочему, так что номера теперь расставляйте сами». То, что приложения не выпилены, не значит того, что они продолжают так же корректно работать.
Чем обоснован выбор обработчика по типу с if/elif/else, когда существует regexp для текста и commands для команд?
Действительно, в случае с подписками МегаФон за прошедшие полгода два раза подключил подписку — по 12р в день накапало около 252р, по 15 — еще 900. После обращения в чат сначала вернули 252р, а по поводу 900р сказали, что «сами нажали, сами согласились, сами виноваты». В итоге пришлось отнести письменную претензию в салон, в которой кратко было изложено то, зачем вообще существует закон «О связи», который как бы обязывает оператора подключать подобные услуги при однозначном определении абонента (а не кнопкой на сайте). В итоге спустя три рабочих дня деньги вернулись полностью.

Телефон был кнопочной звонилкой без намека на возможность выхода в интернет.
Не сделали, квартира все еще обязательна с полной версии.
Действительно, в мобильной версии и такое есть. А удаления в ней же нет. Придется бояться.
Одно дело — это если ко мне придет сам Папа Джон, другое — если злоумышленник. Вероятность, конечно, минимальная, но и отрицать невозможно. Да и кто знает, сколько там еще уязвимостей.
Мне сказали, что «как таковой bug bounty нет», но «могу Вам предложить промокод на любую пиццу от 0 рублей, а так же 1000 баллов». Честно говоря, лучше бы она у них была.
Адрес можно удалить в профиле с ПК. В мобильной версии кнопки нет, да и заказываю я по привычке без номера квартиры. Истории про агрессивный маркетинг Бургер Кинга как-то заставляют задумываться перед указанием полного адреса.
Я написал в их поддержку, потом мне отписал человек, который является разработчиком. Я ему все объяснил, дал скрипт потестить, спросил про bug bounty, в итоге получил пиццу и 1000 баллов. После этого через какое-то время я обнаружил, что сайт для Польши такой же, отписал туда. Мне ответила какая-то женщина, про которую я нашел информацию на Linkedin о том, что она занимает не последнюю должность, но там реакции не было, зато был форвард письма главе, должно быть, подразделения по разработке. Я гуглил имена, но уже не вспомню. Суть сводится к тому, что я общался с конкретным человеком с почтой papajohns.ru, назвавшим себя разработчиком, а также с человеком с почтой papajohns.pl, что как бы указывает на официальность контактов.
Признаю, что вы правы, но я общался с человеком мне ответившим дважды. Я, конечно, не эксперт в разработке подобных сервисов, но минимальные рекомендации «от себя» дал сразу же. Разве три месяца не достаточно для того, чтобы это пофиксить?

Information

Rating
Does not participate
Registered
Activity