Агрессивное сканирование google ботами

Тема в разделе "PrestaShop", создана пользователем PENN.ST., 12 авг 2019.

Информация :
Приветствую гость, обрати внимание! Темы которые закреплены в разделах, в скором времени будут откреплены. Правила раздела PrestaShop

(Не актуальные темы) Каталоги:Модули PrestaShop 1.7Модули PrestaShop 1.5 - 1.6Шаблоны PrestaShop 1.7Шаблоны PrestaShop 1.5 - 1.6
(Не актуальные темы) Поиск / Запросы:Модули PrestaShop 1.7Модули PrestaShop 1.5 - 1.6Шаблоны PrestaShop 1.7Шаблоны PrestaShop 1.5 - 1.6
Полезная информация:Поддержка и помощь c PrestaShopУбираем ПрестаТраст, стучалки и прочую рекламуСовместные покупки модулей и шаблоновПеревод Prestashop и модулей
Модераторы: trace
  1. PENN.ST.

    PENN.ST. Создатель

    Регистр.:
    18 мар 2016
    Сообщения:
    16
    Симпатии:
    3
    Всем доброго времени суток.

    90+ дней назад гугл-боты создавали нагрузку на сервер и я ограничил скорость сканирования сайта. Пару дней назад ограничение спало и за последние два дня ботом с ip адреса 66.249.64.199 поступило 6,4565 CPU, %, что сильно нагрузило сервер.

    Мне интересно он и дальше так же агрессивно будет сканировать или снова будет требоваться ограничивать скорость сканирования?

    Отмечу, что ранее такого не замечалось и все было нормально. Никогда до этого момента трех месячной давности сайт на превышал ограничения серверных минут хостинга. А потом стало как помазано и гугл боты стали так рьяно сканировать сайт.
     
  2. _sashok

    _sashok PrestaShop Expert

    Регистр.:
    15 июл 2011
    Сообщения:
    2.062
    Симпатии:
    3.418
    радуйтесь, что вас гугл "любит" - многие об этом только мечтают :)

    а из решения: лучше помощнее сервер взять и развивать бизнеса ещё быстрее

    успехов!
     
    evgenij.sobolev нравится это.
  3. metsys

    metsys

    Регистр.:
    27 апр 2014
    Сообщения:
    540
    Симпатии:
    547
    а как вы определили что это гугло боты, а не кто-то, кто прикинулся юзерагентом гугло-бота? айпишники проверяли кому принадлежат?
     
    _sashok нравится это.
  4. PENN.ST.

    PENN.ST. Создатель

    Регистр.:
    18 мар 2016
    Сообщения:
    16
    Симпатии:
    3
    Зашел на http://xseo.in/ipinfo и вбил в поиск 66.249.64.199
    Выдало что: Страна регистрации United States / США | Организация Google LLC

    Или это может быть не гугл бот и его можно кинуть в черный список?
     
  5. metsys

    metsys

    Регистр.:
    27 апр 2014
    Сообщения:
    540
    Симпатии:
    547
    Все запросы с одного айпишника? И какая тогда частота запросов?
     
  6. PENN.ST.

    PENN.ST. Создатель

    Регистр.:
    18 мар 2016
    Сообщения:
    16
    Симпатии:
    3
    Нет, сканируют еще другие ip адреса 66.249.64.ххх , просто именно 66.249.64.199 создает самую высокую нагрузку на сервер.

    Как я могу или где я могу посмотреть частоту запросов?
     
  7. byura

    byura

    Регистр.:
    29 янв 2007
    Сообщения:
    496
    Симпатии:
    456
    попробуйте лог анализатором Screaming Frog Log File Analyser
    оставьте только ботов гугла
     
    _sashok нравится это.
  8. Anton

    Anton ¯\_(ツ)_/¯

    Moderator
    Регистр.:
    28 авг 2007
    Сообщения:
    693
    Симпатии:
    677
    Тут проблема не в гугле а в сайте. Оптимизируй магазин, мощнее сервер. ЗАбанить левых ботов, семраш, байду, ахрефс и другие.
    Если сервер медленно отдает контент, это повод для гугла пессимизировать сайт.
    Если на траф с ПС пох, то проще совсем заблокировать доступ всем ботом.
     
    _sashok нравится это.