Создание оптимального файла robots.txt для магазина OpenCart уже обсуждалось в одной из тем, здесь же будет представлено готовое решение по управлению этим файлом в режиме реального времени.
Данный модуль преследует следующие цели:
Данный модуль преследует следующие цели:
- Оперативное внесение изменений в файл robots.txt с целью быстрого исключения из поискового индекса конкретных страниц сайта.
- Предоставление для каждого робота только ему понятного свода правил с целью избежания конфликта с директивами других роботов.
- Отслеживание парсеров и сканеров с целью выдачи для них запрета на индексирование с последующей блокировкой на стороне сервера.
.png)
