OpenCart Robots Feed: Динамический файл robots.txt

Создание оптимального файла robots.txt для магазина OpenCart уже обсуждалось в одной из тем, здесь же будет представлено готовое решение по управлению этим файлом в режиме реального времени. Данный модуль преследует следующие цели: Оперативное внесение изменений в файл robots.txt с целью быстрого исключения из поискового индекса конкретных страниц сайта. Предоставление для каждого робота только ему понятного свода правил с целью избежания конфликта с директивами других роботов. Отслеживание парсеров и сканеров с целью выдачи для них запрета...