Настраиваем robots.txt для магазина на базе ПО OpenCart

Начнём с небольшого экскурса на тему для чего нужен свод правил для поисковых роботов в виде файла robots.txt.

Как известно, в этом текстовом файле описываются разделы, страницы или файлы сайта, которые должны быть проиндексированы или проигнорированы роботами поисковых систем (ПС). Кроме того, там могут быть описаны условия поведения роботов на сайте, такие как частота сканирования или параметры сканирования. Более подробную информацию можно получить на одноименном ресурсе по адресу http://robotstxt.org.ru.