У меня есть robots.txt на моем www сайт. Нужен ли мне еще один на других сайтах, таких как мой app а также forums места?

Аудит Alexa продолжает находить плохие ссылки, отсутствующие теги и другие «ошибки» на моем ванильном форуме форума, хотя www В файле robots.txt на сайте указано, что нужно игнорировать определенные каталоги на сайтах моих приложений и форумов.

  • Это не только Alexa, каждому сканеру нужен файл robots.txt на каждом субдомене, сканирование на котором вы хотите контролировать.

Первое, что вам нужно запомнить, это то, что example.com, www.example.com, sub-domain.example.com, даже HTTP и HTTPS - это разные сайты.

Robots.txt не может ссылаться на другие сайты, он предназначен только для сайта, на котором он находится. Таким образом, для любого поддомена вам понадобится файл robots.txt только для этого сайта.

Для вас трудились: Charles Robertson | Хотите связаться с нами?