Как видит Яндекс Ваш файл robots.txt?

Изготавливая сайт и настраивая его вэб-мастеру не всегда представляется возможным учесть все мельчайшие детали, а ошибки уже как правило проявляются после индексации сайто в поисковых системах. А иногда и не проявляются вовсе, хотя они обычно есть у любого сайта. По сути сайт — это просто большая программа, а как известно в мире не существует ни одной программы, которая не содержала бы ни одной ошибки. На сегодняшний день существует много утилит и скриптов для анализа сайта. Как при мзготовление сайта, так и уже после его запуска, оптимизации и отладки. Есть подобные сервисы и в поисковых системах, и хотим Вам представить одну из них. Это запрос к поисковой системе Яндекса позволяющий увидеть содержимое файла robots.txt на Вашем сайте «глазами Яндекса», то есть именно так, и именно в том виде, в каком его находит поисковый робот Яндекса.