Robots.txt Ошибки, которых вам следует избегать

Изменение и адаптация robots.txt файла, соответствующий потребностям вашего домена, является важным аспектом правильной SEO-оптимизации и управления сайтом. Robots.txt ошибки могут случаться слишком часто, поэтому очень важно избегать их!

Если у вас есть в robots.txt ошибки, то вам нужно научиться их исправлять. Эта статья — поможет вам сделать это!

Оптимизация SEO-профилей требует времени, поэтому очень важно сосредоточиться на том, что имеет наибольшее значение. Когда вы исправляете каждую ошибку в robots.txt, вы исправляете внутреннюю работу вашего сайта.

Это важно для продвижения вперед!

Какие общие Robots.txt Ошибки?

Если искать каждую ошибку в robots.txt это займет время, но есть несколько общих областей, на которых следует сосредоточиться. Увидев, какие существуют распространенные ошибки, вы сможете избежать их. Катастрофы, которые могут произойти с поврежденным robots.txt имеют большое значение и могут кардинально повлиять на ваш сайт.

В Robots.txt исправление ошибок может быть трудоемким процессом, но с нашей помощью вы сможете выявить и исправить все, что может возникнуть! Устранение проблем и разрешение robots.txt для достижения успеха крайне важно работать в нашу пользу.

Ниже приведены общие проблемы, с которыми вы можете столкнуться в будущем.

1. Размещайте Robots.txt Файл в корневом каталоге

Чтобы начать список, необходимо понять правильное расположение robots.txt файл имеет важное значение. Если вы разместите файл в другом месте, это приведет к повреждению вашего сайта и создаст множество проблем. В robots.txt файл всегда должен находиться в корневом каталоге вашего сайта.

Это означает, что он должен сразу следовать URL-адресу веб-сайта. Если вы пренебрежете этим шагом и поместите файл в другое место, поисковые роботы не смогут его найти и, следовательно, не смогут выполнить свою функцию.

Пример правильного размещения:

2. Неправильное использование подстановочных знаков

Подстановочные знаки — это символы, специально используемые директивами, определенными для роботов-сканеров, которые используются в robots.txt.

В частности, есть два подстановочных знака, на которые следует обратить внимание – символы * и $.

Символ * является сокращением для “каждого экземпляра” или “0 или более отдельных допустимых символов”. Символ $ используется для иллюстрации конца URL-адреса веб-сайта. Правильное использование этих двух символов в robots.txt файл имеет важное значение.

Примеры правильной реализации включают:

Для представления каждого типа пользовательского агента:

Чтобы запретить любой URL-адрес с “/assets”, присутствующим в его адресе:

Чтобы запретить любой URL, заканчивающийся расширением .pdf:

Использование подстановочных знаков должно быть зарезервировано для конкретных случаев и необязательно использоваться постоянно. Будьте осторожны, используя их, поскольку они могут иметь далеко идущие последствия, о которых вы не знали в то время!

3. Ввод ‘NoIndex’ в Robots.txt

Устаревшая стратегия, которую больше не нужно рассматривать, ввод директивы “NoIndex” в ваш robots.txt файл больше не будет работать. Фактически, Google прекратил это в 2019 году.

В лучшем случае это означает, что у вас потенциально может быть много бесполезного кода в вашем robots.txt файл, но в худшем случае это может создать хаос.

В настоящее время надлежащей практикой является использование тега meta robots вместо этого для такого варианта использования. Следующий код может быть помещен в код страницы URL-адресов, которые вы хотите заблокировать от индексации Google.

Это предотвращает ошибки и robots.txt файл и делает вещи намного чище.

4. Блокировка скриптов и таблиц стилей

Веб запускается на скриптах и таблицах стилей, поэтому блокировать их — плохая идея. Для того, чтобы поисковые роботы Google оценивали эффективность страниц вашего сайта, они должны иметь доступ к этим скриптам и запускать их. Крайне важно не блокировать какие-либо скрипты или таблицы стилей в вашем robots.txt файл по этой причине.

Блокировка этих скриптов приведет к тому, что они не будут отображаться сканерами, и резко снизит, если не полностью сведет на нет, рейтинг вашего домена.

5. Добавляйте URL-адрес карты сайта

Расположение карты сайта для вашего домена позволит поисковому роботу легко найти вашу карту сайта, что напрямую приведет к лучшему ранжированию. Упрощение алгоритмов, определяющих рейтинг вашего домена, всегда будет бонусом в целях оптимизации.

По этой причине, помещая местоположение в robots.txt файл — это очень полезная вещь. Вот пример того, как разместить URL-адрес вашей карты сайта: