Описание файла robots.txt

Яндекс: описание, валидатор
Google: описание, валидатор

05.09.2018, обновлено 07.11.2019
Следующая запись Shema.org хлебные крошки

Комментарии

, чтобы добавить комментарий.

Другие публикации

Заголовок Last-Modified помогает оптимизировать загрузку web-страниц и облегчить работу поисковым роботам (робот сможет получить информацию о том, обновилась ли страница сайта с момента последнего...
2542
+1
Описание значений глобального массива $_SERVER с примерами.
7950
0
Можно найти множество применений Яндекс Диска на своем сайте, например, хранение бекапов и отчетов, обновление прайсов,...
25815
+9
Пример создания файла карты сайта (sitemap.xml) на PHP. Интеграция его на сайт и подключение его в robots.txt
6359
+1
cURL PHP – это библиотека предназначенная для получения и передачи данных через такие протоколы, как HTTP, FTP, HTTPS....
60120
+2
Сборник рекомендаций по настройке сайта помогающий исключить проблемы при индексировании поисковыми системами.
3471
+1