Описание файла robots.txt

Яндекс: описание, валидатор
Google: описание, валидатор

05.09.2018, обновлено 07.11.2019
Следующая запись Shema.org хлебные крошки

Комментарии

, чтобы добавить комментарий.

Другие публикации

Заголовок Last-Modified помогает оптимизировать загрузку web-страниц и облегчить работу поисковым роботам (робот сможет получить информацию о том, обновилась ли страница сайта с момента последнего...
3005
+1
Описание значений глобального массива $_SERVER с примерами.
10926
0
Можно найти множество применений Яндекс Диска на своем сайте, например, хранение бекапов и отчетов, обновление прайсов,...
28373
+9
Пример создания файла карты сайта (sitemap.xml) на PHP. Интеграция его на сайт и подключение его в robots.txt
8261
+1
Сборник рекомендаций по настройке сайта помогающий исключить проблемы при индексировании поисковыми системами.
3879
+1
cURL PHP – это библиотека предназначенная для получения и передачи данных через такие протоколы, как HTTP, FTP, HTTPS....
72028
+2