Показаны сообщения с ярлыком технология. Показать все сообщения
Показаны сообщения с ярлыком технология. Показать все сообщения

7 мар. 2015 г.

Индексация гуглом технологических PHP файлов

Если у вас на севере или сайте есть служебные файлы, которые не должен индексировать гугл, то отсутствие ссылок на этот файл и запрет в robots.txt не спасают. Потому что если какой-нибудь эвристический сканер поиска контента найдет этот файл, то он его куда-нибудь скопирует, возможно со ссылкой, потом там походит гугл и всё всплывет. Ну или сам куда-то для удобства добавишь ссылку, а гугл её найдёт.

Запрет в robots.txt приведет просто к тому, что в серпе гугла возле этого результата появится фраза типа "снипета нет потому что в robots.txt заблокировано".

Можно вызывать свой файл с параметром, а без параметра ничего не показывать, например вызывать так:

http://1.2.3.4/file.php?a=a

но это неудобно тем, что в коде нужно вставлять эту проверку.

Можно добавить авторизацию по паролю, но это ещё больше кода.

Можно в коде в самом верху добавить:

header('HTTP/1.1 404 Not Found');

Тогда человек в браузере видит файл, а робот уходит не солоно хлебавши.