Файл robots.txt основные понятия

Если вы только собираетесь или уже работаете в среде создания сайтов, то, скорее всего вы уже сталкивались с файлами, которые присутствуют на вашем сайте, но не имеют прямого отношения к контенту. К таким файлам можно отнести sitemap.xml, robots.txt и некоторые другие.

Рассмотрим файл robots.txt, этот файл отвечает за индексацию страниц вашего сайта, которую проводят специальные поисковые роботы. В файле robots.txt прописываются основные критерии этой индексации, разрешение, запрет или ограничение на индексацию отдельных страниц и файлов вашего сайта.

Вы можете полностью запретить индексировать ваш сайт, но это крайняя мера и применяется она очень редко. При этом ограничения и запреты индексации отдельных частей сайта могут понадобиться. Во-первых, поисковым роботам незачем видеть административную директорию, в ней нет контента, но могут присутствовать конфиденциальные данные. Также можно запретить индексацию папок с различными картинками и фотографиями, так как на индексацию изображений введены жесткие критерии отбора.

Если на вашем ресурсе присутствует плагиат, то его тоже необходимо скрыть от глаз поисковых роботов, так как открытый плагиат может надолго похоронить ваш сайт на дне поисковых выдач.