Plik robots.txt to kluczowy element technicznego SEO. Poprawnie skonfigurowany robots.txt pomaga robotom Google indeksować Twoją stronę, podczas gdy niewłaściwa konfiguracja może utrudnić indeksację.
Czym jest robots.txt?
Robots.txt to plik tekstowy znajdujący się w głównym katalogu domeny, który instruuje roboty wyszukiwarek, które obszary strony mogą indeksować.
Kluczowe dyrektywy robots.txt
User-agent
Dyrektywa User-agent określa, do której wyszukiwarki skierowana jest instrukcja. Aby skierować do wszystkich robotów, użyj:
User-agent: *Disallow
Dyrektywa Disallow instruuje roboty, aby nie indeksowały określone obszary. Przykład:
Disallow: /admin/
Disallow: /private/Allow
Dyrektywa Allow pozwala na indeksację konkretnych obszarów nawet w sekcjach oznaczonych jako Disallow:
Disallow: /admin/
Allow: /admin/sitemap.xmlSitemap
Dyrektywa Sitemap wskazuje lokalizację mapy strony:
Sitemap: https://twoja-strona.pl/sitemap.xmlBłędy do uniknięcia
- Nie blokuj ważne podstrony przez Disallow
- Upewnij się, że mapa strony jest dostępna i aktualna
- Unikaj konfliktów z dyrektywą noindex w meta tagach