Jak działa plik robots.txt?
Plik robots.txt przekazuje zgodnym z regułami robotom, które obszary serwisu mogą pobierać, a których nie powinny odwiedzać. Robot przed rozpoczęciem skanowania sprawdza plik w głównym katalogu hosta, odczytuje sekcję przypisaną do swojej nazwy i stosuje pasujące dyrektywy.
Reguła User-agent wskazuje robota, którego dotyczy dana sekcja. Disallow wyznacza ścieżkę wyłączoną z pobierania, a Allow może dopuścić bardziej szczegółową ścieżkę znajdującą się wewnątrz zablokowanego katalogu. W pliku można też wskazać lokalizację mapy witryny. Zakres obsługiwanych dyrektyw zależy od konkretnego robota, dlatego nie należy zakładać, że każdy crawler rozumie wszystkie rozszerzenia.
Reguły odnoszą się do ścieżek adresów, a nie do wyglądu strony czy jej tematyki. Osobny plik obowiązuje dla każdego hosta i protokołu. Instrukcja pobrana z jednej subdomeny nie steruje automatycznie robotami na innej subdomenie.
Gdzie znajduje się robots.txt i jak go sprawdzić?
Plik sprawdza się pod adresem domeny zakończonym ścieżką /robots.txt. Dla przykładowej domeny firmowej będzie to adres w rodzaju https://example.com/robots.txt, wpisany bezpośrednio w pasku przeglądarki. Plik powinien być dostępny publicznie, ponieważ robot musi móc go pobrać przed skanowaniem serwisu.
Sam podgląd nie wystarcza do pełnej oceny. Trzeba ustalić, która sekcja pasuje do badanego robota, porównać reguły Allow i Disallow oraz sprawdzić dokładną ścieżkę adresu. Znaczenie mogą mieć wielkość liter, ukośniki, symbole wieloznaczne obsługiwane przez danego crawlera i szczegółowość dopasowania reguł.
Po zmianie pliku dobrze jest przetestować najważniejsze adresy w narzędziu właściwym dla wyszukiwarki oraz obserwować logi serwera. Plik zapisany poprawnie składniowo nadal może blokować sekcję potrzebną w SEO, jeśli reguła ma zbyt szeroki zakres.
Co oznacza komunikat „zablokowano przez robots.txt”?
Komunikat oznacza, że robot nie pobrał wskazanego adresu, ponieważ pasująca reguła w robots.txt zabrania mu skanowania. Nie jest to równoznaczne z usunięciem adresu z wyników wyszukiwania ani z ochroną zawartości przed użytkownikami.
Wyszukiwarka może poznać zablokowany adres z linków, mapy witryny lub wcześniejszego skanowania. W pewnych sytuacjach może więc pokazać sam URL w wynikach, choć nie mogła odczytać aktualnej treści i utworzyć pełnego opisu. Jeśli celem jest wykluczenie strony z indeksu, robot musi zwykle pobrać dokument i zobaczyć dyrektywę noindex. Zablokowanie pobierania może mu to uniemożliwić.
Gdy komunikat dotyczy strony przeznaczonej do ruchu organicznego, trzeba usunąć blokującą regułę i umożliwić ponowne skanowanie. Dalsze kroki opisuje poradnik o indeksowaniu stron w Google, w tym sposoby zgłaszania adresów do wyszukiwarki.
Czy robots.txt nadal działa?
Tak, robots.txt nadal działa jako powszechnie stosowany mechanizm zarządzania skanowaniem przez roboty, które respektują ten standard. Wyszukiwarki korzystają z niego przy planowaniu pobierania zasobów, a właściciel serwisu może ograniczyć dostęp crawlerów do technicznych lub powtarzalnych ścieżek.
Nie każdy automat musi jednak przestrzegać pliku. Złośliwy robot może zignorować reguły, a zwykły użytkownik nadal otworzy publiczny adres w przeglądarce. Z tego powodu robots.txt nie zastępuje logowania, kontroli uprawnień, zapory aplikacyjnej ani blokady na poziomie serwera.
Plik bywa też nieskuteczny, gdy zawiera błąd składni, znajduje się poza katalogiem głównym albo jest niedostępny dla robota. Przy awarii serwera crawler może czasowo ograniczyć skanowanie, ponieważ nie wie, jakie zasady obowiązują. Zachowanie w takiej sytuacji zależy od wyszukiwarki.
Czy ChatGPT jest robotem internetowym?
ChatGPT jest usługą, a nie jedną nazwą robota, który zawsze działa w ten sam sposób. Operator usługi może używać różnych crawlerów do odmiennych celów, na przykład pozyskiwania treści dla funkcji wyszukiwania, obsługi żądania użytkownika lub innych procesów opisanych w dokumentacji.
Administrator powinien sprawdzić aktualną listę nazw robotów w oficjalnej dokumentacji operatora i tworzyć reguły dla konkretnego identyfikatora User-agent. Nazwy, zakres działania i sposób respektowania ustawień mogą się zmieniać. Ogólna blokada wszystkich robotów może ograniczyć także obecność serwisu w zwykłych wyszukiwarkach, więc wymaga oceny skutków.
Sam wpis w robots.txt nie daje pewności, że treść nie pojawi się w systemach AI. Informacja może pochodzić z innych publicznych źródeł, wcześniejszego pobrania lub działania użytkownika. Decyzję należy oprzeć także na kontroli dostępu i zasadach publikacji danych.
Czy robots.txt wpływa na SEO i budżet indeksowania?
Robots.txt wpływa na SEO pośrednio, ponieważ steruje możliwością pobierania adresów przez wyszukiwarkę. Może ograniczyć skanowanie bezwartościowych kombinacji filtrów, wyników wewnętrznego wyszukiwania, paneli technicznych i powtarzalnych parametrów, dzięki czemu crawler skupia się na stronach przeznaczonych do indeksowania.
Nie należy blokować zasobów potrzebnych do renderowania, takich jak arkusze stylów lub skrypty, jeśli robot ma ocenić stronę tak jak użytkownik. Błędna blokada może utrudnić rozpoznanie treści, układu mobilnego i elementów nawigacji. Nie należy też blokować strony tylko po to, aby usunąć ją z wyników.
Przy małym serwisie rozbudowane reguły często nie są potrzebne. Przy sklepie z filtrami i parametrami trzeba najpierw rozpoznać źródła niepotrzebnych adresów, sposób linkowania oraz stan indeksu. Robots.txt jest jednym z narzędzi, obok linkowania wewnętrznego, kanonikalizacji, noindex i poprawnej architektury.
Jak poprawnie przygotować i przetestować robots.txt?
Poprawny plik powstaje po spisaniu robotów oraz ścieżek, które mają być dostępne lub wyłączone ze skanowania. Nie należy zaczynać od kopiowania gotowego wzoru, ponieważ struktura adresów, subdomeny i cele indeksowania różnią się między serwisami.
- Otwórz obecny plik i zapisz, które sekcje User-agent zawiera.
- Zbierz adresy ważnych kategorii, produktów, usług, artykułów i zasobów renderujących stronę.
- Rozpoznaj techniczne ścieżki generujące duplikaty, wyniki wyszukiwania lub nieskończone kombinacje parametrów.
- Dodaj możliwie precyzyjne reguły, unikając szerokiej blokady całego serwisu.
- Sprawdź przykładowe adresy dozwolone i zablokowane dla właściwego robota.
- Po publikacji obserwuj raporty skanowania, stan indeksowania i logi serwera.
Zmianę trzeba oceniać na konkretnych adresach. Jeśli ważna strona przestaje być pobierana, przyczyną może być reguła nadrzędna, niezamierzone dopasowanie fragmentu ścieżki albo plik wdrożony na niewłaściwym hoście.
Jakich błędów unikać?
- Nie używaj robots.txt do ukrywania danych poufnych.
- Nie łącz blokady pobierania z oczekiwaniem, że robot odczyta noindex.
- Nie blokuj całych katalogów bez listy adresów kontrolnych.
- Nie zakładaj, że każdy crawler obsługuje te same dyrektywy.
Czy robots.txt jest prawem i czy można go ominąć?
Robots.txt nie jest ustawą ani techniczną zgodą na dostęp, lecz deklaracją preferencji właściciela serwisu kierowaną do robotów. Sam fakt, że adres nie jest zablokowany, nie oznacza zgody na dowolne pobieranie, kopiowanie lub dalsze wykorzystanie treści.
Ocena obejścia reguł zależy od sposobu dostępu, rodzaju danych, zabezpieczeń, regulaminu, praw autorskich i przepisów właściwych dla danej sytuacji. Zignorowanie pliku nie jest automatycznie tym samym co przełamanie zabezpieczenia, ale może towarzyszyć działaniom naruszającym prawo lub umowę. Przy masowym pobieraniu danych potrzebna jest indywidualna ocena prawna.
Z perspektywy firmy robots.txt powinien być sygnałem dla zgodnych crawlerów, a nie jedyną barierą. Dane prywatne trzeba chronić uwierzytelnianiem i autoryzacją. Nadmierny ruch można ograniczać na poziomie serwera, CDN lub zapory, a przypadki nadużyć dokumentować w logach.
Właściciel sklepu blokuje w robots.txt adresy technicznych filtrów, które tworzą wiele wariantów tej samej listy produktów. Robot wyszukiwarki może dzięki temu przeznaczyć więcej czasu na kategorie, produkty i poradniki przeznaczone dla klientów.
Najczęstsze pytania
Czy robots.txt może zablokować całą stronę?
Tak. Reguła obejmująca ścieżkę główną może zabronić wskazanemu robotowi pobierania wszystkich adresów w danym hoście. Taki zapis nie chroni strony przed użytkownikami i nie gwarantuje usunięcia już znanych adresów z indeksu.
Czy w robots.txt można dodać mapę witryny?
Tak. Dyrektywa Sitemap może wskazać pełny adres mapy witryny, aby robot łatwiej ją odnalazł. Nie zastępuje to jednak poprawnego linkowania i nie gwarantuje indeksowania wszystkich adresów z mapy.
Czy brak robots.txt jest błędem SEO?
Nie zawsze. Brak pliku zwykle oznacza, że robot nie otrzymuje w nim ograniczeń skanowania. Plik staje się potrzebny, gdy serwis wymaga świadomego sterowania dostępem crawlerów do określonych ścieżek.
Czy robots.txt blokuje obrazy i pliki PDF?
Może blokować ich pobieranie, jeśli reguła pasuje do ścieżki lub typu adresu. Skutek dla indeksowania zależy od tego, skąd wyszukiwarka zna zasób i czy może uzyskać o nim informacje z innych stron.
Black Friday tuż za rogiem. Co sprawdzić w Google Ads, zanim ruszy promocja?
Włamanie na stronę WordPress – jak je wykryć, gdy panel nie pokazuje problemu?
Boty AI w logach serwera – jak sprawdzić, które naprawdę odwiedziły Twoją stronę?