7 min. 50 sek.

Autorka

Anna Pawłowska

Robots.txt i sitemap.xml to dwa pliki, które mówią Google, które strony ma skanować, a które pomijać. Większość poradników opisuje je osobno, my pokażemy oba naraz, prostym językiem i bez kodu.

W WebWave obydwa generują się automatycznie, ale warto wiedzieć, jak działają.

Czytaj dalej

Czym są robots.txt i sitemap.xml i czym się różnią

Robots.txt mówi robotom Google, których stron nie skanować, a sitemap.xml pokazuje im, które strony warto zaindeksować.

Prowadzisz stronę internetową i słyszysz, że powinieneś zadbać o robots.txt i sitemapę? Nie jesteś sam. Te dwa pliki brzmią technicznie, ale ich zadanie jest bardzo proste. Oba komunikują się z robotami wyszukiwarek, czyli programami, które odwiedzają Twoją stronę i decydują, co pokazać w wynikach Google.

Plik robots.txt działa jak drogowskaz z zakazami. Mówi robotom Google, Bing czy innych wyszukiwarek, dokąd nie powinny wchodzić. Dzięki temu ukryjesz przed skanowaniem panel administracyjny, wersje testowe podstron albo duplikaty treści, które i tak nie powinny trafić do wyników wyszukiwania.

Sitemap.xml działa odwrotnie. To lista adresów URL Twojej strony, która ułatwia robotom znalezienie wszystkich ważnych podstron, zwłaszcza tych nowych, do których nie prowadzi jeszcze wiele linków.

Dobra wiadomość? W WebWave sitemapa generuje się automatycznie, więc nie musisz jej samodzielnie przygotowywać.

Oba pliki nie zastępują się nawzajem. Robots.txt kontroluje dostęp, sitemap.xml przyspiesza odkrywanie treści. Dobrze skonfigurowana strona korzysta z obu naraz.

Robots.txt a meta tag noindex: to nie to samo

Wielu początkujących właścicieli stron myli te dwa mechanizmy, a różnica jest kluczowa. Disallow w robots.txt blokuje robotowi wejście na stronę. Meta tag noindex pozwala robotowi wejść, ale zabrania mu pokazać tę stronę w wynikach wyszukiwania.

To ważne rozróżnienie, bo błąd tutaj bywa kosztowny. Jeśli zablokujesz stronę w robots.txt, Google w ogóle jej nie zobaczy, więc nie zauważy też umieszczonego na niej tagu noindex. W efekcie strona, którą chciałeś ukryć, czasem i tak pojawia się w wynikach, bez opisu, tylko z samym adresem URL, bo Google trafił do niej po linku z innej strony. Jeśli naprawdę chcesz usunąć stronę z wyników wyszukiwania, użyj tagu noindex, a nie reguły Disallow.

Jak działa plik robots.txt: dyrektywy i przykłady

Plik robots.txt składa się z prostych reguł User-agent, Disallow i Allow, które razem mówią robotom, dokąd mogą wejść.

Robots.txt to zwykły plik tekstowy, bez formatowania i bez kodu HTML. Znajdziesz go pod adresem domena.pl/robots.txt każdej strony internetowej. Jego składnia jest prostsza, niż się wydaje. Składa się z kilku dyrektyw, które ustawiasz w parach: robot i zasada, jaka go dotyczy.

User agent, Disallow, Allow: co oznaczają

Gwiazdka po User-agent oznacza, że reguła dotyczy wszystkich robotów. Jeśli chcesz zwrócić się do konkretnego bota, wpisz jego nazwę, na przykład Googlebot dla robota Google.

Przykładowe reguły robots.txt

Poniżej znajdziesz 3 gotowe przykłady, które możesz skopiować i dostosować do swojej strony.

Blokada całej strony, przydatna na przykład na etapie budowy witryny:

Blokada wybranej sekcji z jednym wyjątkiem:

Blokada konkretnego typu plików, tutaj dokumentów PDF:

Uważaj na pierwszy przykład. Reguła Disallow: / blokuje całą stronę przed wszystkimi robotami. Świetnie sprawdza się w trakcie budowy witryny, ale zapomniana po publikacji potrafi wyrzucić całą stronę z wyników wyszukiwania. Pamiętaj, żeby ją usunąć, gdy strona jest już gotowa.

Jak działa mapa strony (sitemap.xml): struktura i limity

Sitemap.xml to plik z listą adresów URL Twojej strony, opisanych datą aktualizacji i priorytetem, który pomaga Google szybciej je znaleźć.

Wyobraź sobie spis treści książki. Sitemap.xml działa podobnie, tylko zamiast rozdziałów wymienia wszystkie podstrony Twojej witryny. Dzięki temu Google nie musi zgadywać, jakie adresy istnieją, tylko dostaje gotową listę.

To szczególnie ważne dla nowych stron. Jeśli dopiero uruchomiłeś witrynę, mało kto jeszcze do niej linkuje, więc roboty wyszukiwarek nie mają skąd wiedzieć o jej istnieniu. Sitemap.xml rozwiązuje ten problem, bo od razu pokazuje wszystkie ważne adresy.

Co zawiera wpis w sitemap.xml

Ile adresów może zmieścić jedna mapa strony

Jedna mapa strony może zawierać maksymalnie 50 000 adresów URL i ważyć do 50 MB. Dla większości małych firm i freelancerów to więcej niż wystarczająco, bo rzadko która strona wizytówkowa czy blog przekracza kilkaset podstron. Jeśli prowadzisz duży sklep internetowy z tysiącami produktów, możesz zbliżyć się do tego limitu. Wtedy stosuje się indeks map, czyli plik główny wskazujący na kilka mniejszych sitemap, na przykład osobno dla produktów i osobno dla kategorii. Dla typowej strony firmowej to jednak temat czysto teoretyczny.

Wpis Sitemap w pliku robots.txt: jak połączyć oba pliki

Dopisanie linii Sitemap: [adres] do pliku robots.txt to najprostszy sposób, by wskazać Google, gdzie szukać mapy strony.

Skoro już wiesz, czym są oba pliki, czas pokazać, jak się ze sobą łączą. Robots.txt i sitemap.xml to osobne pliki, ale możesz połączyć je jedną linią kodu. Wystarczy dopisać do robots.txt informację, gdzie znajduje się Twoja mapa strony:

Ta linia działa niezależnie od reguł Disallow i Allow. Możesz ją umieścić na początku albo na końcu pliku, efekt będzie ten sam. Dzięki niej każdy robot, który odwiedzi Twój robots.txt, a robi to niemal każdy, od razu trafi też na adres sitemapy.

To jednak uzupełnienie, a nie zastępstwo zgłoszenia w Google Search Console. Wpis w robots.txt pomaga wszystkim robotom, także tym spoza Google, ale samo zgłoszenie w GSC daje Ci dodatkowo wgląd w status indeksowania i ewentualne błędy. Najlepiej zrobić obie rzeczy naraz.

Jak wygenerować robots.txt i sitemap.xml w WebWave

W WebWave oba pliki, robots.txt i sitemap.xml, generują się automatycznie, bez pisania kodu.

Dobra wiadomość jest taka, że nie musisz samodzielnie pisać ani jednej linijki kodu. WebWave generuje sitemapę automatycznie dla każdej strony, od razu po jej opublikowaniu. Mapa aktualizuje się przy każdej kolejnej publikacji, więc zawsze odzwierciedla aktualną strukturę Twojej witryny. Znajdziesz ją pod adresem domena.pl/sitemap.xml, bez żadnej dodatkowej konfiguracji.

Plik robots.txt też powstaje automatycznie, ale w przeciwieństwie do sitemapy możesz go ręcznie edytować, jeśli chcesz zablokować konkretną podstronę przed skanowaniem. Zrobisz to w kilku krokach:

• Wejdź w ustawienia swojej strony

• Otwórz zakładkę Ustawienia SEO

• Przejdź do karty ROBOTS.TXT

• Wpisz własne reguły w polu treści pliku

Przykładowo, jeśli chcesz wykluczyć z indeksowania galerię zdjęć testowych, dopiszesz regułę Disallow: /galeria. Panel zapisuje zmiany od razu, bez potrzeby wgrywania pliku na serwer czy znajomości FTP. Pełną instrukcję z opisem każdego pola znajdziesz w naszej bazie wiedzy, w artykule Edycja pliku Robots.txt.

Dla większości użytkowników WebWave to jedyne ustawienie, którego w ogóle będą potrzebować. Sitemapa działa w tle, a robots.txt zostawiasz bez zmian, chyba że masz konkretny powód, by coś ukryć. To spora różnica względem stron budowanych ręcznie, gdzie oba pliki trzeba tworzyć i wgrywać samodzielnie.

Treści, które kocha

Jak zgłosić sitemapę do Google Search Console

Sitemapę zgłaszasz w Google Search Console, w zakładce Mapy witryn, wklejając jej adres URL.

Sama sitemapa nie wystarczy, Google musi się jeszcze o niej dowiedzieć. Zgłoszenie zajmuje dosłownie minutę. Jeśli nie masz jeszcze podłączonego Google Search Console do swojej strony, zacznij od naszego artykułu Google Search Console: Kompletny Poradnik Krok po Kroku 2025, który prowadzi przez cały proces weryfikacji witryny.

Skróconą instrukcję samego zgłaszania mapy znajdziesz też w poradniku Jak dodać mapę strony do Google Search Console. Kiedy masz już dostęp do panelu, wykonaj 4 kroki:

• Zaloguj się do Google Search Console i wybierz swoją domenę

• W menu po lewej stronie kliknij Mapy witryn

• Wklej adres sitemap.xml, w WebWave wystarczy dopisać sitemap.xml do adresu swojej domeny

• Kliknij Prześlij

Po chwili sprawdź zakładkę Stan. Status Sukces oznacza, że wszystko poszło zgodnie z planem. Jeśli zobaczysz komunikat Nie udało się pobrać, sprawdź, czy wpisałeś poprawny adres i czy strona jest opublikowana.

Wskazówka eksperta: jeśli masz domenę z końcówką .eu, w polu zgłoszenia wpisz tylko „sitemap”, bez rozszerzenia .xml. To jedyny wyjątek od standardowego schematu.

Jak sprawdzić, czy plik robots.txt działa poprawnie

Plik robots.txt możesz sprawdzić, wpisując w przeglądarce adres domena.pl/robots.txt, albo używając testera w Google Search Console.

Najprostszy test zajmuje 5 sekund. Otwórz przeglądarkę i wpisz adres swojej domeny z dopiskiem /robots.txt, na przykład domena.pl/robots.txt. Jeśli plik istnieje, zobaczysz jego zawartość jako zwykły tekst.

Chcesz sprawdzić, czy konkretna reguła działa tak, jak zamierzałeś? Skorzystaj z narzędzia do sprawdzania pliku robots.txt dostępnego w ustawieniach Google Search Console. Wklej tam adres podstrony, którą chcesz przetestować, a narzędzie od razu pokaże, czy dany robot ma do niej dostęp, czy nie.

Warto zaglądać tam po każdej większej zmianie na stronie, zwłaszcza jeśli przenosiłeś podstrony albo zmieniałeś strukturę adresów URL. Błędnie zablokowany fragment witryny bywa trudny do zauważenia, bo strona dalej działa poprawnie dla odwiedzających, tylko znika z radaru wyszukiwarki.

Najczęstsze błędy w robots.txt i sitemap.xml

Najczęstszy błąd to zablokowanie całej strony wpisem Disallow: / albo dodanie do sitemapy adresów oznaczonych jako noindex.

Nawet doświadczeni właściciele stron popełniają te same błędy. Oto, na co zwrócić szczególną uwagę.

Błędy w robots.txt:

• Zablokowanie całej witryny regułą Disallow: / po zakończeniu prac nad stroną. Skutek: strona znika z wyników wyszukiwania Google.

• Blokowanie plików CSS i JavaScript, których Google potrzebuje, by poprawnie wyrenderować i ocenić stronę. Skutek: Google widzi stronę jako niekompletną.

• Literówki w adresach ścieżek, na przykład Disallow: /Panel zamiast /panel. Skutek: reguła nie działa, bo wielkość liter ma znaczenie.

• Brak pliku robots.txt, przy jednoczesnym przekonaniu, że coś jest zablokowane. Skutek: fałszywe poczucie bezpieczeństwa.

Błędy w sitemap.xml:

• Umieszczanie w sitemapie adresów, które jednocześnie mają tag noindex. Skutek: sprzeczny sygnał dla Google, który obniża zaufanie do całej mapy.

• Zgłaszanie starej sitemapy po zmianie struktury strony. Skutek: Google trafia na nieistniejące adresy, tak zwane błędy 404.

• Zapomnienie o zgłoszeniu nowej mapy po dużej przebudowie witryny. Skutek: nowe podstrony czekają dłużej na odkrycie.

Jeśli w Google Search Console widzisz komunikat „Zablokowana przez plik robots.txt”, to znak, że któraś z Twoich reguł Disallow obejmuje stronę, która powinna być widoczna w wyszukiwarce. Sprawdź plik robots.txt, znajdź regułę odpowiedzialną za blokadę i usuń ją albo zawęź do właściwego adresu.

Robots.txt, sitemap i crawl budget: co musisz wiedzieć

Crawl budget to limit stron, jaki Google skanuje na Twojej witrynie w danym czasie, dla małej strony firmowej praktycznie nie ma znaczenia.

Crawl budget to termin, który często pojawia się przy okazji robots.txt i sitemap.xml, więc warto go wyjaśnić. Oznacza limit stron, jaki robot Google jest w stanie, i chce, skanować na Twojej witrynie w określonym czasie.

Zanim się zmartwisz, mamy dobrą wiadomość. Crawl budget zaczyna mieć praktyczne znaczenie dopiero przy witrynach liczących dziesiątki tysięcy podstron, czyli głównie dużych sklepach internetowych i portalach. Jeśli prowadzisz stronę firmową, bloga czy portfolio, Google bez problemu skanuje wszystkie Twoje podstrony przy każdej wizycie.

Dobrze skonfigurowany robots.txt i aktualna sitemapa i tak pomagają, bo kierują roboty tam, gdzie warto, zamiast marnować ich uwagę na strony bez znaczenia, na przykład panele logowania, strony testowe czy duplikaty. To dobra praktyka niezależnie od wielkości witryny, tylko nie musisz się nią stresować na starcie.

w wynikach wyszukiwania

Sprawdź swoje miejsce

FAQ

Czy strona bez pliku robots.txt jest gorzej indeksowana?

Nie. Brak pliku robots.txt oznacza po prostu, że nie masz żadnych ograniczeń, więc roboty mogą skanować całą stronę. Nie wpływa to negatywnie na indeksowanie, choć w praktyce warto mieć plik z podstawową regułą i wpisem Sitemap.

Czy sitemap.xml jest obowiązkowa?

Nie jest to wymóg formalny, ale mocno zalecana praktyka. Sitemapa ułatwia i przyspiesza odkrywanie Twoich podstron przez Google, zwłaszcza tych nowych. W WebWave i tak generuje się automatycznie, więc nie musisz podejmować żadnej decyzji.

Co się stanie, jeśli zablokuję całą stronę w robots.txt?

Google przestanie skanować Twoją witrynę, a z czasem strony zaczną znikać z wyników wyszukiwania. To jeden z poważniejszych błędów technicznych SEO, dlatego zawsze sprawdzaj plik robots.txt po publikacji strony.

Czym są sitemapy obrazów i wideo?

To rozszerzone wersje standardowej sitemapy, które dodatkowo informują Google o zdjęciach i filmach na Twojej stronie. Mają znaczenie głównie dla sklepów internetowych i stron z dużą liczbą multimediów, dla typowej strony firmowej standardowa sitemapa w zupełności wystarczy.

Co to jest IndexNow?

To protokół, który pozwala od razu informować wyszukiwarki, na razie głównie Bing, o nowych lub zmienionych stronach, zamiast czekać, aż same je znajdą. To temat dla bardziej zaawansowanych użytkowników, na start wystarczy Ci dobrze skonfigurowana sitemapa.

Jak często aktualizować sitemapę?

Nie musisz robić tego ręcznie. W WebWave sitemapa aktualizuje się automatycznie po każdej publikacji strony, więc zawsze pokazuje aktualną strukturę witryny.

Robots.txt i sitemap.xml to techniczny fundament SEO, ale sama konfiguracja plików to dopiero początek drogi. Jeśli chcesz iść dalej i zadbać o treść, która realnie przyciąga ruch, zajrzyj do naszego poradnika Jak pisać teksty SEO?.

Popularne artykuły. 

Pokaż swój biznes światu, zrób swoją stronę z WebWave

Ta strona została stworzona w kreatorze WebWave.

Znajdziesz nas na:

Kreator stron www WebWave umożliwia tworzenie stron www z pełną swobodą. Strony internetowe możesz tworzyć z pomocą AI, zaczynając od czystej karty lub wykorzystując szablony www. Strona www bez kodowania? W WebWave to możliwe. Zacznij już teraz.

contact@webwavecms.com

Telefon: (22) 888 54 88

Napisz do nas na czacie
Jesteśmy dostępni 24/7

Wiedza.

Blog

Baza Wiedzy

Webinary wideo

Oferta.

Cennik

Domeny

Zamów stronę

Firma.

Polityka prywatności

Umowa o przetwarzaniu 
danych osobowych

Regulaminy

Kontakt

Plan połączenia firmy

Kreator WebWave.

Zrobione w WebWave

Szablony

Integracje i dodatki

Projektowanie

SEO i blog

Domena i hosting

Sklep internetowy

WebWave AI