Twoja strona przegrywa z własnym PDF-em?
To frustrujące zjawisko.
Inwestujesz w design, UX i optymalizację Landing Page'a, a Google woli wyświetlić użytkownikom surowy plik PDF z cennikiem, który wgrałeś na serwer 2 lata temu.
Dlaczego tak się dzieje? Bo Google potrafi czytać treść plików tekstowych (PDF, DOCX, TXT) i jeśli uzna je za wartościowe – zaindeksuje je.
Rozwiązaniem jest odpowiednia konfiguracja pliku robots.
Jak zablokować pliki dokumentów?
Jeśli nie chcesz, aby Twoje regulaminy, instrukcje obsługi proboost.pl czy cenniki "hulały" po Google, użyj znaku dolara ($), oznaczającego koniec adresu URL.
Oto uniwersalna formuła:
User-agent: * Disallow: /*.pdf$ Disallow: /*.doc$ Disallow: /*.docx$
Dzięki temu zapisowi roboty Google zignorują każdy plik kończący się tym rozszerzeniem, niezależnie od tego, w jakim folderze się znajduje.
To najszybszy sposób na optymalizację pliku robots pod kątem czystości wyników wyszukiwania (SERP).
Drugi wróg: Kanały RSS (Feedy)
Jeśli korzystasz z WordPressa lub innego systemu blogowego, Twoja strona automatycznie generuje tzw. kanały RSS.
specyfikacja robots.txt
Znajdują się one pod adresami typu twojadomena.pl/feed/.
Dla Google jest to często zduplikowana treść (fragmenty Twoich artykułów). Skanowanie tych adresów marnuje Crawl Budget.
Dobrą praktyką jest zablokowanie dostępu do feedów:
User-agent: * Disallow: /feed/ Disallow: /*/feed/
Ważne ostrzeżenie (Dla zaawansowanych)
Musisz pamiętać o jednej rzeczy.
Zablokowanie pliku PDF w pliku robots.txt sprawia, że Google nie może przeczytać jego treści.
To oznacza również, że Google nie zobaczy linków, które umieściłeś wewnątrz tego PDF-a.
Jeśli więc Twoja strategia SEO opiera się na linkowaniu wewnętrznym z e-booków do produktów – blokada w robots.txt odetnie przepływ mocy (link juice). W takim przypadku lepiej zostawić plik otwarty, ale użyć nagłówka HTTP X-Robots-Tag: noindex (wymaga konfiguracji serwera).
Podsumowanie
Czysty indeks to skuteczny indeks.
Upewnij się, że w wynikach wyszukiwania użytkownicy znajdują to, co sprzedaje (strony HTML), a nie to, co służy tylko do druku (pliki PDF). Twój plik robots to strażnik tego porządku.
Twoja strona zniknęła z Google?
Pomożemy Ci skonfigurować stronę.
Gwarantujemy wzrost pozycji.