7 nieoczywistych zastosowań Screaming Froga

Screaming Frog SEO Spider to zaawansowany crawler stron internetowych wykorzystywany przez zdecydowaną większość specjalistów seo. Charakteryzuje się bardzo szerokimi możliwościami i elastycznością w zastosowaniu, a przy tym jest stosunkowo tani. Dzięki niemu przeanalizujemy najważniejsze czynniki on-site i dowiemy się o mocnych i słabych stronach witryny. Zakładam, że znacie podstawowe możliwości programu, dlatego dziś chciałbym skupić się na kilku nietypowych rozwiązaniach i rzadziej używanych opcjach. Mam nadzieję, że chociaż niektóre z nich będą dla Was nowością.

Identyfikowanie podstron z dużą ilością linków wychodzących

Screaming Frog pozwala nam sprawdzić ilość linków wychodzących z danej podstrony. Ich ilość sprawdzisz w zakładce “Internal”, segregując kolumnę “Outlinks” od największych do najmniejszych. Pamiętaj, że program liczy wszystkie linki. Linkowanie wewnętrzne, zewnętrzne, nofollow, jak i dofollow. Możemy je podejrzeć (skąd, dokąd oraz anchor link) w dolnej sekcji programu, w zakładce “Outlinks”, po wcześniejszym kliknięciu na url podstrony, która nas interesuje.

Oczywiście to tylko sugestia, która daje ogólny pogląd na sprawę. Warto przeprowadzić głębszą analizę, jeśli podstrona zawiera zdecydowanie więcej linków, niż byśmy się spodziewali. Trzeba przy tym pamiętać, że moc podstrony dzieli się na wszystkie linki wychodzące, więc w niektórych przypadkach opłaca się ograniczyć ich ilość. Daje to pewność, że link juice trafia tam, gdzie chcemy.

Wyszukiwanie pustych kategorii w sklepie

Niektóre z CMSów dla e-commerce nie mają wbudowanej funkcjonalności pokazującej puste kategorie. Bardzo często są to podstrony bez żadnej wartości, które mogą zostać usunięte lub wyindeksowane. W ich lokalizacji pomoże nam niezastąpiony Screaming Frog — a jakże. Niestety jest jeden wymagany warunek, żeby ta technika zadziałała. Kategoria bez produktów musi zawierać unikalny element (footprint), który pojawia się tylko w momencie braku produktów. Przykładem może być tekst, np. “chwilowo nie posiadamy produktów w tej kategorii” lub unikalne ID elementu w kodzie html. To już “zależy” od konkretnego przypadku. My skupimy się na informacji o braku produktów.

Jak znaleźć kategorie bez produktów?

1. Lokalizujemy pustą kategorię w strukturze sklepu i kopiujemy informację tekstową o braku produktów.

2. Przechodzimy do opcji Configuration > Custom > Search w menu i dodajemy nowy warunek z naszym tekstem.

3. Odpalamy crawl

4. Po ukończonym crawlowaniu, kategorie bez produktów znajdziemy w zakładce “Custom Search” w głównym oknie programu. Oznaczone będą cyfrą “1”. Najlepiej wyeksportować je do excela i przeprowadzić dalszą analizę.

Odnajdywanie podstron / kategorii bez opisu

W pozycjonowaniu sklepów internetowych ważną rolę odgrywają m.in. opisy kategorii. W trakcie tworzenia audytu SEO problematyczna może być lokalizacja podstron, które nie posiadają żadnego opisu. Ten proces można zautomatyzować dzięki funkcji “Custom Extraction” oraz wykorzystaniu XPath.
Najlepiej, jeżeli blok z opisem seo zawiera unikalne ID lub unikalną klasę w CSS. Wtedy wystarczy odpowiednio zmodyfikować poniższy kod. Pierwszy wpis wyciągnie nam zawartość opisu (jeśli istnieje) w HTML, za to drugi jest funkcją, która ma za zadanie policzyć czy opis znajduje się na stronie (1=prawda, 0=fałsz).

Po przecrawlowaniu witryny przechodzimy do zakładki Custom Extraction w głownym oknie programu i eksportujemy jej zawartość do Excela. Wszystkie kategorie, w których należy uzupełnić opisy, będą miały wartość “0” w kolumnie “Czy jest opis”.

Oczywiście działanie ekstrakcji w Screaming Frogu jest w pewnym sensie uzależnione od rodzaju CMS-a i samej struktury strony. W niektórych przypadkach będzie wymagało mniejszej lub większej modyfikacji, jednak zasada działania pozostaje ta sama.

Dobrą pomocą w budowaniu ścieżki XPath jest cheatsheet: https://devhints.io/xpath
Elementy można „łapać” także przez ścieżkę CSSpath, która działa identycznie jak składnia selektorów w CSS.

Analiza stron osieroconych — orphan pages

Strony osierocone to takie, do których nie prowadzi żaden link wewnętrzny w obrębie serwisu, co jest niekorzystnym zjawiskiem z punktu widzenia SEO. Możemy je zlokalizować na kilka sposobów. Jednym z nich jest wykorzystanie Screaming Froga wraz z odpowiednimi API.

1. Podpinamy API Google Analytics

Pamiętajmy o zaznaczeniu segmentu “Organic Traffic” w zakładce User Account oraz opcji “Crawl new URLs divscovered in Google Analytics” w zakładce General.

2. Podpinamy API Google Search Console

Pamiętajmy o zaznaczeniu opcji “Crawl new URLs discovered in Google Search Console”.

3. Przeprowadzamy crawl witryny

4. Upewniamy się, że analiza crawla jest skonfigurowana poprawnie (zgodnie z poniższym zrzutem). 

5. Przechodzimy do głównego menu i uruchamiamy analizę crawla (Crawl Analysis > Start)

6. Wszystkie strony osierocone (jeśli SF je wykryje) powinniśmy znaleźć w zakładce Sitemaps w filtrze “Orphan URLs”

Łańcuchy przekierowań — redirect chains

Kolejną rzeczą, której powinniśmy unikać, są łańcuchy przekierowań 301. Występują, gdy link przekierowuje co najmniej dwa razy A > B > C. Z łańcucha należy usunąć wszystkie pośrednie przekierowania, tak aby link kierował od razu z podstrony A, na podstronę C oraz oddzielne przekierowanie z B na C, jeśli zależy nam na stronie pośredniej.
Spis adresów URL, które są łańcuchami przekierowań, możemy pobrać w menu Reports > Redirect > Redirect Chains i zaimportować je do Excela. 

Przed tym należy pamiętać o zaznaczeniu opcji “Always Follow Redirects” w konfiguracji spidera (screen poniżej).

Tworzenie sitemapy

Jedna z funkcji, której osobiście rzadko używam (a jest przydatna) to tworzenie mapy strony. Czasem zdarzy się, że nie mamy możliwości wygenerowania jej z poziomu serwera i trzeba zrobić ją ręcznie. Jedna z funkcji “żaby” zautomatyzuje nam ten proces i stworzy mapę linków w formacie XML, gotową do przesłania na serwer.

Kilka prostych kroków:

1. Crawlujemy witrynę.
2. Czyścimy crawl ze zbędnych adresów URL, których nie chcemy umieścić w sitemapie. Wystarczy zaznaczyć niepotrzebne adresy URL i usunąć je z listy. Nie musimy usuwać stron z parametrami, ponieważ SF zrobi to za nas.
3. Przechodzimy do menu Sitemaps > XML Sitemap.
4. W zakładce “Pages” wybieramy rodzaj podstron, które mają się znaleźć w sitemapie. Ja umieszczam w niej tylko podstrony zwracające kod 200. Do obrazów i PDF-ów tworzę oddzielną sitemapę.
5. Pozostałe zakładki zawierają opcje, które nie są szczególnie ważne (m.in. datę ostatniej modyfikacji, priorytety), dlatego można je wszystkie odznaczyć.
6. Klikamy “Next” i pobieramy sitemapę. 
7. Pamiętajmy o przesłaniu pliku na serwer oraz dodaniu ścieżki do mapy w GSC. 🙂

Hurtowa weryfikacja danych strukturalnych

Programiści Screaming Froga co jakiś czas wprowadzają nowe funkcjonalności rozszerzające możliwości aplikacji. Jedną z nich (od wersji 11.0) jest hurtowa weryfikacja danych strukturalnych. Dzięki niej zaoszczędzimy sporo czasu i oszczędzimy sobie żmudnej analizy każdego typu podstrony. Żaba obsługuje dane strukturalne w wersjach JSON-LD, RDF oraz Microdata. Pozwoli także przejść walidację poprawności zgodnie ze standardami Google oraz Schema.org w sposób całkowicie zautomatyzowany bez użycia API.

Jak sprawdzić poprawność danych strukturalnych?

1. Włączamy sprawdzanie danych strukturalnych w menu “Configuration > Spider > Extraction”tak, jak na screenie poniżej.

2. Odpalamy crawl strony.

3. Przechodzimy do zakładki “Structured Data”, która pokazuje wszystkie adresy URL z wykrytymi danymi strukturalnymi i analizujemy występujące błędy lub ostrzeżenia.

4. Możemy także przefiltrować widoczne dane lub wyeksportować je do Excela do dalszej analizy.

Poprawę ewentualnych błędów najlepiej zacząć od tych, które występują na największej liczbie podstron i można je poprawić za jednym razem w całej witrynie. 

Mam nadzieję, że ukazane techniki okazały się przydatne i tym samym przekonały Was o wszechstronności Screaming Froga. Wiele z nich można (a nawet trzeba) modyfikować pod swoje potrzeby. Sama funkcja “Custom Extraction” jest bardzo rozbudowana i bardzo często przyspiesza pracę, w szczególności przy dużych serwisach. Liczę, że artykuł zachęci Was do samodzielnych testów. Podzielcie się w komentarzu, do czego Wy wykorzystujecie popularną “żabę”!

Zespół Netim

Naszą redakcję tworzą eksperci marketingu internetowego: specjaliści SEO, SEM/PPC, social media i copywriterzy. Chętnie dzielimy się wiedzą – jeśli masz do nas pytania, zostaw je w komentarzu. Z przyjemnością na nie odpowiemy 🙂