Screaming Frog na sterydach – jak połączyć go z ChatGPT?

Rozwiązania AI szturmem wkraczają do różnych aspektów naszego życia, dlatego musimy nauczyć się je wykorzystywać do usprawniania naszej pracy. Jedną z ciekawszych dla SEO-wców opcją jest połączenie z modelami językowymi Screaming Froga, który dostarcza nam do tego gotowe rozwiązania. Nic tylko brać i … automatyzować? 

Czemu warto się tym zainteresować? 

Praca w SEO jest często monotonna i powtarzalna. Mamy pewne rutyny, które muszą zostać na stronie wykonane i poświęcamy na to sporo czasu. Rozwój modeli językowych w ostatnich latach zdecydowanie uprościł nam niektóre zadania takie jak tworzenie podstawowych treści copy – haseł, CTA czy meta title. Ale co gdyby wznieść to na wyższy poziom? 

Screaming Frog to narzędzie do crawlowania zawartości strony. Dzięki niemu nie musimy ręcznie “klikać” po całym serwisie w celu analizy tego co się tam znajduje. Wszystko otrzymujemy z poziomu jednego panelu. Popularna “żaba” podaje tam listę adresów wraz z podstawowymi znacznikami występującymi w kodzie, takimi jak nagłówki, meta tagi, adresy kanoniczne itd. Dalsza analiza leży już jednak po stronie specjalisty SEO, który musi tę zawartość sprawdzić, uzupełnić braki itd. I tu z odsieczą przychodzi nam Custom JavaScript, czyli wywoływanie napisanego przez nas kodu dla scrawlowanych stron. Skrypt ten – przy pomocy ChatGPT bądź innego modelu językowego zdecydowanie rozszerzy możliwości narzędzia.

Do czego możemy to wykorzystać?

Twórcy Screaming Froga domyślnie wbudowali 6 podstawowych kodów, z których możemy korzystać – wystarczy podanie naszego klucza API. Dzięki nim możemy: 

• Wyekstraktować embeddingi z treści strony.
• Wygenerować opisy alt dla zdjęć wykrytych w crawlu.
• Wygenerować opisy alt dla zdjęć znajdujących się na stronie.
• Ocenić intencję strony.
• Określić wersję językową strony.
• Określić sentyment treści znajdujących się na stronie.

Ale to oczywiście jedynie przykłady, bo możliwości jakie daje nam wywołanie własnego kodu JavaScript są ogromne i ogranicza nas tu własna wyobraźnia. Dzięki niemu możemy na przykład: 

• Przygotować meta tagi title oraz description dla całego serwisu.
• Oceniać jakość obecnych meta tagów.
• Wskazywać potencjalne duplikaty na stronie. 
• Diagnozować strony thin content i proponować możliwości rozbudowy. 
• Generować brakujące nagłówki. 

I tak dalej 🙂

Jak połączyć Screaming Frog z ChatGPT?

Krok 1 – Włączenie renderowania przez JavaScript

Uruchamiamy Screaming Frog i przed wykonaniem crawla (później opcja ta będzie zablokowana) musimy zmienić sposób renderowania adresów na JavaScript. W tym celu klikamy Configuration > Spider > Rendering.

Otworzy nam się okno z konfiguracją sposobu renderowania. Z listy wybieramy JavaScript. 

Krok 2 – Dodanie kodu JavaScript

Następnie musimy skonfigurować kod JavaScript, aby ten poprzez połączenie API łączył się z ChatGPT. W tym celu z menu po lewej stronie rozwijamy pozycję Custom i przechodzimy do Custom JavaScript.

Screaming Frog posiada bibliotekę wbudowanych już rozwiązań, z których najlepiej jest skorzystać w początkowej konfiguracji. Dostarczy nam ona koniecznego kodu do połączenia z API OpenAI. W tym celu klikamy w przycisk w prawym dolnym rogu “Add from Library”. 

Biblioteka dzieli się na dwie zakładki: System oraz User. W tej pierwszej znajdziemy skrypty dodane przez twórców. W drugiej natomiast możemy zapisywać nasze własne, aby nie trzeba było ich każdorazowo tworzyć od zera. 

Jak możesz zauważyć, dostępne są tu rozwiązania zarówno dla ChatGPT jak i innych modeli takich jak Gemini czy Ollama.

Wybieramy z listy rozwiązanie, które nas interesuje. Jeżeli chcemy stworzyć własny prompt to wybieramy (ChatGPT) Template i zatwierdzamy. 

Krok 3 – Edycja skryptu

Nasz kod JavaScript został dodany. Teraz musimy go edytować, aby mógł nawiązać połączenie z ChatGPT i wykonywać określone przez nas zadanie. Spokojnie jednak zrobimy to bez znajomości programowania w JavaScript.

W tym celu klikamy w edycję kodu JS widoczną na screenie poniżej:

W edytorze możemy zobaczyć kod, który odpowiada za cały skrypt. Z racji tego, że wybraliśmy pusty szablon, to dopiero naszą rolą jest określenie jego zadania. Interesują nas przede wszystkim dwie pozycje: 

• const OPENAI_API_KEY – tu w cudzysłowie podajemy nasz klucz API. Możemy go wygenerować na stronie https://platform.openai.com/. 
• const question – czyli prompt, który ma być przekazany do ChatGPT. 

Poniżej (w 27 wierszu) znajduje się jeszcze określenie, jaka treść ma być przekazana do modelu językowego. Domyślnie jest to tekst znajdujący się w znaczniku body strony, ale jeżeli chcemy to możemy to zmienić i wskazać np. nagłówek H1 czy obecny meta title. Listę zmiennych do wykorzystania znajdziesz na https://www.screamingfrog.co.uk/seo-spider/tutorials/how-to-crawl-with-chatgpt/.

Na potrzeby artykułu stworzymy prosty skrypt do tworzenia meta tagów title oraz description. 

Po uzupełnieniu klucza API, w wierszu const question wpisałem prosty prompt o treści „Przygotuj meta tag title dla analizowanego adresu URL, który będzie spełniał wszystkie wymogi Google i będzie zoptymalizowany pod SEO. Jego długość nie może przekraczać 70 znaków”. Oczywiście nie jest on idealny, dlatego zachęcam do stosowania bardziej rozbudowanych wytycznych. 

Nieco niżej możemy jeszcze zmienić temperaturę oraz model, który będzie dane zadanie wykonywał.

Domyślnie mamy ustawiony model GPT 4o i temperaturę 0.7. Na potrzeby tego zadania zmieniłem model na GPT 4o mini, który jest bardziej efektywny kosztowo. Pamiętajcie jednak, że w zależności od zadań czy nawet serwisu, nad którym pracujecie wartości te mogą nie być optymalne. Każdy model ma swoje wady i zalety, tak samo temperatura – niższa może się lepiej sprawdzić w przypadku bardzo powtarzalnych zadań, ale być może nie tego oczekujecie. Najlepiej przed puszczeniem crawla przetestować to na małej próbce. 

Krok 4 – Testowanie promptu

I tu pomoże nam Screaming Frog, który ma wbudowaną funkcję testera. Po prawej stronie edytora kodu znajduje się moduł JavaScript Tester. Podajemy tam w polu na dole adres URL, dla którego ma zostać wykonany skrypt i klikamy Test. Po chwili otrzymujemy pogląd jak nasz prompt zadziałał dla wskazanego adresu URL.

Ja na przykład widzę, że muszę wprowadzić w moim prompcie zmianę, aby w odpowiedzi podawał jedynie propozycje meta tagu title. Po udoskonaleniu prompta klikamy OK.

Analogicznie dodaję drugi kod, który będzie tworzył meta description i zmieniam ich nazwy.

I gotowe, możemy przejść do wykonania crawla. 

Krok 5 – Weryfikacja wyników

Uruchamiamy crawl w dowolnym trybie i czekamy na zebranie wyników. Może to chwilę potrwać ze względu na wykonywane połączenie po API. 

Następnie przechodzimy do zakładki Custom JavaScript. Znajdziemy tam listę scrawlowanych adresów i wykonanych dla nich kodów JavaScript – w naszym przypadku wykonanych przez ChatGPT meta tagów title i description.

Musicie przyznać, że to całkiem proste. Właśnie bez znajomości programowania stworzyliśmy automatyzację, która przygotuje za nas meta tagi dla całego serwisu. Co dalej? To już kwestia Waszej kreatywności 🙂