Ein grüner Frosch mit roten Augen symbolisiert den Website Crawler Screaming Frog.

Screaming Frog Tutorial: Der Listenmodus

An einer Software zum Crawlen von Websites (“SEO-Spider) kommt kein seriöser SEO oder Website-Betreuer vorbei. Wir stellen heute den Listenmodus des bekanntesten Webcrawlers vor – dem “Screaming Frog”. In kürzester Zeit crawlt das Tool ganze Domains und fördert wertvolle Insights zu vielen wichtigen Aspekten der Suchmaschinenoptimierung zu Tage.

Was viele hingegen nicht wissen: der Screaming Frog kann noch viel mehr. Das crawlen von Websites ist nämlich nur einer von drei Modi, in denen Sie das Tool nutzen können. Der zweite Modus ist der Screaming Frog Listenmodus, den wir Ihnen hier vorstellen möchten. Er eignet sich zum Beispiel hervorragend, um eine große Anzahl von Links schnell auf bestimmte Metriken hin zu überprüfen.

Wie Sie den Listenmodus aktivieren und wie er funktioniert

Der Listenmodus ist schnell aktiviert. Sie wählen im Hauptmenü des Screaming Frog den Punkt “Mode” und dann im Dropdown-Menü die Option “List”.

Der Spider-Modus und der Listenmodus des Screaming Frog 12.6 von 2020 im Vergleich.

Auf den ersten Blick ändert sich dadurch erst einmal nicht viel, doch bei genauerem Hinsehen fällt auf, dass die Zeile zur Eingabe der Crawling-URL kein Eingabefeld mehr besitzt. Hier finden sich jetzt Optionen zum Upload von Listen.

Die vier Wege, um im Screaming Frog eine Liste hochzuladen:

  • Upload einer Datei
  • Manuelle Eingabe
  • Einfügen einer Liste aus der Zwischenablage
  • Download einer XML Sitemap (auch Index-Sitemaps können gecrawlt werden)

 

Die unterschiedlichen Möglichkeiten zum Upload von Crawling-Listen.

Es geht dabei nicht um irgendwelche Listen, sondern natürlich um Listen mit URLs. Sobald eine solche Liste in den Screaming Frog eingespeist wurde, scannt das Tool diese und gibt an, wie viele URLs darin gefunden wurden. Jetzt sollten Sie prüfen, ob diese Zahl Ihren Erwartungen entspricht. Denn wenn das nicht der Fall ist, dann ist beim Hochladen möglicherweise etwas schiefgegangen. Oder es befinden sich URLs mehrfach in der Liste.

Screaming Frog durchsucht zunächst die hochgeladene Liste nach URLs.

Wenn Sie nun mit einem Klick auf “OK” bestätigen, startet automatisch das Crawling. Im Prinzip arbeitet der Screaming Frog dabei genauso, wie im Spider-Modus. Nur dass diesmal nicht eine Domain den Ausgangspunkt darstellt, sondern eine vorgegebene Liste mit URLs. Internen Links, die beim Crawlen auf den Seiten gefunden werden, folgt Screaming Frog in diesem Fall nicht.

Experten-Tipp: Je nach Ziel und Zweck können in den Einstellungen weitere Einschränkungen vorgenommen werden um nur ganz bestimmte, Informationen im Listenmodus zu crawlen. Besonders nützlich ist das bei sehr großen Domains mit vielen URLs und anderen Nicht-HTML Dateien. Denn dadurch lässt sich der Crawling Aufwand und die dafür benötigte Zeit deutlich verringern.

Die Ergebnisse gleichen weitgehend denen im Spider-Modus.

Sie bekommen als Ergebnis eine Liste mit den gecrawlten URLs und eine quantitative Auswertung der üblichen Metriken und Kennzahlen. Im nächsten Abschnitt zeigen wir Ihnen, in welchen Anwendungsfällen der Listenmodus besonders hilfreich ist.

Wann sich der Listenmodus wirklich bezahlt macht

Falls Sie jetzt am Nutzwert des Listenmodus zweifeln, überzeugen wir Sie jetzt vom Gegenteil. Hier sind zwei Beispiele, in denen der Listenmodus des Screaming Frog bzw. eines vergleichbaren Website Crawlers extrem hilfreich ist.

Fall 1: Sie möchten eine große Anzahl von Weiterleitungen überprüfen

Sei es im Rahmen eines Relaunches oder bei der Optimierung des Backlink-Profils einer umfangreichen Website: Wenn Sie es mit großen Mengen von Links bzw. URLs zu tun bekommen, ist eine manuelle Prüfung keine Option mehr. Der Screaming Frog im Listenmodus hingegen braucht nur wenig Zeit, um Listen mit zehntausenden URLs zu crawlen.

► Und schon sehen Sie auf einen Blick alle HTTP Statuscodes und noch vieles mehr. Sie Wissen dann sofort, ob fehlerhafte Weiterleitungen (z.B. 403, 404) oder falsch eingerichtete Weiterleitungen (z.B. 301 statt 302) vorhanden sind.

Fall 2: Überprüfung einer XML Sitemap

Die Überprüfung einer XML Sitemap mit dem Listenmodus dient der Kontrolle aller Links, die in der Sitemap angegeben werden. Das kann Teil einer regelmäßigen Routine, einer Bestandsaufnahme oder auch einer konkreten Kontrolle nach einer größeren Änderung sein. Hier bietet es sich an, direkt die Option zum Download der XML Sitemap von der betreffenden Website zu nutzen, statt einen manuellen Upload vorzunehmen.

► Der Vorteil gegenüber dem Spider-Modus ist bei diesem Ansatz, dass der Screaming Frog nun nicht nur verlinkte Unterseiten aufspürt, sondern alle in der Sitemap angegebenen URLs aufruft. So werden auch URLs geprüft, die im Spider-Modus möglicherweise gar nicht entdeckt worden wären, weil keine entsprechenden Verlinkungen gecrawlt werden konnten.

Online Marketing mit der P&M Digitalagentur

Screaming Frog und etliche weitere Daten-Tools gehören im Online Marketing Team der P&M Digitalagentur zum alltäglichen Handwerkszeug. Denn wir stützen uns bei unserer Arbeit gerne auf konkrete Zahlen und Fakten, um zielsicher die richtigen Konzepte zu finden. Sollten Sie also weitere Fragen zum “Screaming Frog” oder anderen Online Marketing Themen haben, sind wir gerne bereit, Ihnen weiterzuhelfen. Selbstverständlich freuen wir uns auch über konkrete Ideen und Projekte, bei denen wir Ihnen behilflich sein können.

Bewerten Sie jetzt diesen Artikel

Es tut uns sehr leid, dass Ihnen der Artikel nicht Ihren Erwartungen entspricht.

Bitte geben Sie uns Anregungen, wie wir den Artikel verbessern können.



P&M Digitalagentur – Softwareentwicklung, Digital Consulting & Online Marketing

Datenschutz
P&M Agentur Software + Consulting GmbH, Besitzer: Phillip Schulte, Mathias Leonhardt (Firmensitz: Deutschland), würde gerne mit externen Diensten personenbezogene Daten verarbeiten. Dies ist für die Nutzung der Website nicht notwendig, ermöglicht aber eine noch engere Interaktion mit Ihnen. Falls gewünscht, treffen Sie bitte eine Auswahl:
Datenschutz
P&M Agentur Software + Consulting GmbH, Besitzer: Phillip Schulte, Mathias Leonhardt (Firmensitz: Deutschland), würde gerne mit externen Diensten personenbezogene Daten verarbeiten. Dies ist für die Nutzung der Website nicht notwendig, ermöglicht aber eine noch engere Interaktion mit Ihnen. Falls gewünscht, treffen Sie bitte eine Auswahl: