EN
Gastbeitrag von Ludwig Reithmaier.
Die SEO Basics sind wohl den Allermeisten hier klar. Backlinks und Keywords.
Für alle, die die Basics schon draufhaben, haben wir jetzt einen Trick, von dem man erstaunlich selten hört. Dabei kann man die Seite damit perfekt für Google optimieren. Was wir heute machen ist sogar ein bisschen fies: Wir geben den Bots mehr Arbeit.
Für alle, die von Google Bots noch nie etwas gehört haben: Unsere Lieblingssuchmaschine hat verschiedene Bots, die alle Seiten – auch unsere – auf ihre Inhalte scannen. So erkennt Google zum Beispiel die passenden Keywords.
Auf jeder Website kann man eine Datei erstellen, die den Bots erklärt, wie sie vorgehen sollen. Das ist wie wenn man an einen neuen Ort fährt und sich erstmal anguckt, was es sich dort lohnt, anzugucken. Diese nennt sich Robots.txt.
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Zuerst aber zur Optimierung der Sitemap:
Stellen wir uns einfach mal vor, wir haben eine Website mit viel Content, Bildern und allem Anderen, was man so braucht. Jetzt kommt der Google Bot und fängt an, sich alles zu merken, was auf der Website ist, damit er das seinem Meister, der großen Suchmaschine, erzählen kann, wenn er heimkommt. Aber wie jeder gute Arbeiter kann sich auch der Bot seine Arbeit einteilen und weiß, dass er auch noch weiter muss. Nachdem er sich auf unserer Seite ein bisschen Text und ein paar Bilder eingeprägt hat, zieht er weiter zur nächsten Website.
Für uns heißt das, dass bei Google nicht alles, was wir auf unserer Website haben, auch ankommt. Blöd. Dann können wir auf einige Longtail gar nicht ranken.
Für den technischen Leser: Die Google Bots haben ein bestimmtes Crawling-Kontingent. Dadurch crawlen sie nur begrenzt viele Inhalte der Website und Andere fließen nicht ins Ranking ein.
Mit der Optimierung der Sitemap lässt sich das Ranking auf einige Wege positiv beeinflussen. So kann man zum Beispiel 404 Fehler vermeiden und Seiten vor den Bots verstecken, auf denen nichts Relevantes ist. Dazu zählen zum Beispiel Links, die nur zu einem Bild führen.
Wir wollen den Bots also mehr Arbeit aufbrummen, indem sie wirklich nur da arbeiten, wo auch Content ist. Und Google freut sich auch nicht besonders, wenn Links „kaputt“ sind, also zu einem 404er (Seite nicht gefunden) führen. Die Suchmaschine will nur hochwertige Seiten, die dem Nutzer gefallen. Und wer mag schon eine Seite, die oft einfach nur „Seite nicht gefunden“ anzeigt?
Wenn man zum Beispiel eine Unterseite umbenennt, werden Links, die auf die Seite führen, „zerstört“. Die entsprechende URL kann man dann vor den Bots verstecken und eine Weiterleitung auf eine richtige Seite einrichten.
Eine wirklich „leere“ Seite, die der Besucher eh niemals benutzt, muss vom Bot überhaupt nicht gecrawlt werden. Diese sperren wir also auch aus.
Also, wie funktioniert das?
Bei WordPress hat ja sicherlich jeder Leser dieses Blogs SEO by Yoast oder ein ähnliches Plugin installiert.
Hier gehen wir jetzt unter XML-Sitemaps auf „Artikeltypen“. Wenn diese noch nicht aktiviert ist, sollte das sofort getan werden. Hier können wir jetzt schon mal einstellen, was von den Bots gecrawlt werden soll.
Seiten, mit denen wir unser Kontingent nicht verschwenden wollen, sind hier „Medien“ und „Shops“. Bei diesen sollte „Nicht in der Sitemap“ hervorgehoben sein.
Unter „Taxonomien“, sollte ebenfalls keine Kategorie in der Sitemap sein (sofern diese keine eigenen Inhalte haben)
So bekommen die Bots die ganzen nutzlosen und irrelevanten Unterseiten gar nicht mit und teilen auch Google nicht mit, dass diese Links existieren.
Zum Beispiel kreiert WordPress Unterseiten, auf denen nur ein Bild vorhanden ist. Diese können wir einfach auf das tatsächliche Bild weiterleiten. Dafür stellen wir bei Yoast unter „Fortgeschritten“ die zweite Option auf „Weiterleiten“.
Eine weitere Möglichkeit ist, bei Yoast unter Sitemap auf „Ausgeschlossene Beiträge“ zu klicken und die IDs der entsprechenden Beiträge mit einem Komma getrennt einzutragen. Die finden wir, indem wir den Beitrag bearbeiten und oben in der URL, die in unserem Browser angezeigt wird, nachschauen.
Die Robots.txt
Kommen wir zur Robots.txt. Hier verstecken sich die Anweisungen für die Google Bots.
Hierfür gehen wir erstmal bei Yoast auf „Werkzeuge“ und klicken dann auf Datei-Editor. Jetzt sehen wir die Robots.txt (sofern der Server keine Schreibrechte hat, alternativ über auf den FTP connecten und die robots.txt im Rootverzeichnis bearbeiten bzw. selbst erstellen).
Wie man sieht, steht da vor verschiedenen URL-Fragmenten immer „disallow“ oder „allow“. Das sagt den Bots, ob sie die Informationen dieser Seiten crawlen sollten (allow) oder eben nicht (disallow).
Wir wollen uns natürlich möglichst übersichtlich darstellen, wie das Ganze funktioniert. Mit einer Raute (#) kennzeichnen wir dies für die Bots. Jetzt können wir ganz einfach die entsprechenden Kategorien dahinter schreiben und den ganzen Prozess so für uns einfacher machen. Auch zukünftige Bearbeitungen werden so einfacher.
Nun schreiben wir disallow: und die Kategorie, mit der wir kein Kontingent verschwenden wollen. Zum Beispiel schreiben wir dafür /hersteller/*. Die / sind dabei wichtig, damit der Bot erkennt, worum es sich handelt. Mit dem * erkennt der Bot, dass alle URLs, die hinter /hersteller/ kommen, ebenfalls nicht gecrawlt werden sollen.
Was gecrawlt werden soll, kennzeichnen wir mit einem allow:. Danach handeln wir genauso wie bei den verbotenen Seiten.
Ein anderer Befehl ist noindex. Mit noindex: wird die Seite von Google komplett ignoriert, sodass sie nicht mal in den Suchergebnissen auftaucht. Das macht zum Beispiel beim Impressum Sinn, wenn man Spam-Mails verhindern möchte.
Die Robots.txt müssen wir dann noch aktualisieren, sodass die Bots nicht die alte Version crawlen.
Und, hat’s funktioniert?
Um zu gucken, ob das auch alles funktioniert hat, können wir in die Google Search Console gucken. Unter „Crawling“ finden wir „Crawling-Fehler“.
Wenn wir unsere Robots.txt und Sitemap optimiert haben, werden wir nach ein paar Tagen sehen, wie die Crawlingfehler weniger werden. Um zu schauen, was wir noch reparieren müssen, können wir gucken, was noch gefixt werden muss. Google zeigt uns da an, welche Links das sind.
Diese Links verstecken wir also einfach vor den Bots und leiten sie auf „richtige“ Seiten weiter oder lassen sie einfach aus dem Kontingent heraus, ohne weiterzuleiten.
Unter den Crawling-Fehlern in der linken Spalte steht auch „Robots.txt Tester“. Um die Datei auch bei Google zu aktualisieren klicken wir unten auf „senden“ und dann auf „Google um Aktualisierung bitten“
Hier wird nun alles auftauchen, was wir hinzugefügt haben.
Wenn wir testen wollen, ob eine Seite gecrawlt wird oder nicht, geben wir die entsprechende URL unten ein und klicken auf „testen“. Der Tester zeigt uns dann, ob die Unterseite gecrawlt wird oder nicht.
Über den Autor
Wir bei Mutric.com ermöglichen dir die Erfüllung deiner Wünsche. Starte mit unserem Projektstartguide oder direkt mit unseren exklusiven limitierten Nischenseitenideen dein Unternehmen und erreiche damit finanzielle Freiheit ohne Umwege.
Keine Kommentare vorhanden