Was sind eine robots.txt und eine sitemap.xml?

Robots.txt und Sitemap

Was sind eine robots.txt und eine sitemap.xml?

robots.txt

Die robots.txt  (Robots Exclusion Protocol) ist eine Textdatei, die Google mitteilt, auf welche Teile einer Webseite der Crawler zugreifen darf um diese auf Google zu indexieren. Gewöhnlich werden Crawler  alle Seiten Ihrer Website aufspüren und indizieren. Sie können dies jedoch anhand von Anweisungen ändern, die Sie diesen Crawlern in der so genannten robots.txt-Datei Ihrer Website geben. So verhindern sie, dass zum Beispiel gleiche Inhalte von Google indiziert werden. Achten Sie bei der Erstellung der Datei darauf, dass sie einen Editor wie z.B. Notepad++ verwenden. Die robots.txt ist keine .html Datei.

Es gibt auch zahlreiche robots.txt Generatoren im Netz, die zur Erstellung der Datei genutzt werden können. Hier ein Beispiel: https://seo-ranking-tools.de/seo-tools/robots-txt-generator/

Um zu prüfen ob sich im Hauptverzeichnis einer Domain eine robots.txt Datei befindet, gibt man folgende Adresse in den Browser ein: https://www.meinedomain.de/robots.txt Meine Domain muss natürlich mit dem aktuellen Domainnamen ersetzt werden. Ist eine robots.txt vorhanden, kann sie wie folgt aussehen:

robots

Hier wird einem Crawler mitgeteilt, dass ganz gleich welcher Crawler (User-agent: *) ihre Webseite besucht, er Zugriff auf die komplette Website hat, bis auf die Verzeichnisse „/wp-admin/“ und „/wp-includes/“.

Sitemaps Erstellen Sie eine HTML-Sitemap.

Eine HTML-Sitemap ist eine Möglichkeit, Ihre Website für Benutzer einfach zu organisieren – nicht zu verwechseln mit einer XML-Sitemap, die nachfolgend behandeln werde.  In diesem Fall besteht Ihr Ziel darin, eine umfassende Liste aller Seiten Ihrer Website zu erstellen, die logisch organisiert sind, sodass Benutzer sie verfolgen können – und den Links zu diesen bestimmten benannten Seiten folgen. Im Allgemeinen enthalten Webmaster einen Link zur HTML-Sitemap in der Fußzeile, wo Nutzer intuitiv darauf zugreifen.

Erstellen und laden Sie eine XML-Sitemap hoch.

Eine XML-Sitemap ist eine technischere Version der HTML-Sitemap, die mit Code markiert ist, damit Such-Crawler Ihre Daten verstehen können. Das Erstellen einer sitemap.xml ist einfacher als es scheint. Wenn Sie Ihre XML-Sitemap fertig gestellt haben, können Sie sie in die Google Search Console hochladen, um Google über das genaue Layout und die Struktur Ihrer Website zu informieren.  Google wird Ihre Website auch ohne diese Sitemap crawlen und indizieren. Eine vorab erstellte Sitemap  kann jedoch die Genauigkeit des Prozesses der Indizierung beschleunigen und erhöhen. Um festzustellen, ob Ihre Webseite eine XML- Sitemap beinhaltet, geben sie folgende Domain in Ihren Browser ein: https://meinedomain.de/sitemap.xml Auch hier ersetzen sie meine Domain mit der eigenen. Halten Sie Ihre Sitemaps aktualisiert.

Ihre Website wird Änderungen vornehmen, unabhängig davon, ob Sie derzeit wissen, was diese Änderungen sind oder nicht. Sie werden Seiten hinzufügen, Seiten entfernen und möglicherweise ganze Abschnitte Ihrer Website neu strukturieren. In diesem Fall vergessen Sie leicht, Ihre Sitemaps zu aktualisieren.  Erstellen Sie daher eine Erinnerung, um Ihre Sitemaps auf dem neuesten Stand zu halten. Wenn Sie dies vergessen, werden Ihre Rankings nicht beeinträchtigt – Google wird schließlich mit dem fertig werden, was Sie getan haben -, aber es ist ein weiterer Weg, Ihrer Web-Strategie zu helfen, reibungsloser ablaufen zu können. Für Content Management Systeme wie WordPress gibt es eine große Auswahl von Plug- Ins, die automatisch Sitemaps erzeugen und diese auf dem aktuellen Stand halten. Die XML Sitemap, kann auch mit in die robots.txt aufgenommen werden. Das hilft den Suchmaschinen, die Links auf Ihrer  Webseite schnell zu erfassen und ihnen zu folgen. Das sieht dann so aus:

sitemap

By |2018-10-01T06:12:06+00:00Oktober 1st, 2018|0 Comments
Diese Webseite verwendet Cookies, um Ihnen den bestmöglichen Service zu gewährleisten. Wenn Sie auf der Seite weitersurfen stimmen Sie der Cookie-Nutzung zu. Ich stimme zu