2.4 Die robots.txt und Suchmaschinenoptimierung

Besonderes bewegt, gezielt.

Ihren XING-Kontakten zeigen

Eine der wohl wichtigsten Dateien, wenn es um Suchmaschinen geht ist die robots.txt. Mit dieser Datei habe Sie die Möglichkeit die Suchmaschinen unter “Kontrolle” zu bringen.
Leider fällt mir immer wieder auf, dass viele Homepage – Ersteller die robots.txt gar nicht einsetzen,
dabei ist diese ein wichtiges Mittel bei der SEO -, Suchmaschinenoptimierung.

Auf dieser Seite möchte ich Ihnen eine kurze Einleitung geben, wie sie diese Datei richtig und sinnvoll einsetzen können.

Grundsätzlich gilt auch hier:

  • Genau überlegen, was Sie in die robots.txt einsetzen, damit Sie nicht ausversehen Ordner oder Dateien ausschließen, die von Suchmaschinen gefunden werden sollen.
  • Sie können nur einzelne Dateien oder Ordner vor dem Spidern der Suchmaschinen ausschließen.
  • Überlegen Sie sich gut, welche Verzeichnisse, Verzeichnisstrukturen oder Dateien Sie ausschließen, denn die Folgen können fatal sein.

Wo wird die robots.txt angelegt?

Die robots.txt muß immer klein geschrieben und im root- oder Wurzelverzeichnis Ihrer Domain abgelegt werden.

Liegt Ihre Startseite des Internetauftritts im Hauptverzeichnis des Webspaces, legen Sie die erstellte robots.txt direkt dort ab. Die erstellte Datei muss für Suchmaschinen über eine solche URI erreichbar sein.

http://www.meine-domain.de/robots.txt

Nur wenn die Datei so aufrufbar ist, kann diese von Suchmaschinen gefunden werden.

 



Tags: , , , , ,