Ausschließen einer Web-Seite oder Website von Suchmaschinen Mit einem Roboter Textdatei
Sie können einen Roboter Textdatei verwenden, um eine Suchmaschine Spider Crawlen Ihrer Website oder einen Teil Ihrer Website zu blockieren. Zum Beispiel können Sie eine Entwicklerversion von Ihrer Website, wo Sie auf Änderungen und Ergänzungen arbeiten, um sie zu testen, bevor sie Teil Ihrer Live-Website werden. Sie wollen nicht, Suchmaschinen-Index dieser # 147-in-progress # 148- Kopie Ihrer Website, denn das würde eine Duplicate-Content Konflikt mit Ihrem aktuellen Web-Site. Sie würden auch nicht möchten, dass Benutzer Ihre in-progress-Seiten zu finden. So müssen Sie auf diese Seiten weitergeleitet, die Suchmaschinen zu sperren.
Das Roboter Text Datei des Jobs ist die Suchmaschinen Anweisungen, was zu geben, nicht innerhalb Ihrer Website Spinne. Dies ist eine einfache Textdatei, die Sie erstellen können, ein Programm wie Editor, und dann mit dem Dateinamen robots.txt speichern. Legen Sie die Datei im Stammverzeichnis Ihrer Website (wie zB Deine Domain.com / robots.txt), das ist, wo die Spinnen erwarten, es zu finden. In der Tat, wenn die Suchmaschinen auf Ihre Website kommen, das erste, was sie suchen, ist Ihre Roboter Textdatei. Aus diesem Grund sollten Sie immer haben einen Roboter Textdatei auf Ihrer Website, auch wenn es leer ist. Sie wollen nicht den ersten Eindruck von Ihrer Website "Spinnen eine zu sein 404 Fehler (Der Fehler, die aufkommt, wenn eine Datei nicht gefunden werden kann).
Mit einem Roboter Textdatei können Sie selektiv ausschließen bestimmte Seiten, Verzeichnisse oder die gesamte Website. Sie müssen den HTML-Code schreiben Sie einfach so, oder die Spinnen ignorieren. Die Befehlssyntax müssen Sie kommt verwenden aus dem Robots Exclusion Protocol (REP), die ein Standardprotokoll für alle Websites ist. Und es ist sehr exact- nur bestimmte Befehle sind erlaubt, und sie müssen korrekt mit bestimmten Platzierung, Groß- / Kleinschreibung, Zeichensetzung und Abstand geschrieben werden. Diese Datei ist ein Ort, an dem Sie nicht wollen, Ihre Webmaster kreativ zu bekommen.
Eine sehr einfache Roboter Textdatei könnte wie folgt aussehen:
User-agent: * Disallow: / personal /
Dieser Roboter Textdatei zeigt alle Roboter-Suchmaschine, die sie bei uns willkommen sind überall auf Ihrer Website zu kriechen außer für das Verzeichnis mit dem Namen / personal /.
Vor dem Schreiben einer Befehlszeile (wie Disallow: / personal /), müssen Sie zunächst ermitteln, welche Roboter (n) Sie Adressierung. In diesem Fall wird die Zeile User-agent: * adressiert alle Roboter, weil es ein Sternchen verwendet, die als bekannt ist, Wild card Charakter, weil es für einen beliebigen Charakter. Wenn Sie verschiedene Anleitungen zu verschiedenen Suchmaschinen geben wollen, wie viele Websites tun, schreiben getrennte User-agent Linien durch ihre spezifische Befehlszeilen gefolgt. In jedem User-agent: Linie, würden Sie das Sternchen (*) Zeichen mit dem Namen eines bestimmten Roboter zu ersetzen:
User-agent: Googlebot erhalten würde Google die Aufmerksamkeit.
User-agent: Slurp beträfe Yahoo !.
User-agent: MSNBot beträfe Microsoft Live Search.
Beachten Sie, dass, wenn Ihr Roboter Textdatei User-Agent verfügt über: * Anweisungen sowie eine weitere User-agent: Linie einen spezifischen Roboter spezifizieren, die Befehle der spezifischen Roboter folgt man es einzeln gab stattdessen der allgemeineren Anweisungen.
Sie können nur ein paar verschiedene Befehle in eine robots.txt-Datei ein:
Ohne Berücksichtigung der gesamten Website. Um den Roboter aus dem gesamten Server auszuschließen, verwenden Sie den Befehl:
Disallow: /
Dieser Befehl entfernt tatsächlich alle Ihre Website Web-Seiten aus dem Suchindex, also seien Sie vorsichtig nicht dies zu tun, es sei denn, das ist, was Sie wirklich wollen.
Ohne ein Verzeichnis. (. Ein Wort der Vorsicht - in der Regel wollen Sie viel selektiver sein als ein ganzes Verzeichnis ausschließlich) ein Verzeichnis ausschließen (also auch alle Inhalte und Verzeichnisse), legte es in Schrägstriche:
Disallow: / personal /
Ausschließen einer Seite. Sie können einen Befehl schreiben Sie einfach eine bestimmte Seite auszuschließen. Sie verwenden nur einen Schrägstrich am Anfang und müssen die Dateierweiterung am Ende enthalten. Hier ein Beispiel:
Disallow: /private-file.htm
Führung, die Spinnen zu Ihrer Website anzeigen. Neben Disallow :, ein weiterer nützlicher Befehl für Ihre SEO Bemühungen gibt an, wo der Roboter finden Sie Ihre Sitemap - die Seite Links auf Ihrer Website Organisation, wie ein Inhaltsverzeichnis enthält:
Sitemap: https://yourdomain.com/sitemap.xml
Es sollte zu den zuvor aufgeführten Befehle zusätzlich darauf hingewiesen werden, Google als auch zulassen erkennt. Dies gilt nur für Google und können andere Motoren zu verwirren, so dass Sie sollten mit ihm zu vermeiden.
Sie sollten immer am Ende Ihrer Roboter Text enthalten eine Sitemap-Datei: Kommandozeile. Dadurch wird sichergestellt, dass die Roboter Ihre Site-Map finden, die ihnen mehr vollständig durch Ihre Website hilft navigieren, so dass mehr von Ihrer Website indiziert wird.
Ein paar Anmerkungen über die Roboter Textdatei Syntax:
Die Befehle sind case-sensitive, so benötigen Sie eine Kapital D in nicht zulassen.
Es sollte immer ein Leerzeichen nach dem Befehl nach dem Doppelpunkt sein.
Um ein ganzes Verzeichnis ausschließen, setzen Sie einen Schrägstrich nach ebenso gut wie Vor der Verzeichnisname.
Wenn Sie auf einem UNIX-Rechner ausgeführt werden, alles Groß- und Kleinschreibung.
Alle Dateien nicht ausdrücklich ausgeschlossen sind für Spidern und Indizierung zur Verfügung.
Um eine vollständige Liste der Befehle, Roboter Namen sehen und Anweisungen über Roboter Textdateien zu schreiben, gehen Sie zu die Web-Roboter Seiten.
Als weitere Sicherung, machen es Teil Ihrer Wartung wöchentlich Website Ihre Roboter Textdatei zu überprüfen. Es ist eine so mächtige Ein- / Aus-Schalter für SEO Bemühungen Ihrer Website, die es verdient eine regelmäßige Peek, um sicherzustellen, es ist immer noch # 147-on # 148- und ordnungsgemäß funktioniert.