Robots
Aus HS Syswiki
(Unterschied zwischen Versionen)
(Die Seite wurde neu angelegt: „Wird ein Webserver zu heftig gecrawlt, kann eine Zeit angegeben werden, die zwischen den Seitenabrufen einzuhalten ist. Nachfolgende Anweisung gilt für den Ya…“) |
Aktuelle Version vom 21. Mai 2014, 08:49 Uhr
Wird ein Webserver zu heftig gecrawlt, kann eine Zeit angegeben werden, die zwischen den Seitenabrufen einzuhalten ist. Nachfolgende Anweisung gilt für den Yahoo! Crawler Slurp und gibt eine Wartezeit zwischen den Seitenabrufen von 20 Sekunden an.
User-agent: Slurp Crawl-delay: 20
Für den MSNBot ist es ebenfalls möglich, eine Verzögerung anzugeben. Z.B:
User-agent: MSNBot Crawl-delay: 120
Eine Verzögerung für den GoogleBot kann in den Webmastertools angeben werden. Der GoogleBot selbst erklärt in einem Interview: "Es geht für Webmaster normalerweise nach hinten los, wenn sie versuchen, die Crawl-Rate durch die Änderung der robots.txt-Datei zu kontrollieren."
