[Metalab] Google Fehler beim Crawlen Ihrer Website!

[Sebastian Bachmann]

mh also lt dem sollte es passen so wies ausschaut...

lg

On Mon, 01 Oct 2012 09:39:32 +0200, "Andreas Faerber - Altertuemliches.at"
<info at altertuemliches.at> wrote:
> Hallo,
> 
>  hier mal das Testergebniss:
> 
>  Testergebnisse 
> 
>  		URL
>  		GOOGLEBOT
>  		GOOGLEBOT-MOBILE
> 
>  		http://www.altertuemliches.at/ [1]
>  		 Zugelassen Als Verzeichnis erkannt; bestimmte Dateien weisen
> eventuell unterschiedliche Einschränkungen auf. 
>  		 Zugelassen Als Verzeichnis erkannt; bestimmte Dateien weisen
> eventuell unterschiedliche Einschränkungen auf. 
> 
>  robots.txt-Analyse 
> 
>  		WERT
>  		ERGEBNIS
> 
>  		Zeile 20: Crawl-delay: 10
>  		Regel wird von Googlebot ignoriert
> 
>  Werde nicht ganz Schlau daraus?
> 
>  Gruß Andreas
> 
>  Am 01.10.2012 09:01, schrieb Cristian Livadaru:
>   Hi, 
>  ich nehme mal das es sich hierbei nur um ein copy&paste fehler handelt:

> 
>  User-agent: *Fehler beim Crawlen Ihrer Website 
> 
>  kann es vielleicht sein das die permissions nicht passen? 
>  Versuch mal unter google webmaster tools unter Healt, Blocked URLS den
> Inhalt deiner robots.txt einzufügen und dann testen zu lassen, bzw wird
> die hier angezeigt ob das file überhaupt geholt werden kann vom server. 
>  Ich habe vom Test nur folgende Meldung bekommen: 
> 
>  Line 2: Crawl-delay: 10    Rule ignored by Googlebot 
> 
>  Gruss, Cristian 
> 
>  Andreas Faerber - Altertuemliches.at wrote: 
>  Liebe Metalab Gemeinde :-) 
> 
>  habe Gestern ein Mail von Google erhalten, mit folgendem Inhalt: 
> 
>  "Sehr geehrter Webmaster-Tools-Nutzer, 
> 
>  wir wissen, dass Ihnen eine gut funktionierende Website wichtig ist.
> Daher halten wir Sie jetzt über den Status Ihrer Website auf dem
> Laufenden und senden Ihnen automatisch über die Webmaster-Tools eine
> E-Mail, wenn wir kritische oder wichtige Probleme auf Ihrer Website
> feststellen. 
> 
>  Wir senden Ihnen nur für die Probleme eine E-Mail, von denen wir
> annehmen, dass sie erhebliche Auswirkungen auf die Funktion Ihrer
Website
> und deren Abschneiden in den Suchergebnissen haben, und stellen Ihnen
> eine Anleitung zur Behebung der Probleme bereit. Wir benachrichtigen Sie
> beispielsweise, wenn wir Malware auf Ihrer Website finden oder einen
> signifikanten Anstieg der Fehler beim Crawlen Ihrer Website feststellen.

> 
>  Bei den meisten Websites treten diese Probleme eher selten auf. Falls
> bei Ihrer Website ein Problem besteht, senden wir Ihnen nur eine
> begrenzte Anzahl an E-Mails innerhalb eines bestimmten Zeitraums zu, um
> Ihren Posteingang nicht zu überlasten." 
> 
>  Laut Google Webmaster liegt das Problem bei der robots.txt da Google
> hier nicht zugreifen darf, daher wird auf AltertuemLiches.at das
Crawling
> verschoben bzw. ausgesetzt?! 
> 
>  Anbei die robots.txt vielleicht sieht einer von euch was hierbei Falsch
> ist.... 
> 
>  # 
>  # robots.txt 
>  # 
>  # This file is to prevent the crawling and indexing of certain parts 
>  # of your site by web crawlers and spiders run by sites like Yahoo! 
>  # and Google. By telling these "robots" where not to go on your site, 
>  # you save bandwidth and server resources. 
>  # 
>  # This file will be ignored unless it is at the root of your host: 
>  # Used:    http://example.com/robots.txt [2] 
>  # Ignored: http://example.com/site/robots.txt [3] 
>  # 
>  # For more information about the robots.txt standard, see: 
>  # http://www.robotstxt.org/wc/robots.html [4] 
>  # 
>  # For syntax checking, see: 
>  # http://www.sxw.org.uk/computing/robots/check.html [5] 
> 
>  User-agent: *Fehler beim Crawlen Ihrer Website 
>  Crawl-delay: 10 
>  # Directories 
>  Disallow: /includes/ 
>  Disallow: /misc/ 
>  Disallow: /modules/ 
>  Disallow: /profiles/ 
>  Disallow: /scripts/ 
>  Disallow: /themes/ 
>  # Files 
>  Disallow: /CHANGELOG.txt 
>  Disallow: /cron.php 
>  Disallow: /INSTALL.mysql.txt 
>  Disallow: /INSTALL.pgsql.txt 
>  Disallow: /install.php 
>  Disallow: /INSTALL.txt 
>  Disallow: /LICENSE.txt 
>  Disallow: /MAINTAINERS.txt 
>  Disallow: /update.php 
>  Disallow: /UPGRADE.txt 
>  Disallow: /xmlrpc.php 
>  # Paths (clean URLs) 
>  Disallow: /admin/ 
>  Disallow: /comment/reply/ 
>  Disallow: /logout/ 
>  Disallow: /node/add/ 
>  Disallow: /search/ 
>  Disallow: /user/register/ 
>  Disallow: /user/password/ 
>  Disallow: /user/login/ 
>  # Paths (no clean URLs) 
>  Disallow: /?q=admin/ 
>  Disallow: /?q=comment/reply/ 
>  Disallow: /?q=logout/ 
>  Disallow: /?q=node/add/ 
>  Disallow: /?q=search/ 
>  Disallow: /?q=user/password/ 
>  Disallow: /?q=user/register/ 
>  Disallow: /?q=user/login/ 
>  # Paths export html 
>  Disallow: /book/export*/ 
>  User-agent: Mediapartners-Google 
>  Allow: / 
> 
>  Vielen Dank für die Hilfe 
> 
>  Andreas 
> 
>  _______________________________________________ 
>  Metalab mailing list 
>  Metalab at lists.metalab.at [6] 
>  https://lists.metalab.at/mailman/listinfo/metalab [7]