[Metalab] Google Fehler beim Crawlen Ihrer Website!

Mon Oct 1 09:39:32 CEST 2012

Hallo,

hier mal das Testergebniss:

Testergebnisse
URL 	Googlebot 	Googlebot-Mobile
http://www.altertuemliches.at/ 	
Zugelassen
Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell 
unterschiedliche Einschränkungen auf.

Zugelassen
Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell 
unterschiedliche Einschränkungen auf.

robots.txt-Analyse
Wert 	Ergebnis
Zeile 20: Crawl-delay: 10 	Regel wird von Googlebot ignoriert

Werde nicht ganz Schlau daraus?

Gruß Andreas

Am 01.10.2012 09:01, schrieb Cristian Livadaru:
> Hi,
> ich nehme mal das es sich hierbei nur um ein copy&paste fehler handelt:
>
> User-agent: *Fehler beim Crawlen Ihrer Website
>
> kann es vielleicht sein das die permissions nicht passen?
> Versuch mal unter google webmaster tools unter Healt, Blocked URLS den 
> Inhalt deiner robots.txt einzufügen und dann testen zu lassen, bzw 
> wird die hier angezeigt ob das file überhaupt geholt werden kann vom 
> server.
> Ich habe vom Test nur folgende Meldung bekommen:
>
> Line 2: Crawl-delay: 10    Rule ignored by Googlebot
>
> Gruss, Cristian
>
> Andreas Faerber - Altertuemliches.at wrote:
>> Liebe Metalab Gemeinde :-)
>>
>> habe Gestern ein Mail von Google erhalten, mit folgendem Inhalt:
>>
>> "Sehr geehrter Webmaster-Tools-Nutzer,
>>
>> wir wissen, dass Ihnen eine gut funktionierende Website wichtig ist. 
>> Daher halten wir Sie jetzt über den Status Ihrer Website auf dem 
>> Laufenden und senden Ihnen automatisch über die Webmaster-Tools eine 
>> E-Mail, wenn wir kritische oder wichtige Probleme auf Ihrer Website 
>> feststellen.
>>
>> Wir senden Ihnen nur für die Probleme eine E-Mail, von denen wir 
>> annehmen, dass sie erhebliche Auswirkungen auf die Funktion Ihrer 
>> Website und deren Abschneiden in den Suchergebnissen haben, und 
>> stellen Ihnen eine Anleitung zur Behebung der Probleme bereit. Wir 
>> benachrichtigen Sie beispielsweise, wenn wir Malware auf Ihrer 
>> Website finden oder einen signifikanten Anstieg der Fehler beim 
>> Crawlen Ihrer Website feststellen.
>>
>> Bei den meisten Websites treten diese Probleme eher selten auf. Falls 
>> bei Ihrer Website ein Problem besteht, senden wir Ihnen nur eine 
>> begrenzte Anzahl an E-Mails innerhalb eines bestimmten Zeitraums zu, 
>> um Ihren Posteingang nicht zu überlasten."
>>
>> Laut Google Webmaster liegt das Problem bei der robots.txt da Google 
>> hier nicht zugreifen darf, daher wird auf AltertuemLiches.at das 
>> Crawling verschoben bzw. ausgesetzt?!
>>
>> Anbei die robots.txt vielleicht sieht einer von euch was hierbei 
>> Falsch ist....
>>
>>
>> #
>> # robots.txt
>> #
>> # This file is to prevent the crawling and indexing of certain parts
>> # of your site by web crawlers and spiders run by sites like Yahoo!
>> # and Google. By telling these "robots" where not to go on your site,
>> # you save bandwidth and server resources.
>> #
>> # This file will be ignored unless it is at the root of your host:
>> # Used:    http://example.com/robots.txt
>> # Ignored: http://example.com/site/robots.txt
>> #
>> # For more information about the robots.txt standard, see:
>> # http://www.robotstxt.org/wc/robots.html
>> #
>> # For syntax checking, see:
>> # http://www.sxw.org.uk/computing/robots/check.html
>>
>> User-agent: *Fehler beim Crawlen Ihrer Website
>> Crawl-delay: 10
>> # Directories
>> Disallow: /includes/
>> Disallow: /misc/
>> Disallow: /modules/
>> Disallow: /profiles/
>> Disallow: /scripts/
>> Disallow: /themes/
>> # Files
>> Disallow: /CHANGELOG.txt
>> Disallow: /cron.php
>> Disallow: /INSTALL.mysql.txt
>> Disallow: /INSTALL.pgsql.txt
>> Disallow: /install.php
>> Disallow: /INSTALL.txt
>> Disallow: /LICENSE.txt
>> Disallow: /MAINTAINERS.txt
>> Disallow: /update.php
>> Disallow: /UPGRADE.txt
>> Disallow: /xmlrpc.php
>> # Paths (clean URLs)
>> Disallow: /admin/
>> Disallow: /comment/reply/
>> Disallow: /logout/
>> Disallow: /node/add/
>> Disallow: /search/
>> Disallow: /user/register/
>> Disallow: /user/password/
>> Disallow: /user/login/
>> # Paths (no clean URLs)
>> Disallow: /?q=admin/
>> Disallow: /?q=comment/reply/
>> Disallow: /?q=logout/
>> Disallow: /?q=node/add/
>> Disallow: /?q=search/
>> Disallow: /?q=user/password/
>> Disallow: /?q=user/register/
>> Disallow: /?q=user/login/
>> # Paths export html
>> Disallow: /book/export*/
>> User-agent: Mediapartners-Google
>> Allow: /
>>
>>
>>
>> Vielen Dank für die Hilfe
>>
>> Andreas
>>
>>
>>
>>
>
> _______________________________________________
> Metalab mailing list
> Metalab at lists.metalab.at
> https://lists.metalab.at/mailman/listinfo/metalab
>
>

-- 
Andreas Faerber
Rosenheim 65, A- 9805 Baldramsdorf (Kärnten)
und Wien 21, Brünner Straße 175
Tel: +43 (0) 676 5227712
Email: info at altertuemliches.at
Web: www.AltertuemLiches.at

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.metalab.at/pipermail/metalab/attachments/20121001/9c66ff0f/attachment.html>