[Metalab] Google Fehler beim Crawlen Ihrer Website!

[Andreas Faerber - Altertuemliches.at]

Liebe Metalab Gemeinde :-)

habe Gestern ein Mail von Google erhalten, mit folgendem Inhalt:

"Sehr geehrter Webmaster-Tools-Nutzer,

wir wissen, dass Ihnen eine gut funktionierende Website wichtig ist. 
Daher halten wir Sie jetzt über den Status Ihrer Website auf dem 
Laufenden und senden Ihnen automatisch über die Webmaster-Tools eine 
E-Mail, wenn wir kritische oder wichtige Probleme auf Ihrer Website 
feststellen.

Wir senden Ihnen nur für die Probleme eine E-Mail, von denen wir 
annehmen, dass sie erhebliche Auswirkungen auf die Funktion Ihrer 
Website und deren Abschneiden in den Suchergebnissen haben, und stellen 
Ihnen eine Anleitung zur Behebung der Probleme bereit. Wir 
benachrichtigen Sie beispielsweise, wenn wir Malware auf Ihrer Website 
finden oder einen signifikanten Anstieg der Fehler beim Crawlen Ihrer 
Website feststellen.

Bei den meisten Websites treten diese Probleme eher selten auf. Falls 
bei Ihrer Website ein Problem besteht, senden wir Ihnen nur eine 
begrenzte Anzahl an E-Mails innerhalb eines bestimmten Zeitraums zu, um 
Ihren Posteingang nicht zu überlasten."

Laut Google Webmaster liegt das Problem bei der robots.txt da Google 
hier nicht zugreifen darf, daher wird auf AltertuemLiches.at das 
Crawling verschoben bzw. ausgesetzt?!

Anbei die robots.txt vielleicht sieht einer von euch was hierbei Falsch 
ist....


#
# robots.txt
#
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
#
# This file will be ignored unless it is at the root of your host:
# Used:    http://example.com/robots.txt
# Ignored: http://example.com/site/robots.txt
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html

User-agent: *Fehler beim Crawlen Ihrer Website
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
# Paths export html
Disallow: /book/export*/
User-agent: Mediapartners-Google
Allow: /



Vielen Dank für die Hilfe

Andreas




-- 
Andreas Faerber
Rosenheim 65, A- 9805 Baldramsdorf (Kärnten)
und Wien 21, Brünner Straße 175
Tel: +43 (0) 676 5227712
Email: info at altertuemliches.at
Web: www.AltertuemLiches.at