<html>
<head>
<meta content="text/html; charset=ISO-8859-15"
http-equiv="Content-Type">
</head>
<body bgcolor="#FFFFFF" text="#000000">
<div class="moz-cite-prefix">Hallo,<br>
<br>
hier mal das Testergebniss:<br>
<br>
<div id="test-results">Testergebnisse</div>
<table id="test">
<thead><tr>
<th class="col-url">URL</th>
<th class="col-googlebot">Googlebot</th>
<th class="col-useragent">Googlebot-Mobile</th>
</tr>
</thead>
<tbody>
<tr>
<td class="col-url"><a class="moz-txt-link-freetext" href="http://www.altertuemliches.at/">http://www.altertuemliches.at/</a></td>
<td class="col-googlebot">
<div class="allowed">Zugelassen</div>
<div class="message">Als Verzeichnis erkannt; bestimmte
Dateien weisen eventuell unterschiedliche
Einschränkungen auf.</div>
</td>
<td class="col-useragent">
<div class="allowed">Zugelassen</div>
<div class="message">Als Verzeichnis erkannt; bestimmte
Dateien weisen eventuell unterschiedliche
Einschränkungen auf.</div>
</td>
</tr>
</tbody>
</table>
<div id="parse-results">robots.txt-Analyse</div>
<table id="parse">
<thead><tr>
<th class="col-value">Wert</th>
<th class="col-result">Ergebnis</th>
</tr>
</thead>
<tbody>
<tr>
<td class="col-value">Zeile 20: Crawl-delay: 10</td>
<td class="col-result">Regel wird von Googlebot ignoriert</td>
</tr>
</tbody>
</table>
<br>
<br>
Werde nicht ganz Schlau daraus?<br>
<br>
Gruß Andreas<br>
<br>
<br>
Am 01.10.2012 09:01, schrieb Cristian Livadaru:<br>
</div>
<blockquote cite="mid:50693FB7.4000608@lcx.at" type="cite">Hi,
<br>
ich nehme mal das es sich hierbei nur um ein copy&paste fehler
handelt:
<br>
<br>
User-agent: *Fehler beim Crawlen Ihrer Website
<br>
<br>
kann es vielleicht sein das die permissions nicht passen?
<br>
Versuch mal unter google webmaster tools unter Healt, Blocked URLS
den Inhalt deiner robots.txt einzufügen und dann testen zu lassen,
bzw wird die hier angezeigt ob das file überhaupt geholt werden
kann vom server.
<br>
Ich habe vom Test nur folgende Meldung bekommen:
<br>
<br>
Line 2: Crawl-delay: 10 Rule ignored by Googlebot
<br>
<br>
Gruss, Cristian
<br>
<br>
Andreas Faerber - Altertuemliches.at wrote:
<br>
<blockquote type="cite">Liebe Metalab Gemeinde :-)
<br>
<br>
habe Gestern ein Mail von Google erhalten, mit folgendem Inhalt:
<br>
<br>
"Sehr geehrter Webmaster-Tools-Nutzer,
<br>
<br>
wir wissen, dass Ihnen eine gut funktionierende Website wichtig
ist. Daher halten wir Sie jetzt über den Status Ihrer Website
auf dem Laufenden und senden Ihnen automatisch über die
Webmaster-Tools eine E-Mail, wenn wir kritische oder wichtige
Probleme auf Ihrer Website feststellen.
<br>
<br>
Wir senden Ihnen nur für die Probleme eine E-Mail, von denen wir
annehmen, dass sie erhebliche Auswirkungen auf die Funktion
Ihrer Website und deren Abschneiden in den Suchergebnissen
haben, und stellen Ihnen eine Anleitung zur Behebung der
Probleme bereit. Wir benachrichtigen Sie beispielsweise, wenn
wir Malware auf Ihrer Website finden oder einen signifikanten
Anstieg der Fehler beim Crawlen Ihrer Website feststellen.
<br>
<br>
Bei den meisten Websites treten diese Probleme eher selten auf.
Falls bei Ihrer Website ein Problem besteht, senden wir Ihnen
nur eine begrenzte Anzahl an E-Mails innerhalb eines bestimmten
Zeitraums zu, um Ihren Posteingang nicht zu überlasten."
<br>
<br>
Laut Google Webmaster liegt das Problem bei der robots.txt da
Google hier nicht zugreifen darf, daher wird auf
AltertuemLiches.at das Crawling verschoben bzw. ausgesetzt?!
<br>
<br>
Anbei die robots.txt vielleicht sieht einer von euch was hierbei
Falsch ist....
<br>
<br>
<br>
#
<br>
# robots.txt
<br>
#
<br>
# This file is to prevent the crawling and indexing of certain
parts
<br>
# of your site by web crawlers and spiders run by sites like
Yahoo!
<br>
# and Google. By telling these "robots" where not to go on your
site,
<br>
# you save bandwidth and server resources.
<br>
#
<br>
# This file will be ignored unless it is at the root of your
host:
<br>
# Used: <a class="moz-txt-link-freetext" href="http://example.com/robots.txt">http://example.com/robots.txt</a>
<br>
# Ignored: <a class="moz-txt-link-freetext" href="http://example.com/site/robots.txt">http://example.com/site/robots.txt</a>
<br>
#
<br>
# For more information about the robots.txt standard, see:
<br>
# <a class="moz-txt-link-freetext" href="http://www.robotstxt.org/wc/robots.html">http://www.robotstxt.org/wc/robots.html</a>
<br>
#
<br>
# For syntax checking, see:
<br>
# <a class="moz-txt-link-freetext" href="http://www.sxw.org.uk/computing/robots/check.html">http://www.sxw.org.uk/computing/robots/check.html</a>
<br>
<br>
User-agent: *Fehler beim Crawlen Ihrer Website
<br>
Crawl-delay: 10
<br>
# Directories
<br>
Disallow: /includes/
<br>
Disallow: /misc/
<br>
Disallow: /modules/
<br>
Disallow: /profiles/
<br>
Disallow: /scripts/
<br>
Disallow: /themes/
<br>
# Files
<br>
Disallow: /CHANGELOG.txt
<br>
Disallow: /cron.php
<br>
Disallow: /INSTALL.mysql.txt
<br>
Disallow: /INSTALL.pgsql.txt
<br>
Disallow: /install.php
<br>
Disallow: /INSTALL.txt
<br>
Disallow: /LICENSE.txt
<br>
Disallow: /MAINTAINERS.txt
<br>
Disallow: /update.php
<br>
Disallow: /UPGRADE.txt
<br>
Disallow: /xmlrpc.php
<br>
# Paths (clean URLs)
<br>
Disallow: /admin/
<br>
Disallow: /comment/reply/
<br>
Disallow: /logout/
<br>
Disallow: /node/add/
<br>
Disallow: /search/
<br>
Disallow: /user/register/
<br>
Disallow: /user/password/
<br>
Disallow: /user/login/
<br>
# Paths (no clean URLs)
<br>
Disallow: /?q=admin/
<br>
Disallow: /?q=comment/reply/
<br>
Disallow: /?q=logout/
<br>
Disallow: /?q=node/add/
<br>
Disallow: /?q=search/
<br>
Disallow: /?q=user/password/
<br>
Disallow: /?q=user/register/
<br>
Disallow: /?q=user/login/
<br>
# Paths export html
<br>
Disallow: /book/export*/
<br>
User-agent: Mediapartners-Google
<br>
Allow: /
<br>
<br>
<br>
<br>
Vielen Dank für die Hilfe
<br>
<br>
Andreas
<br>
<br>
<br>
<br>
<br>
</blockquote>
<br>
_______________________________________________
<br>
Metalab mailing list
<br>
<a class="moz-txt-link-abbreviated" href="mailto:Metalab@lists.metalab.at">Metalab@lists.metalab.at</a>
<br>
<a class="moz-txt-link-freetext" href="https://lists.metalab.at/mailman/listinfo/metalab">https://lists.metalab.at/mailman/listinfo/metalab</a>
<br>
<br>
<br>
</blockquote>
<br>
<br>
<pre class="moz-signature" cols="72">--
Andreas Faerber
Rosenheim 65, A- 9805 Baldramsdorf (Kärnten)
und Wien 21, Brünner Straße 175
Tel: +43 (0) 676 5227712
Email: <a class="moz-txt-link-abbreviated" href="mailto:info@altertuemliches.at">info@altertuemliches.at</a>
Web: <a class="moz-txt-link-abbreviated" href="http://www.AltertuemLiches.at">www.AltertuemLiches.at</a>
</pre>
</body>
</html>