[Metalab Issues] #463: Excessive wiki crawling slows down metalab.at

[Metalab Issues]

#463: Excessive wiki crawling slows down metalab.at
-----------------+-------------
Reporter:  ente  |     Owner:
  Status:  new   |  Keywords:
-----------------+-------------

Comment (by ente):

 Alles schon versucht, die crawler ignorieren teilweise robots.txt.

 Es gibt mittlerweile eine blacklist für bestimmte User-Agents.

 Nachdem alles jetzt aber auf einer neuen Maschine läuft würde ich erst
 einmal abwarten ob das Problem in Zukunft noch Auftritt.

--
Ticket URL: <https://metalab.at/issues/ticket/463#comment:2>
Metalab Issues <https://metalab.at/issues>
Metalab is a Hackerspace in Vienna's first district.