Robots.txt als Webseite - Echt Kurios

[newssuche]

Habt Ihr so etwas schon einmal gesehen:

http://www.z-online.de/robots.txt

Die Seite wird bei mir im Browser als Webseite angezeigt und enthält Quellcode. Ich bin darauf gestossen, weil ein Spider, die Datei als Webseite erfasst und gelistet hat.

[unique]

Das kommt imho zustande, weil mit mod_rewrite gearbeitet wird, wenn ein Zugriff auf eine nicht vorhandene Datei erfolgt. Wenn du auf http://www.z-online.de/irgendwas.txt kommt genau dasselbe wie unter robots.txt .
Irgendjemand hat vllt. die robots.txt von der Seite verlinkt, wodurch sie gespidert wurde und auch gelistet ist

[newssuche]

Theoretisch heisst das aber ich könnte auch eine txt.Datei bei bestimmten Suchmaschinen anmelden und sie würde gefunden!

Ich glaube A9 oder die neue Yahoo-Suche hatte diese Datei gelistet, ich muss noch mal genau nachsehen.

[newssuche]

Das kommt imho zustande, weil mit mod_rewrite gearbeitet wird, wenn ein Zugriff auf eine nicht vorhandene Datei erfolgt. Wenn du auf http://www.z-online.de/irgendwas.txt kommt genau dasselbe wie unter robots.txt .
Irgendjemand hat vllt. die robots.txt von der Seite verlinkt, wodurch sie gespidert wurde und auch gelistet ist

Aber bei Deinem Link auf irgendwas.txt funktioniert es mit dem Browser nicht. Das interessiert mich. Spidern bestimmte Suchmaschinen jetzt auch TXT-Dateien?

[SEO_Biz]

wurden früher keine txt-dateien gespidert? ich dachte, das wäre schon "immer" so?!?

seo_biz