Advanced Mod Rewrite und robots.txt

[paranoid64]

Hallo,

ich habe Advanced Mod Rewrite auf meine Seite laufen.
Dies funktioniert auch super, (jetzt das "aber" ) die robots.txt kann aber nicht mehr aufgerufen werden.

Ich habe auch versucht die in der .htaccess mit einer Regel auszulassen.

Code: Alles auswählen

RewriteRule ^cms/robots.txt.*$ - [L]

Die robots.txt liegt auch im Verzeichnis "cms" mit den rechten 644.

Sobald ich robots.txt anzeigen möchte habe ich die Startseite.
Bei google Webmaster zeigt er bei robots mein Layout an .

Hat jemand noch eine Idee ?

VG

[idea-tec]

ich bin nicht der mod-rewrite-crack, aber durch die htaccess, und weitere einstellungen z.b. im layout, wie revisit, oder ähnlichem brauche ich keine robots.txt mehr, da ich in der htaccess, ja bereits mitteile, wo umgeschrieben werden soll und wo nicht, und wenn dann ne suchmaschine wo hin will, wo sie nicht soll, greift ja mod-rewrite, odda net?

man korrigiere mich, wenn ich hier was falsch verstehe.

[Oldperl]

Korrektur:
Ein ganz klares JEIN.
Die robot.txt hat nicht nur die Aufgabe Robots von Seiten "auszusperren", mit ihr kann man dediziert Robots sperren/zulassen und im Extrem sogar bestimmte Dateien bzw. Dateitypen.
Vieles davon geht sicher auch per .htaccess, aber dabei nicht problemlos nur für bestimmte Robots.
Weitere Info zum Thema http://de.wikipedia.org/wiki/Robots_Exclusion_Standard

Gruß aus Franken

Ortwin