Seite komplett für Robots sperren

[tpk]

Hi,
kann man eine komplette Webseite für Robots über das Backend mit einem Klick sperren, oder geht das nur über eine robots.txt?

[tab]

Ich würde sagen, es geht beides nicht. Die robots.txt ist nur ein freundlicher Hinweis an die Robots und sperrt sie nicht wirklich aus. Nicht alle halten sich an die freundliche Bitte, die müsste man dann auf andere Weise aussperren (Firewall, .htaccess, ...)

[Kahmoon]

Google hält sich aber dran. Ich mache das einfach mit der robots.txt und gut. Bisher ist da nie was im Index aufgetaucht.

User-agent:* 
Disallow: /

[tpk]

Thanks, mir ist jetzt die htacces Passwort Lösung eingefallen.

[tab]

Bei mir ist Google nicht der einzige Bot, da sind zahlreiche Crawler irgendwelcher Firmen unterwegs, die halten sich teilweise freiwillig an gar nichts. Da muss man, wenn man Wert darauf legt, andere Maßnahmen ergreifen. Die Bots der "großen" Suchmaschinen halten sich aber normalerweise an die Vorgaben in der robots.txt.