Nein muss nicht funktionieren, viele Suchmaschinen halten sich nicht an die robots.txt. In der SuperWebMailer-Login-Seite ist ebenfalls noindex,nofollow angegeben, das sollten die Suchmaschinen ebenfalls auswerten und die Seite nicht indizieren.
hast Du eine Empfehlung, was man beim swm-Verzeichnis auf dem Webspace beachten sollte? Ich habe für den SWM eine Subdomain angelegt, die auf das Verzeichnis /swm zeigt und jetzt im swm-Verzeichnis noch eine robots-txt mit folgendem Inhalt angelegt:
# Alle Robots vom SWM ausschließen
User-agent: *
Disallow: /
Will so verhindern, dass sämtliche Suchmaschinen das Verzeichnis scannen. Funktioniert das Deinen Erfahrungen nach? Bzw. hast Du noch andere Tipps, was man beachten sollte?