Seite in Entwicklung gegen Robots schützen

**Michael1972** · 20.09.2015, 21:09

Hallo @all,

ich bin noch ganz neu bei Contao und starte gerade mit meiner ersten Webpräsenz. Ich habe Contao nun beim meinem Provider hochgeladen, installiert und auch schon etwas Inhalt eingepflegt. Obwohl ich die Domain noch nicht aufgeschaltet habe, ist meine Seite in Entwicklung ja über meinen Webserver erreichbar und damit theoretisch für Robots sichtbar. Deshalb wüsste ich gern, was ich innerhalb von Contao, oder auch außerhalb, tun muss, um unerwünschte Robots auszusperren. Schließlich möchte ich nicht, dass meine im Rohbau befindliche Seite in irgendeiner Suchmaschine oder sonst wo auftaucht. Oder ist es vielleicht ratsamer, die Seite erst offline, z.B. in Xampp, fertig zu entwickeln und dann online zu stellen? Für Hilfestellung in diesem Punkt wäre ich sehr dankbar.

VG.

Michael

**do_while** · 20.09.2015, 21:17

Hallo Michael1972,

ich verwende dazu immer die Erweiterung maintenance.
Du kannst einzelne Benutzergruppen (z.B. Kunde) für einen Wartungslogin zulassen und so ausgewählten Leuten vorab die Seiten zeigen.

Eine Beschreibung (allerdings für eine ältere Version) findest Du hier:
http://de.contaowiki.org/Maintenance

**Michael1972** · 21.09.2015, 08:21

Hallo Hagen,

vielen Dank für die schnelle Hilfe. Maintenance wurde mir unter 3.5 im Erweiterungskatalog nicht zur Installation angeboten. Aber dann habe ich gesehen, dass Contao seit 3.2 ja einen eigenen Wartungsmodus mitbringt, der laut Beschreibung genau meinen Zweck erfüllt. Falls zum Absichern der in Entwicklung befindlichen Seite nicht noch andere Schritte notwendig sind, kann ich den ja verwenden.

Danke und Grüße.

Michael

**jscholtysik** · 21.09.2015, 08:40

Hi Michael,

warum nicht einfach mit einer .htaccess und .htpasswd im Root-Verzeichnis arbeiten? Damit hältst Du doch auch alles "draußen". Soll außer Dir noch ein Kunde auf das Frontend zugreifen können, machst Du einfach noch einen weiteren Eintrag in der .htpasswd und erweiterst die Benutzer in der .htaccess. Alles ganz ohne Erweiterungen...

**tab** · 21.09.2015, 09:24

Solange das keine Multi-Domain oder mehrsprachige Installation ist und du niemandem sonst während der Entwicklungszeit Zugriff geben willst/musst, tut es eigentlich auch der ganz normale Wartungsmodus. Außerdem ist es einigermaßen unwahrscheinlich, dass da irgendwelche Bots auftauchen, solange noch nicht mal eine Domain aufgeschaltet wurde und auch nicht von extern auf die Seite verlinkt wird. Um ganz sicher zu gehen arbeite ich trotzdem normalerweise im Wartungsmodus. Aber ich hatte den verschiedentlich auch schon mal für einen kurzen Test rausgenommen und dann vergessen ihn wieder zu aktivieren. Im Google-Index ist da aber noch nie was gelandet. Einige User haben aber wohl auch andere Erfahrungen damit gemacht.

**dazzle89** · 21.09.2015, 10:33

Soweit ich weiß holt sich Google die Seiten nicht nur über Verlinkungen. Chrome ist z.b. auch ein Crawler und erklärt warum manchmal Seiten ungewüscht im Index landen.

**dazzle89** · 21.09.2015, 10:38

Kann man sich nicht eig. auch mit ner robots.txt vor dem unerwünschten Indexieren während der Entwicklung schützen?

**mandrake** · 21.09.2015, 10:47

Kann man sich nicht eig. auch mit ner robots.txt vor dem unerwünschten Indexieren während der Entwicklung schützen?

Das dürfte keinen wirklich sicheren Zugangsschutz gewährleisten, da sich nicht zwangsläufig alle Robots, Spider etc. an Anweisungen in dieser Datei halten. Der einzig sinn- und wirkungsvolle Zugangsschutz besteht meiner Ansicht nach ausschließlich in einer Absicherung via htaccess. Die Einrichtung dauert durchschnittlich zwei Minuten und man muss dafür auch nicht irgendwelche Erweiterungen installieren.

**bibib** · 21.09.2015, 13:28

Zitat von mandrake

Das dürfte keinen wirklich sicheren Zugangsschutz gewährleisten, da sich nicht zwangsläufig alle Robots, Spider etc. an Anweisungen in dieser Datei halten. Der einzig sinn- und wirkungsvolle Zugangsschutz besteht meiner Ansicht nach ausschließlich in einer Absicherung via htaccess. Die Einrichtung dauert durchschnittlich zwei Minuten und man muss dafür auch nicht irgendwelche Erweiterungen installieren.

Nein? Ich setze eigentlich immer in der Seitenstruktur die robots.txt auf "noindex, nofollow" und habe in der Regel keine Probleme. Auch meine private Website hab ich zur Zeit so "ausgeschaltet" - und die wird auch recht verlässlich nicht gefunden.

Darf ich mal blöd fragen, was müsste ich in der .htaccess eintragen, um die Robots auszusperren?

Ich meine, meine früheren Nachforschungen hätten mal ergeben, dass ich per .htaccess eben keinen 100%igen Schutz gegen die Indizierung bekomme. Aber ich kann mich jetzt auch täuschen ...

**Spooky** · 21.09.2015, 13:31

Ich denke mandrake meint den Schutz der Website gegen jeglichen unbefugten Zugriff über .htaccess + .htpasswd

**bibib** · 21.09.2015, 13:35

Achso ...

okay.

**tab** · 21.09.2015, 13:43

Ja, damit ist die Website natürlich absolut geschützt, solange Google & Co noch keine Unterstützung von der NSA beim Knacken von Passwörtern bekommen

. Wobei ich immer noch nicht weiß, was denn gegen den stinknormalen, im Core eingebauten Wartungsmodus spricht. Schlimmstenfalls könnte ein Bot die Wartungsseite in den Index aufnehmen, falls er den Statuscode ignorieren sollte. Dann kann er aber genauso gut die Seite für das Eingeben des Passworts beim Schutz über .htaccess und .htpasswd indexieren. Oder die 404er Seite, solang noch gar nichts da ist unter der Domain. Aber ich denk mal, die haben auch so schon genug zu speichern, da sind die auf Wartungsseiten und 404-er Seiten wahrscheinlich nicht besonders scharf

.

**bibib** · 21.09.2015, 13:48

Gegen den Wartungsmodus spricht gar nichts. Aber ich verwende ihn für die Entwicklungszeit nicht, weil ich auch gerne meinen Kollegen in meinem "virtuellen Büro" Zugriff gebe. Und da ist es einfach lästig, wenn ich dann immer temporär den Wartungsmodus an- und ausknipsen muss.

**mandrake** · 21.09.2015, 13:58

Ich denke mandrake meint den Schutz der Website gegen jeglichen unbefugten Zugriff über .htaccess + .htpasswd

Korrekt, genau das meinte ich damit - sorry, wenn ich mich missverständlich ausgedrückt haben sollte. Das ist für mich die einfachste, schnellste und zuverlässigste Methode, um generell alle ungebetenen Gäste von einer Website fern zu halten. Team Kollegen erhalten dann bei Bedarf einfach kurz die Zugangsdaten und alles läuft rund.

**bibib** · 21.09.2015, 14:55

Alles klar, danke. Nein, du hast dich nicht missverständlich ausgedrückt. Ich hatte nur gehofft, es gäbe hier noch eine schnelle Möglichkeit abseits der Kombination .htaccess + .htpassword. Wenn es wirklich essentiell ist, dass vorab keiner die Seite sieht, dann ist das natürlich das Mittel der Wahl. Aber sonst reicht mir auch "noindex, nofollow".

**tab** · 21.09.2015, 15:20

Zitat von bibib

Gegen den Wartungsmodus spricht gar nichts. Aber ich verwende ihn für die Entwicklungszeit nicht, weil ich auch gerne meinen Kollegen in meinem "virtuellen Büro" Zugriff gebe. Und da ist es einfach lästig, wenn ich dann immer temporär den Wartungsmodus an- und ausknipsen muss.

Ok, das ist klar. Da ich in der Regel der einzige Bearbeiter bin, brauche ich das nicht. Aber wenn ich dem Kunden Zugriff geben will, dann mache ich das in der Regel auch per .htaccess und .htpasswd. außer bei meiner bisher einzigen Multidomain-Installation, da habe ich dann die maintenance-Erweiterung verwendet, weil die Domains nicht gleichzeitig freigeschaltet werden konnten. So konnte ich sie einzeln nach Bedarf freischalten und die restlichen Domains im Wartungsmodus belassen.

**do_while** · 21.09.2015, 16:52

Zitat von tab

Wobei ich immer noch nicht weiß, was denn gegen den stinknormalen, im Core eingebauten Wartungsmodus spricht.

Ich nutze die Maintenance-Wartung, weil ich dann meinen Kunden einen Frontend-Login auf ihre Seite geben kann. Mit der Core-Wartung müßte der Kunde einen Backend-Login bekommen, was ich zu diesem Zeitpunkt noch nicht machen möchte (und einigen Kunden sicherlich schwer zu erklären ist

).

**bekanntmacher** · 22.09.2015, 05:37

Der stinknormale Wartunsmodus ist ungeeignet, da dann niemand (auch nicht deine Freunde für ein Feedback) ausser dir die Seite sehen kann.

Schreibe folgende Zeilen in die robots.txt

PHP-Code:


User-agent: *

Disallow: /

Damit erreichst du, dass die Seite nicht in den Suchmaschinen erscheint. Die robots (ausser die bösen und diese könn dir egal sein) halten sich an diese Anweisung.

**Michael1972** · 22.09.2015, 09:26

Hallo Zusammen,

erst mal ganz vielen Dank für die vielen Antworten. Die Community ist ja wirklich rege, finde ich klasse. Ich habe jetzt erst mal den normalen Wartungsmodus eingeschaltet und werde mal ein wenig googlen, wie man das mit der .htaccess macht. Ist für mich bislang Neuland.

Noch mal danke Euch allen und Grüße.

Michael

**stefan-at-work** · 22.09.2015, 13:00

@Michael - die meisten Provider bieten über das Adminpanel des Webaccounts einen Verzeichnisschutz an. Schau da mal nach, dann sparst Du Dir die manuelle Erstellung.

**mandrake** · 24.09.2015, 10:40

Wenn ich es richtig sehe, stellt die Erweiterung "maintenance" die einzige Möglichkeit dar, um eine einzelne Instanz einer Multidomain Installation zu schützen und dem Kunden zudem einen FE Zugang zur Präsentation zu geben.

Da sich dieser Anwendungsfall gerade bei mir ergeben hat, stellt sich die Frage, ob die Erweiterung mit Contao Version 3.4.5 bzw. 3.5.x problemlos lauffähig ist. Freigegeben ist die Erweiterung ja lediglich bis 3.1.3. Bevor ich mich selbst ans testen begebe, daher die Frage, ob jemand bereits Erfahrungen beim Einsatz der Erweiterung in einer aktuellen Contao Version machen konnte?!

Für Rückantworten, bedanke ich mich im Voraus.

**tab** · 24.09.2015, 11:02

Also in 3.2.20 funktioniert sie hier bei mir. Die Installation muss ich aber auch gelegentlich auf 3.5 updaten. Laut do_while funktioniert sie auch in 3.4. Bin also zuversichtlich, dass sie auch in 3.5 funktionieren wird.

**mandrake** · 24.09.2015, 11:06

Danke Dir für die Info - das ist ja bereits ein guter Anhaltspunkt.

**do_while** · 24.09.2015, 11:26

Funktioniert einwandfrei auch in 3.5.3

**mandrake** · 24.09.2015, 11:53

Bestens - Danke für das Feedback.

**Andreas** · 24.09.2015, 13:45

Zitat von Michael1972

...wie man das mit der .htaccess macht. Ist für mich bislang Neuland.

.htaccess ganz oben:

Code:

AuthName "Access denied! Enter your name and password"
AuthType Basic
AuthUserFile /home/files/.htpasswd
require user ich andere

Den Inhalt der .htpasswd kannst du mit einem online .htaccess Passwortgenerator erzeugen.
Den Pfad musst du selber ermitteln, evtl. mit einer phpini.php.
Am sichersten ist es, wenn die .htpasswd nicht im selben Ordner liegt wie die .htaccess, sondern oberhalb des Roots wo niemand über einen Browser Zugriff drauf hat.
Im FTP-Client, z.B. Filezilla nicht vergessen versteckte Dateien anzeigen zu lassen. Dateien, welche mit einem Punkt beginnen sind versteckt.