Google Indizierung

**Maiurb** · 18.12.2015, 14:53

Hallo, habe eine relativ neue Seite mit Contao erstellen lassen und bin der Redakteur der Seite.
Ich habe eine robots.txt erstellt mit folgendem Inhalt.

Sitemap: http://boulderrausch.de/share/sitemapdatei.xml

Google hat die Seitenstruktur auch soweit indiziert, siehe (Search Console)

Wenn ich aber boulderrausch bei google suche, wird nicht die index.html, also die Startseite gefunden.
Hängt das mit Einstellungen im Contao zusammen?

Meine neue Domäne lautet http://boulderrausch.de

Meine alte Domäne mit www.boulderrausch.de gab es über 10 Jahre und da wurde die index.php als erster Eintrag gesetzt.
Meine Seite war aus googlesicht sehr präsent.

Sind jetzt auch alle Sucheinträge der letzten Jahre weg und ich fange quasi mit meiner neuen Seite googletechnisch bei null an?

**tab** · 18.12.2015, 16:36

Wie lang ist denn die Umstellung schon her? Die Startseite hieß früher http://www.boulderrauschde/index.php und wurde so auch von anderen verlinkt? Also wurde auch der URL-Suffix geändert und war früher .php? Contao macht aus dem Alias "index" der Startseite jedenfalls die URL http://boulderrausch.de und nicht etwa http://boulderrausch.de/index.html oder gar index .php. Diese URL taucht also in der Sitemap logischerweise nicht auf. Gleichzeitig verlinkt deine Website aber explizit auf http://boulderrausch.de/index.php beim Klick auf das Logo (und auf der Kontaktseite sogar auf http://www.boulderrausch.de) anstatt auf http://boulderrausch.de oder "./", was m.E. korrekt wäre. Möglicherweise dauert bei der Startseite die Übertragung oder die Aufnahme in den Index deshalb einfach etwas länger.

Welche Maßnahmen wurden denn durchgeführt um die Umstellung der URLs suchmaschinentechnisch verlustfrei zu gestalten? Bei den anderen Seiten scheint das ja geglückt zu sein, es werden jedenfalls in der Google-Suche mehrere angezeigt ohne www und keine mit www. Wie sieht die .htaccess aus und was wurde in den Google Webmastertools alles gemacht? Bevorzugte Domain umgestellt und Sitemap eingereicht? Sonst noch irgendwas?

In deiner robots.txt fehlt jetzt auch alles bis auf die Sitemap, die von Contao mitgelieferte robots.txt hättest du eigentlich übernehmen und nur um den Sitemap-Eintrag ergänzen sollen. Das dürfte allerdings mit dem hier beschriebenen Problem wohl eher nichts zu tun haben.

**Maiurb** · 18.12.2015, 22:51

Danke schon mal für die Antwort.

Unter www sollte nix mehr auftauchen, da alles am Server auf ohne www weitergeleitet wird, um doppelten Content zu eliminieren.
Sitemap wurde eingereicht. Muss man die eigentlich jedesmal neu einreichen, wenn eine neue Seite erstellt wird, oder reicht ein mal?
Dann kann ich ja die contao robots.txt mit der Erweiterung der Sitemap noch einreichen!

Früher lief die Seite auf www.boulderrausch.de. Aber auch da habe ich über das Webmaster Tool bei google eingestellt, dass nur ohne www gecrawled werden soll.

VG Maik

**Maiurb** · 19.12.2015, 15:59

Hallo, ich habe ja eine Sitemap, damit google meine Struktur indizieren kann. Wenn ich jetzt in Contao eine neue Seite, oder Artikel einstelle, wird das automatisch in die Sitemap eingetragen, oder muss ich jedes mal über Wartung die Sitemap aktualisieren?

VG

**Grossvater** · 19.12.2015, 17:07

Wenn die Sitemap in den Einstellungen aktiviert ist, wird automatisch die URL in die sitemap.xml geschrieben (ohne zusätzlich eine Systemwartung durchzuführen).
Wenn aber du diese angelegte Seite wieder löschen wirst, musst du eine Systemwartung durchführen und den Haken bei "Xml Datein neu schreiben" setzen.

**Maiurb** · 19.12.2015, 17:12

Danke, dass wollte ich wissen.

VG

Zitat von Grossvater

Wenn die Sitemap in den Einstellungen aktiviert ist, wird automatisch die URL in die sitemap.xml geschrieben (ohne zusätzlich eine Systemwartung durchzuführen).
Wenn aber du diese angelegte Seite wieder löschen wirst musst du eine Systemwartung durchführen.

**Maiurb** · 04.01.2016, 13:42

Hallo,

meine Startseite wird immer noch nicht als erster Eintrag in den Suchergebnissen gesetzt.

Gebe ich boulderrausch in der Suche ein kommt folgender Inhalt: siehe Bild
Gebe ich boulderrausch.de ein, kommt die Startseite, so wie es sein sollte und früher auch ohne .de war. siehe Bild

boulderrausch - Google-Suche-neu.jpg
boulderrausch.de - Google-Suche-alt.jpg

**Contao-Academy** · 04.01.2016, 20:34

In wie weit wurden die Inhalte auf der Startseite verändert?
Evtl. liegt es auch daran.

Werden in der Search Console irgendwelche Fehler angezeigt?

**Maiurb** · 04.01.2016, 21:35

Zitat von Fenepedia

In wie weit wurden die Inhalte auf der Startseite verändert?
Evtl. liegt es auch daran.

Werden in der Search Console irgendwelche Fehler angezeigt?

Hallo, nein keine Fehler. Alles sieht gut aus.
Auch taucht meine Seite nun nicht mehr unter den üblichen Suchbegriffen auf, wie zB. Bouldern

**tab** · 04.01.2016, 23:07

Welche Weiterleitungen wurden denn nun wirklich geschaltet? Kannst ja mal deine .htaccess posten eventuell. Es fällt mir jedenfalls auf, dass bei der Google-Suche "site:www.boulderrausch.de" noch reichlich Seiten mit www.boulderrausch.de auftauchen, unter anderem auch Newsseiten oder Kommentare dazu und Seiten mit php-Suffix, die scheinbar allesamt direkt auf die Startseite boulderrausch.de weitergeleitet werden und nicht auf die entsprechenden neuen URLs.

**Maiurb** · 05.01.2016, 07:48

Zitat von tab

Welche Weiterleitungen wurden denn nun wirklich geschaltet? Kannst ja mal deine .htaccess posten eventuell. Es fällt mir jedenfalls auf, dass bei der Google-Suche "site:www.boulderrausch.de" noch reichlich Seiten mit www.boulderrausch.de auftauchen, unter anderem auch Newsseiten oder Kommentare dazu und Seiten mit php-Suffix, die scheinbar allesamt direkt auf die Startseite boulderrausch.de weitergeleitet werden und nicht auf die entsprechenden neuen URLs.

Hallo, ja das hängt damit zusammen, dass am Server eine Weiterleitung von www auf ohne www geschaltet ist. Ist übrigens auch in der htaccess und bei searchgoogle so geschaltet.

Alten Content findet man noch, weil google den noch gecached hat, aber am Server ist der komplette alte Content gelöscht und nicht mehr vorhanden.

Duplicate content wird auch nur von Facebook und Google+ gefunden, weil ich meine Artikel dort auch verknüpfe.

**tab** · 05.01.2016, 10:15

Das mit de Weiterleitung von www auf ohne www ist schon klar. Aber gibt es sonst noch Weiterleitungen? Weil die "alten" URLs, die ich probiert habe, grundsätzlich auf die neue Startseite geleitet werden, inklusive der möglicherweise vorhandenen Parameter.
Edit: Also z.B.: www.boulderrausch.de/easynews.php?action=comments&id=237 wird weitergeleitetet auf http://boulderrausch.de/?action=comments&id=237

**Maiurb** · 05.01.2016, 10:36

Zitat von tab

Das mit de Weiterleitung von www auf ohne www ist schon klar. Aber gibt es sonst noch Weiterleitungen? Weil die "alten" URLs, die ich probiert habe, grundsätzlich auf die neue Startseite geleitet werden, inklusive der möglicherweise vorhandenen Parameter.
Edit: Also z.B.: http://www.boulderrausch.de/easynews...omments&id=237 wird weitergeleitetet auf http://boulderrausch.de/?action=comments&id=237

Keine anderen Weiterleitungen.
Habe gerade alle Seiten des Caches, die noch unter www gefunden werden, löschen lassen.

Die Weiterleitung leitet ALLES was noch unter www.boulderrausch.de gefunden wird, auf http://boulderrausch.de weiter und zwar auf die Startseite von boulderrausch.de.

Zusätzlich habe ich alle neuen Seiten mit dem canonical-tag versehen.

VG

**tab** · 05.01.2016, 10:45

Hmm. Das erklärt zumindest mal, warum andere Seiten (noch) nicht gefunden werden. Weil eben die alten Seiten nicht auf diese Seiten weitergeleitet werden, sondern ausschliesslich auf die Startseite. Eigentlich müssten jetzt ja alle Links auf irgendeine der alten Seiten früher oder später der neuen Startseite "gutgeschrieben" werden. Wobei ich nicht weiss, ob das auch funktioniert, wenn da noch (überflüssige) Parameter mitgenommen werden.

**Spooky** · 05.01.2016, 11:43

Zitat von Maiurb

Hallo, ja das hängt damit zusammen, dass am Server eine Weiterleitung von www auf ohne www geschaltet ist. Ist übrigens auch in der htaccess und bei searchgoogle so geschaltet.

Was genau meinst du damit nun. Du hast eine Weiterleitung beim Hoster eingestellt? Die solltest du deaktivieren und nur die Anweisung in der .htaccess.default von Contao verwenden.

Alte, nicht existente Seiten sollten nicht auf die Startseite weitergeleitet werden, sondern es sollte ein 404 Error entstehen. Am besten definierst du auch zusätzlich

Code:

ErrorDocument 404 /index.php

und in deiner Seitenstruktur eine Seite vom Typ 404 Not Found.

**Maiurb** · 07.01.2016, 12:11

Zitat von Spooky

Was genau meinst du damit nun. Du hast eine Weiterleitung beim Hoster eingestellt? Die solltest du deaktivieren und nur die Anweisung in der .htaccess.default von Contao verwenden.

Wenn ich das beim Hoster deaktiviere, dann wird meine Seite nicht mehr unter www.boulderrausch.de gefunden. So tippen ja viele die Seite in der Adresszeile ein!
In der .htaccess.default steht die Anweisung bereits drin!

Zitat von Spooky

Alte, nicht existente Seiten sollten nicht auf die Startseite weitergeleitet werden, sondern es sollte ein 404 Error entstehen. Am besten definierst du auch zusätzlich

Code:

ErrorDocument 404 /index.php

und in deiner Seitenstruktur eine Seite vom Typ 404 Not Found.

Ich kenne diese Seiten nicht, die noch im Google Cache liegen. Am Server sind ja alle alten Seiten gelöscht!

**Contao-Academy** · 07.01.2016, 12:20

Blöde Frage, aber benutzt du die .htaccess.default oder die .htaccess für deine Anweisungen?

Denn die .default ist nur eine Beispieldatei, die musst du in .htaccess umbenennen.
Der Webserver kann nur mit der Datei .htaccess arbeiten.

Viele Grüße
Christian

**Maiurb** · 07.01.2016, 12:32

Zitat von Fenepedia

Blöde Frage, aber benutzt du die .htaccess.default oder die .htaccess für deine Anweisungen?

Denn die .default ist nur eine Beispieldatei, die musst du in .htaccess umbenennen.
Der Webserver kann nur mit der Datei .htaccess arbeiten.

Viele Grüße
Christian

Hatte es in beide eingetragen, es gibt nämlich bei Contao zwei htaccess.

.htaccess
.htaccess.default

**Maiurb** · 07.01.2016, 12:53

Wenn ich die Umleitung am Server lösche, ist meine Seite nur noch ohne das www zu erreichen, da es so angelegt wurde.

Aber warum greift dann die .htaccess nicht, wo folgendes steht:

RewriteCond %{HTTP_HOST} ^www\.boulderrausch\.de$ [NC]
RewriteRule (.*) http://boulderrausch.de/$1 [R=301,L]

Für mein Verständnis müssten doch jetzt Anfragen nach www.boulderrausch.de automatisch auf boulderrausch.de weitergeleitet werden???

**tab** · 07.01.2016, 13:01

Die kommen offenbar so gar nicht erst in deinem Installationsverzeichnis an, weil sie irgendwo anders hingeleitet werden. Damit kann sich die .htaccess auch nicht auf diese Requests auswirken. Diese Umleitung sollte also bestehen bleiben. Bzw welche sonstigen Einstellmöglichkeiten hast du denn da bei deinem Hoster?

**Maiurb** · 07.01.2016, 13:15

Das sieht so aus, Anhang!

**tab** · 07.01.2016, 13:44

Ich meinte die Einstellung, wo du "mit www" auf "ohne www" weiterleitest. Rein technisch ist www eine Subdomain wie jede andere und kann prinzipiell auf ein ganz anderes Verzeichnis geleitet werden als die Hauptdomain oder auch einfach gar nicht verarbeitet werden. Was ja bei dir offenbar in irgendeiner Form der Fall ist, weil ohne deine geschaltete Weiterleitung die Requests mit www gar nicht erst bei dir ankommen, also auch von der .htaccess gar nicht auf "ohne www" umgeschrieben werden können.

Entweder bewirkt diese Weiterleitung das komische Verhalten oder es ist sonst noch irgendwo eine Weiterleitung/Umschreibung am werkeln. Wenn ich z.B. "http://www.boulderrausch.de/foobar.html" aufrufe, dann lande ich auch auf "http://boulderrausch.de". Rufe ich aber "http://boulderrausch.de/foobar.html" auf, dann kommt völlig korrekt eine 404-Meldung.

**Spooky** · 07.01.2016, 13:49

Zitat von Maiurb

Wenn ich das beim Hoster deaktiviere, dann wird meine Seite nicht mehr unter www.boulderrausch.de gefunden. So tippen ja viele die Seite in der Adresszeile ein!
In der .htaccess.default steht die Anweisung bereits drin!

Nein, da hast du mich falsch verstanden. Deine Serverkfonfiguration sollte so sein, dass deine Website unter www.boulderrausch.de und boulderrausch.de erreichbar ist. Sprich, der VHost deines Webservers muss als DocumentRoot für diese beiden Domains das entsprechende Verzeichnis angegeben haben. Es sollte von der Server Konfiguration her kein Redirect erfolgen - das machst du dann selbst in deiner eigenen .htaccess. Aktuell ist dein Server so konfiguriert dass www.boulderrausch.de eine 301 Weiterleitung auf boulderrausch.de macht, allerdings ohne Request Parameter. Dadurch gibt es es bspw. für die URL http://www.boulderrausch.de/foo.html auch eine 301 Weiterleitung auf http://boulderrausch.de/ - obwohl es eigentlich http://boulderrausch.de/foo.html sein sollte.

Zitat von Maiurb

Ich kenne diese Seiten nicht, die noch im Google Cache liegen. Am Server sind ja alle alten Seiten gelöscht!

Nein, da hast du mich falsch verstanden, es geht ja nicht darum, dass du diese Seiten kennst oder nicht kennst. Seiten, die nicht (mehr) existieren, sollten einen 404 Status Code zurück geben - das ist unter der Domain www.boulderrausch.de aber aktuell nicht der Fall (siehe mein voriger Kommentar dazu).

Zitat von Maiurb

Hatte es in beide eingetragen, es gibt nämlich bei Contao zwei htaccess.

.htaccess
.htaccess.default

Contao liefert nur die .htaccess.default » https://github.com/contao/core/tree/3.5.6
Poste mal den gesamten Inhalt deiner aktuellen .htaccess - und stelle wie gesagt deinen Server um, sodass kein Redirect mehr von www. passiert.

Zitat von Maiurb

Das sieht so aus, Anhang!

Eben das musst du ändern. Für www.boulderrausch.de darf dort nicht "Weiterleitung (301/permanent) …" stehen, sondern (vermutlich) "Webspace (PHP 5.6.16)".

**Maiurb** · 07.01.2016, 14:02

Zitat von Spooky

Eben das musst du ändern. Für www.boulderrausch.de darf dort nicht "Weiterleitung (301/permanent) …" stehen, sondern (vermutlich) "Webspace (PHP 5.6.16)".

Heißt das, ich soll die Weiterleitung deaktivieren und anstelle der Weiterleitung das Contao Verzeichnis angeben, wo jetzt die neue Seite liegt?

**tab** · 07.01.2016, 14:04

Ja, so ist es gemeint.

**Spooky** · 07.01.2016, 14:06

Zitat von Maiurb

Heißt das, ich soll die Weiterleitung deaktivieren und anstelle der Weiterleitung das Contao Verzeichnis angeben, wo jetzt die neue Seite liegt?

Ja, siehe mein voriger Post.

Zitat von Spooky

Deine Serverkonfiguration sollte so sein, dass deine Website unter www.boulderrausch.de und boulderrausch.de erreichbar ist. Sprich, der VHost deines Webservers muss als DocumentRoot für diese beiden Domains das entsprechende Verzeichnis angegeben haben.

**Maiurb** · 07.01.2016, 14:24

Zitat von tab

Ja, so ist es gemeint.

Habe ich gemacht und wenn man jetzt www eingibt, wird auf die neue Seite weitergeleitet, also scheint es funktioniert zu haben.
Müßte man nur noch die Fehlerseiten prüfen, ob da eine 404 Meldung kommt.

**Spooky** · 07.01.2016, 14:26

Zitat von Maiurb

Müßte man nur noch die Fehlerseiten prüfen, ob da eine 404 Meldung kommt.

Ja, kommt

http://www.boulderrausch.de/foo.html

**Maiurb** · 07.01.2016, 14:34

Super, vielen Dank an alle.

Verstehe zwar nicht, warum mein Hoster, der auch gleichzeitig Contao Spezialist/Programmierer ist, dass nicht wußte und Serverseitig die Weiterleitung geschaltet hat.

Naja, jetzt funktioniert es ja und die .htaccess.default sollte ja nun auch greifen!

**Spooky** · 07.01.2016, 14:38

Die .htaccess.default nicht, nur die .htaccess

**Maiurb** · 07.01.2016, 14:43

Zitat von Spooky

Die .htaccess.default nicht, nur die .htaccess

Widersprichst du dich da jetzt nicht, sehr verwirrend?

Contao liefert nur die .htaccess.default » https://github.com/contao/core/tree/3.5.6

**Spooky** · 07.01.2016, 14:52

Zitat von Maiurb

Widersprichst du dich da jetzt nicht, sehr verwirrend?

Contao liefert nur die .htaccess.default » https://github.com/contao/core/tree/3.5.6

Nein. Contao liefert nur die .htaccess.default. Die musst du dann umbenennen in .htaccess.

**tab** · 07.01.2016, 14:55

Zitat von Maiurb

Super, vielen Dank an alle.

Verstehe zwar nicht, warum mein Hoster, der auch gleichzeitig Contao Spezialist/Programmierer ist, dass nicht wußte und Serverseitig die Weiterleitung geschaltet hat.

Vielleicht Absicht?! Wenn du hunderte von Seiten vor der Umstellung und auch jetzt wieder hast und man die alten URLs nicht gleich in größerer Anzahl mit einer Anweisung weiterleiten kann auf die entsprechenden neuen, dann müssten die ja alle einzeln behandelt werden. Allerdings könnte man das auch anders erreichen, z.B. über die .htaccess

Andererseits, nicht jeder, der sich mit Contao prima auskennt, kennt sich auch mit solchen Dingen aus - und umgekehrt natürlich auch. Allerdings, wenn der Hoster selbst gleichzeitig Contao-Spezialist ist, sollte man davon ausgehen dürfen, dass er sowohl von den Einstellungen seiner Server als auch von Contao Ahnung hat.

**Maiurb** · 07.01.2016, 14:56

Zitat von Spooky

Nein. Contao liefert nur die .htaccess.default. Die musst du dann umbenennen in .htaccess.

Ok, die ist bereits vorhanden, mit glaube ich identischem Inhalt, bis auf die Weiterleitungsregel, die ich gesetzt hatte!

**Maiurb** · 18.01.2017, 07:23

Hallo, jetzt nach einigen Monaten muss ich das Thema nochmal aufgreifen.
Meine Seite wird jetzt bei google sofort angezeigt, wenn ich nach "boulderrausch" suche, so wie es auch sein sollte.

Aber sie wird nach wie vor nicht angezeigt, wenn ich nach dem Begriff "bouldern" suche.
Da wurde die Seite mit der alten HTML Version, ohne Contao sofort gefunden.

Auch ist meine Seite Responsive aufgesetzt, da hat ja Google momentan die Priorität der Suchanfragen umgestellt, also das kleinere Seiten für zB. Smartphones vorhanden sein sollen.

Woran könnte es noch liegen, dass unter dem Hauptbegriff "bouldern", der mehrfach im Beschreibungstext meiner Seite vorhanden ist, nicht mehr angezeigt wird?

Vg Maik

**Spooky** · 18.01.2017, 08:54

Zitat von Maiurb

Aber sie wird nach wie vor nicht angezeigt, wenn ich nach dem Begriff "bouldern" suche.
Da wurde die Seite mit der alten HTML Version, ohne Contao sofort gefunden.

Und welche URLs wären das? Mir zeigt Google da nichts an.

**Maiurb** · 18.01.2017, 10:16

Zitat von Spooky

Und welche URLs wären das? Mir zeigt Google da nichts an.

Wenn man früher "bouldern" eingegeben hat, ist meine Seite boulderrausch.de recht bald mit Treffern aufgetaucht.
Jetzt findet man bis Suchseite 30 gar nichts mehr!

Und das muss mit der neuen Contao-Webseite zusammenhängen, denke ich,
Weil es vorher mit der veralteten HTML Seite immer zu Ergebnissen geführt hat.
Meine Domäne existiert bereits seit mehr als 10 Jahren.

**Spooky** · 18.01.2017, 10:43

Du hast kein SSL Zertifikat auf der Seite, das spielt auch eine Rolle.

**Maiurb** · 18.01.2017, 10:49

Zitat von Spooky

Du hast kein SSL Zertifikat auf der Seite, das spielt auch eine Rolle.

Ich habe keine verschlüsselten Seiten, wie übrigens sehr viele andere Seiten die Treffer erhalten, auch nicht haben. Die wenigsten Seiten habe ein SSL-Zertifikat.
Daran liegt es mit Sicherheit nicht, dass ich gar nicht mehr gelistet werde, obwohl meine Domäne über 10 Jahre besteht.

VG Maik