Nach Update auf 3.2.7 Seite aus Google-Index verschwunden

**Steffen Keil** · 07.03.2014, 10:36

Hallo Zusammen,

ich habe am 03.03.2014 eine Kundenwebseite von 3.1.x auf 3.2.7 geupdatet. Gestern rief mich die Kundin an, dass ihre Seite nicht mehr bei google gelistet ist.

Ich habe recherchiert, dass sie wirklich aus dem Index verschwunden ist. Selbst eine Suche mit site: brachte keine Erfolge. Weiteres Nachschauen ergab, dass just am 03.03.2014 die Sucheinträge (im webmastertool nachgeschaut) aufhören.

Ist das jetzt Murphys Gesetz oder hat es tatsächlich was mit dem Update zu tun?

Danke für eure Hilfe.

Grüße
Steffen Keil

**tab** · 07.03.2014, 11:02

Das ist ja komisch. Die URLs sind gleich geblieben beim Update? Ansonsten, selbst wenn der Bot gerade während des Updates dagewesen wäre und irgendeinen komischen Statuscode erhalten hätte, selbst wenn es ein 404 für alle gecrawlten Seiten wäre. Sooo schnell führt das normalerweise nicht dazu, dass die Seite komplett aus dem Index fliegt. Mit irgendwelchen zweifelhaften Inhalten oder neidischer Konkurrenz, die eine Entfernung aus dem Index durchgesetzt haben könnte, hat die Kundin nicht zu kämpfen?

Edit: Habt ihr schon mal in die Webmaster-Tools geschaut, ob es da irgendwelche Probleme gab?
Edit2: Hast du eventuell während der Entwicklung ein "noindex" oder eine robots.txt eingesetzt und dann vergessen, das wieder rauszunehmen?

***Nina*** · 07.03.2014, 11:16

Standard robots.txt im Root-Verzeichnis vorhanden (zur Sicherheit mal reinschauen ob nix falsches geblockt wird)?
In der Seitenstruktur die Einstellungen der verschiedenen Seiten anschauen, ob darin vielleicht irrtümlich noindex eingestellt wurde?
In der Root-Seite eine sitemap.xml erstellen lassen und diese über die Webmaster-Tools an Google senden, damit die Seiten wieder aufgenommen werden
Generell die Einträge der Webmaster-Tools von Google checken, ob darin Hinweise auf Probleme zu finden sind
Schauen ob die Fallback-Einstellung korrekt gesetzt ist
Irgendwelche sonstigen Angaben im fe-Template oder Seitenlayout hinterlegt (z.B. falsche Canonical-Anweisungen o.ä.)?

**Steffen Keil** · 07.03.2014, 11:30

Mmmm...

im Webmastertool gibt es keine Auffälligkeiten. Habe auch keine Info seitens Google bekommen, die man ja kriegt, wenn man aus dem Index fliegt. Eine robots.txt gibt es:

Code:

User-agent: *
Disallow: /check/
Disallow: /contao/
Disallow: /system/
Disallow: /templates/
Disallow: /share/index.php
Disallow: /contao-check.php
Disallow: /flash.php
Disallow: /README.md
Allow: /assets/

Die blockiert aber meines Erachtens nichts, was für den Index wichtig wäre. Ist auch die, die durch Contao automatisch erzeugt wird.

Auf den Seiten ist überall index-follow eingestellt. Am Inhalt kann es auch nicht liegen - es geht um Hochzeitstorten und Deko (mm-torten-dekoration.de). Bleibt eigentlich nur noch die Konkurenz. Aber selbst da wäre ja in irgendeiner Weise eine Info gekommen: Verfügung, Abmahnung u.ä. oder?

Zusätzliche Domains (hochzeit-torten.de und party-torten.de) sind in der htaccess mit 301 weiter geleitet. Sollte also auch passen. Es handelt sich um eine onePage-Seite - also auch hier eigentlich alles optimal. Der Head-Bereich sieht so aus:

Code:

<head>

  <meta charset="utf-8">
  <title>Startseite - marryMary - Hochzeitstorten, Dekoration, Blumendesign und weitere Hochzeitsdienstleistungen</title>
  <base href="http://www.mm-torten-dekoration.de/">

  <meta name="robots" content="index,follow">
  <meta name="description" content="marryMary ist Ihr Hochzeits- und Partydienstleister - spezialisiert auf Hochzeitstorten, Dekoration und Blumendesign.">
  <meta name="keywords" content="Hochzeit, Hochzeitstorte, Hochzeitstorten, Dekoration, Blumen, Blumendesign, Dresden, Pirna, Struppen, Sächsische Schweis, Sachsen, Hochzeitstorte in Sachsen, Hochzeitstorten gestalten, Geburtstagstorten, Torten, Torte, Tischdekoration">
  <meta name="generator" content="Contao Open Source CMS">

  <meta name="viewport" content="width=device-width,initial-scale=1.0">
  <style>#header{height:250px}</style>
  <link rel="stylesheet" href="http://fonts.googleapis.com/css?family=Gochi+Hand">
<link rel="stylesheet" href="system/modules/Subcolumns/assets/yaml3/subcols.css">
<link rel="stylesheet" href="system/modules/photoalbums2/assets/photoalbums2.css">
<link rel="stylesheet" href="/system/modules/OnePageWebsite/assets/css/onepagewebsite.css">
<link rel="stylesheet" href="assets/css/3d7bf544a2f1.css">
    <script src="assets/js/83a758d1f86e.js"></script>
<!--[if lte IE 7]><link href="system/modules/Subcolumns/assets/yaml3/subcolsIEHacks.css" rel="stylesheet" type="text/css" /><![endif]-->
<script type="text/javascript">/* <![CDATA[ */if(window.innerWidth <= 768) window.location.href ='?toggle_view=mobile';/* ]]> */</script>
  <!--[if lt IE 9]><script src="assets/html5shiv/3.7.0/html5shiv.js"></script><![endif]-->

</head>

Also auch unauffällig.

Habe über das Webmastertool jetzt alles wieder neu angemeldet. Mal schauen, ob was passiert.

Komisch ist auch, dass die Seite nicht mehr bei bing zu finden ist. Mit allen Suchbegriffen nicht, über die bisher die Seite gefunden wurde.

Grüße
Steffen

P.S. An der folgenden Grafik aus dem Webmastertool sieht man, dass am 03.03.2014 Schluss war.
webmastertool.png

**tab** · 07.03.2014, 11:43

Schau dir das mal an:
http://www.pagesinventory.com/domain...ration.de.html
Keine Ahnung von wann das ist bzw wie aktuell, aber da steht "Robots: noindex, nofollow"

**Steffen Keil** · 07.03.2014, 11:58

Ich habe nochmal alle Seiten durchgeschaut. steht überall index-follow drin. Stehe gerade auf dem Schlauch...

Mal schauen, was in den nächsten Tagen passiert.

**tab** · 07.03.2014, 12:04

Ja, im Moment steht das (wieder?) drin, das kann ich bestätigen, sieht man ja im Quelltext. Aber zu dem Zeitpunkt, als pagesinventory.com das letzte Mal geschaut hat, stand da eben - wie und warum auch immer - noindex, nofollow.
Das würde auch erklären , dass ausser Google auch Bing (und wahrscheinlich auch andere Suchmaschinen) die Site aus dem Index genommen hat.

Wie auch immer, wenn du jetzt die Sitemap eingereicht hast und ja wieder index, follow da steht, dann werden die Seiten auch wieder in den Index aufgenommen. Und die externen Links existieren ja auch immer noch, die sind dadurch jetzt nicht plötzlich verschwunden. Blöd sind nur die 4 Tage, in denen eben niemand mehr die Site gefunden hat, der sie nicht eh schon kannte.

**Steffen Keil** · 07.03.2014, 12:23

So, habe mal einige Online-Tools ausprobiert und werde immer verwirrter...

Von Fehler 404 (siehe auch Grafiken) bis hin "URL wurde nicht gefunden" und "defekte URL" war alles dabei. Ist da irgendwo ein Ansatz zu finden?

header_fehler.png
header_fehler_02.png
header_fehler_03.png

Grüße

P.S. Noch eine Meldung - diesmal vom Webmastertool beim Versuch die Seite wie bei Google abzurufen.

webmastertool_crawler.png

**tab** · 07.03.2014, 12:39

Wo wird die Website denn gehostst? Eventuell hat der Hoster momentan ein paar DNS/Netzwerkprobleme oder der Server ist schlicht überlastet. Was natürlich nicht die noindex, nofollow Geschichte erklären kann. Immerhin, ich komme von hier aus auf die Seite.

**Spooky** · 07.03.2014, 12:44

Der Server wo die Seite aktuell läuft hat momentan auch sehr oft eine lange Response Time. Könnte wirklich an einer Server Überlastung liegen (bzw. evt. haben die Tools einen sehr kleinen Timeout Wert?).

**tab** · 07.03.2014, 12:57

Ja, habe gerade mal google page speed bemüht. "Ihr Server hat innerhalb von 2.9 Sekunden geantwortet". Na immerhin

Meine Sorgenkinder bei 1&1

haben (danach zum Vergleich analysiert) innerhalb von 0.22 Sekunden geantwortet. Das sehe ich da aber heute auch zum ersten Mal

. 2.9 Sekunden hatte ich da aber noch nie.

**Steffen Keil** · 07.03.2014, 13:26

Also, Mittwald kann nichts feststellen. Soll über webmastertool prüfen... Mmmm... da war ich ja schon.

Ich gehe aber fast davon aus, dass es irgendwas mit dem Update zu tun hat. Werde jetzt mal die original htaccess aktivieren (.default) und dann schauen. Wenn alle Stricke reißen, kann ich immer noch das Backup wieder einspielen.

Contao-Check war übrigens ok.

Grüße
Steffen

**Steffen Keil** · 10.03.2014, 06:43

Hallo Zusammen,

ich habe die Version 3.1.2 wieder eingespielt und die Fehler sind weg, Seite kann von google wieder indiziert werden. Ich befürchte, dass es Probleme mit der Erweiterung OnePageWebsite gibt. Folgendes hatte mein Provider nach dem Test geschrieben:

Dabei sind uns zwei Fehlersituationen aufgefallen, die den Aufruf ausbremsen.

Scheinbar verwenden Sie keine unterschiedlichen Seiten, sondern haben alle Informationen
auf einer einzigen Seite hinterlegt und arbeiten hier nur mit Sprungmarken zu einer definierten Position.
Die Sprungmarke "#startseite/referenz/willkommen" scheint nicht zu existieren und
Ihre CSS-Datei kann nicht verwendet werden (403 - Forbidden):
http://www.mm-torten-dekoration.de/s...agewebsite.css

Da es sich hierbei um eine fremde Anwendung handelt kann ich nur vermuten,
dass Sie ggf. die Dateirechte für onepagewebsite.css anpassen müssen.
Zur Zeit zeigen die Dateirechte folgende Kriterien:
-rw-r--r-- 1 p209907 users 143 2013-11-20 07:05 onepagewebsite.css

Bot-Zugriffe liegen zwar bei über 10 % der Seitenaufrufe, allerdings beeinflusst dies
bei insgesamt 221 Aufrufen nicht die Geschwindigkeit der Seite:

Bots
2 Hits SISTRIX
4 Hits Yandex
4 Hits bingbot
5 Hits Googlebot
8 Hits AhrefsBot

Summary
10,41% by Bots
221 Hits total
14,73 MB Traffic

Jetzt ist die Frage, woran kann das liegen. würde die Seite schon gern auf die aktuelle Version heben.

Viele Grüße
Steffen

**Spooky** · 10.03.2014, 07:02

Für den Bot sollte das alles ja eigentlich keine Rolle spielen.

Du scheinst außerdem eine ältere Version von OPW zu verwenden? Die neueste bringt keine eigene CSS Datei mehr mit. In deiner Version könnte es sein, dass die .htaccess Datei im OPW/assets Ordner 'inkompatibel' ist. Dort steht vielleicht

Code:

order allow,deny
allow from all

Für Contao 3 und ab Apache 2.4 muss es aber folgendes sein:

Code:

<IfModule !mod_authz_core.c>
  Order allow,deny
  Allow from all
</IfModule>
<IfModule mod_authz_core.c>
  Require all granted
</IfModule>

Da du die CSS Datei aber sowieso nicht brauchst, ist das auch eigentlich egal. Und wie gesagt, das sollte keinen Einfluss auf das Indizieren der Seite haben.

Langsam ist die Seite nach wie vor. Response Time liegt noch immer bei ~3500ms.