Robots txt für Contao 3

[fotominor]

Hallo,

wie sollte eine robots.txt standardmäßig für Contao 3.2.X aussehen, damit die Seite ordnungsgemäß von Google indexiert werden kann?
Unsere sieht so aus:

User-agent: *
Disallow: /check/
Disallow: /contao/
Disallow: /system/
Disallow: /templates/
Disallow: /share/index.php
Disallow: /contao-check.php
Disallow: /flash.php
Disallow: /README.md
Allow: /assets/

So wird sie jedoch für Google gänzlich geblockt. Jetzt will ich aber nicht einfach etwas auf allow stellen, ohne zu wissen, ob das auch so gehört.
Schonmal vielen Dank!

[tab]

Das ist die Standard robots.txt Datei. Da wird doch nichts geblockt, was in den Index sollte.

[fotominor]

Das Problem ist, dass unsere Seite komplett aus den Google-Ergebnissen verschwunden ist, seit wir vor kurzem auf Contao umgestiegen sind (Version 3.2.8).
Wenn ich die Seite aufrufe und mir die Seiteninformationen der Startseite anzeigen lasse, dann steht dort: noindex, nofollow. Ich vermute also stark, dass das die Ursache ist. Jedoch weiß ich nicht, wo ich diese Angabe genau ändern soll.
Wäre für Hinweise sehr dankbar!

[stefan-at-work]

das kannst Du in der Seitenstruktur individuell für jede Seite definieren

[fotominor]

das kannst Du in der Seitenstruktur individuell für jede Seite definieren

Wenn ich die Startseite dort aufrufe, dann steht dort unter "Robots-Tag" "index, follow". Jedoch wird mir im Browser weiterhin "noindex, nofollow" angezeigt. Wie kann das sein?

[stefan-at-work]

Link?

[fotominor]

Link?

www.tvbadems.de

[stefan-at-work]

kommt daher, weil Du die Startseite als interne Weiterleitung auf news umleitest.

[fotominor]

kommt daher, weil Du die Startseite als interne Weiterleitung auf news umleitest.

Wo stelle ich das ein?
Habe einfach nur bei der Seitenstruktur die Startseite mit dem "Globus-Symbol". Wo stelle ich denn ein, welche Seite als Startseite erscheinen soll? Und wie müsste ich es einstellen, damit das Problem an sich nicht mehr auftritt? Aber natürlich soll News weiterhin die Startseite bleiben. Wäre dir dankbar für eine Anleitung

[stefan-at-work]

die Startseite ist immer die erste Seite unterhalb des Startpunktes (Ausgenommen individuelle Fehlerseiten).

Hast Du diese erste Seite umgeleitet auf die Newsseite?

[fotominor]

die Startseite ist immer die erste Seite unterhalb des Startpunktes (Ausgenommen individuelle Fehlerseiten).

Hast Du diese erste Seite umgeleitet auf die Newsseite?

Ja, tatsächlich, so ist es. Was muss ich nun tun, damit News weiterhin die Startseite bleibt und das index-follow-Problem gelöst wird?

[stefan-at-work]

Nimm die Umleitung raus und verschiebe die Nesseite mit dem blauen Pfeil an die erste Position und lösche die ursprünglich umgeleitete Startseite. Und wenn Du Tante Google noch einen Gefallen tun willst, benenne den Seitenalias der Newsseite als"index"

[stefan-at-work]

und falls Du überdDie Webmastertools eine xml-Sitemap eingereichst hast, dann noch unter Systemwartung eine neue xml-Sitemap generieren.

[fotominor]

Nimm die Umleitung raus und verschiebe die Nesseite mit dem blauen Pfeil an die erste Position und lösche die ursprünglich umgeleitete Startseite. Und wenn Du Tante Google noch einen Gefallen tun willst, benenne den Seitenalias der Newsseite als"index"

Habe ich gemacht. Leider existiert das Problem noch immer ;(

[stefan-at-work]

Systemwartung -> Seitencache löschen und evt. Deinen Browsercache

[fotominor]

Systemwartung -> Seitencache löschen und evt. Deinen Browsercache

Hat leider auch nichts geholfen.

[stefan-at-work]

hast Du das Template der fe_page evt. modifiziert?

[fotominor]

hast Du das Template der fe_page evt. modifiziert?

Ich habe die Seite nicht erstellt. In der fe_page steht Folgendes:
<meta name="robots" content="noindex, nofollow">
Gehört das so?

[stefan-at-work]

nee, damit sperrst Du ALLE Seiten aus. Lösche mal die Zeile.

[tab]

Was mir aufgefallen ist, im Seitenquelltext steht

<!--<meta name="robots" content="index,follow">-->
  
  <meta name="robots" content="noindex, nofollow">

Also im Kommentar oben drüber steht es "richtig". Dieser Kommentar ist normalerweise gar nicht vorhanden, keine Ahnung durch welchen Modus das so erzeugt wird. Benutzt du eventuell ein modifiziertes Seitentemplate?

Edit: Wie du oben geschrieben hast, offenbar ja. Steht da der Kommentar auch mit drin?

[fotominor]

Okay, danke. Das Problem ist gelöst.
Die fe_page war modifiziert und vermutlich wurde dort zu Testzwecken während der Entwicklung die Robots-Zeile ausgehebelt und die Indexierung verboten.
Habe nun wieder den Standard hergestellt und alles funktioniert korrekt.

Vielen Dank für eure Mithilfe!