Problem mit robots.txt

[BigDaddy]

Hallo Leute,

ich habe anscheinend immer die eigenartigsten Probleme. Entweder ist es TL 2.8.2 oder ein Google-Problem.

Meine "robots.txt" sieht wie folgt aus:

User-agent: *
Disallow: /plugins/
Disallow: /system/
Disallow: /templates/
Disallow: /typolight/
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /flash.php
Disallow: /GPL.txt
Disallow: /INSTALL.txt
Disallow: /LGPL.txt

Aus meiner Sicht vollkommen normal. Der GoogleBot weigert sich die "robots.txt" anzunehmen!
Mit dem internen Test-Tool von Google habe ich die URLs und die "robots.txt" geprüft.
Es zeigt mir bei allen Einträgen "zugelassen" an, aber quittiert gleichzeitig mit "Syntax wurde nicht verstanden".
Meine Sitemap hat Google eingelesen und wird mit einem grünen Haken als O.K. gekennzeichnet.

Im Vergleich zu einer anderen Installation (beide TL 2.8.2) wird die "robots.txt" mit
-URL durch "robots.txt" eingeschränkt- angezeigt. Das kann aber nicht sein, da beide Installationen die gleiche "robots.txt" haben.

Ich finde auch in den einschlägigen Foren keinen Hinweis.
Kann mir bitte jemand einen Tipp geben?

Vielen Dank im Voraus

MfG

BigDaddy

[Sebastian]

HI

TL 2.8.2 gibt es eigentlich noch gar nicht. Du verwendest also den Trunk aus dem SVN?

Was für Zeichenkodierungen haben die Dateien denn? Und hast du die Datei mal mit einem guten Editor angeschaut, vielleicht sind ja Sonderzeichen drinnen?

Sebastian

[xchs]

Mit dem internen Test-Tool von Google habe ich die URLs und die "robots.txt" geprüft.

Meinst Du mit dem "internen Test-Tool" die Google Webmaster-Tools?

[BigDaddy]

@ Sebastian,

Entschuldigung, ich meine natürlich TL 2.8.1 .
Sonderzeichen sind weder in der sitemap.xml noch in der robots.txt

@ xchs

Ja die Google Webmastertools

MfG

BigDaddy

[tom56]

Hallo BigDaddy,

so eigenartig ist Dein Problem nicht. Bei mir tritt haargenau das Gleiche auf und ich habe noch keinen Lösungsansatz gefunden. Bist Du denn ein Stückchen weiter gekommen?

Grüße
Thomas

[xchs]

Hallo BigDaddy,

so eigenartig ist Dein Problem nicht. Bei mir tritt haargenau das Gleiche auf und ich habe noch keinen Lösungsansatz gefunden. Bist Du denn ein Stückchen weiter gekommen?

Könnte es vielleicht sein, dass die betreffende Datei nicht im UTF-8 Format gespeichert ist bzw. die Zeichencodierung während der Übertragung geändert wurde?

[BigDaddy]

Hallo tom56,

bei mir hat sich das Problem nach einiger Zeit von selber erledigt. Warum, wieso, weshalb? Keine Ahnung! Dieser Effekt ist das erste Mal bei mir aufgetreten und jetzt scheint alles O.K. zu sein.
Vielleicht hat Google einen schlechten Tag gehabt und sich irgendwie verschluckt. Ich habe keine Ahnung!

Sorry

BigDaddy

[tom56]

Hallo xchs & BigDaddy,
zunächst danke für Eure Antworten.

@xchs
Das kann (eigentlich ;-) nicht sein, denn die robots.txt wurde mit dem gesamten TL-Ordner per Win-SCP hochgeladen und danach nicht geändert. Falls das am Kern Deiner Antwort vorbeigeht, bitte ich schon jetzt um Gnade ;-)

@BigDaddy
Ich habe zwar vermutet, dass sich die Sache so entwickelt, wie Du es sagst, aber eben nicht gewusst. Insofern ist mir Deine Bestätigung sehr wichtig. Ich wollte vor allem ausschließen, dass ich bei TL irgendetwas Lapidares übersehen habe und sich meine (erste mit TL überarbeitete) Seite irgendwann einmal gänzlich bei „Google & Co.“ verabschiedet.

Also, danke nochmals an Euch beide.
Einen schönen Sonntag wünscht the://thomas