Crawling-Fehler durch RewriteRule

[martinmv]

Ich umschreibe die Links mit

RewriteRule .*$ index.php [L]

in der .htaccess, damit statische Links ohne das index.php Fragment erzeugt werden.

Durch diese RewriteRule meldet jedoch das Webmastertool von google zahlreiche Crawlingfehler. Bild ist anbei angehängt.
Lassen sich diese Fehler irgendwie verhindern?

Lg
martinmv

[gregor]

Sieht so aus als wäre der Googlebot schon vor der Umstellung der Rewrite-Regel auf der Website gewesen und hat somit die alten Links indexiert, die er nun nicht mehr findet.

In den Errors sind ja auch 404er ohne das index.php, also scheint es nicht am Rewrite zu liegen.

Wird die Website "online" entwickelt? Wenn ja, dann sollte man die Bots aussperren, solange die Site nicht komplett fertig ist.

LG
Gregor

[martinmv]

ich habe damals die website übernommen. da wurden wohl die bots nicht ausgesperrt.

kann dies negative auswirkungen haben?
wird diese indexierung mal automatisch entfernt/geaendert?

[BugBuster]

Das hat Google so ansich. Selbst wenn du nie eine index.php drin hattest kommt google vorbei und fängt plötzlich an über index.php zu laufen.
Da hilft auch keine sitemap.
Leider gabs dann ein SEO "Feature" in Contao 2.9, was diese Zugriffe nicht mehr umlenkt sondern ein 404 bringt.
Ich habe bei mir auf allen Seiten daher einen Hack an Board, da ich mir nicht sicher war/bin, ob Google die Seiten ohne index.php im Index hat und die mit index.php nur zusätzlich sucht.
http://www.contao.glen-langer.de/anti-seo.html

[gregor]

Wenn die Seiten wichtig sind, also gut bei Google gerankt sind und es bereits viele wichtige Backlinks gibt, mach einen 301 Redirect in der htaccess auf die jeweils neuen Seiten.

Ist deine Website fertig, reiche die neue sitemap.xml bei den Google Webmastertools ein. Trage die sitemap.xml auch in deine robots.txt ein, damit andere Bots auch ihren korrekten Weg finden.

Mit der Zeit sollten dann die fehlerhaften Links aus den Indizes verschwinden.

LG
Gregor