Viele 404 und 301 beim Crawlen
Moin zusammen,
ich habe hier ein Problem mit einer Website in 5 Sprachen: DE/EN/HU/PL/RO.
Beim Crawling mit mehreren SEO-Tools ergeben sich mehrere hundert 404-Ergebnisse. Die SEO-Tools suchen nach den Seiten der einen Sprache jeweils auch im Seitenbaum aller anderen Sprachen. Damit meine "nach dem Alias", nicht die tatsächlich übersetzte Seite.
Das ist vielleicht einfacher mit folgenden Beispiel:
Es gibt folgende Seiten:
- domain.tld/de/ueber-uns
- domain.tld/en/about-us
- domain.tld/hu/rolunk
- domain.tld/pl/o-nas
- domain.tld/ro/despre-noi
Diese werden von den SEO-Tools auch gefunden. Status: 200, also OK.
Über den Sprachwechsler kann zwischen diesen Seiten sauber gewechselt werden.
Aber die Tools versuchen allesamt auch die folgenden Seiten zu crawlen:
- domain.tld/en/ueber-uns
- domain.tld/hu/ueber-uns
- domain.tld/pl/ueber-uns
- domain.tld/ro/ueber-uns
- domain.tld/de/about-us
- domain.tld/hu/about-us
- domain.tld/pl/about-us
- domain.tld/ro/about-us
- domain.tld/de/rolunk
- domain.tld/en/rolunk
- domain.tld/pl/rolunk
- domain.tld/ro/rolunk
- domain.tld/de/o-nas
- domain.tld/en/o-nas
- domain.tld/hu/o-nas
- domain.tld/ro/o-nas
- domain.tld/de/despre-noi
- domain.tld/en/despre-noi
- domain.tld/hu/despre-noi
- domain.tld/pl/despre-noi
Diese Seiten gibt es aber nicht. Status: 404. Not found.
Das macht alleine für diese eine Seite 20x 404. Und das passiert bei ALLEN Seiten und Nachrichtenbeiträgen.
Nachrichten
Bei den Nachrichten kommt noch hinzu, dass die meisten nur auf deutsch existieren, es also kein Äquivalent in den anderen Sprachen gibt.
Dabei habe ich aber festgestellt, dass nicht-existierende Nachrichten über den Sprachwechsler wie oben verlinkt sind, also
existierende Nachricht DE: domain.tld/de/aktuells/das-ist-ein-nachrichtenbeitrag
wird über den Sprachwechsler verlinkt mit
domain.tld/en/latest-news/das-ist-ein-nachrichtenbeitrag
domain.tld/hu/jelenlegi/das-ist-ein-nachrichtenbeitrag
domain.tld/pl/najnowsze-wiadomosci/das-ist-ein-nachrichtenbeitrag
domain.tld/ro/stiri/das-ist-ein-nachrichtenbeitrag
Diese gibt es aber nicht. => 404. Not found.
Bei Beiträgen, die mehreren Sprachen existieren und der Hauptbeitrag (DE) korrekt ausgewählt wurde, funktioniert auch der Sprachwechsler.
---
Hier also, was ich mich frage:
- Woher nimmt der Crawler die Verlinkungen zu den Seiten, die nicht existieren (erster Teil).
- Warum verlinkt der Sprachwechsler zu nicht existierenden Nachrichten in einer anderen Sprache?
Hat jemand schonmal ein ähnliches Problem gehabt?
---
Contao 4.9.26
Alles weitere auf dem neuesten Stand.
Die Seite ist seit etwa 2 Jahren online, wurde direkt in Contao 4.9 umgesetzt.
...
Danke und viele Grüße
Timo
