URL UTF-8 Problem (Crawler)
Hallo Community,
ich hätte eine Frage bezüglich der URL-Encodings. Ich muss zugeben, dass ich mit den Encodings nicht allzu vertraut bin und nicht genau weiß, ob es hier an den Crawlern, Contao selbst oder den Servereinstellungen liegt.
Und zwar habe ich das Problem, dass einige Crawler anscheinend Probleme mit "ä, ö, ü und ß" in urls haben. Jetzt muss man dazu sagen, dass es wohl nicht ideal ist, Umlaute überhaupt in der Url zu haben. Aber das ist ein anderes Thema.
Bei uns ist es so, dass wir interne Links auf unsrer Seite haben mit z.B. meineurl.com/adresse/hauptstra%C3%9Fe
"hauptstraße" ist also ein "auto_item"-Parameter, den wir über "\Input::get('auto_item')" einlesen und an unsere Backend-Api senden.
Nun habe ich in "contaoroot/system/modules/core/library/Contao/Input.php" und "contaoroot/system/helper/mbstring.php" gesehen, dass Url's eh schon richtig behandelt werden sollten.
Auch werden die Header ja auch überall UTF-8 gesetzt (siehe https://github.com/contao/core/issues/7519 und https://github.com/contao/core/commi...ae306436208a8c).
Ich habe bei uns mitgeloggt und wenn bestimmte Crawler auf den obigen Link gehen, kommt ein 404er von unserer API zurück, weil anscheinend hauptstraße und öfters auch hauptstra??e an unsere API geschickt wird.
Kann ich das Problem irgendwie lösen und wo muss ich hier ansetzen? Danke!
Mit freundlichen Grüßen
