URL UTF-8 Problem (Crawler)

**Amattix** · 09.03.2018, 10:21

Hallo Community,

ich hätte eine Frage bezüglich der URL-Encodings. Ich muss zugeben, dass ich mit den Encodings nicht allzu vertraut bin und nicht genau weiß, ob es hier an den Crawlern, Contao selbst oder den Servereinstellungen liegt.
Und zwar habe ich das Problem, dass einige Crawler anscheinend Probleme mit "ä, ö, ü und ß" in urls haben. Jetzt muss man dazu sagen, dass es wohl nicht ideal ist, Umlaute überhaupt in der Url zu haben. Aber das ist ein anderes Thema.

Bei uns ist es so, dass wir interne Links auf unsrer Seite haben mit z.B. meineurl.com/adresse/hauptstra%C3%9Fe
"hauptstraße" ist also ein "auto_item"-Parameter, den wir über "\Input::get('auto_item')" einlesen und an unsere Backend-Api senden.

Nun habe ich in "contaoroot/system/modules/core/library/Contao/Input.php" und "contaoroot/system/helper/mbstring.php" gesehen, dass Url's eh schon richtig behandelt werden sollten.
Auch werden die Header ja auch überall UTF-8 gesetzt (siehe https://github.com/contao/core/issues/7519 und https://github.com/contao/core/commi...ae306436208a8c).

Ich habe bei uns mitgeloggt und wenn bestimmte Crawler auf den obigen Link gehen, kommt ein 404er von unserer API zurück, weil anscheinend hauptstraÃŸe und öfters auch hauptstra??e an unsere API geschickt wird.
Kann ich das Problem irgendwie lösen und wo muss ich hier ansetzen? Danke!

Mit freundlichen Grüßen

**Amattix** · 12.03.2018, 09:22

Hat hier niemand eine Idee? Danke!

**Spooky** · 12.03.2018, 09:35

Woher bekommen die Crawler diese URLs? Contao gibt die URLs überall URL encodet aus.

**Amattix** · 12.03.2018, 15:40

Die Links sind interne Links auf unserer Standorte-Seite. Hier gibt es eben eine Liste von Standort-Links, welche urlencoded nach dem Muster (meineurl.com/adresse/hauptstra%C3%9Fe) im HTML sind.

Habe gerade nochmals in die access.log vom Apache geschaut und laut den log-Einträgen gibt es hier GET-requests von Crawlern auf "hauptstra%C3%83%C5%B8e". Nachdem dann alles durch Contao gelaufen ist, habe ich bei meinem Frontendmodul dann "hauptstraÃŸe" in \Input::get('auto_item') stehen.

Zwei Kandidaten wo das bei uns momentan auftritt sind:
IP-Adresse: 217.250.184.0
Browser: Mozilla/5.0 (Windows; U; Windows NT 6.0; de; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3 ( .NET CLR 3.5.30729)

IP-Adresse: 207.46.13.0
oder
IP-Adresse: 157.55.39.0
Browser: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

**Spooky** · 12.03.2018, 15:47

Zitat von Amattix

Die Links sind interne Links auf unserer Standorte-Seite. Hier gibt es eben eine Liste von Standort-Links, welche urlencoded nach dem Muster (meineurl.com/adresse/hauptstra%C3%9Fe) im HTML sind.

Habe gerade nochmals in die access.log vom Apache geschaut und laut den log-Einträgen gibt es hier GET-requests von Crawlern auf "hauptstra%C3%83%C5%B8e".

Diese URL ist double encoded. Wie gibst du diese Links aus?

Poste außerdem einen Link zur Seite, wo diese URLs ausgegeben werden.

**Amattix** · 13.03.2018, 08:48

"hauptstra%C3%9Fe" -> Im html: https://www.store.me/de-AT/standorte?page=4 (siehe rechts unten "Storebox Nußdorfer Straße")
danach
"hauptstra%C3%83%C5%B8e" -> in der apache access.log
danach
"hauptstraÃŸe" -> Im Frontendmodul mit \System::log, wobei der request über curl an die Backend-API geht.

Bezüglich dem double encoding: An sich dürfte ja "hauptstra%C3%83%C5%B8e" nie in der access.log stehen oder? So ruft das ja der Crawler auf oder wird hier noch davor an einer anderen Stelle (außer Crawler/Browser) encoded?
Das schaut ja so aus als würde bereits vorher "%C3" -> "Ã"(Windows-1252) und "%9F" -> "Ÿ"(Windows-1252), danach urlencode(Ã) -> "%C3%83" und urlencode(Ÿ) -> "%C5%B8" gemacht werden?