[Replace Language] Browsersprache ersetzen bei Suchmaschinen, Version 1.0.0 RC1

[BugBuster]

"Replace Language" ersetzt die von Suchmaschinen angeforderte Sprache (über HTTP_ACCEPT_LANGUAGE) in eine fest vorgegebene Sprache.
Dazu wird im Backend unter "Einstellungen" das Modul aktiviert und die Sprache definiert.

Im ER ist das Modul hier zu finden.
Wünsche, Fehlermeldungen, Korrekturen hier oder direkt ins Ticketsystem.
Beschreibung im Wiki wird noch ergänzt.

[xchs]

Hallo BugBuster,

wollte die Erweiterung testen, aber irgendwie bekomm' ich das noch nicht so richtig hin.

Was ich bislang gemacht habe:

• zwei "Startpunkte einer Webseite" angelegt für die Sprachen "Deutsch" und "Französisch". Der Startpunkt in Deutsch ist dabei als "Sprachen-Fallback" markiert
• im Backend-Modul "Einstellungen" die Erweiterung "Replace Language" über die Checkbox "Sprachersetzung aktivieren" aktiviert und im entsprechenden Eingabefeld "Sprache" den Sprachcode "fr" eingetragen
• im Firefox das Add-on "User Agent Switcher" installiert und dort als User Agent den Suchmaschinenbot "GoogleBot 2.1" ausgewählt

Wenn ich nun die Website im Browser aufrufe, wird leider immer noch die Seitenstruktur mit dem Sprachen-Fallback (also "Deutsch" [de]) aufgerufen, obwohl der Browser sich eigentlich als englischsprachiger "GoogleBot" laut Anfrage-Header ausgibt:

Host: localhost
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-us,en;q=0.5
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 115
Connection: keep-alive
Cookie: PHPSESSID=p28jpe6648m7eptnm8judcpis2; BE_PAGE_OFFSET=0
If-Modified-Since: Sat, 19 Feb 2011 22:51:55 GMT
Cache-Control: max-age=0

Erwartet hätte ich eigentlich, dass der GoogleBot die Website in "Französisch" ausgeliefert bekommt (was aber offensichtlich nicht der Fall ist).

Getestet unter Contao 2.9.3 @ XAMPP 1.7.4. Die abhängige Erweiterung "botdetection" wurde selbstverständlich mitinstalliert.

Mache ich grundsätzlich was falsch oder wie kann ich die Funktionalität der Erweiterung genau testen?

[BugBuster]

Hast du eine Seite mit Alias Namen aufgerufen oder die Homepage direkt? (http://domain.xy/)

[xchs]

Hast du eine Seite mit Alias Namen aufgerufen oder die Homepage direkt? (http://domain.xy/)

Sowohl als auch. Es wird dem UA "GoogleBot" leider immer nur die Website in "Deutsch" (= Sprachen-Fallback) angezeigt.

[BugBuster]

Hmm, bei mir funktioniert das.
Mal 3 Dinge prüfen:
a) hat sich das Modul in /system/config/initconfig.php eingetragen?
b) gibt es 2 Zeilen in /system/config/localconfig.php ? (rl_enable, rl_language)
c) ist BotDetection installiert?

[xchs]

a) hat sich das Modul in /system/config/initconfig.php eingetragen?

In der "initconfig.php" steht folgendes:

/*### BEGIN: Contao Replace Language startup - do not move! ###*/
ModuleReplaceLanguage::check();
/*### END: Contao Replace Language startup - do not move! ###*/ 

b) gibt es 2 Zeilen in /system/config/localconfig.php ? (rl_enable, rl_language)

In der "localconfig.php" wurden folgende Einträge ergänzt:

$GLOBALS['TL_CONFIG']['rl_enable'] = true;
$GLOBALS['TL_CONFIG']['rl_language'] = 'fr'; 

Die Erweiterung "botdetection" ist auch installiert.

[BugBuster]

Kannst Du die initconfig.php mal anpassen? : (check zu debug)

/*### BEGIN: Contao Replace Language startup - do not move! ###*/
ModuleReplaceLanguage::debug();
/*### END: Contao Replace Language startup - do not move! ###*/ 

Mal eine Frontend Seite aufrufen wo das Modul die Sprache ersetzen müsste.
Dann in /system/logs/debug.log reinschauen, was dort ausgegeben wurde und hier posten.

[xchs]

In der "debug.log" stehen dann folgende Einträge:

PHP Debug: in ModuleReplaceLanguage 
Engine Old Language : {en-us,en;q=0.5}
Engine New Language : {de} if search engine
Search Engine ? : No

PHP Debug: in ModuleReplaceLanguage 
Engine Old Language : {en-us,en;q=0.5}
Engine New Language : {de} if search engine
Search Engine ? : No

PHP Debug: in ModuleReplaceLanguage 
Engine Old Language : {en-us,en;q=0.5}
Engine New Language : {de} if search engine
Search Engine ? : No

PHP Debug: in ModuleReplaceLanguage 
Engine Old Language : {en-us,en;q=0.5}
Engine New Language : {de} if search engine
Search Engine ? : No

PHP Debug: in ModuleReplaceLanguage 
Engine Old Language : {en-us,en;q=0.5}
Engine New Language : {de} if search engine
Search Engine ? : Yes

PHP Debug: in ModuleReplaceLanguage 
Engine Old Language : {en-us,en;q=0.5}
Engine New Language : {de} if search engine
Search Engine ? : Yes

PHP Debug: in ModuleReplaceLanguage 
Engine Old Language : {en-us,en;q=0.5}
Engine New Language : {de} if search engine
Search Engine ? : Yes

PHP Debug: in ModuleReplaceLanguage 
Engine Old Language : {en-us,en;q=0.5}
Engine New Language : {de} if search engine
Search Engine ? : Yes

Schaut irgendwie so aus, als ob der UA "GoogleBot" nicht erkannt wird oder?

Wie testest Du eigentlich die Erweiterung? Verwendest Du dazu auch das Firefox Add-On "User Agent Switcher"?

[BugBuster]

Ja, ich nehme auch das Firefox Plugin dazu und spiele zusätzlich noch mit den Spracheinstellungen von Firefox rum.
Welcher Agent String soll denn dort nicht erkannt werden?
Es reicht schon, wenn "bot" irgendwo auftaucht, damit das als Suchmaschine erkannt wird, was Google eigendlich immer im Namen bzw. in der URL hat.

[xchs]

Hmm, versteh's auch nicht, wieso das nicht klappt.

Wenn ich mir den Request Header anschaue, dann steht da jedenfalls:

User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-us,en;q=0.5

[BugBuster]

Hmm, mein BotDetection Test meint dazu:

Test für User Agent:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

CheckBotAgent:
User Agent als Bot ist bekannt.
CheckBotAgentAdvanced:
User Agent als Bot ist bekannt. (Googlebot)

ModuleBotDetection Version: 1.2.3

[xchs]

Kann ich auf meinem System auch diesen BotDetection Test machen? Gibt es dafür auch einen Debug-Modus?

[BugBuster]

Ja, kannst du. Die Erweiterung BotDetection bringt 2 Frontend Module mit zum testen bzw. zum zeigen wie man diese Erweiterung nutzen kann.

Lege die Frontend Module an und baue eine Seite wo eines davon enthalten sind.
Demo 1 ist prüft sofort anhand des Agent Strings und gibt Ergebnis aus. (Rot wenn Bot in einer der 3 Methoden erkannt)
Demo 2 ist ein Formular, Agent Kennung eingeben und absenden, prüft dann und gibt Ergbenis aus.

Auf meiner Seite ist das als Demo eingebaut:
Demo1 : http://www.contao.glen-langer.de/BD_...nd_Demo_1.html
Demo2 : http://www.contao.glen-langer.de/BD_...nd_Demo_2.html

Im übrigen, wenn du Replace Language im Debug Modus laufen lässt, wird die Sprache nicht ersetzt!
Auch muss vor dem Deaktivieren vorher wieder auf check geändert werden.
Letzteres werde ich eventuell noch anpassen.
Wenn Du beides haben willst, dann hänge die debug Zeile zusätzlich in die initconfig mit rein.

Wenn du prüfen willst, ob nicht eine andere Ursache vorliegt, kannste auch fest die Sprache in der initconfig.php eintragen:

$_SERVER['HTTP_ACCEPT_LANGUAGE'] = 'fr'; 

[BugBuster]

Ha, habe mich gewundert, warum bei dir im Debug "de" ausgegeben wurde, wo du doch was von "fr" geschrieben hattest.

Habe eine Bug gefunden, werden gleich neue Version hochladen.

Edit: Build 12 ist hochgeladen.

[xchs]

Hallo BugBuster,

nach Update der Erweiterung auf Build 12 erhalte ich nun in der Debug-Ausgabe folgende Einträge:

PHP Debug: in ModuleReplaceLanguage 
Engine Old Language : {en-us,en;q=0.5}
Engine New Language : {fr} if search engine
Search Engine ? : Yes

PHP Debug: in ModuleReplaceLanguage 
Engine Old Language : {en-us,en;q=0.5}
Engine New Language : {fr} if search engine
Search Engine ? : Yes

Demzufolge sollte es jetzt ja funktionieren oder?

Die Seiten werden mir im Browser (mit UA "GoogleBot" Kennung) aber nach wie vor nur in "Deutsch" (Sprachen-Fallback) ausgegeben.

Ich werd' das noch genauer testen, vielleicht finde ich ja den Fehler. Ggf. probiere ich das Ganze auch noch in einer "frischen" Demo-Installation (ohne zusätzlich installierte Third-Party-Erweiterungen)

[BugBuster]

Ja, nun sollte es gehen, wie gesagt dazu aber auf "check" wieder umstellen.

Und, was ich bei mir festgestellt habe, die Sprach Auswahl scheint in Contao nur auf dem Domain Zugriff zu funktionieren. Gibt man ein Alias mit an, und dieser existiert, ist die Sprache irrelevant.

[xchs]

Und, was ich bei mir festgestellt habe, die Sprach Auswahl scheint in Contao nur auf dem Domain Zugriff zu funktionieren. Gibt man ein Alias mit an, und dieser existiert, ist die Sprache irrelevant.

Absolut richtig! Und so wie ich zwischenzeitlich festgestellt habe, funktioniert die Erweiterung und die Sprachersetzung auch beim Aufruf der Domain (ohne Alias).

Von daher, alles bestens soweit. Danke für die Umsetzung und Unterstützung.

Ach, noch was: Könnte es durch den Einsatz der Erweiterung performancetechnische Nachteile geben (insbesondere im Hinblick auf den Funktionsaufruf in der "initconfig.php")?

[BugBuster]

Ich hoffe nicht.
Die Erweiterung läuft ohne DB Zugriffe, es sollte also ziemlich schnell gehen.

[xchs]

Ich hoffe nicht.
Die Erweiterung läuft ohne DB Zugriffe, es sollte also ziemlich schnell gehen.

Ok, fein. Dankeschön nochmals.

[BugBuster]

Nanu, seit wann ich meine eigenen Beiträge nicht mehr ändern? (geklärt mittlerweile)

Dann hier: am 10.3. habe ich 1.0.0 stable veröffentlicht.

[beta]

Hallo,

System:

• Contao 2.10.1
• botdetection 1.4.1 stable
• replacelanguage 1.0.0 stable
• changelanguage 2.0.0 stable

2 Startpunkte - de/en

Fallback auf en.

Ich will, dass google die de-seite indiziert - somit bei replacelanguage "de" eingetragen.
Bin über Google-Webmaster-Tools -> "Wie der Google-bot die Webseite abruft" gegangen und kriege bei Aufruf der Domain ohne alias etc. leider dort en angezeigt.

Eine Idee wie ich den "de"-content zuerst bei Google reinkriege?

gruss
Beta

[BugBuster]

Der Startpunkt der Seite hat "de" eingetragen?
Was passiert bei anderen Seiten?
Link zu Seite wäre auch hilfreich.

[MacKP]

2 Startpunkte - de/en

Fallback auf en.

Da Bots in der Regel als engl. Benutzer daher kommen, wird natürlich die englische Seite ausgeliefert. Wenn man dann aber einen Link zu den Deutschen Seiten hat (z.B. Changelanguage oder per Hand), dann ist es kein Problem für Bots auch die deutschen Seiten zu finden. Eine xml-Sitemap hilft dann auch noch mal enorm weiter an der Stelle.
Welche Seiten Google nun zuerst nimmt, lässt sich so allerdings nicht bestimmen. Ist eigentlich auch unsinnig... so oder so sollen ja alle Seiten im Index landen. Und das werden die in der Regel auch ;-)

Viele Grüße

[BugBuster]

Hi,
lange ist es her, aber Dank eines Hooks den es ab Contao 3.1 gibt, habe ich diese Erweiterung mal wiederbelebt.
Diese schreibt nicht mehr in die initconfig.php rein, da dieses durch den Hook erledigt werden kann.

Die Version ist daher auch erst ab Contao 3.1 nutzbar, für 3.0 nicht, also versucht es erst gar nicht


Update Hinweis: wer ein Update von Contao 2.10 auf Contao 3 durchführt und die alte Version 1.0.0 der Erweiterung im Einsatz hatte, muss die 3 Zeilen in der initconfig.php entfernen, sonst gibt es Chaos.

[rennXF]

Hallo zusammen,

inzwischen hat sich bei unserer zweisprachigen Website auch das Problem mit der Bot-Sprache ergeben. Google listet in den Site Links die englische Startseite als Top anstatt der deutschen Startseite (erkennbar an Seitentitel und Seitenbeschreibung).
Bei meinen Recherchen bin ich nun über diesen Thread und die Erweitereung [replacelanguage] gestoßen.

Die Thematik ist mir insoweit klar, dass der Google-Bot eben Englisch spricht und diese Beschreibung der Startseite auch im Indx sichert. Allerdings habe ich zwei Sitemaps für die deutsche und englische Seite erstellt und diese in den Webmastertools geladen. Eigentlich dachte ich, Google müsste so schlau sein und das selbst richtig erkennen (hreflang etc.) und entsprechende Site Links erstellen.
Es scheint leider nicht so zu sein. Zuerst habe ich melzebub's Lösung ausprobiert und im englischen Seitenbaum eine permanente Weiterleitung als ersten Wurzelpunkt auf die englische Startseite angelegt. In den Einstellungend er deutschen Startseite habe ich diese Weiterleitung als Fallback gewählt. Das Ergbnis war leider, dass meine englische hreflang-Alternative dann im head gefehlt hat. Das kann doch auch nicht richtig sein.
Gerade habe ich in den Google Webmaster Tools probiert ob der Bot auf die deutsche Seite gesendet wird. Die Erweiterung [replacelanguage] habe ich dazu auch installiert. Leider klappt es nicht.

Was mich auch wundert:
- Wenn ich Replace Language einsetze... was passiert dann bei englischen Sitelinks? Die sind mir ja auch wichtig.
- Warum sieht Google nicht automatisch wie die Sprachen zu ordnen sind?

Kann mir da jemand weiterhelfen? Habe ich mit dem Plugin etwas falsch gemacht?

Danke

T

[rennXF]

"…
For language/country selectors or auto-redirecting homepages, you should add an annotation for the hreflang value "x-default" as well:
<link rel="alternate" href="http://example.com/" hreflang="x-default" />
…"

aus https://support.google.com/webmaster...r/189077?hl=en