Der Googlebot kann nicht auf CSS- und JS-Dateien zugreife

Heute hat Google eine neue Masche gefunden. Es kommen zu fast allen Contao-Installationen von Google folgende Mail:

Code:

---

Der Googlebot kann nicht auf CSS- und JS-Dateien auf http://www.domain.tld/ zugreifen
An: Webmaster von http://www.domain.tld/

---

Analyse:
Alle CSS- und JS-Dateien auf der Seite sind ladbar und werden richtig adressiert.

Ursache der Meldung:
Google beruft sich auf meine robots.txt (Standard aus dem Core) und sagt, dass die CSS- und JS-Dateien nicht geladen werden dürfen, weil sie z.B. unter system/modules/Subcolumns/assets/yaml3/subcols.css oder system/Scripts zu finden sind (auch ladbar) und dieser Pfad in der robots.txt ausgeschlossen ist.

In meinen Augen kommt Google in dem Fall doch nicht als Robot und darf dann auch von dort lesen.
Lediglich die Indizierung soll verboten werden.

Gibt es dazu eine Lösung?

hängt das nicht mit den EU-Richtlinien Änderungen zum September zusammen die vor ein paar Tagen bekannt gegeben wurden?

Der Googlebot will neuerdings wohl auch CSS und JS indexieren, bzw als Teil der Seite in den Index aufnehmen. Jedenfalls will er analysieren, was das CSS bzw JS aus dem HTML macht. Im Prinzip könntest du ja sonst Inhalte vor dem Googlebot verstecken. Im CSS, indem du die Pseudoklassen after oder before benutzt und den Text aus dem HTML irgendwohin ins Nirwana verschiebst. Mit Javascript geht das genauso und auch mit anderen Methoden. Und wenn dann da auf der vermeintlich familienfreundlichen, von Google als Suchergebnis angebotenen Seite irgendwelche Schweinereien per CSS oder JS injiziert werden, dann könte das die Suchmaschinenbenutzer vergraulen - und damit die Werbeeinnahmen verringern.

Die Lösung wäre wohl, die angemeckerten Ordner in der robots.txt freizugeben für die Bots.

Nachdem ich gerade per E-Mail bombadiert werde, habe ich kurzerhand einfach das dafür verantwortliche Disallow: "/system" Verzeichnis komplett aus der Robot.txt gelöscht. Die Robot.txt ist ja eh mehr eine "Empfehlung", mit aktivem Schutz hat die Datei ja rein garnichts zu tun und ob sich wirklich ein Bot daran hält?! Von daher, Zeile raus, alles gut :-)
Wüsste jetzt auch nicht, was da großartig dagegensprechen würde...

Zitat:

---

Zitat von tab

Der Googlebot will neuerdings wohl auch CSS und JS indexieren, bzw als Teil der Seite in den Index aufnehmen. Jedenfalls will er analysieren, was das CSS bzw JS aus dem HTML macht. Im Prinzip könntest du ja sonst Inhalte vor dem Googlebot verstecken. Im CSS, indem du die Pseudoklassen after oder before benutzt und den Text aus dem HTML irgendwohin ins Nirwana verschiebst. Mit Javascript geht das genauso und auch mit anderen Methoden. Und wenn dann da auf der vermeintlich familienfreundlichen, von Google als Suchergebnis angebotenen Seite irgendwelche Schweinereien per CSS oder JS injiziert werden, dann könte das die Suchmaschinenbenutzer vergraulen - und damit die Werbeeinnahmen verringern.

Die Lösung wäre wohl, die angemeckerten Ordner in der robots.txt freizugeben für die Bots.

---

Hmm, das ist aber doch nichts neues. Die rendern die doch schon seit Jahren. Auch der google cache beinhaltet die CSS-Daten. Also neu ist da doch nichts?

Nicht wirklich neu, ich hatte in den Webmaster-Tools aber auch erst seit relativ kurzer Zeit Mecker bei einigen 3.2.x Installationen. Da habe ich dann die robots.txt von den neueren Versionen hergenommen, seitdem ist da Ruhe. Da steht ja bereits seit einger Zeit drin

Code:

---

User-agent: *
Disallow: /check/
Disallow: /contao/
Disallow: /system/
Disallow: /templates/
Disallow: /vendor/
Disallow: /share/index.php
Disallow: /build.xml
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /README.md
Allow: /system/cron/cron.txt
Allow: /system/modules/*/assets/

---

Die letzten beiden Zeilen sind dabei "neu".

Zitat:

---

Zitat von tab

Die Lösung wäre wohl, die angemeckerten Ordner in der robots.txt freizugeben für die Bots.

---

Ja, die Standard-Ordner kann man vielleicht dort einfach hineinschreiben.
Es gibt aber auch Erweiterungen, die CSS oder JS in den eigenen Verzeichnissen mitbringen. Da müßte man manuell den Quellcode durchgehen und alle CSS und JS in der robots.txt freigeben.

Wir sind aber nicht allein, ich habe aus anderen CMS ähnliche Aufschreie gesehen:
Joomla: http://sketch.media/blog/web/305-der...zugreifen.html
Wordpress: http://tobi2.de/2015/07/28/der-googl...-de-zugreifen/

Man könnte auch den Hook outputFrontendTemplate verwenden, um die Ausgabe nach entsprechenden Links abzusuchen und in der robots.txt einzutragen.
Dann würde die Datei aber dauernd geschrieben und nachgeführt. Das bringt Zeit- und Performanceverluste.

Wenn man sich bei den Google Webmaster Foren umschaut sieht man viele fragwürdige mit Vermutungen dass dies so nicht geplant war. Jedoch beachtet der Mobile Friendly check auf einmal die Robot.txt. Vor 2-3 Wochen hatte er zumindestens noch die CSS Daten geladen: https://www.google.com/webmasters/tools/mobile-friendly

@do_while: Die neue robots.txt, die von mir hier gepostete ist aus 3.5.2, würde z.B. deinen ersten Beispielpfad erlauben, system/scripts allerdings nicht. Da muss man dann halt nach Installation einer entsprechenden Erweiterungen mal checken in den Webmaster-Tools, falls man darauf Wert legt.

Zitat:

---

Zitat von tab

@do_while: Die neue robots.txt, die von mir hier gepostete ist aus 3.5.2, würde z.B. deinen ersten Beispielpfad erlauben, system/scripts allerdings nicht. Da muss man dann halt nach Installation einer entsprechenden Erweiterungen mal checken in den Webmaster-Tools, falls man darauf Wert legt.

---

Ok, das hatte ich bei meinem letzten Beitrag noch nicht gelesen. Wenn man dort auch mit * arbeiten kann, ist das Problem sicherlich so lösbar.

Es reicht:

Code:

---

Disallow: /system/
Allow: /system/*.css
Allow: /system/*.js
Allow: /system/*.jpg
Allow: /system/*.png
Allow: /system/*.wasauchimmer

---

Damit sperrt man system und gibt "sinnvolle" Dateitypen darin wieder frei.

Ich hab das Allow noch auf den Googlebot eingeschränkt. Sinnvoll?

Ergänzend dazu hat Carolina dazu noch auf Twitter ein Hinweis gepostet:
https://twitter.com/carolinakoehn/st...05758473396224

Gary Illyes von Google schlägt folgende Variante vor:

Code:

---

User-Agent: Googlebot
Allow: .js
Allow: .css

---

Spricht in Contao etwas dagegen?

Zitat:

---

Zitat von mlweb

Ich hab das Allow noch auf den Googlebot eingeschränkt. Sinnvoll?

---

Nein, es gibt ja noch andere Search Bots.

Noch eine Url zu diesem Thema (englisch):
http://www.searchenginejournal.com/g...-files/137617/

Hmm, irgendwie hat die Sache einen blöden Beigeschmack.
Sucht mal in Google nach "mootools tablesort", dann bekomm ihr ne Liste vieler Contao Installationen mit Suchziel:
"Index of /assets/mootools/tablesort"

https://community.contao.org/de/atta...chmentid=16327
Anhang 16327

Ob ich das gutfinden soll....

Naja, gut finden muss man das nicht, sowas sollte m.E. in der Suche nicht ausgegeben werden. Andererseits ist es mir eigentlich egal, womit Google sich seinen Index vollmüllt. Es wird ja nichts angezeigt, was nicht sowieso vom Browser heruntergeladen wird oder heruntergeladen werden kann. Solang das assets-Verzeichnis nicht als Suchergebnis bei sinnvollen Suchen kommt, bei denen ich lieber andere Seiten meiner Website sehen würde, stört mich das auch nicht weiter.

Zitat:

---

Zitat von BugBuster

Hmm, irgendwie hat die Sache einen blöden Beigeschmack.
Sucht mal in Google nach "mootools tablesort", dann bekomm ihr ne Liste vieler Contao Installationen mit Suchziel:
"Index of /assets/mootools/tablesort"

[...]
Anhang 16327

Ob ich das gutfinden soll....

---

Das liegt aber daran, dass auf diesem Server Directory Listing aktiviert ist ( http://www.ed-chemnitz.de/assets/mootools/tablesort/ ) und Google nun dort das Directory Listing mit indexiert. Einfach Directory Listing deaktivieren.

Über die .htaccess kann man das mit

Code:

---

Options -Indexes

---

machen, wenn es vom Server unterstützt wird.

Ich habe angefangen, bei den robots.txt diese Ergänzungen reinzuschreiben (so wie auch xtra es oben schon erwähnt):

Code:

---

Allow: /system/*.css
Allow: /system/*.js
Allow: /system/*.jpg
Allow: /system/*.png
Allow: /system/*.gif
Sitemap: http://www.BEISPIEL.de/share/sitemap.xml

---

Letzteres, damit die Suchmaschinen auch die Sitemap im share-Ordner finden. Aber das nur nebenbei ;)

Zitat:

---

Zitat von Spooky

Über die .htaccess kann man das mit

Code:

---

Options -Indexes

---

machen, wenn es vom Server unterstützt wird.

---

Stimmt auch wieder. Sollte man eh so gesetzt haben.
Wäre das nicht auch was für die .htaccess.default? Wenigstens als Hinweis wie bei Options -MultiViews ?

Ich ignoriere das google pamphlet weil die spinnen.
Habe deswegen auch keine schlechten Rankings, auf mehreren sites.
Gruß
dtptiger

Zu diesem Thema habe ich noch mal eine Rückfrage:

Zitat:

---

Zitat von Nina

Code:

---

Sitemap: http://www.BEISPIEL.de/share/sitemap.xml

---

Letzteres, damit die Suchmaschinen auch die Sitemap im share-Ordner finden. Aber das nur nebenbei ;)

---

Die htaccess konnte ich anpassen, seitdem bleiben die Google-Meldungen aus. Aber die Sache mit der Sitemap: Wie macht man das bei Multidomain? Ich habe es bislang immer über die Google Webmaster Tools gelöst und dort je Domain die einzelne Sitemap (je Domain ein anderer Name, muss ja im Share-Ordner) angegeben. Aber diese SEO-Tools stolpern natürlich immer darüber. Gibt es da eine bessere Lösung? Google kennt meine Sitemaps zwar, aber alle anderen?

Danke
Jens_

Ich hab das bisher unterschiedlich gelöst.
Einerseits soll man die Sitemap wohl in die robots.txt eintragen.
Allerdings brauchst Du dann auch je Domain eine eigene.

Somit läuft es für mich immer darauf hinaus mehrere Dateien (robots.txt/sitemap.xml) zu erstellen und diese dann je nach Domain via htaccess weiterzuleiten.

So sieht es am Ende für die Suchmaschine aus als besucht Sie

domain.de/robots.txt bzw
domain.de/sitemap.xml,
bekommt jedoch eigentlich den Inhalt der entsprechenden Datei angezeigt.

Hallo Samuell,

das klingt nach einer guten Lösung. Du hinterlegst also unterschiedliche Sitemapnamen und hast in der htaccess jeweils einen Redirect wie

Redirect domain2.de/sitemap.xml http://www.domain2.de/sitemap-fuer-domain2.xml

Oder habe ich das falsch verstanden?

Grüße
Jens_

Als ich die sitemal noch nicht in die robots.txt geschrieben habe, hab ich die sitemap je Domain umgeleitet.
Seit dem ich das dort eintrage, leite ich nicht mehr die sitemap sondern die robots.txt via htaccess um.