Ergebnis 1 bis 26 von 26

Thema: Der Googlebot kann nicht auf CSS- und JS-Dateien zugreife

  1. #1
    Contao-Urgestein Avatar von do_while
    Registriert seit
    15.06.2009.
    Ort
    Berlin | Deutschland
    Beiträge
    3.632
    Partner-ID
    1081
    User beschenken
    Wunschliste
    Contao-Projekt unterstützen

    Support Contao

    Standard Der Googlebot kann nicht auf CSS- und JS-Dateien zugreife

    Heute hat Google eine neue Masche gefunden. Es kommen zu fast allen Contao-Installationen von Google folgende Mail:
    Code:
    Der Googlebot kann nicht auf CSS- und JS-Dateien auf http://www.domain.tld/ zugreifen
    An: Webmaster von http://www.domain.tld/
    Analyse:
    Alle CSS- und JS-Dateien auf der Seite sind ladbar und werden richtig adressiert.

    Ursache der Meldung:
    Google beruft sich auf meine robots.txt (Standard aus dem Core) und sagt, dass die CSS- und JS-Dateien nicht geladen werden dürfen, weil sie z.B. unter system/modules/Subcolumns/assets/yaml3/subcols.css oder system/Scripts zu finden sind (auch ladbar) und dieser Pfad in der robots.txt ausgeschlossen ist.

    In meinen Augen kommt Google in dem Fall doch nicht als Robot und darf dann auch von dort lesen.
    Lediglich die Indizierung soll verboten werden.

    Gibt es dazu eine Lösung?

  2. #2
    Contao-Fan
    Registriert seit
    22.12.2012.
    Beiträge
    325

    Standard

    hängt das nicht mit den EU-Richtlinien Änderungen zum September zusammen die vor ein paar Tagen bekannt gegeben wurden?

  3. #3
    Wandelndes Contao-Lexikon Avatar von tab
    Registriert seit
    22.10.2013.
    Beiträge
    10.198
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Der Googlebot will neuerdings wohl auch CSS und JS indexieren, bzw als Teil der Seite in den Index aufnehmen. Jedenfalls will er analysieren, was das CSS bzw JS aus dem HTML macht. Im Prinzip könntest du ja sonst Inhalte vor dem Googlebot verstecken. Im CSS, indem du die Pseudoklassen after oder before benutzt und den Text aus dem HTML irgendwohin ins Nirwana verschiebst. Mit Javascript geht das genauso und auch mit anderen Methoden. Und wenn dann da auf der vermeintlich familienfreundlichen, von Google als Suchergebnis angebotenen Seite irgendwelche Schweinereien per CSS oder JS injiziert werden, dann könte das die Suchmaschinenbenutzer vergraulen - und damit die Werbeeinnahmen verringern.

    Die Lösung wäre wohl, die angemeckerten Ordner in der robots.txt freizugeben für die Bots.

  4. #4
    Contao-Urgestein Avatar von the_scrat
    Registriert seit
    24.02.2010.
    Ort
    Augsburg
    Beiträge
    2.051
    User beschenken
    Wunschliste

    Standard

    Nachdem ich gerade per E-Mail bombadiert werde, habe ich kurzerhand einfach das dafür verantwortliche Disallow: "/system" Verzeichnis komplett aus der Robot.txt gelöscht. Die Robot.txt ist ja eh mehr eine "Empfehlung", mit aktivem Schutz hat die Datei ja rein garnichts zu tun und ob sich wirklich ein Bot daran hält?! Von daher, Zeile raus, alles gut :-)
    Wüsste jetzt auch nicht, was da großartig dagegensprechen würde...
    Programmers don't comment their code. It was hard to write, it should be hard to understand...

  5. #5
    Contao-Fan
    Registriert seit
    22.12.2012.
    Beiträge
    325

    Standard

    Zitat Zitat von tab Beitrag anzeigen
    Der Googlebot will neuerdings wohl auch CSS und JS indexieren, bzw als Teil der Seite in den Index aufnehmen. Jedenfalls will er analysieren, was das CSS bzw JS aus dem HTML macht. Im Prinzip könntest du ja sonst Inhalte vor dem Googlebot verstecken. Im CSS, indem du die Pseudoklassen after oder before benutzt und den Text aus dem HTML irgendwohin ins Nirwana verschiebst. Mit Javascript geht das genauso und auch mit anderen Methoden. Und wenn dann da auf der vermeintlich familienfreundlichen, von Google als Suchergebnis angebotenen Seite irgendwelche Schweinereien per CSS oder JS injiziert werden, dann könte das die Suchmaschinenbenutzer vergraulen - und damit die Werbeeinnahmen verringern.

    Die Lösung wäre wohl, die angemeckerten Ordner in der robots.txt freizugeben für die Bots.
    Hmm, das ist aber doch nichts neues. Die rendern die doch schon seit Jahren. Auch der google cache beinhaltet die CSS-Daten. Also neu ist da doch nichts?

  6. #6
    Wandelndes Contao-Lexikon Avatar von tab
    Registriert seit
    22.10.2013.
    Beiträge
    10.198
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Nicht wirklich neu, ich hatte in den Webmaster-Tools aber auch erst seit relativ kurzer Zeit Mecker bei einigen 3.2.x Installationen. Da habe ich dann die robots.txt von den neueren Versionen hergenommen, seitdem ist da Ruhe. Da steht ja bereits seit einger Zeit drin
    Code:
    User-agent: *
    Disallow: /check/
    Disallow: /contao/
    Disallow: /system/
    Disallow: /templates/
    Disallow: /vendor/
    Disallow: /share/index.php
    Disallow: /build.xml
    Disallow: /composer.json
    Disallow: /composer.lock
    Disallow: /README.md
    Allow: /system/cron/cron.txt
    Allow: /system/modules/*/assets/
    Die letzten beiden Zeilen sind dabei "neu".

  7. #7
    Contao-Urgestein Avatar von do_while
    Registriert seit
    15.06.2009.
    Ort
    Berlin | Deutschland
    Beiträge
    3.632
    Partner-ID
    1081
    User beschenken
    Wunschliste
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Zitat Zitat von tab Beitrag anzeigen
    Die Lösung wäre wohl, die angemeckerten Ordner in der robots.txt freizugeben für die Bots.
    Ja, die Standard-Ordner kann man vielleicht dort einfach hineinschreiben.
    Es gibt aber auch Erweiterungen, die CSS oder JS in den eigenen Verzeichnissen mitbringen. Da müßte man manuell den Quellcode durchgehen und alle CSS und JS in der robots.txt freigeben.

    Wir sind aber nicht allein, ich habe aus anderen CMS ähnliche Aufschreie gesehen:
    Joomla: http://sketch.media/blog/web/305-der...zugreifen.html
    Wordpress: http://tobi2.de/2015/07/28/der-googl...-de-zugreifen/

    Man könnte auch den Hook outputFrontendTemplate verwenden, um die Ausgabe nach entsprechenden Links abzusuchen und in der robots.txt einzutragen.
    Dann würde die Datei aber dauernd geschrieben und nachgeführt. Das bringt Zeit- und Performanceverluste.

  8. #8
    Contao-Fan
    Registriert seit
    22.12.2012.
    Beiträge
    325

    Standard

    Wenn man sich bei den Google Webmaster Foren umschaut sieht man viele fragwürdige mit Vermutungen dass dies so nicht geplant war. Jedoch beachtet der Mobile Friendly check auf einmal die Robot.txt. Vor 2-3 Wochen hatte er zumindestens noch die CSS Daten geladen: https://www.google.com/webmasters/tools/mobile-friendly
    Geändert von Slind (28.07.2015 um 19:11 Uhr)

  9. #9
    Wandelndes Contao-Lexikon Avatar von tab
    Registriert seit
    22.10.2013.
    Beiträge
    10.198
    Contao-Projekt unterstützen

    Support Contao

    Standard

    @do_while: Die neue robots.txt, die von mir hier gepostete ist aus 3.5.2, würde z.B. deinen ersten Beispielpfad erlauben, system/scripts allerdings nicht. Da muss man dann halt nach Installation einer entsprechenden Erweiterungen mal checken in den Webmaster-Tools, falls man darauf Wert legt.

  10. #10
    Contao-Urgestein Avatar von do_while
    Registriert seit
    15.06.2009.
    Ort
    Berlin | Deutschland
    Beiträge
    3.632
    Partner-ID
    1081
    User beschenken
    Wunschliste
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Zitat Zitat von tab Beitrag anzeigen
    @do_while: Die neue robots.txt, die von mir hier gepostete ist aus 3.5.2, würde z.B. deinen ersten Beispielpfad erlauben, system/scripts allerdings nicht. Da muss man dann halt nach Installation einer entsprechenden Erweiterungen mal checken in den Webmaster-Tools, falls man darauf Wert legt.
    Ok, das hatte ich bei meinem letzten Beitrag noch nicht gelesen. Wenn man dort auch mit * arbeiten kann, ist das Problem sicherlich so lösbar.

  11. #11
    Maintainer Avatar von xtra
    Registriert seit
    02.07.2009.
    Ort
    Tuebingen
    Beiträge
    2.007
    User beschenken
    Wunschliste

    Standard

    Es reicht:
    Code:
    Disallow: /system/
    Allow: /system/*.css
    Allow: /system/*.js
    Allow: /system/*.jpg
    Allow: /system/*.png
    Allow: /system/*.wasauchimmer
    Damit sperrt man system und gibt "sinnvolle" Dateitypen darin wieder frei.
    Bedenke stets: Wenn Du ungenaue oder unzureichende Angaben machst, so koennte dies die Bearbeitung deiner Frage endlos verzoegern (oder sogar dazu fyhren, dass ich zu viel nachdenken muss und die Antwort vergesse!). Kein Support per PN.

  12. #12
    Community-Moderatorin & Contao-Urgestein Avatar von mlweb
    Registriert seit
    10.07.2011.
    Beiträge
    7.080
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Ich hab das Allow noch auf den Googlebot eingeschränkt. Sinnvoll?
    Ich habe Dir mit meinen Hinweisen geholfen und Du möchtest Dich bedanken?
    Unterstütze bitte das Contao-Projekt (Button Links)
    Weitere Spendenmöglichkeiten
    ------------------------------------------------------------------------------------------------------
    Contao-Dokumentation: Contao-Handbuch und Contao-Entwickler-Doku
    Contao-Online-Video-Kurse: Contao Academy
    Funktionalität erweitern: Contao-Erweiterungen

    Für Dinge die man mit html5 und css3 lösen kann, braucht man kein javascript.




  13. #13
    AG Pressearbeit
    Community-Moderator
    Buchautor 'Contao für Webdesigner'
    Avatar von planepix
    Registriert seit
    05.06.2009.
    Ort
    Stuttgart
    Beiträge
    6.529
    Partner-ID
    107
    Contao-Projekt unterstützen

    Support Contao

    Daumen hoch

    Ergänzend dazu hat Carolina dazu noch auf Twitter ein Hinweis gepostet:
    https://twitter.com/carolinakoehn/st...05758473396224
    ---------------------------------
    Beste Grüße planepix
    Contao für Webdesigner (Website), Twitter: @contaowebdesign
    weitzeldesign
    Contao-Sprechstunde
    Contao Schulungen: https://www.weitzeldesign.com/cms-co...chulungen.html
    Contao Jahrbuch: www.contao-jahrbuch.de
    Contao Agenturtag: www.contao-agenturtag.de
    Contao Stammtisch Stuttgart: www.contao-stammtisch-stuttgart.de
    Contao 4 Erfahrungen als Gitbook: https://app.gitbook.com/@planepix/s/...-mit-contao-4/
    Contao 4 & Manager Hosterhinweise: https://github.com/contao/contao-manager/wiki

    Schon wieder ein Update?
    Glücklich sind die, die den Wert erkennen – und wertschätzen.
    „Muss man machen wie beim Zahnarzt. Der bestraft einen auch mit hohen Rechnungen wenn man die Pflege vernachlässigt.”

  14. #14
    Contao-Fan
    Registriert seit
    03.01.2012.
    Beiträge
    847

    Standard

    Gary Illyes von Google schlägt folgende Variante vor:

    Code:
    User-Agent: Googlebot
    Allow: .js
    Allow: .css
    Spricht in Contao etwas dagegen?

  15. #15
    Contao-Urgestein Avatar von FloB
    Registriert seit
    19.06.2009.
    Ort
    Sonnensystem
    Beiträge
    1.618

    Standard

    Zitat Zitat von mlweb Beitrag anzeigen
    Ich hab das Allow noch auf den Googlebot eingeschränkt. Sinnvoll?
    Nein, es gibt ja noch andere Search Bots.
    So long,
    FloB since Nov. 2007 +706P +115P and counting

  16. #16
    AG Pressearbeit
    Community-Moderator
    Buchautor 'Contao für Webdesigner'
    Avatar von planepix
    Registriert seit
    05.06.2009.
    Ort
    Stuttgart
    Beiträge
    6.529
    Partner-ID
    107
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Noch eine Url zu diesem Thema (englisch):
    http://www.searchenginejournal.com/g...-files/137617/
    ---------------------------------
    Beste Grüße planepix
    Contao für Webdesigner (Website), Twitter: @contaowebdesign
    weitzeldesign
    Contao-Sprechstunde
    Contao Schulungen: https://www.weitzeldesign.com/cms-co...chulungen.html
    Contao Jahrbuch: www.contao-jahrbuch.de
    Contao Agenturtag: www.contao-agenturtag.de
    Contao Stammtisch Stuttgart: www.contao-stammtisch-stuttgart.de
    Contao 4 Erfahrungen als Gitbook: https://app.gitbook.com/@planepix/s/...-mit-contao-4/
    Contao 4 & Manager Hosterhinweise: https://github.com/contao/contao-manager/wiki

    Schon wieder ein Update?
    Glücklich sind die, die den Wert erkennen – und wertschätzen.
    „Muss man machen wie beim Zahnarzt. Der bestraft einen auch mit hohen Rechnungen wenn man die Pflege vernachlässigt.”

  17. #17
    Wandelndes Contao-Lexikon Avatar von BugBuster
    Registriert seit
    15.06.2009.
    Ort
    Berlin
    Beiträge
    10.553
    User beschenken
    Wunschliste

    Standard

    Hmm, irgendwie hat die Sache einen blöden Beigeschmack.
    Sucht mal in Google nach "mootools tablesort", dann bekomm ihr ne Liste vieler Contao Installationen mit Suchziel:
    "Index of /assets/mootools/tablesort"


    index-of.jpg

    Ob ich das gutfinden soll....
    Grüße, BugBuster
    "view source" is your guide.
    Danke an alle Amazon Wunschlisten Erfüller

  18. #18
    Wandelndes Contao-Lexikon Avatar von tab
    Registriert seit
    22.10.2013.
    Beiträge
    10.198
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Naja, gut finden muss man das nicht, sowas sollte m.E. in der Suche nicht ausgegeben werden. Andererseits ist es mir eigentlich egal, womit Google sich seinen Index vollmüllt. Es wird ja nichts angezeigt, was nicht sowieso vom Browser heruntergeladen wird oder heruntergeladen werden kann. Solang das assets-Verzeichnis nicht als Suchergebnis bei sinnvollen Suchen kommt, bei denen ich lieber andere Seiten meiner Website sehen würde, stört mich das auch nicht weiter.

  19. #19
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    35.517
    Partner-ID
    10107

    Standard

    Zitat Zitat von BugBuster Beitrag anzeigen
    Hmm, irgendwie hat die Sache einen blöden Beigeschmack.
    Sucht mal in Google nach "mootools tablesort", dann bekomm ihr ne Liste vieler Contao Installationen mit Suchziel:
    "Index of /assets/mootools/tablesort"

    [...]
    index-of.jpg

    Ob ich das gutfinden soll....
    Das liegt aber daran, dass auf diesem Server Directory Listing aktiviert ist ( http://www.ed-chemnitz.de/assets/mootools/tablesort/ ) und Google nun dort das Directory Listing mit indexiert. Einfach Directory Listing deaktivieren.

    Über die .htaccess kann man das mit
    Code:
    Options -Indexes
    machen, wenn es vom Server unterstützt wird.
    Geändert von Spooky (31.07.2015 um 13:52 Uhr)

  20. #20
    Administrator Avatar von Nina
    Registriert seit
    04.06.2009.
    Ort
    Hamburg
    Beiträge
    4.756
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Ich habe angefangen, bei den robots.txt diese Ergänzungen reinzuschreiben (so wie auch xtra es oben schon erwähnt):

    Code:
    Allow: /system/*.css
    Allow: /system/*.js
    Allow: /system/*.jpg
    Allow: /system/*.png
    Allow: /system/*.gif
    Sitemap: http://www.BEISPIEL.de/share/sitemap.xml
    Letzteres, damit die Suchmaschinen auch die Sitemap im share-Ordner finden. Aber das nur nebenbei

  21. #21
    Wandelndes Contao-Lexikon Avatar von BugBuster
    Registriert seit
    15.06.2009.
    Ort
    Berlin
    Beiträge
    10.553
    User beschenken
    Wunschliste

    Standard

    Zitat Zitat von Spooky Beitrag anzeigen
    Über die .htaccess kann man das mit
    Code:
    Options -Indexes
    machen, wenn es vom Server unterstützt wird.
    Stimmt auch wieder. Sollte man eh so gesetzt haben.
    Wäre das nicht auch was für die .htaccess.default? Wenigstens als Hinweis wie bei Options -MultiViews ?
    Grüße, BugBuster
    "view source" is your guide.
    Danke an alle Amazon Wunschlisten Erfüller

  22. #22
    Contao-Fan Avatar von dtptiger
    Registriert seit
    20.06.2009.
    Ort
    Nürnberg
    Beiträge
    830

    Standard

    Ich ignoriere das google pamphlet weil die spinnen.
    Habe deswegen auch keine schlechten Rankings, auf mehreren sites.
    Gruß
    dtptiger

  23. #23
    Contao-Nutzer
    Registriert seit
    30.03.2010.
    Ort
    Berlin
    Beiträge
    241

    Frage Sitemap

    Zu diesem Thema habe ich noch mal eine Rückfrage:

    Zitat Zitat von Nina Beitrag anzeigen
    Code:
    Sitemap: http://www.BEISPIEL.de/share/sitemap.xml
    Letzteres, damit die Suchmaschinen auch die Sitemap im share-Ordner finden. Aber das nur nebenbei
    Die htaccess konnte ich anpassen, seitdem bleiben die Google-Meldungen aus. Aber die Sache mit der Sitemap: Wie macht man das bei Multidomain? Ich habe es bislang immer über die Google Webmaster Tools gelöst und dort je Domain die einzelne Sitemap (je Domain ein anderer Name, muss ja im Share-Ordner) angegeben. Aber diese SEO-Tools stolpern natürlich immer darüber. Gibt es da eine bessere Lösung? Google kennt meine Sitemaps zwar, aber alle anderen?

    Danke
    Jens_
    Lieblingsurlaubsstadt am Meer
    http://www.kolberg-cafe.de

  24. #24
    Alter Contao-Hase
    Registriert seit
    20.03.2010.
    Ort
    Hannover
    Beiträge
    1.041

    Standard

    Ich hab das bisher unterschiedlich gelöst.
    Einerseits soll man die Sitemap wohl in die robots.txt eintragen.
    Allerdings brauchst Du dann auch je Domain eine eigene.

    Somit läuft es für mich immer darauf hinaus mehrere Dateien (robots.txt/sitemap.xml) zu erstellen und diese dann je nach Domain via htaccess weiterzuleiten.

    So sieht es am Ende für die Suchmaschine aus als besucht Sie

    domain.de/robots.txt bzw
    domain.de/sitemap.xml,
    bekommt jedoch eigentlich den Inhalt der entsprechenden Datei angezeigt.

  25. #25
    Contao-Nutzer
    Registriert seit
    30.03.2010.
    Ort
    Berlin
    Beiträge
    241

    Standard Multidomainbetrieb

    Hallo Samuell,

    das klingt nach einer guten Lösung. Du hinterlegst also unterschiedliche Sitemapnamen und hast in der htaccess jeweils einen Redirect wie

    Redirect domain2.de/sitemap.xml http://www.domain2.de/sitemap-fuer-domain2.xml

    Oder habe ich das falsch verstanden?

    Grüße
    Jens_
    Lieblingsurlaubsstadt am Meer
    http://www.kolberg-cafe.de

  26. #26
    Alter Contao-Hase
    Registriert seit
    20.03.2010.
    Ort
    Hannover
    Beiträge
    1.041

    Standard

    Als ich die sitemal noch nicht in die robots.txt geschrieben habe, hab ich die sitemap je Domain umgeleitet.
    Seit dem ich das dort eintrage, leite ich nicht mehr die sitemap sondern die robots.txt via htaccess um.

Aktive Benutzer

Aktive Benutzer

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •