Google Probleme bei assets/jquery/mediaelement/2.21.2/

Hallo

Ich habe mich durch das ganze Forum gewühlt und keine Lösung gefunden, nun hoffe ich auf eure Hilfe. Ich habe den Contao Check gemacht und es kam keine Fehlermeldung raus.
Nun zum Problem:
Der googlebot meldet, dass er nicht auf
assets/jquery/mediaelement/2.21.2/ zugriff hat mit einem 403. Ich habe es noch extra im robots erlaubt und es wirkt trotzdem nicht. Ich weiss leider nicht mehr weiter wie oder an was es liegt, bzw wie ich es erlauben kann.

Ich hoffe jemand hat eine Idee.

Danke und Gruss

Ein 403 hat aber mit der robots.txt eigentlich nichts zu tun. Die robots.txt verhindert ja letztlich nicht, dass der Google-Bot irgendwas liest. Sie legt ihm nur nahe, es doch bitte gar nicht erst zu versuchen. Status 403 heißt m.E. einfach, es wurde auf ein geschütztes (per .htaccess oder auch einfach durch die Dateirechte) Verzeichnis oder Datei zugegriffen.

Google will neuerdings alles mögliche lesen. Bei mir beschwert es sich in den Webmaster-Tools ("blockierte Ressourcen") darüber, dass die cron.php nicht gelesen werden darf. Die gebe ich aber auch nicht frei, das würde ja das halbe System nach sich ziehen, wenn man da alles freigeben wollte. Es kann ja nicht sein, dass damit dann auch Besucher das halbe System runterladen könnten, nur damit Google zufrieden ist. In dem Fall ist die Blockierung auch harmlos, weil die cron.php nichts am Layout der Seite ändert. Beim Mediaelement mit seinem JS und CSS mag das allerdings anders sein. Google schreibt ja auch relativ klar, dass man doch bitte die Blockierung der aufgelisteten Ressourcen aufheben sollte, wenn sie das Layout beeinträchtigen, Dinge wie Zähler oder Pixel-Tracking dabei aber außer Acht gelassen werden können.

Edit: Soweit ich das sehe, wird von der "Standard" robots.txt das assets-Verzeichnis auch nicht blockiert.

Zitat:

---

Zitat von tab

dass damit dann auch Besucher das halbe System runterladen könnten, nur damit Google zufrieden ist.

---

Das können sie ja sowieso ;). Alles in /assets und auch in /system/cron ist frei zugänglich.

Das stimmt natürlich, blockiert sind nur Bots, sofern sie sich dran halten. Es wird ja sowieso kein PHP-Quelltext ausgeliefert, insofern harmlos und Google wird deswegen auch nicht auf die Idee kommen, als nächstes die initialize.php haben zu wollen. Das war ein Denkfehler meinerseits.

Bei mir wird in den Webmaster-Tools die gleiche Fehlermeldung angezeigt. Hat jemand eine Idee, wie man das beheben kann?

In der robots.txt freigeben. In der mitgelieferten robots.txt der aktuellen Contao-Version 3.5.x ist das mit Sicherheit schon so drin.

in der robots.txt steht´s auf allow - sagt sogar der google robots-Tester, Zugriffsrechte ebenfalls okay. irgend jemand noch ne Idee

Was genau ist das Problem?