Assets-Ordner im Google-Index

Wenn ich bei Google mit "site:Domain.tld" nach den indexierten Seiten suche, dann bekomme ich unter anderem auch den Assets-Ordner und Unterordner angezeigt.

In der Robots.txt ist

Code:

---

"Allow: /assets/"

---

eingetragen. Wenn ich andere Domains abfrage, bei denen auch der Assets-Ordner auf allow gesetzt ist, dann bekomme ich diesen nicht in den Suchergebnissen angezeigt.

Jetzt frage ich mich, warum wird überhaupt eine Filestruktur bei Verwendung von "site:" ausgegeben und warum gerade bei dieser Domain?

Wenn nirgends auf deiner Site oder überhaupt im Internet auf den Ordner verlinkt wird und er auch nicht in einer eingereichten Sitemap steht, dann wird er von Google nie gefunden / indexiert und somit auch nicht bei "site:domain.tld" erscheinen können. Müssen also wohl irgendwo Links darauf vorhanden (gewesen) sein, denen der Google-Bot dann nachgeht.

Das ist ja das komische, ich hab nirgends direkte Links zu irgend einem Verzeichnis davon auf der Seite. Es werden ja auch sämtliche Unterordner von "assets" aufgeliste. Sind insgesamt 10 Ergebnisseiten mit solchen Links bei Google. Irgendwas stimmt da nicht, aber ich weiß nicht was.

Ich hab in der robots.txt den assets-Ordner jetzt erst mal auf disallowed gestellt.

Hi,

wenn dir SEO wichtig ist, würde ich den Ordner nicht sperren, da sich darin JS und CSS befinden und die Sperrung dieser zur Abstrafung führen kann. Lass mal nen Crawler über die Seite laufen, der wird dir die Dokumente sicherlich ebenfalls ausspucken.

Vielleicht hängt es ja auch mit der Servereinstellung zusammen. Insbesondere damit, was man angezeigt bekommt, wenn man "http://domain.tld/assets/" aufruft. Bei meinen Domains ist das relativ langweilig, nämlich ein Status 403 bzw meine 403-Seite. Wenn der Server allerdings sträflicherweise so eingestellt ist, dass der einfach den Inhalt des Verzeichnisses anzeigt (Options Indexes ...) ... dann könnte das den Googlebot vielleicht mehr interessieren.;)

Ok hab die robots.txt wieder auf Standard gesetzt.

Also wenn ich auf ein solches Google-Ergebnis klicke bekomm ich auch eine 403 ausgegeben, also das funktioniert richtig.
Wenn jedoch Google solche Links Forbidden Links listet, hat das nicht auch negative Auswirkungen?

Nicht zwingend. Ein 403 ist auch das Korrekte verhalten, weil der / am Ende impliziert, dass es sich um einen Ordner handelt. Und da sich darin keine aufrufbare Datei befindet, ist alles paletti.

Die Frage ist eher, wieso der Ordner indexiert wird. Komm vllt kurz ins Mumble und gib mir dort den Link, dann schau ich mir das mal an.

Google indexiert Seiten nicht nur über Verlinkungen.

Chrome ist z.B. auch ein Crawler und kann zur Indexierung von Seiten führen.

Sorry dass ich das Thema hier aufwärme - aber ich habe das selbe Problem bei einer unserer Kundenwebsites entdeckt.

Ebenfalls assets auf "allow" in der robot.txt und man kommt direkt in den index wo man sich erstmal schön sämtliche Dateien des Ordner assets ansehen kann.
Was ist zu tun damit man da nicht reinkommt, Google aber trotzdem die nötigen Dateien auslesen kann? Möchte keine Abstrafung riskieren.

In einem anderen Projekt haben wir zB einfach sämtliche Dateien mit den Endungen *css *js usw im assets-Ordner freigegeben und da wird via site:www.meinedomain.com nichts derartiges ausgespuckt aber in Google Webmastertools werden keine Fehler mehr angezeigt. Passt das eurer Meinung nach so und soll ich das bei der betroffenen Website auch so einstellen?

Vielen dank.

Hmm, von SEO Seite her wird es wohl passen, aber das aktiviere Directory Listing kann auch ein Sicherheitsrisiko sein. Ich würde das möglichst abschalten. Entweder komplett in der Konfigurationsdatei des Apache, für den vHost oder für das Verzeichnis, siehe z.B. hier.

Ja, genau das hab ich mir auch gedacht.

Danke für den Link!