Assets-Ordner im Google-Index
Wenn ich bei Google mit "site:Domain.tld" nach den indexierten Seiten suche, dann bekomme ich unter anderem auch den Assets-Ordner und Unterordner angezeigt.
In der Robots.txt ist eingetragen. Wenn ich andere Domains abfrage, bei denen auch der Assets-Ordner auf allow gesetzt ist, dann bekomme ich diesen nicht in den Suchergebnissen angezeigt.
Jetzt frage ich mich, warum wird überhaupt eine Filestruktur bei Verwendung von "site:" ausgegeben und warum gerade bei dieser Domain?