crawler indeziert keine Seiten

**my-om** · 30.11.2021, 19:57

Hallo Ihr,
bei mir funktioniert die Suche nicht. Als erstes habe ich den Crawler laufen lassen.
Die anfänglichen Fehler beim indizieren habe ich beseitigt, aber nach wie vor bringt er das 0 Url´s indiziert werden konnten. Siehe Bild
Er hat 25.000 Url gefunden und gecrawlt und keine indiziert. Ich habe einige Seiten von der Suche ausgeschlossen, da es für diese Seiten eine eigenständige Suchfunktion vom Eventmanager gibt. Auch bringt er jede Mange brocken link Fehler. Aber damit wollte ich mich als nächstes auseinandersetzen.

Meine domain: https://www.next.eventcorner.de

Bin gespannt und freue mich auf eure Antworten.

**Spooky** · 02.12.2021, 08:22

Hast du schon das Log runtergeladen und analysiert?

**my-om** · 02.12.2021, 08:35

Zitat von Spooky

Hast du schon das Log runtergeladen und analysiert?

Hi Spooky, das ist ein leeres csv.

Danke für deine Antwort.

**Spooky** · 02.12.2021, 08:37

Das Debug Log lädt man mit dem Icon rechts der Progress Bar runter.

**my-om** · 02.12.2021, 08:46

Zitat von Spooky

Das Debug Log lädt man mit dem Icon rechts der Progress Bar runter.

HI Spooky,
ich habe immer beide Logs mir ausgeben lassen. Aber ich kann Sie hier nicht hochladen weil das Upload hier kein csv-Format akzeptiert. Gibt es da ein anderes Format? Dann lade ich gern beide hoch. Danke

**Spooky** · 02.12.2021, 08:59

Du sollst das Log selbst analysieren …

**my-om** · 02.12.2021, 09:10

Zitat von Spooky

Du sollst das Log selbst analysieren …

Wie ich geschrieben habe, ist in dem Log für Indexierung keine einzige Zeile. Und das Ergebnis in der Systemwartung siehst du in dem Bild oben. 0 indexiert und 0 Fehler aber 25000 URL gecrawled.

**Spooky** · 02.12.2021, 09:20

Zitat von my-om

Wie ich geschrieben habe, ist in dem Log für Indexierung keine einzige Zeile.

Ich meinte das Debug Log.

**mlweb** · 02.12.2021, 09:28

Wenn ich da im Code Deiner oben verlinkten Seite sehe

Code:

<meta name="robots" content="noindex,nofollow">

und das bei zwei weiteren beliebigen Seiten ebenfalls zu finden ist, dann würde ich da die Ursache sehen.

**my-om** · 02.12.2021, 09:45

Zitat von mlweb

Wenn ich da im Code Deiner oben verlinkten Seite sehe

Code:

<meta name="robots" content="noindex,nofollow">

und das bei zwei weiteren beliebigen Seiten ebenfalls zu finden ist, dann würde ich da die Ursache sehen.

Danke für deine Antwort. Da könnte was wahres dran sein. Das ist eine Test-Seite die natürlich im robots noindex, nofollow hat. Warum wertet Contao das robots aus, wenn wir ein separates Flag "Nicht durchsuchen" in der Seite habe für den suchindex?

**mlweb** · 02.12.2021, 10:01

Zitat von my-om

Das ist eine Test-Seite die natürlich im robots noindex, nofollow hat.

Warum ist das eigentlich natürlich? Testseiten kann man auch anders vor Indizierung schützen (.htaccess oder Wartungsmodus)

Zitat von my-om

Warum wertet Contao das robots aus, wenn wir ein separates Flag "Nicht durchsuchen" in der Seite habe für den suchindex?

Suchen ist nicht identisch mit Indizieren, wenn ich mich nicht täusche.
Ich erinnere mich daran, dass Yannick mal gesagt hat, dass er die robots auswertet/nutzt für den internen Crawler.

**my-om** · 02.12.2021, 14:14

Zitat von mlweb

Warum ist das eigentlich natürlich? Testseiten kann man auch anders vor Indizierung schützen (.htaccess oder Wartungsmodus)

Suchen ist nicht identisch mit Indizieren, wenn ich mich nicht täusche.
Ich erinnere mich daran, dass Yannick mal gesagt hat, dass er die robots auswertet/nutzt für den internen Crawler.

Danke dir für die Antwort, das war für mich sehr hilfreich. Alles Gute bis demnächst Gruß Karlheinz