Ergebnis 1 bis 32 von 32

Thema: Crawler aktualisiert den Suchindex nicht

  1. #1
    Contao-Nutzer Avatar von Achim H.
    Registriert seit
    04.04.2015.
    Ort
    Düsseldorf
    Beiträge
    128

    Standard Crawler aktualisiert den Suchindex nicht

    Einmal irrtümlich bei der Datenbereinigung im Backend den Haken bei "Suchindex löschen" nicht herausgenommen, und schon ist alles weg ... und kommt auch nicht wieder, wenn ich den Crawler durchlaufen lasse. Der meint nur, er müsse zahllose URLS überspringen und findet sich dann recht erfolgreich.
    Screenshot 2021-09-07 202406.png
    Betrifft diese Seite(n): https://www.hohlfeld.eu/suchen
    Ach ja - alle Seiten sind beim Robots-Tag auf "index, follow" eingestellt.
    Screenshot 2021-09-07 203057.png
    Code:
    Time,Source,URI,"Found on URI","Found on level",Tags,Message
    "2021-09-07 20:27:34.293162","Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",https://a-klarinette.de/startpunkt-a-klarinette,,0,,"Broken link! HTTP Status Code: 500."
    "2021-09-07 20:27:35.177276","Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",https://a-klarinette.de/nopermission,https://a-klarinette.de/sitemap.xml,3,,"Broken link! HTTP Status Code: 401."
    "2021-09-07 20:27:35.291457","Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",https://a-klarinette.de/404,https://a-klarinette.de/sitemap.xml,3,,"Broken link! HTTP Status Code: 404."
    "2021-09-07 20:28:08.103775","Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",https://www.hohlfeld.eu/nopermission,https://www.hohlfeld.eu/sitemap.xml,3,,"Broken link! HTTP Status Code: 401."
    "2021-09-07 20:28:08.152255","Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",http://udoj.hohlfeld.eu/zugriff-verweigert-403,http://udoj.hohlfeld.eu/sitemap.xml,3,,"Broken link! HTTP Status Code: 401."
    "2021-09-07 20:28:08.191841","Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",https://www.hohlfeld.eu/notfound,https://www.hohlfeld.eu/sitemap.xml,3,,"Broken link! HTTP Status Code: 404."
    "2021-09-07 20:29:24.819758","Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",http://udoj.hohlfeld.eu/seite-nicht-gefunden-404,http://udoj.hohlfeld.eu/sitemap.xml,3,,"Broken link! HTTP Status Code: 404."
    Geändert von Achim H. (08.09.2021 um 00:08 Uhr)

  2. #2
    Contao-Fan Avatar von Birden
    Registriert seit
    15.01.2011.
    Beiträge
    779

    Standard

    Um welche Contaoversion handelt es sich?

  3. #3
    Contao-Nutzer Avatar von Achim H.
    Registriert seit
    04.04.2015.
    Ort
    Düsseldorf
    Beiträge
    128

    Standard

    4.12.1
    Freundliche Grüße: Achim H.

  4. #4
    Contao-Fan Avatar von designpilot
    Registriert seit
    16.06.2013.
    Ort
    9532 Rickenbach bei Wil
    Beiträge
    272
    Contao-Projekt unterstützen

    Support Contao

    Standard Crawler aktualisiert den Suchindex nicht

    Ich denke das könnte mit dem zusammenhängen
    https://github.com/contao/contao/issues/3415

    Und wenn es so ist, dann wird das bestimmt bald gefixt (bin ich mir sicher).

    Gesendet von iPhone mit Tapatalk Pro

  5. #5
    Contao-Nutzer Avatar von Achim H.
    Registriert seit
    04.04.2015.
    Ort
    Düsseldorf
    Beiträge
    128

    Standard

    Dann muss ich warten.

    Könnte ich für die Übergangszeit nicht einfach die Tabelleninhalte aus einer vorhandenen Datenbank-Sicherung einspielen?
    Geändert von Achim H. (08.09.2021 um 11:03 Uhr)

  6. #6
    Contao-Fan Avatar von designpilot
    Registriert seit
    16.06.2013.
    Ort
    9532 Rickenbach bei Wil
    Beiträge
    272
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Zitat Zitat von Achim H. Beitrag anzeigen
    Dann muss ich warten.

    Könnte ich für die Übergangszeit nicht einfach die Tabelleninhalte aus einer vorhandenen Datenbank-Sicherung einspielen?
    Das kann ich Dir nicht sagen, ich kenn mich mit dem nicht ganz so aus, aber es wäre naheliegend das dieses Problem mit dem von mir verlinktem zu tun hat und ich würde eher warten, nicht das Du dir die DB zerschiesst.


    Gesendet von iPhone mit Tapatalk Pro

  7. #7
    Contao-Urgestein Avatar von Samson1964
    Registriert seit
    05.11.2012.
    Ort
    Berlin
    Beiträge
    2.809

    Standard

    Ich habe das Problem (oder ein ähnliches) in der 4.12.1 auch. Nach 3-4 Minuten ist der Indexer fertig und meldet 0 gefundene URLs und sonst nichts. Auch keine Fehler im Log. Der Index bleibt leer.
    Die Indizierung über Seitenaufrufe funktioniert.
    Viele Grüße
    Frank

    Seit Mai 2013 Fan von Contao
    Webmaster vom Deutschen Schachbund und Berliner Schachverband
    Mein Blog: Schachbulle
    Meine Erweiterungen bei GitHub
    Meine Videos auf YouTube: Playlist zur Contao-Programmierung/Einrichtung

  8. #8
    Contao-Fan Avatar von designpilot
    Registriert seit
    16.06.2013.
    Ort
    9532 Rickenbach bei Wil
    Beiträge
    272
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Deaktiviere mal die 404,403,401 damit Du siehst ob es an denen liegt.


    Gesendet von iPhone mit Tapatalk Pro

  9. #9
    Contao-Nutzer Avatar von Achim H.
    Registriert seit
    04.04.2015.
    Ort
    Düsseldorf
    Beiträge
    128

    Standard

    Daran liegt es nicht.
    Freundliche Grüße: Achim H.

  10. #10
    Contao-Urgestein Avatar von Samson1964
    Registriert seit
    05.11.2012.
    Ort
    Berlin
    Beiträge
    2.809

    Standard

    Bei mir auch nicht.

    Crawler gestartet mit deaktivierten 401 usw.:

    Den Suchindex aktualisieren
    0 URL(s) erfolgreich indexiert. 1 fehlgeschlagen.

    Kompletter Inhalt crawl_search-index_log.csv:
    Code:
    Time,Source,URI,"Found on URI","Found on level",Tags,Message
    "2021-09-08 20:02:07.970448","Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",http://xxx.de/xxx.html,,0,,"Broken link! Could not request properly: Idle timeout reached for ""http://xxx.de/xxx.html"".."
    xxx.html ist der Startpunkt.
    Viele Grüße
    Frank

    Seit Mai 2013 Fan von Contao
    Webmaster vom Deutschen Schachbund und Berliner Schachverband
    Mein Blog: Schachbulle
    Meine Erweiterungen bei GitHub
    Meine Videos auf YouTube: Playlist zur Contao-Programmierung/Einrichtung

  11. #11
    Contao-Fan Avatar von designpilot
    Registriert seit
    16.06.2013.
    Ort
    9532 Rickenbach bei Wil
    Beiträge
    272
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Hast Du dort beim Startpunkt ein Layout definiert, was hat es sonst noch für Seiten in deiner Installation drinn (Home usw.)


    Gesendet von iPhone mit Tapatalk Pro

  12. #12
    Contao-Urgestein Avatar von Samson1964
    Registriert seit
    05.11.2012.
    Ort
    Berlin
    Beiträge
    2.809

    Standard

    Bis 4.12.0 hat noch alles funktioniert. Aber meiner Erinnerung nach auch schon in der 4.12.1. Ich bin danach aber zu einem anderen Hoster umgezogen (Strato PowerWeb Basic zu Natek Servertarif). Beim Umzug konnte ich erstmal die tl_search-Tabellen nicht mitnehmen, weil auf dem alten Natek-Server Schlüssel nicht länger als 767 Byte sein dürfen. Ich mußte dann einiges an der Datenbank "reparieren", wobei ich an den tl_search-Tabellen nicht dran war. Die funktionierten plötzlich. Nur der Crawler will jetzt nicht mehr und wirft als einzigen Fehler den in der Logdatei aus.
    Im Startpunkt ist natürlich ein Layout definiert.
    Viele Grüße
    Frank

    Seit Mai 2013 Fan von Contao
    Webmaster vom Deutschen Schachbund und Berliner Schachverband
    Mein Blog: Schachbulle
    Meine Erweiterungen bei GitHub
    Meine Videos auf YouTube: Playlist zur Contao-Programmierung/Einrichtung

  13. #13
    Community-Moderatorin & Contao-Urgestein Avatar von mlweb
    Registriert seit
    10.07.2011.
    Beiträge
    7.080
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Habe gerade eine meiner Seiten upgedatet und kann das so nicht bestätigen. Der bekannte Fehler mit der 401-Seite taucht auf, aber ansonsten läuft das Crawling korrekt durch.

    2021-09-09_crawler.png

    @Samson
    Bei Dir scheint das insgesamt mit einem Timout zu enden.
    Ich habe Dir mit meinen Hinweisen geholfen und Du möchtest Dich bedanken?
    Unterstütze bitte das Contao-Projekt (Button Links)
    Weitere Spendenmöglichkeiten
    ------------------------------------------------------------------------------------------------------
    Contao-Dokumentation: Contao-Handbuch und Contao-Entwickler-Doku
    Contao-Online-Video-Kurse: Contao Academy
    Funktionalität erweitern: Contao-Erweiterungen

    Für Dinge die man mit html5 und css3 lösen kann, braucht man kein javascript.




  14. #14
    Administratorin Avatar von lucina
    Registriert seit
    19.06.2009.
    Ort
    Kiel (DE)
    Beiträge
    7.376
    Partner-ID
    152
    User beschenken
    Wunschliste
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Wenn ich deine Fehlermeldung anschaue, dann steht da 'http:// ...' drin. Sicher, dass das korrekt eingestellt ist?

  15. #15
    Contao-Fan Avatar von designpilot
    Registriert seit
    16.06.2013.
    Ort
    9532 Rickenbach bei Wil
    Beiträge
    272
    Contao-Projekt unterstützen

    Support Contao

    Standard Crawler aktualisiert den Suchindex nicht

    Was die 404, 403, 401 betrifft dort ist es so das es ein Bug ist was in einer der nächsten Versionen sicher gefixt wird (so hat es mir Spooky gesagt)

    https://github.com/contao/contao/issues/3415

    Gesendet von iPhone mit Tapatalk Pro
    Geändert von designpilot (09.09.2021 um 12:10 Uhr)

  16. #16
    Contao-Fan Avatar von Anke
    Registriert seit
    30.06.2009.
    Ort
    Rhein-Main-Gebiet
    Beiträge
    920

    Standard

    Hallo Leute,

    hatte das Problem unter 4.12.4: 0 Fehler, aber 0 Seiten indexiert.

    Bei mir lag es an angepassten fe_page-templates. Kaum dass ich die geupdated hatte, war der Suchindex schon automatisch gefüllt.

    Gruß,
    Anke

  17. #17
    Contao-Nutzer Avatar von Achim H.
    Registriert seit
    04.04.2015.
    Ort
    Düsseldorf
    Beiträge
    128

    Standard

    Hallo Anke,
    das ist die Lösung! Tausend Dank.
    Freundliche Grüße: Achim H.

  18. #18
    Contao-Fan
    Registriert seit
    20.06.2009.
    Beiträge
    567

    Standard

    Ich bekommen diese Meldung in 4.9.24 beim versuchten Aufbau des Suchindexes.

    PHP-Code:
    2021-12-20 23:02:57.747700,"Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",https://www.xxx.de/startseite.html,,0,,"Broken link! HTTP Status Code: 401." 
    Der 401 Seite habe ich ein nofollow/noindex gegeben, keine Änderung.

    Eigene Templates habe ich mit Ausnahme der MM Templates auch mal umbenannt. Eine eigene fe_page nutze ich nicht.

    Die Einträge in die config.yml habe ich auch gemacht.

    Gibt es noch Ideen?

    Die Suche nach defekten Links endet genauso, aber das wäre jetzt nicht ganz so wichtig.
    Viele Grüße
    Shania

  19. #19
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    35.517
    Partner-ID
    10107

    Standard

    Laut der Meldung ist deine Startseite geschützt.
    » sponsor me via GitHub or PayPal or Revolut

  20. #20
    Contao-Fan
    Registriert seit
    20.06.2009.
    Beiträge
    567

    Standard

    Ja, da liegt ein Passwortschutz per .htaccess drauf, weil das eine Testumgebung ist. Kann ich das irgendwo mitgeben oder muss ich den dann raus nehmen?
    Viele Grüße
    Shania

  21. #21
    Contao-Fan
    Registriert seit
    20.06.2009.
    Beiträge
    567

    Standard

    Ich habe das Passwort nun testweise entfernt und es läuft . Danke Spooky!

    Allerdings dauert das ganz schön lange. Ich werde es beim nächsten mal per CLI versuchen.
    Viele Grüße
    Shania

  22. #22
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    35.517
    Partner-ID
    10107

    Standard

    Zitat Zitat von Shania Beitrag anzeigen
    Kann ich das irgendwo mitgeben
    Ja, in der config/config.yaml:
    Code:
    contao:
        crawl:
            default_http_client_options:
                auth_basic: 'username:password'
    Geändert von Spooky (21.12.2021 um 09:22 Uhr)
    » sponsor me via GitHub or PayPal or Revolut

  23. #23
    Contao-Fan
    Registriert seit
    20.06.2009.
    Beiträge
    567

    Standard

    Ah super, danke dir, dann trage ich das da mal so ein, wenn er fertig ist. Aber noch läuft der Crawler und steht bei 27 % . Ich gehe dann mal einkaufen .
    Viele Grüße
    Shania

  24. #24
    Contao-Fan
    Registriert seit
    20.06.2009.
    Beiträge
    567

    Standard

    Nur mal zur Info: Es läuft immer noch und steht nun bei 30 % .

    Bild_2021-12-21_140924.png

    Meine Seite ist zwar groß, aber ich hatte jetzt nicht gedacht, dass es derart lange dauert. Ich nehme mal an, das liegt an den Linkprüfungen, denn die Seiten müssten längst neu indiziert sein. Links haben wir tatsächlich auch sehr viele. Aber immerhin geht es voran ... langsam ernährt sich das Eichhörnchen und zukünftig nur noch per CLI .
    Viele Grüße
    Shania

  25. #25
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    35.517
    Partner-ID
    10107

    Standard

    Ja, die Broken Link Überprüfung solltest du deaktivieren, wenn du das nicht brauchst. Dadurch wird jeder Link auf der Seite geprüft.
    » sponsor me via GitHub or PayPal or Revolut

  26. #26
    Contao-Fan
    Registriert seit
    20.06.2009.
    Beiträge
    567

    Standard

    Ja, das wird wohl noch mindestens bis heute Abend laufen. Es zählt immer noch hoch, aber ich bin doch erstaunt, dass das nicht abbricht. Das ist ja schonmal gut .
    Viele Grüße
    Shania

  27. #27
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    35.517
    Partner-ID
    10107

    Standard

    Steht nun auch in der Dokumentation drin: https://docs.contao.org/manual/de/sy...authentication
    » sponsor me via GitHub or PayPal or Revolut

  28. #28
    Contao-Fan
    Registriert seit
    20.06.2009.
    Beiträge
    567

    Standard

    Super, danke! Ich hatte dort tatsächlich auch vorher gelesen .
    Viele Grüße
    Shania

  29. #29
    Contao-Nutzer
    Registriert seit
    30.03.2010.
    Ort
    Berlin
    Beiträge
    241

    Standard

    Hallo @anke,

    ich habe das gleiche Problem, aber meine fe_page ist so tief angepasst, dass ich nicht genau weiß, was ich reparieren muss, damit es wieder indiziert wird. Hast Du eine Stelle identifizieren können, die ursächlich war? Ich nutze ein Rocksolid-Theme (Swissy).

    Eventuell hast Du da eine Erkenntnis.

    Danke
    Jens_
    Lieblingsurlaubsstadt am Meer
    http://www.kolberg-cafe.de

  30. #30
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    35.517
    Partner-ID
    10107

    Standard

    Stelle sicher, dass folgende Zeile vorhanden ist: https://github.com/contao/contao/blo...page.html5#L96
    » sponsor me via GitHub or PayPal or Revolut

  31. #31
    Community-Moderatorin & Contao-Urgestein Avatar von mlweb
    Registriert seit
    10.07.2011.
    Beiträge
    7.080
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Zitat Zitat von Jens_ Beitrag anzeigen
    Ich nutze ein Rocksolid-Theme (Swissy).
    Die Themes von Rocksolid werden sehr gut gepflegt. Lade Dir einfach die aktuellen Template-Versionen für dieses Theme herunter.
    Wenn Du selbst nichts angepasst hast bei den Templates, kannst Du diese nach meiner Erfahrung einfach austauschen.
    Ich habe Dir mit meinen Hinweisen geholfen und Du möchtest Dich bedanken?
    Unterstütze bitte das Contao-Projekt (Button Links)
    Weitere Spendenmöglichkeiten
    ------------------------------------------------------------------------------------------------------
    Contao-Dokumentation: Contao-Handbuch und Contao-Entwickler-Doku
    Contao-Online-Video-Kurse: Contao Academy
    Funktionalität erweitern: Contao-Erweiterungen

    Für Dinge die man mit html5 und css3 lösen kann, braucht man kein javascript.




  32. #32
    Contao-Nutzer
    Registriert seit
    30.03.2010.
    Ort
    Berlin
    Beiträge
    241

    Standard

    Hallo Mlweb, Hallo Spooky

    Danke Euch! Bides hat super geholfen. Die Zeile half, aber dann habe ich mich doch für die extra Meile entschieden und die fe_page aktualisiert und alle meine Anpassungen aus den letzten 10 Jahren nachgezogen. Nun sieht es wieder gut aus. :-)
    Danke Euch und ein tolles 2022!

    Jens_
    Lieblingsurlaubsstadt am Meer
    http://www.kolberg-cafe.de

Aktive Benutzer

Aktive Benutzer

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •