Seite 1 von 2 12 LetzteLetzte
Ergebnis 1 bis 40 von 46

Thema: Suchindex löschen und neu aufbauen via Cronjob

  1. #1
    Contao-Fan Avatar von jgrotstabel
    Registriert seit
    22.11.2011.
    Ort
    Bocholt
    Beiträge
    279

    Standard Suchindex löschen und neu aufbauen via Cronjob

    Hallo zusammen,

    hat jemand eine Idee wie ich den Contao Suchindex via z.B. Cronjob regelmäßig löschen und danach neu aufbauen kann.

    Ich habe eine Installation die nach wenigen Wochen einen Suchindex von über 200 MB aufbaut. Das Webhosting Paket stürtzt dann leider beim Suchen über das Frontend ab. oder kann man auch deaktivieren, dass sich der Suchindex immer weiter aufbaut? Wenn ich diesen selber generiere, ist er nicht annähernd so groß....

    Vielleicht hat ja jemand eine Idee oder sogar ein Script dafür?

    Viele Grüße und schöne Weihnachtstage.
    Webentwickler bei Paus Design & Medien in Bocholt / NRW: www.paus-medien.de
    Meine Website: www.grotstabel.com (Sorry seit Jahren keine Zeit für ein Redesign...)
    Xing-Account: www.xing.com

  2. #2
    Contao-Urgestein Avatar von Kahmoon
    Registriert seit
    22.06.2009.
    Ort
    München
    Beiträge
    5.280

    Standard

    Hmm der über die Systemwartung dürfte aber keine unterschiedliche Größe zum "natürlich" erstellten haben...da ist doch was faul? Die Systemwartung ruft ja auch nur alle Seiten auf die man aufrufen kann. Wie ein User auch.

  3. #3
    Contao-Fan Avatar von jgrotstabel
    Registriert seit
    22.11.2011.
    Ort
    Bocholt
    Beiträge
    279

    Standard

    Hey,

    ich glaube das der mit den vom user eingegebenen Suchanfragen wächst, oder?
    Also bin mir sehr sicher, dass der bei allen Installationen wächst.
    Webentwickler bei Paus Design & Medien in Bocholt / NRW: www.paus-medien.de
    Meine Website: www.grotstabel.com (Sorry seit Jahren keine Zeit für ein Redesign...)
    Xing-Account: www.xing.com

  4. #4
    Contao-Urgestein Avatar von Kahmoon
    Registriert seit
    22.06.2009.
    Ort
    München
    Beiträge
    5.280

    Standard

    Suchanfragen werden imho nicht gespeichert. Nur vorhandene Texte (News, Artikel, Strukturen) werden in den Index aufgenommen. Korrigiert mich wenn ich falsch liege. Es macht eigentlich auch keinen Sinn Suchanfragen in den Index aufzunehmen...der Inhalt der Webseite ändert sich dadurch ja nicht.

    Edit:
    Also wie schon vermutet wächst der Index nicht durch Sucheingaben an (habs gerade bei 2 Installationen getestet). Das wäre auch sehr bedenklich...so könnte man ja quasi jede Contaoseite crashen .
    Geändert von Kahmoon (22.12.2014 um 14:45 Uhr)

  5. #5
    Contao-Fan Avatar von jgrotstabel
    Registriert seit
    22.11.2011.
    Ort
    Bocholt
    Beiträge
    279

    Standard

    Dieser Crash ist ja mein Problem.

    Ich habe eine Installation, die im Moment folgendes in der Systemwartung anzeigt:
    ist-stand.JPG

    Nach dem leeren und neuem Aufbau des Suchindexes habe ich folgendes Ergebniss:
    soll-stand.JPG

    Also irgendwas passiert doch da im Hintergrund. Der Suchindex wächst definitiv, dass sieht man ja an den Screenshots. Was kann denn dazu führen, dass so etwas passiert?
    Und ich möchte halt, damit es keinen Crash gibt, den Suchindex regelmäßig leeren und neu generieren.
    Webentwickler bei Paus Design & Medien in Bocholt / NRW: www.paus-medien.de
    Meine Website: www.grotstabel.com (Sorry seit Jahren keine Zeit für ein Redesign...)
    Xing-Account: www.xing.com

  6. #6
    Contao-Urgestein Avatar von Kahmoon
    Registriert seit
    22.06.2009.
    Ort
    München
    Beiträge
    5.280

    Standard

    Strange..das Einzige was ich mir erklären kann ist das die Systemwartung weniger Seiten durchgeht als es gibt. Ruft jemand die Seite auf, wird es dem Index. Vielleicht ein Shopmodul deren Strukturen von der Suche ausgenommen sind? Vielleicht sind es auch doppelte Einträge? Dafür müsste man man in die Tabelle schauen. Über 1 Mio Einträge is heftig!

  7. #7
    Contao-Fan Avatar von jgrotstabel
    Registriert seit
    22.11.2011.
    Ort
    Bocholt
    Beiträge
    279

    Standard

    Da ist ein Contao Immomanager drin. Der wird in den Index aufgenommen. Meinste, dass hat evtl. was damit zu tun?
    Aber grundsätzlich brauche ich eh erstmal nen Cronjob, geht sowas denn ;-)


    EDIT: 1 Mio ist nichts. Habe den ltzte Woche noch geleert. Nach 4 Wochen gehts richtig rund :-)
    Webentwickler bei Paus Design & Medien in Bocholt / NRW: www.paus-medien.de
    Meine Website: www.grotstabel.com (Sorry seit Jahren keine Zeit für ein Redesign...)
    Xing-Account: www.xing.com

  8. #8
    Contao-Urgestein Avatar von Kahmoon
    Registriert seit
    22.06.2009.
    Ort
    München
    Beiträge
    5.280

    Standard

    Ja, ich tippe definitiv auf eine "Fehlfunktion" eines Moduls. Als würde er weiterhin unterschiedliche URLs erzeugen die dann auch indexiert werden. Nur so kann ich mir den Zuwachs erklären. Kenne aber den Immomanager nichts. Klingt aber nach einem Verdächtigen
    Geändert von Kahmoon (22.12.2014 um 16:17 Uhr)

  9. #9
    Contao-Fan
    Registriert seit
    19.06.2009.
    Ort
    Mittelhessen
    Beiträge
    463

    Standard

    Hast Du mal geprüft, ob viele Seiten bei der Suche angezeigt werden, die es bei Dir gar nicht gibt?

    Leider nimmt Contao - vermutlich nur mit bestimmten Erweiterungen - im Suchindex irgendwie alles auf, was auf die Domain abgefragt wird. So wird dann der Suchindex immer größer durch Robots oder einfach falsche Eingaben.
    Ich persönlich habe daher die automatische Indizierung ausgeschaltet und lösche regelmäßig den Index und baue ihn manuell wieder auf.

    Die beiden Links müssten eigentlich zum Thema passen.
    Sucherergebnisse in tl_search können manipuliert werden
    Suchindex enthält ungültige Links
    Geändert von andre.5tz (22.12.2014 um 18:14 Uhr)

  10. #10
    Contao-Fan Avatar von jgrotstabel
    Registriert seit
    22.11.2011.
    Ort
    Bocholt
    Beiträge
    279

    Standard

    Hey,

    also erstmal danke für Eure Anregungen. Es ist auf jeden Fall etwas, was durch das Modul erzeugt wird.

    Aber erstmal würde ich gerne noch mal nachhaken ob es denn die Möglichkeit gibt von außerhalb (z.B. mit einem Script) den Suchindex zu leeren (das würde ja zur Not über einen Cronjob gehen der die Datenbanktabelle leert) und vor allem Dingen neu aufzubauen.

    Ich wäre da wirklich dankbar, wenn jemand eine Idee hat, wie diese Systemfunktionen genutzt werden könnten.
    Webentwickler bei Paus Design & Medien in Bocholt / NRW: www.paus-medien.de
    Meine Website: www.grotstabel.com (Sorry seit Jahren keine Zeit für ein Redesign...)
    Xing-Account: www.xing.com

  11. #11
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    34.094
    Partner-ID
    10107

    Standard

    Zitat Zitat von Kahmoon Beitrag anzeigen
    Hmm der über die Systemwartung dürfte aber keine unterschiedliche Größe zum "natürlich" erstellten haben...da ist doch was faul? Die Systemwartung ruft ja auch nur alle Seiten auf die man aufrufen kann. Wie ein User auch.
    Naja, es kann durchaus sein, dass es mehr im Frontend aufrufbare Seiten gibt, als über die Systemwartung ersichtlich ist. Ich bin mir zB nicht sicher, ob paginierte Seiten da immer komplett drin sind bspw. Und je nach Extension kann es vorkommen, dass auf einer Seite (mit irgendeinem Reader Modul bspw.) viele verschiedene Kombinationen von Variablen existieren können, die wohl kaum alle per getSearchablePages Hook abgedeckt sind.

    Sieh' dir als einfaches Beispiel die Tags Extension an. Da kann auf jeder Seite noch zusätzliche eine Variante existieren mit .../tag/... Und die Tags Extension implementiert den getSearchablePages Hook gar nicht - daher werden alle per Tag gefilterten Seitenaufrufe auch nicht in den Index aufgenommen, wenn man den Index im Backend neu aufbaut.

  12. #12
    Contao-Urgestein Avatar von Kahmoon
    Registriert seit
    22.06.2009.
    Ort
    München
    Beiträge
    5.280

    Standard

    Tags vergrößert bei mir aber den Suchindex nicht wenn ich Tagseiten im Frontend aufrufe.

  13. #13
    Contao-Nutzer
    Registriert seit
    06.11.2009.
    Beiträge
    134

    Frage Suchfunktion grenzt an Zauberei ... ratlos ... sprachlos

    Ich klinke mich hier mal in die Diskussion um den Suchindex ein, wenngleich ich etwas andere, größere Probleme mit dieser Funktion habe.

    Ich habe vor ein paar Tagen ein Online-Branchenbuch gelaunched, das natürlich eine Volltextsuche beinhaltet. Organisiert ist das Ganze technisch wie folgt: Es gibt eine Seite, die für jedes Kundenprofil wiederum einen Artikel beinhaltet. Diese Seite wird über die Suche indiziert. Den Aufbau dex Suchindex kann man hier sehen: Systemwartung - Suchindex aufbauen.pdf.

    Nach der Systemwartung wird alles perfekt gefunden, der Aufbau des Suchindex funktioniert offenbar einwandfrei.

    ABER: Stück für Stück, ohne das irgendetwas am System gemacht wird, zerlegt sich der Suchindex selbst. Nach und nach wird immer weniger gefunden. Ich habe hier einmal zwei Dateien angehängt, die das zeigen:
    1. Direkt nach dem Aufbau des Suchindex über die Systemwartung um 8:37 Uhr: Suchergebnisse-01.pdf
    2. Bereits um 9:17 Uhr wird der erste Eintrag nicht mehr gefunden: Suchergebnisse-02.pdf

    Ich weiß, dass irgendwo im Hintergrund Pseudo-Cronjobs laufen, die auch den Suchindex aktualisieren und aufbauen sollen. Offenbar wird der Suchindex aber abgebaut?!?!?!?! Wie ist das möglich?
    Was ich auch feststellen konnte ist ebenso kurios. Direkt nach dem Aufbau des Suchindex werden z. B. bei Eingabe des Suchbegriffs "Marketing" verschiedene Kundenprofile gefunden. Nach einiger Zeit aber nicht mehr. Die Profile werden nur noch dann gefunden, wenn ich "marketing", also klein geschrieben eingebe. Das System hat sich selbständig auf case sensitive umgestellt?!?!??

    Ich muss sagen, ich habe schon echt eine Menge an Kuriositäten im Bereich Programmierung erlebt. Welcher Entwickler kennt das nicht. Aber hier bin ich wirklich absolut ratlos und sprachlos, wie so etwas möglich ist.

    Ich habe im Backend übrigens den Command Scheduler schon deaktiviert, hat aber nichts geholfen. Das System ist aktuell Contao 3.5.2.

    Ganz offenbar liegt hier ein ganz massiver Bug vor. Es wäre mir schon geholfen, wenn ich wüsste, wie ich diese versteckten Automatismen nachhaltig abschalten kann.

    Würde mich extrem freuen, wenn mir irgend jemand hier weiterhelfen könnte. Denn die Suchfunktion in einem Branchenbuch ist ja nicht irgendwie eine Kleinigkeit, sondern eher von sehr zentraler Bedeutung.

    Grüße und Dank im Voraus
    Sitting Bull

  14. #14
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    34.094
    Partner-ID
    10107

    Standard

    Validiere deine Installation mit dem Contao Check und poste alle Extensions die du installiert hast.

  15. #15
    Contao-Nutzer
    Registriert seit
    06.11.2009.
    Beiträge
    134

    Standard Check + Extension-Liste

    Zitat Zitat von Spooky Beitrag anzeigen
    Validiere deine Installation mit dem Contao Check und poste alle Extensions die du installiert hast.
    Hi Spooky,

    danke erst mal für Dein superschnelles Feedback!

    Habe den Check gemacht. Sagt mir folgendes:

    Version: Found a Contao 3.4.5 installation (hatte ich im Post vorhin falsch angegeben, sorry)
    Corrupt files: robots.txt
    Your installation is not up to date.

    Ich weiß natürlich nicht, inwieweit sich da was auf den Suchindex auswirken kann. Was bedeutet genau "Your installation is not up to date."? Ich könnte natürlich auf 3.5.2 updaten. Aber das ist im Prinzip ja nicht generell nötig?!

    Corrupt robots.txt sagt mir allerdings auch nicht viel?! Habe ich selbst nicht angelegt.

    Installierte Extensions:
    • ce-access
    • dma_elementgenerator
    • efg
    • galerie
    • mod_articlefilter
    • page_images
    • randomarticle
    • rocksolid-columns
    • rocksolid-slider
    • sharebuttons
    • superfish
    • xls_export


    Grüße
    Sitting Bull

  16. #16
    Gesperrt
    Registriert seit
    07.05.2011.
    Beiträge
    1.199

    Standard

    Ich hab noch was zu dem Thema ausgegraben ...

    Ein sehr alter Thread von 2010, der belegt, vergleichbare Probs gabs auch da schon mit dem Suchindex und könnten tatsächlich mit von Erweiterungen gesetzten URL-Parametern verursacht werden:
    https://community.contao.org/de/show...puliert-werden

    Und einer, der bis 2014 reicht - somit noch recht aktuell, aber auch viel früher begann - ein Beispiel für Datenbankmanipulation mittels cron.php und was dabei speziell zu beachten ist:
    https://community.contao.org/de/show...ob-anlegen-wie

  17. #17
    Contao-Nutzer
    Registriert seit
    06.11.2009.
    Beiträge
    134

    Standard Validation nun korrekt

    Zitat Zitat von Spooky Beitrag anzeigen
    Validiere deine Installation mit dem Contao Check und poste alle Extensions die du installiert hast.
    Hi Spooky,

    habe in einem anderen Post gelesen, dass das mit der "Installation not up to date" mit der robots.txt zusammenhängt. Habe daher die Original robots.txt noch mal eingespielt. Nun zeigt der Check auch:

    Version: Found a Contao 3.4.5 installation.

    Your installation is up to date.

    Hier kann also der Fehler offenbar nicht liegen.

  18. #18
    Gesperrt
    Registriert seit
    07.05.2011.
    Beiträge
    1.199

    Standard

    Zitat Zitat von Sitting Bull Beitrag anzeigen
    Corrupt files: robots.txt
    Die robots.txt verbietet bloß den Bot-Zugriff auf einige Systemordner u. -dateien, u. a. auch auf cron.php. Und hat normalerweise nur wenige Zeilen Inhalt, da reicht ein Blick zum Vergleich mit der Core-Version. Glaub eher nicht, dass die was damit zu tun hat.

    Von den Extensions scheinen mir dma_elementgenerator, efg und mod_articlefilter am ehesten verdächtige Kandidaten. Letztere nur, weil ich die selber noch nie verwendete. Mit efg hatte ich noch nie Probleme, doch man hört ja, soll für Cto 3 nicht mehr so das Wahre sein.

    Edit: Ups, zu spät. An der robots.txt lags also wirklich nicht.

  19. #19
    Contao-Nutzer
    Registriert seit
    06.11.2009.
    Beiträge
    134

    Standard

    Zitat Zitat von soweit_ok Beitrag anzeigen
    Ich hab noch was zu dem Thema ausgegraben ...

    Ein sehr alter Thread von 2010, der belegt, vergleichbare Probs gabs auch da schon mit dem Suchindex und könnten tatsächlich mit von Erweiterungen gesetzten URL-Parametern verursacht werden:
    https://community.contao.org/de/show...puliert-werden

    Und einer, der bis 2014 reicht - somit noch recht aktuell, aber auch viel früher begann - ein Beispiel für Datenbankmanipulation mittels cron.php und was dabei speziell zu beachten ist:
    https://community.contao.org/de/show...ob-anlegen-wie

    Schau ich mal in Ruhe an, ob das was mit dem Problem zu tun haben könnte und noch aktuell ist. Danke erst mal.

  20. #20
    Contao-Nutzer
    Registriert seit
    06.11.2009.
    Beiträge
    134

    Frage Keine Ideen mehr zu diesem Thema?

    Niemand mehr eine Idee zu diesem Problem?

    Ich denke, die Suchmaschine ist ja ein ziemlich zentrales Core-Element von Contao. Wäre also schon schön, wenn man das auch nutzen könnte. Es würde mir ja auch schon sehr helfen, einfach diese ganzen Indiziereungmechnismen, die da offenbar im Hintergrund laufen, komplett totzuschalten. Denn ein unkontrollierbarer Cron-Job, der den Index langsam auslöscht, ist absolut unbrauchbar. Bin also für jeden Hinweis dankbar. Man traut sich sonst ja gar nicht mehr, eine Website mit Suchfunktion anzubieten. Bei Wordpress hat man gleich eine ganze Flotte an Such-Extensions aller Art. Aber hier gibt es ja leider bisher nur das Core-System.

    Ich kann gern auch für Interessierte, bzw. Core-Entwickler, das Gesamtsystem zum Testen zur Verfügung stellen, damit dieses kuriose Verhalten überhaupt einmal nachvollziehbar wird.

    Das Problem ist ja, dass man solche Bugs manchmal gar nicht bemerkt. Suche wird implementiert. Index wird übers Backend aufgebaut. Man testet diverse Begriffe. Alles funktioniert reibungslos. Ich bin nie im Leben auf die Idee gekommen, dass sich das System quasi im Alleingang selbst zerlegen könnte, bis mich der Kunde darauf aufmerksam gemacht hat, dass die Treffer immer weniger werden?!

    Ich denke, ich werde hier mal ein Ticket aufmachen müssen.

    Danke für alle kommenden Ideen und Grüße
    Sitting Bull

  21. #21
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    34.094
    Partner-ID
    10107

    Standard

    Zitat Zitat von Sitting Bull Beitrag anzeigen
    Es würde mir ja auch schon sehr helfen, einfach diese ganzen Indiziereungmechnismen, die da offenbar im Hintergrund laufen, komplett totzuschalten. Denn ein unkontrollierbarer Cron-Job, der den Index langsam auslöscht, ist absolut unbrauchbar.
    Du hast den Frontend Cron ja deaktiviert, oder? Wenn du die cron.php nun nicht selbst aufrufst, wird nie ein CronJob gestartet.

    Seiten kommen allerdings auch einfach durch den Aufruf im Frontend in den Index.


    Zitat Zitat von Sitting Bull Beitrag anzeigen
    Aber hier gibt es ja leider bisher nur das Core-System.
    Es gibt zB [CearchPro] (wobei dies unter Umständen sowieso den normalen Suchindex benutzt, bin mir jetzt nicht sicher) und irgendeine Kostenpflichtige Search Extension, deren Name mir gerade entfallen ist.


    Zitat Zitat von Sitting Bull Beitrag anzeigen
    Ich kann gern auch für Interessierte, bzw. Core-Entwickler, das Gesamtsystem zum Testen zur Verfügung stellen, damit dieses kuriose Verhalten überhaupt einmal nachvollziehbar wird.
    Wird wohl nötig sein, andernfalls wird man den Fehler nicht finden können, denke ich.

  22. #22
    Contao-Nutzer
    Registriert seit
    06.11.2009.
    Beiträge
    134

    Standard

    Hi Spooky,

    ja, der Cron-Job ist über "Command Scheduler deaktivieren" eigentlich totgeschaltet. Ob man diesen Frontentindizierer auch irgendwie abmurksen kann, weiß ich leider nicht. Das wäre aber mehr als hilfreich. Ist mir eh nicht klar, was der soll?!

    Ich schreib dann morgen mal ein Ticket.

    Danke
    Sitting Bull

  23. #23
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    34.094
    Partner-ID
    10107

    Standard

    Zitat Zitat von Sitting Bull Beitrag anzeigen
    Ist mir eh nicht klar, was der soll?!
    Äh, du willst ja, dass die Contao Suche funktioniert, oder? Wenn keine Seiten in den Suchindex aufgenommen werden, werden auch keine Seiten mehr gefunden.

  24. #24
    Contao-Nutzer
    Registriert seit
    06.11.2009.
    Beiträge
    134

    Standard

    Zitat Zitat von Spooky Beitrag anzeigen
    Äh, du willst ja, dass die Contao Suche funktioniert, oder? Wenn keine Seiten in den Suchindex aufgenommen werden, werden auch keine Seiten mehr gefunden.
    Ich baue den Index lieber selbst über das Backend auf. Ist ja kein Problem und funktioniert einwandfrei.

    Wenn ich die andere Automatik verstanden habe, werden nur Seiten indiziert, die zuvor bereits besucht wurden. D. h. doch im Prinzip. Eine Seite, die besucht wurde, wird auch nie über die Suche gefunden werden können. Wenn das tatsächlich so sein sollte, fände ich das mehr als komisch

    Aber, wie gesagt. Leider funktioniert der Mechanismus ja auch irgendwie nicht. Ich habe gestern am späten Abend den Suchindex über das Backend komplett aufgebaut. Alles wurde perfekt gefunden. Die Systemwartungt zeigte 234 Einträge (Kundenprofile) an. Heute morgen um 6:55 Uhr habe ich getestet. Nichts wurde mehr gefunden. Laut Systemwartung war der Index won 234 auf 38 Einträge geschrumpft!!!

    Automatismen sind sehr gut, wenn sie funktionieren. Aber hier handelt es sich offenbar eher um eine Art Selbstzerstörung

  25. #25
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    34.094
    Partner-ID
    10107

    Standard

    Zitat Zitat von Sitting Bull Beitrag anzeigen
    Wenn ich die andere Automatik verstanden habe, werden nur Seiten indiziert, die zuvor bereits besucht wurden. D. h. doch im Prinzip. Eine Seite, die besucht wurde, wird auch nie über die Suche gefunden werden können.
    ? Nein, das hast du falsch verstanden. Seiten kommen in den Suchindex entweder, wenn du im Backend den Suchindex neu aufbauen lässt, oder wenn die Seite im Frontend aufgerufen wird.


    Zitat Zitat von Sitting Bull Beitrag anzeigen
    Aber, wie gesagt. Leider funktioniert der Mechanismus ja auch irgendwie nicht. Ich habe gestern am späten Abend den Suchindex über das Backend komplett aufgebaut. Alles wurde perfekt gefunden. Die Systemwartungt zeigte 234 Einträge (Kundenprofile) an. Heute morgen um 6:55 Uhr habe ich getestet. Nichts wurde mehr gefunden. Laut Systemwartung war der Index won 234 auf 38 Einträge geschrumpft!!!
    Wie gesagt, hier liegt bei deiner Installation irgendein Problem vor. Von alleine verschwinden Seiten normalerweise nicht aus dem Suchindex.

  26. #26
    Contao-Nutzer
    Registriert seit
    06.11.2009.
    Beiträge
    134

    Standard

    Zitat Zitat von Spooky Beitrag anzeigen
    ? Nein, das hast du falsch verstanden. Seiten kommen in den Suchindex entweder, wenn du im Backend den Suchindex neu aufbauen lässt, oder wenn die Seite im Frontend aufgerufen wird.
    Dann habe ich das doch völlig richtig verstanden ... "wenn die Seite im Frontend aufgerufen wird". Wenn sie aber nicht aufgerufen wird, kommt sie auch nicht in den Index?! Sie muss also erst einmal aufgerufen werden, damit man sie später über die Suche finden kann?!?!

    Den Backend-Mechanismus habe ich ja, wie gesagt, abgeschaltet. Muss also irgendwie noch was anderes laufen?! Das würde ich sehr gern auch abschalten, weiß aber nicht wie.

  27. #27
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    34.094
    Partner-ID
    10107

    Standard

    Zitat Zitat von Sitting Bull Beitrag anzeigen
    Dann habe ich das doch völlig richtig verstanden ... "wenn die Seite im Frontend aufgerufen wird". Wenn sie aber nicht aufgerufen wird, kommt sie auch nicht in den Index?
    Ok, du hattest geschrieben:
    Zitat Zitat von Sitting Bull Beitrag anzeigen
    D. h. doch im Prinzip. eine Seite, die besucht wurde, wird auch nie über die Suche gefunden werden können.



    Zitat Zitat von Sitting Bull Beitrag anzeigen
    Wenn sie aber nicht aufgerufen wird, kommt sie auch nicht in den Index?! Sie muss also erst einmal aufgerufen werden, damit man sie später über die Suche finden kann?!?!
    Nein, wie gesagt, entweder durch das Aufrufen der Seite im Frontend oder über "Suchindex neu aufbauen" im Backend.


    Zitat Zitat von Sitting Bull Beitrag anzeigen
    Muss also irgendwie noch was anderes laufen?! Das würde ich sehr gern auch abschalten, weiß aber nicht wie.
    Irgendwas, was nur bei deiner Installation so passiert. Wie gesagt, normalerweise wird nichts aus dem Suchindex einfach so gelöscht.

  28. #28
    Contao-Nutzer
    Registriert seit
    06.11.2009.
    Beiträge
    134

    Standard

    Ja, wie gesagt, ich würde sehr gern auf alle Automatismen verzichten, solange sie nicht 100% funktionieren. Leider habe ich keinen Hinweis gefunden, wie man das anstellen kann?!

  29. #29
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    34.094
    Partner-ID
    10107

    Standard

    Ich glaube du verstehst es noch falsch: irgendwas bei deiner Installation läuft nicht normal. Du musst das Problem genauer analysieren. Denn es gibt keinen Automatismus von Contao, der Seiten aus dem Suchindex löscht, so wie du es beschreibst. Contao löscht nie Seiten aus dem Suchindex von selbst. Über TL_CRON wird nur der Such-Cache gelöscht, nicht der Suchindex selbst.

  30. #30
    Contao-Nutzer
    Registriert seit
    06.11.2009.
    Beiträge
    134

    Standard

    Zitat Zitat von Spooky Beitrag anzeigen
    Ich glaube du verstehst es noch falsch: irgendwas bei deiner Installation läuft nicht normal. Du musst das Problem genauer analysieren. Denn es gibt keinen Automatismus von Contao, der Seiten aus dem Suchindex löscht, so wie du es beschreibst. Contao löscht nie Seiten aus dem Suchindex von selbst. Über TL_CRON wird nur der Such-Cache gelöscht, nicht der Suchindex selbst.
    Ok, das werde ich mal checken.

  31. #31
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    34.094
    Partner-ID
    10107

    Standard

    Contao löscht übrigens doch Seiten aus dem Index, wenn für die aufgerufene URL keine Seite gefunden wurde - also jedesmal wenn die 404 Seite von Contao generiert wird, wird die entsprechende URL auch aus dem Suchindex gelöscht. Ansonsten werden nur Einträge aus tl_search_index gelöscht, wenn ein neuer Eintrag für die selbe URL hinzukommt.

  32. #32
    Contao-Nutzer
    Registriert seit
    06.11.2009.
    Beiträge
    134

    Standard

    Zitat Zitat von Spooky Beitrag anzeigen
    Contao löscht übrigens doch Seiten aus dem Index, wenn für die aufgerufene URL keine Seite gefunden wurde - also jedesmal wenn die 404 Seite von Contao generiert wird, wird die entsprechende URL auch aus dem Suchindex gelöscht. Ansonsten werden nur Einträge aus tl_search_index gelöscht, wenn ein neuer Eintrag für die selbe URL hinzukommt.
    Aber die Seiten sind alle zugreifbar. Kann es sein, dass versehentlich irgendwo eine 404 generiert wird? Und wenn ja, wie oder wo kann man das sehen?

  33. #33
    Contao-Fan Avatar von Zero
    Registriert seit
    25.05.2010.
    Ort
    Korntal
    Beiträge
    520
    User beschenken
    Wunschliste

    Standard

    Nur am Rande:
    Das erstellen des Suchindexes im Backend macht nichts anderes wie die Seite "Durchklicken" via Ajax. Somit kommt das erstellen des Index im CMS dem durchklicken im FE gleich.
    Via Ajax wird jede einzelne URL aufgerufen und somit der Index erstellt. Wahlweise mit angemeldetem Mitglied.
    Mein Blog -> brothers-project.de

  34. #34
    Contao-Nutzer
    Registriert seit
    06.11.2009.
    Beiträge
    134

    Standard

    Zitat Zitat von Sitting Bull Beitrag anzeigen
    Aber die Seiten sind alle zugreifbar.
    Ich habe gerade festgestellt, dass z. B. bei Eingabe einer unbekannten Unterseite, z. B. www.beispiel.de/aslfkdfl eine leere Seite angezeigt wird. bei Eingabe von www.beispiel.de/aslfkdfl.html hingegen kommt, wie eingestellt die 404-Weiterleitung auf die Startseite zum tragen.

    Diese leere Seite enthält folgende Quellcode:

    HTML-Code:
    <!DOCTYPE html>
    <html>
        <head>
            <meta charset="utf-8">
            <style type="text/css">
                html, body, #partner, iframe {
                    height:100%;
                    width:100%;
                    margin:0;
                    padding:0;
                    border:0;
                    outline:0;
                    font-size:100%;
                    vertical-align:baseline;
                    background:transparent;
                }
                body {
                    overflow:hidden;
                }
            </style>
            <meta content="NOW" name="expires">
            <meta content="index, follow, all" name="GOOGLEBOT">
            <meta content="index, follow, all" name="robots">
            <!-- Following Meta-Tag fixes scaling-issues on mobile devices -->
            <meta content="width=device-width; initial-scale=1.0; maximum-scale=1.0; user-scalable=0;" name="viewport">
        </head>
        <body>
            <div id="partner"></div>
            <script type="text/javascript">
                document.write(
                        '<script type="text/javascript" language="JavaScript"'
                                + 'src="//sedoparking.com/frmpark/'
                                + window.location.host + '/'
                                + '1und1parking6'
                                + '/park.js">'
                        + '<\/script>'
                );
            </script>
        </body>
    </html>
    Das System liegt auf einem 1&1-Server. Wie kommt diese Seite zustande, und warum wird hier nicht umgeleitet? Bzw. kennt jemand einen htaccess-Eintrag, der auch diese Seiten umleiten kann?

  35. #35
    Contao-Nutzer
    Registriert seit
    06.11.2009.
    Beiträge
    134

    Standard

    Zitat Zitat von Zero Beitrag anzeigen
    Nur am Rande:
    Das erstellen des Suchindexes im Backend macht nichts anderes wie die Seite "Durchklicken" via Ajax. Somit kommt das erstellen des Index im CMS dem durchklicken im FE gleich.
    Via Ajax wird jede einzelne URL aufgerufen und somit der Index erstellt. Wahlweise mit angemeldetem Mitglied.
    Ist das definitiv so? Oder kommen hier vielleicht doch andere Skripten zum Tragen, die vielleicht nicht alles korrekt erfassen?

    Ein Sache, die ich mir zumindest theoretisch noch vorstellen könnte, ist der Einsatz der dma_elementgenerator Extension. Denn die Kundenprofile sind hiermit angelegt, um eine einfache Verwaltung im Backend zu gewährleisten. Ist es möglich, dass diese von den Crons nicht erfasst werden oder zu Fehlern führen?

    Im Prinzip wird der Such-Index der Website nur aus einer einzigen Unterseite aufgebaut, die für jeden Kunden einen eigenen Artikel enthält mit dem Kunden-Profil drin, das wiederum mit Hilfe der dma_elementgenerator Extension erstellt wurde. Wäre so etwas denkbar, oder ist das Quatsch?!?

  36. #36
    Wandelndes Contao-Lexikon Avatar von tab
    Registriert seit
    22.10.2013.
    Beiträge
    10.077
    Contao-Projekt unterstützen

    Support Contao

  37. #37
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    34.094
    Partner-ID
    10107

    Standard

    Zitat Zitat von Sitting Bull Beitrag anzeigen
    Bzw. kennt jemand einen htaccess-Eintrag, der auch diese Seiten umleiten kann?
    Ja, einfach
    Code:
    ErrorDocument 404 /index.php
    eintragen .


    Zitat Zitat von Sitting Bull Beitrag anzeigen
    Ein Sache, die ich mir zumindest theoretisch noch vorstellen könnte, ist der Einsatz der dma_elementgenerator Extension. Denn die Kundenprofile sind hiermit angelegt, um eine einfache Verwaltung im Backend zu gewährleisten. Ist es möglich, dass diese von den Crons nicht erfasst werden oder zu Fehlern führen?

    Im Prinzip wird der Such-Index der Website nur aus einer einzigen Unterseite aufgebaut, die für jeden Kunden einen eigenen Artikel enthält mit dem Kunden-Profil drin, das wiederum mit Hilfe der dma_elementgenerator Extension erstellt wurde. Wäre so etwas denkbar, oder ist das Quatsch?!?
    Sollte keinen Unterschied machen. Solange keine 404 Seite für eine URL generiert wird, sollte diese URL im Suchindex bleiben.
    Geändert von Spooky (08.09.2015 um 11:51 Uhr)

  38. #38
    Contao-Nutzer
    Registriert seit
    06.11.2009.
    Beiträge
    134

    Standard

    Zitat Zitat von Spooky Beitrag anzeigen
    Ja, einfach
    Code:
    ErrorDocument 404 /index.php
    eintragen .


    Sollte keinen Unterschied machen. Solange keine 404 Seite für eine URL generiert wird, sollte diese URL im Suchindex bleiben.

    Danke, das hat schon mal geklappt, auch wenn es das Problem mit dem Suchindex vermutlich nicht löst. Warum aber schlägt denn hier nicht die Backend-Einstellung für 404 zu? Wieso muss man hier zusätzlich noch die htaccess anfassen? Ist das nur bei 1&1 so?

  39. #39
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    34.094
    Partner-ID
    10107

    Standard

    Nein, wird wahrscheinlich überall so sein. Für URLs mit Suffix greift das URL Rewriting der .htaccess.default von Contao. Für nicht existente Ordernamen sagt dir der Webserver, dass dieser Ordner nicht existiert. Mit
    Code:
    ErrorDocument 404 /index.php
    legst du eine selbst definierte Fehlerseite für solche Fälle fest.

  40. #40
    Wandelndes Contao-Lexikon Avatar von BugBuster
    Registriert seit
    15.06.2009.
    Ort
    Berlin
    Beiträge
    10.512
    User beschenken
    Wunschliste

    Standard

    Sind auf den Seiten die indiziert werden die Erweiterungen efg, mod_article_filter, dma_elementgenerator aktiv?
    Da der Abbau deiner Suchindexe ja recht schnell geht, würde ich die Erweiterungen einfach mal deaktivieren, einzeln, und schauen ob sich was ändert.
    Grüße, BugBuster
    "view source" is your guide.
    Danke an alle Amazon Wunschlisten Erfüller

Aktive Benutzer

Aktive Benutzer

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)

Lesezeichen

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •