Nachschlagewerk mit vielen Datensätzen (500.000) - wo sind die Grenzen?

[pipkin]

Hallo zusammen,

wir planen eine Art Nachschlagewerk mit mindestens 150.000, maximal 500.000 Datensätzen und sind noch ganz am Anfang der Grobplanung, und daher stehen viele Fragen im Raum. Leider habe ich noch keine Erfahrungen mit so vielen Datensätzen in Contao.

Hier sind ein paar Eckdaten:
Ein Datensatz umfasst 4 bis 6 Textfelder mit jeweils wenigen Zeichen (unter 30 Zeichen pro Feld). Vom "Gewicht" her dürfte ein Datensatz also klein sein. Viel Traffic wird es auch nicht geben. Es ist nicht zu erwarten, dass mehr als 2 oder 3 Suchanfragen gleichzeitig getätigt werden.

Das Nachschlagewerk kann theoretisch auch aufgeteilt werden, um die Last auf mehrere Installationen und Server zu verteilen, falls nötig.

Webhosting oder dedizierter Server?
Wie viele Datensätze wären für normales Webhosting unbedenklich?
Beispielsweise bietet das größte Webhosting-Paket von Domainfactory 2 GB RAM, 100 GB Webspace, 2 "virtuelle" Prozessoren, 10240 kBps Input/Output.

Wie viele Datensätze wären für einen mittleren "Managed Cloud Server" unbedenklich?
Beispielsweise 64GB Arbeitsspeicher, 900 GB Speicherplatz, 8 "virtuelle" Prozessoren.

Welche Vorgänge führen bei zu vielen Datensätzen zu Performance-Problemen?
Wird es z.B. kritisch werden, eine Volltextsuche durchzuführen?
(Auf eine Volltextsuche können wir ggf. verzichten, dafür dann Kategorien oder Filter)
Oder die Datensätze im BackEnd aufzurufen?
(Den Aufruf können wir vermeiden, weil die Daten über einen Import direkt in die Datenbank erfolgen sollen.)
Gibt es noch andere kritische Grenzen durch Contao selbst oder ist es immer nur eine Frage des Servers?

Tausend Dank für Eure Einschätzungen!

[zonky]

Moin,

das kann man so pauschal nicht sagen oder bestimmen - ich habe auch schon Testcases mit mehr Datensätzen in Contao gehabt.

Die "Last" wird bei der DB nicht nur von der Menge beeinflusst, sondern von der Komplexität der Relationen - geschickte Indexe helfen meist.

Wenn Du nur einfache Filterungen hast - sprich einfache SQL-Abfragen - sollte das auch alles im ms-Bereich laufen.

Die der Ausgabe im BE und FE ist eine Paginierung zu empfehlen - insbesondere im FE bei 500 k Items könnte es dauern, wenn da noch Bilder gerendert werden müssten o.ä.

Letztendlich hilft nur ein Test - es gibt einige Online-Tools, mit denen man sich Demodatensätze erstellen lassen kann; ggf. hilf auch Excel/LO-Calc

[pipkin]

Eine Demo ist eine sehr gute Idee....

So könnte ich mich auch nebenbei einem Workflow zur Datenpflege nähern.

es gibt einige Online-Tools, mit denen man sich Demodatensätze erstellen lassen kann; ggf. hilf auch Excel/LO-Calc

Super... das ist ein Ansatz! :-)
Danke.