ce_table: anzahl der eintraege in einer tabelle begrenzt?

[klr]

hallo zusammen

hab hier ein problem mit tabellen. ich muss grosse tabellen (die kleinste enthaelt ca. 4800 entraege) verarbeiten koennen und hab den eindruck das contao diese eintraege selbststaendig limitiert.

szenario:

1. nach dem import der csv-datei wird die tabelle im frontend ein mal korrekt und komplett dargestellt, aber nach einem speichervorgang (im backend) bleiben nur noch ca. 1300 - 1400 eintraege uebrig (immer unterschiedlich)
2. ein nachtraegliches hinzufuegen von z.b. kopfzeilen o. einer css-klasse wird einfach nicht uebernommen
3. backend wird extrem langsam

hat irgendjemand tipps fuer mich bzw. was mache ich falsch?
mit punkt 2 und 3 koennte ich evtl. noch klarkommen…


gruss
klr

[cliffparnitzky]

Moin,

also das Table-Element speichert seine Daten in einem MEDIUMBLOB ... ob das nun überhaupt die 4800 Einträge (und mehr) verkraftet hab ich nicht nachgerechnet ... würde es aber mal vermuten ...

Alles in allem denke ich, dass das Table-Element nicht für diese Massen an Daten geeignet ist und du tust du dir sicher einen Gefallen, die Daten anderes abzulegen.

Z.B. in eine (mehrere) eigene Tabelle importieren und dann mittels Modul "Auflistung" anzeigen.

Wenn das ganze im FE auch noch was hermachen soll ist sicher MetaModels das Maß der Dinge.

Gruß, Cliff

[klr]

moin cliffen

danke fuers feedback. werde mir deinen vorschlag (eigene tabelle importieren und mit modul auflistung anzeigen) anschauen. ich hab zwar zur zeit noch keine ahnung wovon du redest, hoffe aber das das in einem meiner contao-buecher steht. hab leider vergessen zu sagen, das ich kein gelernter programmierer bin.

meta-models kommt hier nicht in frage, der etat ist bei diesem job mittlerweile eh ueberstrapaziert. jquery-datatables erfuellt die gewuenschten funktionen weitestgehend.


gruss
klr

[klr]

es scheint so das ich mit dieser aufgabenstellung ueberfordert bin . in den buechern wurde ich nicht fuendig,
selbst im internet finde ich nichts fuer mich relevantes.

sprichst du evtl. von modulentwicklung?

gruss
klr

[cliffparnitzky]

Hmm,

also im Grunde wäre wie folgt vorzugehen:

1. DB Tabelle mit benötigter Struktur (sollte CSV entsprechen) anlegen (z.B. per PhpMyAdmin)
2. Daten importieren (z.B. per PhpMyAdmin oder Extension [tabimporter])
3. unter Themes eine Frontend Modul vom Typ "Auflistung" anlegen und dort die oben erstellte Tabelle auswählen
4. das Modul irgendwo auf der Seite einbinden
5. ... für weitere DSV Dateien wiederholen

Es muss kein Modul entwickelt werden!!!

Gruß, Cliff

[klr]

vielen dank fuer die tipps. habs dann doch simpel ueber ein html-element hingekriegt.
sry, das ich mich jetzt erst melde, hab den vorgang ueberhaupt nich mehr "aufm schirm" gehabt.


gruss
klr

[4lmnts]

Hallo zusammen,

Bevor ich die Lösung von cliffen probiere, wollte ich nochmals nachfragen, ob es bei diesem Inhaltselement wirklich eine Begrenzung gibt? Es scheint so...:
Jetzt haben wir 999 Zellen im Inhaltselement. Jeder weitere Eintrag, kickt die Einträge am Ende der Tabelle einfach raus... mmh, schade
Bei einem CSV-Import wird an der gleichen Stelle (999-ste Zelle) abgeschnitten, sobald das Inhaltselement abgespeichert wird.

Ich hab mal, so doof wie ich bin, versucht über die Systemeinstellung (Anzahl Datensätze) die Nummer hochzusetzen, da geht aber nüscht.

Komisch ist ausserdem, dass im Frontend die Tabellenliste weiter geht, als im Frontend, aber trotzdem irgendwann beschränkt wird:
https://www.8424embrach.ch/gaggalaariplatz.html

Im Backend geht es nur bis "vertrinke".

Lg Nick

[4lmnts]

Ich meine, die Lösung mit eigener DB-Tabelle und Auflistungs-Modul macht auch für einen normalen Redaktoren keinen Sinn. Dem sollte man nicht zumuten, eine Tabelle immer über ein DB-Tool zu pflegen.
Im Moment haben wir die Daten auf mehrere ce_tables verteilt. Aber das ist wirklich keine schöne Lösung!
Kann mir niemand sagen, ob die offenbar existierende Begrenzung entfernbar oder wenigstens erweiterbar ist???

Danke euch.
Beste Grüsse
Nick

[BugBuster]

Dem sollte man nicht zumuten, eine Tabelle immer über ein DB-Tool zu pflegen.

Du willst die Daten also nicht nur importieren und anzeigen sondern auch editieren / erweitern können?


Zum testen könnte man ja mit einem DB Tool deiner Wahl mal das MEDIUMBLOB in LONGBLOB ändern und schauen ob dann der Import gehen würde.
(ist hier tl_content.tableitems gemeint? Hab auf die Schnelle nichts anderen gefunden)

[4lmnts]

Hallo Bugbuster

Das habe ich nun probiert:

1. tableitems von MEDIUMBLOB zu LONGLOB in phpmyadmin geändert
2. In Contao Composer die Datenbank aktualisiert
3. Die CSV-Datei neu importiert und gespeichert

Wird immer noch im Front- und Backend abgeschnitten...

[Spooky]

Für sehr große Tabellen musst du auch die PHP Einstellung max_input_vars erhöhen.

[BugBuster]

Hallo Bugbuster

Das habe ich nun probiert:

1. tableitems von MEDIUMBLOB zu LONGLOB in phpmyadmin geändert
2. In Contao Composer die Datenbank aktualisiert
3. Die CSV-Datei neu importiert und gespeichert

Wird immer noch im Front- und Backend abgeschnitten...

Warum mit Composer die DB aktualisiert?
Das korrigiert doch wieder auf mediumblob?

[4lmnts]

Für sehr große Tabellen musst du auch die PHP Einstellung max_input_vars erhöhen.

Das hatte ich vor deinem Beitrag schon probiert. Was nicht funktioniert hatte, weil ich vergessen habe das php.ini beim Hoster neu zu laden. Jetzt funktionierts.
Danke Spooky.

[4lmnts]

Warum mit Composer die DB aktualisiert?
Das korrigiert doch wieder auf mediumblob?

Mit Mediumblob und der Erhöhung von max_input_vars funktioniert es. Longblob scheint nicht nötig zu sein.
Danke Bugbuster.

[Spooky]

Ja, es sollte immer nur die max_input_vars Änderung nötig sein.

Die Erhöhung brauchst du auch für sehr große Formulare innerhalb vom Contao Backend: bspw. für die Einstellungen von Benutzer- oder Gruppenrechten. Je nach installierten Erweiterungen sprengt man auch dort die default max_input_vars von 1000.

[4lmnts]

Also, jetzt habe ich dazugelernt, dass das die Kennzahl für die mögliche Aufnahme von Daten in einem Formular ist.
Aber wie kann ich jetzt berechnen, wie gross max_input_vars sein muss? ist das die Anzahl Text-Zeichen, die Anzahl ASCII-Zeichen, die Anzahl Tabellenfelder (td, resp. textarea, text, radiobutton, checkbox, ...) ???

Frage nach Beispiel:
Element_Tabelle_2.gif
Falls sich max_input_vars nach Feldern (td) berechnet, und max_input_vars = 10 eingestellt wäre, dann könnte man hier nicht weitere Felder hinzufügen, richtig?

[Spooky]

Es ist die Anzahl an input, select und textarea Feldern (mehr oder weniger).