Inhaltselement [Tabelle] mit Bug bei CSV Import!?

**kugelrund** · 26.07.2012, 08:15

Hallo Leute,

beim Import einer CSV-Datei (Quelle:Excel; mit Notepad++ konvertiert in UTF-8) scheint das Tabellen-Inhaltselement einen Bug zu haben.
Hier ist der Link zur CSV-Datei

Import funktioniert. Speichert man aber anschließen das Inhaltselement mit "Speichern" oder "Speichern und schließen", so wird die Tabelle bei Zeile 89 abgeschnitten und zeigt nicht die vollen 129 Zeilen.
Verlässt man nach dem Import ohne "Speichern", dann sind alle 129 Zeilen da. http://www.kugelrund.at/index.php/meldeliste.html

Ich orte einen Zusammenhang beim Verhältnis von Zeilenanzahl zu Spaltenanzahl. Denn wenn ich die Spalten reduziere, dann funktioniert es wie es soll.

Wisst ihr dazu etwas? Kann das bitte mal jemand testen und nachvollziehen?

Danke und schöne Grüße,
Robert

Contao 2.10.2

**MTB** · 03.06.2013, 19:09

Hallo Kugelrund,

hast du die Ursache für das Verhalten gefunden. Ich habe gerade das gleiche Problem. Bis zu einer gewissen Feldanzahl ist der csv-Import kein Problem. Dann ab knapp 1000 Felder hört der Spaß auf. (Bei mir 166 Zeilen mit je 6 Feldern). Auf deiner Referenz habe ich gesehen, dass es bei dir eine ähnliche Feldanzahl war.

Bei mir ist es Contao 2.11.9. Ich bilde mir ein, unter 2.9.3 hat dies noch funktioniert. Nur leider kann ich nicht downgraden, weil ich die Version nicht mehr habe. Kurze Rückmeldung wäre nett.

**KlausGrenoble** · 04.06.2013, 00:11

Stimmt. In meiner 2.11.11 und auch in der 3.1.0 geht das nur bis um die 995 Felder. Kann deswegen auch kein blob-error der DB sein. War das so gewollt ab einer gewissen Version (Datenbankbelastung), braucht man das wirklich unbedingt und muss da ein Ticket her ?

**kugelrund** · 04.06.2013, 09:15

Hi Leute,
Nein, ich habe die Ursache leider nicht gefunden.
Ich hatte mich auf den alleinigen Import beschränkt - ohne den Speichern-Button zu drücken.

Aus meiner Sicht ist das ein Bug und müßte da ein Ticket her. Ausser es ist so gewollt!

Oder noch besser: Eine Import-Funktion von Excel-Tabellen die evtl. auch noch die Formate der Zellhintergünde und -rahmen übernimmt. Ich finde es beschämend nur zur "schönen" Darstellung von Tabellen diese aus dem Excel in PDF umzuwandeln und als Download anbieten zu müssen

LG, Robert

**MTB** · 04.06.2013, 21:01

Danke für die Rückmeldung. Dann weiß ich schon mal, dass es nicht am mir liegt. Im Moment kann ich mir so behelfen, dass ich die Tabelle die ich einlese splitte. So bleibe ich mit der Feldanzahl unter der kritischen Marke.

**kugelrund** · 05.06.2013, 08:14

Nein das musst du nicht!!
Importiere die Tabelle einfach, lass die Darstellung mal ausser Acht und klicke dann >zurück< und NICHT AUF SPEICHERN DRÜCKEN!!
Dann funktioniert es auch mit großen Tabellen. Das Layout musst du sowieso über CSS machen.

Andere (Bastel-)Idee:
Besorg dir eine PHP-Datei, also einen Code, die z.B. aus einem Textfile oder CSV eine Tabelle machen kann. Lade dir dieses in dein Contao-Verzeichnis (musst schauen wo - weiß ich gerade nicht (tl_files??)) Baue dir diese in deine Seite ein und dann könnte es auch (automatisch) gehen. Du müsstest dann nur mehr die TXT oder CSV hochladen und der Rest ginge automatisch.

LG, Robert

**MTB** · 05.06.2013, 20:06

Zitat von kugelrund

Nein das musst du nicht!!
Importiere die Tabelle einfach, lass die Darstellung mal ausser Acht und klicke dann >zurück< und NICHT AUF SPEICHERN DRÜCKEN!!

Auf die Idee bin ich noch nicht gekommen. Aber es funktioniert. D.h. der Import landet sofort in der Datenbank. Das Speichern hätte "nur" Auswirkungen auf die Parameter die ich im Tabellenelement noch verändern wollte. Das verbietet sich aber in diesem Moment, weil dann die Tabelle abgeschnitten wir. Somit gibt es also einen Work arround.

Danke für den Tipp!

**KlausGrenoble** · 26.06.2013, 23:55

Somit gibt es also einen Work arround.

Wo gibt es den ?

**kugelrund** · 27.06.2013, 09:21

Zitat von KlausGrenoble

Wo gibt es den ?

Eintrag #6 ;-)

**KlausGrenoble** · 28.06.2013, 22:04

Ach ja.
Aber diese (Bastel-)Idee scheint man dem Kunden nicht zumuten zu wollen.
https://community.contao.org/de/show...und-bearbeiten

Ist das nicht etwas für github ?

**webco** · 29.06.2013, 10:34

Ich wäre dir auf jeden Fall dankbar, wenn du das machen würdest. Es handelt sich um eine sehr nützliche Funktion im Contao core.

Einer meiner Kunden war begeistert, als ich ihm zeigen konnte, wie einfach er mit CSV-Import Produktelisten aktualisieren kann. Nach dem Auftreten der erwähnten Probleme ist die Begeisterung leider der Ernüchterung gewichen. Als professioneller Dienstleister kann man einem Kunden nicht irgendwelche Bastel-Workarounds erklären. Dann lieber gleich raus damit und diese Funktion als Erweiterung anbieten.

Nachtrag: Bitte versteht mich nicht falsch. Ich bin ein sehr zufriedener Contao-Nutzer und möchte mit diesen Posts wirklich niemanden kritisieren. Ich schildere das einfach aus der Sicht eines Dienstleisters, der Contao für Kundenprojekte einsetzt.

**KlausGrenoble** · 29.06.2013, 20:43

Kann mir jemand sagen, wo das in github (link!) gemeldet werden kann und ob das github-reif ist.

***lucina*** · 01.07.2013, 06:20

Wenn es in der Demo reproduzierbar ist (und Ihr vorhält mal schaut, ob nicht irgendwelche seltsamen Steuer- oder Sonderzeichen wie <eof> enthalten im CSV enthalten sind), dann könnt Ihr unter https://github.com/contao/core ein Ticket anlegen.

Bitte keine Romane, sondern klar und strukturiert die Schritte Posten, die nötig sind, um einen eventuellen Fehler nachzustellen.

**webco** · 04.07.2013, 15:01

Auf der offiziellen Demoseite von Contao lässt sich das offenbar wegen der beschränkten Dateigrösse für Uploads nicht reproduzieren.

**webco** · 06.07.2013, 10:09

Ich hab das Ticket angelegt:
https://github.com/contao/core/issues/5954
Ist das aus eurer Sicht ok? Sonst einfach melden, damit ich allfällige Änderungen vornehmen kann.

**webco** · 09.07.2013, 16:52

Sind alle ans Meer gefahren, die sich mit dem Thema befasst hatten?
Leo hat das Ticket gleich wieder geschlossen, mit dem Hinweis, dass vermutlich das Datenbankfeld nicht gross genug ist und unter Umständen angepasst werden muss. Ich nehme an, er meint damit das Feld "tableitems" in der Tabelle "tl_content". Es handelt sich um den Typ mediumblob. Von der maximalen Kapazität von 16MiB belegt meine 400-Zeilen-Tabelle nur gerade 65.9 KiB....

**MTB** · 09.07.2013, 19:33

Leider bin ich nicht am Meer. Warum eigentlich nicht? Ticket geschlossen? Heißt das es ist kein Fehler? Wenn es kein Fehler ist, muss es doch einen nachvollziehbaren Weg geben, das Feature zu verstehen. Das mit dem Datenbankfeld vergrössern sagt mir leider nichts. Was muss ich da wie vergrössern? Kann das jemand erklären?
Schon jetzt vielen Dank für die Aufklärung!

**KlausGrenoble** · 09.07.2013, 21:04

Meiner Meinung nach gibt es bei einem Blob-Feld nichts zu vergrössern. Ich hab' im github mal "Widerspruch" gegen das Schliessen eingelegt. Da muss im Moment des Abspeicherns des Inhaltelementes "Tabelle" irgendwas faul sein. Leo, Leo...
Gruss Klaus

**webco** · 30.07.2013, 19:44

Vielen Dank, Klaus. Könnte es aber nicht sein, dass die PHP-Einstellung max_input_vars das Problem verursacht? In meinem Fall ist ein Wert von 1000 eingetragen. Das entspricht mehr oder weniger der Anzahl Felder, die nach dem Speichern noch übrigbleiben.

Gruss
Martin

**KlausGrenoble** · 30.07.2013, 20:09

ist das im php.ini ?
max_input_vars begrenzt die Anzahl Felder eines Formulars, habe ich gelesen
http://www.prestashop.com/forums/top...ax-input-vars/

**webco** · 30.07.2013, 22:01

Ich denke, dieser Wert wird in php.ini festgelegt, allenfalls auch mit Hilfe einer .htaccess-Datei.
max_input_vars bestimmt offenbar, wieviele Variabeln (oder ist Inputs hier der richtige Ausdruck?) verarbeitet werden können.

**KlausGrenoble** · 31.07.2013, 12:49

Müßte man doch lokal testen können, oder ? Unter XAMPP sollte man diese Variable doch ändern können. Werd' mal schauen.

**webco** · 01.08.2013, 11:25

Ich habs jetzt lokal getestet: Tabelle mit 8 Spalten und 409 Zeilen (= mehr als 3000 Felder).
Erst mal in php.ini max_input_vars auf 3000 gesetzt (bei den meisten Hoster ist 100 Standard)
CSV-Import klappt wie immer. Beim Speichern werden wie erwartet ungefähr 3000 Felder verarbeitet, der Rest abgeschnitten.

Nach dem Erhöhen von max_input_vars auf 4000 klappt es problemlos

**MTB** · 01.08.2013, 20:36

Hallo webco,

das hört sich nach der Lösung an. Bei einer lokalen Installation. Aber bei einem Webhostingpaket kann ich doch die PHP.ini nicht verändern, oder mache ich einen Denkfehler?

**webco** · 03.08.2013, 18:22

Hallo MTB

Du musst wohl den Support deiner Hostingfirma bemühen, wenn du PHP-Einstellungen geändert haben möchtest.
Dass max_input_vars das Problem verursachen könnte, darauf bin ich im Zusammenhang mit einer anderen Contao-Anwendung gekommen, die ab einer gewissen Anzahl Formularfelder nicht mehr funktionert hatte. Ein Supportmitarbeiter der Hostingfirma hatte richtigerweise auf diese Einstellung getippt. Nachdem der Support die Limite auf 4000 erhöht hatte, klappte es.

Gruss
Martin

**MTB** · 03.08.2013, 19:43

Danke für die Lösung. Ich werde bei meinem Hoster (all-inkl) nachfragen. Normal sind die sehr zuvorkommend. Bei mir zeigt sich das Problem beim CSV-Import in eine Tabelle. Aber ich denke mit dem passenden Wert ist diesen Problem aus der Welt.

**MTB** · 04.08.2013, 20:37

So, bei mir war es die Lösung. Da ich nur ein Webhosting Paket habe (all-inkl) habe ich beim Support gefragt wie ich denn in der PHP.ini die Variable "max_input_vars" verändern kann.

Die Antwort war, dass ich es über die .htaccess machen kann. Ich habe dort "php_value max_input_vars 4000" und - in meinem Fall mit ca. 3500 Felder in der Tabelle hat der Import problemlos geklappt.

Danke an alle für die Unterstützung!