C4.10.x, Content-Element Tabelle, CSV-Import wird nicht eingelesen

[3dr]

Beim Versuch eine CSV-Datei mit 8MB in ein Content-Element vom Typ Tabelle einzulesen erhalte ich im Backend die Meldung "Die Datei ...csv wurde erfolgreich hochgeladen", jedoch werden die Tabellenzellen nicht gefüllt. Liegt das Problem an der Dateigröße (die max. Uploadgröße in den Einstellungen ist auf 10MB gesetzt), oder kommen hier auch andere Dinge wie die Anzahl der Zeilen und Spalten mit ins Spiel?

Auch kann ich via FTP die Datei nicht auf dem Server finden, was läuft schief und was könnte ich tun? Danke für Tipps und Hinweise.

Contao Version 4.10.4, PHP 7.3,
keine Erweiterungen,
Hosting: all-inkl PrivatPlus

[mlweb]

PHP-Einstellungen bzw. vorhandene Einschränkung beim Hosting dürften auch eine Rolle spielen.

[3dr]

PHP-Einstellungen bzw. vorhandene Einschränkung beim Hosting dürften auch eine Rolle spielen.

Ganz bestimmt, welche Einstellungen und Einschränkungen müssten denn wie geändert werden?

[lucina]

Was steht denn in Logfiles?

[3dr]

In system/logs und var/logs liegen keine Einträge, in den Logs im Backend konnte ich herausfinden, dass die CSV-Datei im Ordner system/tmp/ gespeichert wurde. Ich habe jetzt mal in der .htaccess eingetragen

php_value memory_limit 512M
php_value max_execution_time 120

und auf PHP 7.4 umgestellt. Bisher ermöglichen aber auch diese Änderungen keinen korrekten Import. Was könnte ich noch tun?

[lucina]

Möglicherweise hat der Webserver ja noch ein separates Log? Bei mir, in meiner eigenen Konfiguration, gäbe es dann noch ein PHP-Log und ein Log von MariaDB. Auch wenn das bei Dir vielleicht anders ein mag bzw. du keinen Zugriff hast: Da stände mit Sicherheit etwas drin.

Bei Deiner Tabelle ist dann auch die Frage, wie viele Zellen die hat. Das könnte sich dann eventuell mit max_input_vars beheben lassen.

Ansonsten: Ich importiere umfangreichere Daten eigentlich immer mit Adminer, PHPmyAdmin, etc.

[3dr]

@Lucina, danke für deinen Support
An ein PHP-Log komme ich offensichtlich nicht dran, im Root liegen unter /logs lediglich gz-gezippte Access-Logs älteren Datums, Datenbank ist MySQL. Ich habe jetzt mal vergeblich versucht via PHPmyAdmin herauszufinden wo denn die Daten eines CSV-Imports abgelegt werden, any ideas?

Der Import sollte durch Redakteure über das BE erfolgen, daher ist der Weg via PHPmyAdmin eigentlich nur eine Notlösung. Meine Tabelle hat 200.000 Zellen, mit dem Eintrag

php_value max_input_vars 200000

meldet der Server

Internal Server Error

[lucina]

Hmmm. Nicht gut - das könnte bedeuten, dass dem Webserver die Ressourcen ausgehen.

Schauen wir mal, was Du da machst und was der Server dann zu tun hat:
(1) Eine CSV mit 200'000 Zellen
(2) Server liest die ein mit dem tableImportWizard ein
(3) und packt sie mit BackendCsvImportController.php in ein Array
(4) Server verteilt die Inhalte des Arrays auf die Input-Felder
(5) Server schiebt das Ergebnis in die Datenbank
(6) Server versucht, dass dann zu speichern, und zwar in /system/tmp

Alles zwischen (2) und (5) ist für Dich erstmal Black Box, und dem was da passiert könntest Du mit dem Debugger nachspüren. (6) passiert erst ganz zum Schluss.

(2) und (3) sind abhängig vom Arbeitsspeicher, (5) von der Konfiguration, ob diese Menge an Daten überhaupt in einem Request geschrieben werden darf. (6) passiert erst dann, wenn alles andere ausgeführt wurde.

Ich hatte mal den Fall, dass eine CSV mit +4'000 Variablen nur unvollständig importiert wurde. Die wurde dann aber bei 2'000 Datensätzen abgeschnitten, d.h. dass die vorherigen Schritte zwar grundsätzlich funktioniert haben, aber halt die Input Vars zu niedrig eingestellt waren. Das hat nach Anpassung dann auch funktioniert.

Dein 500er bedeutet ja mindestens, dass dem Webserver der RAM für eine sinnvolle Meldung ausgegangen ist. Arrays können sehr gross sein - da müssen noch nicht mal viele Felder mit umfangreichen Infos drin sein. Eine Vorstellung beommt man unter https://nikic.github.io/2011/12/12/H...-Hint-BIG.html

Dazu kommt dann: PHP verarbeitet das komplette Array in einem Rutsch. Das mag gut gehen, oder auch nicht.

Ich weiss, das löst Dein Problem jetzt erst einmal nicht, aber es gibt Hinweise. Ich würde eine solche Datenmenge vermutlich direkt in die DB importieren.

[fiedsch]

Ich weiss, das löst Dein Problem jetzt erst einmal nicht, aber es gibt Hinweise. Ich würde eine solche Datenmenge vermutlich direkt in die DB importieren.

Zudem frage ich mich, ob das Vorgehen so überhaupt sinnvoll ist. Ich würde als User der Website keine Seite sehen wollen, auf der eine Tabelle mit 200.000 Einträgen angezeigt wird. Für mich schauen diese Datenmengen eher nach Import in eine eigene Datenbanktabelle und der Ausgabe durch ein Content Element aus, mit dem ich filtern und suchen kann (z.B. das Listing Bundle, https://github.com/contao/listing-bundle).

[3dr]

Danke für euren Input,
nachdem ich die htaccess so geändert habe

php_value memory_limit 1024M
php_value max_execution_time 120
php_value max_input_vars 200000

passiert folgendes:

• Eine CSV-Datei von knapp 4MB mit 202.000 Zellen wird hochgeladen
• nach etwas Rödelei werden im BE tatsächlich alle 202.000 Zellen angezeigt
• mit Klick auf den Speichern-Button verabschiedet sich der Chrome-Browser (keine Rückmeldung) um nach einigen Minuten im BE und FE noch ca. 100.000 Zellen anzuzeigen (gar nicht mal sooo wenig)

Zudem frage ich mich, ob das Vorgehen so überhaupt sinnvoll ist. Ich würde als User der Website keine Seite sehen wollen, auf der eine Tabelle mit 200.000 Einträgen angezeigt wird. Für mich schauen diese Datenmengen eher nach Import in eine eigene Datenbanktabelle und der Ausgabe durch ein Content Element aus, mit dem ich filtern und suchen kann (z.B. das Listing Bundle, https://github.com/contao/listing-bundle).

Das stimmt natürlich und für den Live-Betrieb würde ich eine solche Datei natürlich nach sinnvollen Aspekten aufteilen, hochladen und ausgeben. Mich hat aber einfach interessiert ob sich solche Kundenwünsche im Shared Hosting umsetzen lassen.

Das Listing Bundle ist eine gute Idee, damit habe ich kaum Erfahrung, das schaue ich mir jetzt mal an. Danke für euren Support

[3dr]

Das Listing-Bundle hatte ich überhaupt nicht auf dem Schirm, eine tolle Core-Erweiterung, danke nochmal für den Tipp @fiedsch. Für meine Anwendung habe ich dazu noch einige Fragen, dafür habe ich einen eigenen Thread aufgemacht, da es hier ja nur um das Content-Element Tabelle geht.