Import von 1500 Mitgliedern in 'tl_member'

Druckbare Version

06.10.2009, 08:40
Tobias

Import von 1500 Mitgliedern in 'tl_member'

Hallo,

ich möchte ca. 1500 Mitglieder aus einer Datenbank (FileMaker) in TypoLight einpflegen. Leider bietet TL dazu ja keine Core-Funktionalität, sodass ich auf die Suche nach Erweiterungen gegangen bin. Ich habe mir »BackupDB« runtergeladen und kann mir damit die Struktur der SQL-Befehle anschauen, die zum Anlegen der Benutzer nötig sind.
Es gibt auch noch »Frontend Benutzer Import«, allerdings 0.0.1 beta1 (für TL 2.6.7) - also bin ich mir da total unsicher, das überhaupt auszuprobieren ... Ich möchte mir ja meine erarbeitete TL-Installation zerschießen, deshalb:
Kann mir bitte jemand einen Tipp geben, eine Anleitung schicken, wie ich das hinbekommen kann?
Danke.

Gruß
Tobias
06.10.2009, 09:12
schman

Kannst du es nicht "einfach" über PHPMyAdmin machen?
06.10.2009, 09:29
Tobias

Ginge schon, aber ...

Hallo schman,

ja, das könnte ich, aber was mache ich mit den Blob-Feldern (groups, publicFields, newsletter) und wie kann ich beim Import per PHPMyAdmin die Passwörter setzen?
Und: Lasse ich so Felder wie ID, tstamp usw. einfach frei? Oder welchen Wert sollte ich da setzen?

Gruß
Tobias
06.10.2009, 12:52
made

Zitat:

Zitat von Tobias

Hallo schman,

ja, das könnte ich, aber was mache ich mit den Blob-Feldern (groups, publicFields, newsletter) und wie kann ich beim Import per PHPMyAdmin die Passwörter setzen?
Und: Lasse ich so Felder wie ID, tstamp usw. einfach frei? Oder welchen Wert sollte ich da setzen?

Gruß
Tobias

Ich habe das selbe Problem, allerdings mit 5000 Usern, habe mir nun ein Script gebaut welches die Daten richtig überträgt, wichtig war vor allem dabei die Gruppen wieder richtig zuzuteilen.

Passwörter bekommen alle Benutzer automatisiert neu generiert und zugesandt.
Problem ist hier nämlich das mein altes CMS mit MD5 die Passwörter verschlüsselt und Typo mit Sha
06.10.2009, 12:59
Tobias

Zitat:

Zitat von made

Ich habe das selbe Problem, allerdings mit 5000 Usern, habe mir nun ein Script gebaut welches die Daten richtig überträgt, wichtig war vor allem dabei die Gruppen wieder richtig zuzuteilen.

Was heißt denn »Script gebaut«? Innerhalb von TL? Ein Externes, mit dem du anschließend die Daten via PHPMyAdmin reinlädst?

Zitat:

Zitat von made

Passwörter bekommen alle Benutzer automatisiert neu generiert und zugesandt.

Lasse ich also die Passwort-Felder frei und TL versendet automatisch die neuen Zugangsdaten?

Gruß
Tobias
06.10.2009, 13:28
made

Zitat:

Zitat von Tobias

Was heißt denn »Script gebaut«? Innerhalb von TL? Ein Externes, mit dem du anschließend die Daten via PHPMyAdmin reinlädst?

Lasse ich also die Passwort-Felder frei und TL versendet automatisch die neuen Zugangsdaten?

Gruß
Tobias

Alles außerhalb mit PHP und MYSQL, wobei ich gerade doch auf einen Fehler gestoßen bin beim auslesen der Gruppen das hat nicht so funktioniert wie ich es wollte.
06.10.2009, 13:48
lindesbs

Mir fehlt momentan leider die Zeit meine Im/Export Klasse mit einer GUI zu verknuepfen.
Aber es waere doch einfach moeglich, die Nutzerdaten in OpenOffice Calc zu importieren. Dann einen Beispiel Nutzer anlegen. den mittels phpmyadmin als CSV zu exportieren und dann auch in das Arbeitsblatt zu importieren.

Dann kann man einfach das passwort fuer alle uebernehmen, auf eine aufsteigende ID achten, als CSV speichern, und mittels phpmyadmin wieder hochladen.
Dann sollte es eigentlich klappen.

Und spaeter koennte man dafuer mal ein BE Modul schreiben, um einen Im/Export zu haben.
06.10.2009, 14:02
made

Zitat:

Zitat von lindesbs

Mir fehlt momentan leider die Zeit meine Im/Export Klasse mit einer GUI zu verknuepfen.
Aber es waere doch einfach moeglich, die Nutzerdaten in OpenOffice Calc zu importieren. Dann einen Beispiel Nutzer anlegen. den mittels phpmyadmin als CSV zu exportieren und dann auch in das Arbeitsblatt zu importieren.

Dann kann man einfach das passwort fuer alle uebernehmen, auf eine aufsteigende ID achten, als CSV speichern, und mittels phpmyadmin wieder hochladen.
Dann sollte es eigentlich klappen.

Und spaeter koennte man dafuer mal ein BE Modul schreiben, um einen Im/Export zu haben.

Ich habe hier eher das Problem gerade, das ich aus dem Group Blob nur ARRAY heraus bekomme, kann ich so erstmal nichts mit Anfangen.

Das Password zu generieren ist mittels PHP ja kein Problem.
06.10.2009, 14:04
lindesbs

Aber der GROUP Blob beinhaltet "nur" die zugehoerigkeit zu den Gruppen. Die koennte man auch im Nachinein ersetzen. Ist zwar aufwendig, aber mittels SQL sollte man doch dieses Feld auch auf die anderen kopieren koennen. Dann waeren alle erstmal in einer definierten Gruppe, ,wenn man das wuenscht.
Wenn das Feld leer bleibt, gehoeren die Member erstmal keiner Gruppe an.
06.10.2009, 14:13
made

Zitat:

Zitat von lindesbs

Aber der GROUP Blob beinhaltet "nur" die zugehoerigkeit zu den Gruppen. Die koennte man auch im Nachinein ersetzen. Ist zwar aufwendig, aber mittels SQL sollte man doch dieses Feld auch auf die anderen kopieren koennen. Dann waeren alle erstmal in einer definierten Gruppe, ,wenn man das wuenscht.
Wenn das Feld leer bleibt, gehoeren die Member erstmal keiner Gruppe an.

Nunja, bei 5000 Usern ist das auch etwas aufwändig, ich habe derzeit 3 Gruppen, die User müssen natürlich auch wieder in die richtigen, aber immerhin habe ich nun das was ich wollte "a:1:{i:0;s:1:"4";}" sowie "a:1:{i:0;s:1:"3";}" ich habe es noch nicht probiert, aber ich werde das nun nochmal so zurück schreiben und hoffen das es funktioniert.
06.10.2009, 14:58
Tobias

Zitat:

Zitat von made

Ich habe hier eher das Problem gerade, das ich aus dem Group Blob nur ARRAY heraus bekomme, kann ich so erstmal nichts mit Anfangen.

Das Password zu generieren ist mittels PHP ja kein Problem.

Verstehe, du greifst per PHP mit einem »externen« (von TL aus gesehen) Script auf die TL-Datenbank-Tabelle zu: liest aus und schreibst hinein.
Schreibst du denn das Passwort im Klartext rein? Wenn ich das testweise auslese, erhalte ich nämlich auch einen hexadezimalen String. Wie kann ich denn ein neues Passwort setzen?

Gruß
Tobias
06.10.2009, 15:01
Tobias

Zitat:

Zitat von lindesbs

Mir fehlt momentan leider die Zeit meine Im/Export Klasse mit einer GUI zu verknuepfen.

Schade. Das wäre eine ausgesprochen hilfreiche Erweiterung ...

Zitat:

Zitat von lindesbs

Dann kann man einfach das passwort fuer alle uebernehmen, auf eine aufsteigende ID achten, als CSV speichern, und mittels phpmyadmin wieder hochladen. Dann sollte es eigentlich klappen.

O.k., dann probiere ich das mal.

Gruß
Tobias
06.10.2009, 15:16
Schlauchbeutelmaschine

Also die frontenduserimport Extension funktioniert bei mir einwandfrei. Ich habe damit schon ca. 1000 Mitglieder aus mehreren CSV Dateien in verschiedene Gruppen importieren können, bei denen ich die Felder auch erweitert hatte.

Was spricht aus deiner Sicht denn dagegen die Extension einzusetzten?
06.10.2009, 15:19
lindesbs

"Warum in die Ferne schweifen, wenn das Gute liegt so nah"
Daran hab ich garnicht mehr gedacht.
Stefan, der den Ueberblick ueber die Ganzen Erweiterungen verloren hat.
06.10.2009, 15:29
Tobias

Zitat:

Zitat von Schlauchbeutelmaschine

Also die frontenduserimport Extension funktioniert bei mir einwandfrei. Ich habe damit schon ca. 1000 Mitglieder aus mehreren CSV Dateien in verschiedene Gruppen importieren können, bei denen ich die Felder auch erweitert hatte.

Was spricht aus deiner Sicht denn dagegen die Extension einzusetzten?

Ich hatte in meinem ursprünglichen Post geschrieben, dass ich ob des Standes dieser Extension – 0.0.1 beta1 (für TL 2.6.7) – verunsichert bin, ob sie noch funktioniert und gut arbeitet.

Ergo scheint sie noch in Ordnung zu sein. Dann probier ich das mal ...

Danke!
Tobias
06.10.2009, 15:32
made

Zitat:

Zitat von Tobias

Verstehe, du greifst per PHP mit einem »externen« (von TL aus gesehen) Script auf die TL-Datenbank-Tabelle zu: liest aus und schreibst hinein.
Schreibst du denn das Passwort im Klartext rein? Wenn ich das testweise auslese, erhalte ich nämlich auch einen hexadezimalen String. Wie kann ich denn ein neues Passwort setzen?

Gruß
Tobias

Das Passwort schreibe ich Verschlüsselt in die Datenbank, mit Sha1, soweit habe ich das zumindest ermittelt.
06.10.2009, 15:38
made

Werde ich mich auch mal an diesem Tool probieren.

Habe es schon Installiert, aber entweder bin ich blind, oder ka. wo sollte dieses Tool nach der Installation über TL denn zu finden sein?
06.10.2009, 15:43
Schlauchbeutelmaschine

Wenn du auf Mitglieder gehst, neben "mehrere bearbeiten".
06.10.2009, 15:54
Tobias

Zitat:

Zitat von Schlauchbeutelmaschine

Wenn du auf Mitglieder gehst, neben "mehrere bearbeiten".

Sehe ich das richtig, dass ich damit lediglich die Felder $title, $firstname, $lastname, $email, $newsletter, $group ansprechen kann?
Das ist mir leider zu wenig. Also mache ich mich entweder daran, das zu erweitern (die Begrifflichkeiten sind da auch ziemlich durcheinander: es wird immerzu von Benutzern gesprochen, aber im TL-Jargon müsste das überall Mitglieder heißen) oder ich muss doch auf die CSV-PHPMyAdmin-Variante zurückgreifen ...

Gruß
Tobias
06.10.2009, 16:01
Schlauchbeutelmaschine

Liste der Anhänge anzeigen (Anzahl: 1)

Ja es gibt leider nur die Standartfelder.

Ich habe dir mal meine Version angehängt bei der ich die Felder erweitert habe und noch das Geschlecht abfrage.

Vielleicht hilft dir das etwas weiter.
07.10.2009, 09:51
Tobias

Zitat:

Zitat von Schlauchbeutelmaschine

Ich habe dir mal meine Version angehängt bei der ich die Felder erweitert habe und noch das Geschlecht abfrage.

Danke, das war hilfreich! Ich habe soeben ein paar Tests gemacht und es funktioniert.
Danke auch an made für den Tipp mit der Verschlüsselung der Passwörter! Klappt einwandfrei!

Was nicht funktioniert ist die Zuweisung zur Gruppe via GUI. Da werde ich mir aber gleich den geänderten PHP-Code nochmal anschauen.
Nach dem Import (also nach Betätigung des Buttons) bleibt mein TL auch irgendwie »stecken« – ich sehe nur ein weißes Browserfenster. Ebenso, wenn ich nun an einem Mitglied etwas ändere und auf »Speichern« drücke geht's ebenfalls nicht mehr weiter wie gewohnt.

Gruß
Tobias
07.10.2009, 10:32
Schlauchbeutelmaschine

Freut mich wenn es dir was gebracht hat. :)
Hast du den "Fehler anzeigen" aktiviert?
07.10.2009, 11:05
Tobias

Zitat:

Zitat von Schlauchbeutelmaschine

Hast du den "Fehler anzeigen" aktiviert?

Ja, aber es wird nach dem Ausführen eine absolut leere Seite an den Browser übergeben.

Gruß
Tobias
07.10.2009, 14:32
Schlauchbeutelmaschine

Dann wirds schwierig, steht was in der error.log, oder den Server logs?
07.10.2009, 18:45
Tobias

Zitat:

Zitat von Schlauchbeutelmaschine

Dann wirds schwierig, steht was in der error.log, oder den Server logs?

Leider nein. Es betrifft aber nur das Mitglieder-Modul. Ich werde die frontenduserimport wohl wieder deinstallieren, nachdem ich alle 1000 Mitglieder importiert habe. Evtl. behebt das das Fehlverhalten wieder ...

Gruß
Tobias
08.10.2009, 10:39
Tobias

Zitat:

Zitat von Schlauchbeutelmaschine

Dann wirds schwierig, steht was in der error.log, oder den Server logs?

Das error.log liefert mir:

PHP-Code:

PHP Warning: Cannot modify header information - headers already sent by (output started at /xyz/system/modules/frontenduserimport/languages/de/tl_member.php:1) in /xyz/system/libraries/Template.php on line 174

Gruß
Tobias
08.10.2009, 11:33
Schlauchbeutelmaschine

Mmhhh komisch, dann würde ich Datei tl_member einfach mal löschen.
08.10.2009, 12:36
Tobias

Zitat:

Zitat von Schlauchbeutelmaschine

Mmhhh komisch, dann würde ich Datei tl_member einfach mal löschen.

Ich habe in der Datei einfach mal die erste Zeile im PHP-Code auskommentiert (wobei da gar nichts von Header-relevantes drinne steht ...) und alles klappte wunderbar. Dann habe ich die Auskommentierung wieder entfernt und es klappt weiterhin.

Was auch immer das war ...

Danke für die Hilfe!

Gruß
Tobias
08.10.2009, 13:26
Tobias

Import geschafft

Hallo zusammen,

wollte nur kurz berichten, dass der Import aller Mitglieder gerade einwandfrei geklappt hat.
Danke nochmal an alle (und besonders an Schlauchbeutelmaschine und made)!

Allerdings wäre es klasse, wenn für diesen Fall eine gute Erweiterung vorläge, mit der alle TL-Felder von tl_member auch angesprochen werden können.

Gruß
Tobias
09.10.2009, 13:38
drefsa

Die Passwörter lassen sich auch prima in Excel aus irgendwelchen Benutzerdaten zusammensetzen und dann als SHA1 mit VBA verschlüsseln. Das klappt prima und TL salzt sie dann nach beim Login. So habe ich dann ein individuelles Standardpasswort erstellt und den Benutzern zugewiesen. Per Massenmail dann nur noch erklärt, wie sich das PW zusammensetzt.
Der timestamp ist nach meiner Erfahrung unwichtig, habe ich leergelassen. Er wird dann durch den login-timestamp ersetzt. Die Gruppenzugehörigkeiten habe ich im BE schrittweise "per mehrere" bearbeiten gelöst. Schön zu lesen, daß diese Arbeit überflüsig war.
Die anderen Parameter durften die Nutzer in ihren Kontoeinstellungen selber pflegen. War ja immerhin ein Systemwechsel....

Ich denke, wir könnten mal ein Tutorial für den Bulk-Import schreiben, denn das Thema kommt immer mal wieder.
Was haltet ihr davon?
10.10.2009, 11:53
Schlauchbeutelmaschine

Hört sich gut an! :)

Alle Zeitangaben in WEZ +1. Es ist jetzt 03:29 Uhr.