Ext-Entwicklung: Katalog - OpenImmo

[der_On]

Hallo,

ich entwickle gerade eine Extension die OpenImmo-Daten in einen Katalog importiert. Somit soll man die Katalog-Extension nutzen können, um Immobilien auszugeben. Also eine relativ low-level bezogene Sache.

Nun bin ich an mein erstes, für mich, nicht lösbares Problem gestoßen.

Ich habe mit der development Extension meine Extension erstellt, welche unter anderem ein Table-DCA hat. Dieses Table-DCA funktioniert einwandtfrei, hat aber einen zusätzlichen Button, der wiederum nicht in eine Kindtabelle führt, sondern eine eigene Funktion aufruft. Bei Aufruf der Button-Funktion würde ich am liebsten eine Folder-DCA ausgeben lassen, da dabei eine OpenImmo-Datei gewählt werden soll, die anschließend geparst wird und deren Inhalte dann in eine Katalog-Tabelle übergehen sollen.

Hier mal der Quelltext des Buttons im DCA:

'operations' => array
        (
            'syncCatalog' => array
            (
                'label'                  => &$GLOBALS['TL_LANG']['tl_catalog_openimmo']['sync'],
                'href'                  => 'key=syncCatalog',
                'icon'                  => 'reload.gif'
            ),
        ) 

und hier die passende config.php dazu:

$GLOBALS['BE_MOD']['content']['catalog_openimmo'] = array(
    'tables' => array('tl_catalog_openimmo','tl_catalog_openimmo_fields'),
    'syncCatalog' => array('CatalogOpenImmo','sync'),
    'icon' => 'system/modules/catalog_openimmo/html/icon.gif'
); 

Ist das was ich will möglich? Oder muss ich hier meine eigene Formular-Ausgabe generieren?

Für Hilfe und Anregungen bin ich sehr dankbar.

[der_On]

Habe das ganze jetzt erstmal ohne DCA gelöst und meine eigene Formularausgabe eingebaut, da ich glaube, soweit ich DCAs verstanden habe, diese auch nicht für so etwas gedacht sind.

[gracilis]

Hallo, der_On,
bist Du schon weiter mit Deiner ext. und ist sie lauffähig?
Mich würde das auch interessieren. Muss nicht für lau sein.

Gruß.

[der_On]

Hallo, der_On,
bist Du schon weiter mit Deiner ext. und ist sie lauffähig?
Mich würde das auch interessieren. Muss nicht für lau sein.

Gruss.

Hallo gracilis,

ja die Extension ist, sagen wir mal, in einer stablien Version verfügbar und bereits im Einsatz. Das Ext-Projekt findest du auf GitHub: http://github.com/der-On/Contao-Catalog-Openimmo
Da Die Extension selbst sehr low-level arbeitet, habe ich Sie gleich public gemacht.
Ich würde mich über jemanden freuen der Sie noch weiter ausgiebig testen und vorallem eine Nutzerdokumentation schreiben kann.

[gracilis]

Hallo, der_On,
das ist toll. Danke.
Gibt es eine 'kurzanleitung'? Da muss ich mich jetzt mal in den catalog einarbeiten und dann Deine ext. einbinden.
Holt er die daten eines users aus openimmo oder lädt man eine OI-xml (in den catalog)?

Danke.

[der_On]

Das Prinzip ist folgendermaßen:

1. Katalog für Immobilien anlegen.
2. Alle notwendigen Felder, die aus OpenImmo Datensätzen kommen und benötigt werden im Katalog anlegen.
3. Mit Katalog-OpenImmo einen OpenImmo-Katalog anlegen.
4. Im OpenImmo-Katalog festlegen wo OpenImmo-Dateien abgelegt werden. (Diese können als zips mit Bildern abgelget werden, oder auch ungepackt also xml+bilder)
5. In diesem OpenImmo-Katalog die Katalogfelder mit OpenImmo-Feldern verknüpfen.
6. Nach ablegen von OpenImmo Daten in besagten Ordner, auf den Synchronisieren-button im OpenImmo-Katalog klicken und weiteren Anweisungen folgen.

Bei der Synchronisation werden alle Katalogfelder, die mit OpenImmo verknüpft wurden mit den Werten aus den OpenImmo-Daten überschrieben. In OpenImmo gelöschte Objekte werden auch im Katalog gelöscht.

Sehr viel mehr gibt es dazu nicht zu sagen und kann ich auch nicht sagen, da die Lizenz des OpenImmo-Standards auch keine öffentliche Dokumentation zulläst. Somit liegt es an dir herauszufinden, was die einzelnen OpenImmo-Felder bedeuten.

[gracilis]

da die Lizenz des OpenImmo-Standards auch keine öffentliche Dokumentation zulläst.

Hallo,
soviel zum wort OPEN in openimmo ;-)

Dann schau ich mal rein und versuch was draus zu machen. Und melde mich dann.
Danke und Gruß.

[der_On]

Ja das ist wirklich eigenartig. Man muss bei denen persönlich Anfragen, um die Beschreibung des Standards zu erhalten und darf diese nicht weitergeben.

Und so wirklich gelungen finde ich den Standard nicht, aber er hat sich nun mal durchgesetzt.

[gracilis]

Hallo, der_On,
nun habe ich heute vormittag mal die catalog-anleitung grob durchgearbeitet. dann habe ich die tabelle umgestellt und dein oi-mudul getestet.

ich habe versucht, die verschiedenen nutzungsarten per feldtyp auswahl und taxonomy zu verwalten, aber taxonomy nimmt nicht seinen alias sondern die seine id und überschreibt damit die oi-werte.

außerdem müssten die anhänge (fotos) per schleife eingelesen werden. wie machst du das?

danke schon mal.

9.11.: Hallo, der_On, kannst Du mir schon einen Tipp geben?

[MacKP]

Hallo der_On,
entnehme ich das deiner Beschreibung richtig, das es so nur möglich ist die Daten in Contao zu IMportieren nicht zu EXportieren und dann an Portale weiter reichen?

Viele Grüße

[der_On]

Hallo, der_On,
nun habe ich heute vormittag mal die catalog-anleitung grob durchgearbeitet. dann habe ich die tabelle umgestellt und dein oi-mudul getestet.

ich habe versucht, die verschiedenen nutzungsarten per feldtyp auswahl und taxonomy zu verwalten, aber taxonomy nimmt nicht seinen alias sondern die seine id und überschreibt damit die oi-werte.

außerdem müssten die anhänge (fotos) per schleife eingelesen werden. wie machst du das?

danke schon mal.

9.11.: Hallo, der_On, kannst Du mir schon einen Tipp geben?

Die Bilder/Anhänge werden automatisch eingelesen. Dafür einfach ein Dateifeld anlegen und Mehrfachauswahl aktivieren. Dann dieses Feld mit dem entsprechenden OpenImmo-Feld verknüpfen. Sobald von einem OpenImmo-Feld/Tag mehrere vorhanden sind, werden diese als serialisierter Array in der Katalog-Tabelle gespeichert.

Ja das mit den Nutzungsarten und Co ist kritisch. Es gibt genau festgelegte Werte die von OpenImmo kommen können und eben diese müssen da auch verwendbar sein. Vielleicht kannst du das auch anders lösen. In meinem Fall habe ich für solche Felder einfache Textfelder angelegt. Da der Nutzer in der Regel hier nicht nachkorrigieren muss/soll.

[der_On]

Hallo der_On,
entnehme ich das deiner Beschreibung richtig, das es so nur möglich ist die Daten in Contao zu IMportieren nicht zu EXportieren und dann an Portale weiter reichen?

Viele Grüße

Exakt. Sobald ich mal ein Projekt auf den Tisch bekomme bei dem Exportiert werden soll, wird das Modul wohl um dieses Feature erweitert. Allerdings ist das alles andere als Trivial. OpenImmo hat an die 400 Felder die zum Teil Fest-definierte Werte haben und im Moment weiss ich nicht wie man das sinnvoll löst. Klar eine low-level Lösung ähnlich dem Import ist denkbar, diese Setzt dann aber natürlich vorraus das der Katalogadmin genau weiss welche Felder angelegt werden müssen und was die für Werte haben können.

Es gibt professionelle Software für das verwalten und exportieren von Immo-Daten.

[MacKP]

Exakt. Sobald ich mal ein Projekt auf den Tisch bekomme bei dem Exportiert werden soll, wird das Modul wohl um dieses Feature erweitert. Allerdings ist das alles andere als Trivial. OpenImmo hat an die 400 Felder die zum Teil Fest-definierte Werte haben und im Moment weiss ich nicht wie man das sinnvoll löst. Klar eine low-level Lösung ähnlich dem Import ist denkbar, diese Setzt dann aber natürlich vorraus das der Katalogadmin genau weiss welche Felder angelegt werden müssen und was die für Werte haben können.

Es gibt professionelle Software für das verwalten und exportieren von Immo-Daten.

Hallo der_On,
dann habe ich deine Mini-Anleitung hier also richtig verstanden :-)
Ich ahnte sowas schon, da das wirklich nicht einfach ist und wie ich höhrte auch bei jedem Portal potentiell anders funktioniert.

Danke für die Info!

Viele Grüße

[der_On]

Hallo der_On,
dann habe ich deine Mini-Anleitung hier also richtig verstanden :-)
Ich ahnte sowas schon, da das wirklich nicht einfach ist und wie ich höhrte auch bei jedem Portal potentiell anders funktioniert.

Danke für die Info!

Viele Grüße

Bittesehr. Ja potenntiell anders funktionieren ist richtig. ImmoScout24 z.B. setzt eine ganze Menge "UserFields" vorraus um Objekte zu kategorisieren. Man muss also sehr genau die Spezifikationen der Portale kennen.

[charleen]

Hallo an alle,

@der_On
Für ein aktuelles Projekt suche ich eine Erweiterung/Modul um Objektdaten aus Makler 2000 über die OpenImmo Schnittstelle auf der Website des Kunden auszugeben. Ist das mit deiner Erweiterung möglich?

Kennt jemand noch andere Möglichkeiten?

LG Charleen

[der_On]

Hallo an alle,

@der_On
Für ein aktuelles Projekt suche ich eine Erweiterung/Modul um Objektdaten aus Makler 2000 über die OpenImmo Schnittstelle auf der Website des Kunden auszugeben. Ist das mit deiner Erweiterung möglich?

Kennt jemand noch andere Möglichkeiten?

LG Charleen

Hallo Charleen,

ja theoretisch ist das ohne weiteres möglich. Du musst nur herausfinden welche Felder Makler 2000 wie belegt. Das ist Fitzelarbeit. Ich habe z.B. bei FlowFact auch noch kein wirkliches System entdeckt und werde immer wieder auf's neue überrascht, welche Felder belegt werden, sobald sich die Objektkategorie ändert.

Meine Extension macht ja nur folgendes:

Felder, die in OpenImmo dateien enthalten sind, werden mit bereits angelegten Katalogfeldern verknüpft. Bei einer Synchronisation werden dann die Werte aus der OpenImmo-Datei in die Katalogfelder eingetragen.


Übrigens:
Anfang des Jahres habe ich noch einmal ein paar Änderungen (insbesondere am Synchronisationsinterface) gemacht, die es nun komfortabler machen zu synchronisieren. Desweiteren wurde ein kritischer Bug gefixt, welcher bereits gelöschte Objekte erneut eingespielt hat.

Also mal den aktuellen Stand von GitHub ziehen.

[charleen]

Hallo Charleen,

ja theoretisch ist das ohne weiteres möglich. Du musst nur herausfinden welche Felder Makler 2000 wie belegt. Das ist Fitzelarbeit. Ich habe z.B. bei FlowFact auch noch kein wirkliches System entdeckt und werde immer wieder auf's neue überrascht, welche Felder belegt werden, sobald sich die Objektkategorie ändert.

Meine Extension macht ja nur folgendes:

Felder, die in OpenImmo dateien enthalten sind, werden mit bereits angelegten Katalogfeldern verknüpft. Bei einer Synchronisation werden dann die Werte aus der OpenImmo-Datei in die Katalogfelder eingetragen.


Übrigens:
Anfang des Jahres habe ich noch einmal ein paar Änderungen (insbesondere am Synchronisationsinterface) gemacht, die es nun komfortabler machen zu synchronisieren. Desweiteren wurde ein kritischer Bug gefixt, welcher bereits gelöschte Objekte erneut eingespielt hat.

Also mal den aktuellen Stand von GitHub ziehen.

Danke für deine schnelle Antwort (der_On)
Schade, dass es für Contao da noch keine einfachere Lösung gibt. Obwohl doch anscheinend wirklich Bedarf vorhanden ist. Welcher Makler möchte unbedingt eine Einbindung seiner Objekte per iframe?

LG Charleen

[basistom]

Hey,
Ich versuch auch gerade deine Extension nach der oben beschriebenen Anleitung zum Laufen zu bringen. Allerdings schmeißt er bei mir beim Einlesen der Daten sofort einen Fehler:

Warning: simplexml_load_string() [function.simplexml-load-string]: Entity: line 48: parser error : Premature end of data in tag openimmo line 1 in /.../system/modules/catalog_openimmo/CatalogOpenImmo.php on line 794
#0 [internal function]: __error(2, 'simplexml_load_...', '/...', 794, Array)
#1 /.../system/modules/catalog_openimmo/CatalogOpenImmo.php(794): simplexml_load_string('??loadData('tl_files/openIm...')
#3 /.../system/modules/backend/Backend.php(193): CatalogOpenImmo->sync(Object(DC_Table), 'tl_catalog_open...', Array)
#4 /.../contao/main.php(101): Backend->getBackendModule('catalog_openimm...')
#5 /.../contao/main.php(304): Main->run()
#6 {main} 

Als Quelle nehme ich eine XML die von Flowfact erzeugt wird. Kann mir jemand einen Lösungsansatz geben?

[der_On]

Hey,
Ich versuch auch gerade deine Extension nach der oben beschriebenen Anleitung zum Laufen zu bringen. Allerdings schmeißt er bei mir beim Einlesen der Daten sofort einen Fehler:

Warning: simplexml_load_string() [function.simplexml-load-string]: Entity: line 48: parser error : Premature end of data in tag openimmo line 1 in /.../system/modules/catalog_openimmo/CatalogOpenImmo.php on line 794
#0 [internal function]: __error(2, 'simplexml_load_...', '/...', 794, Array)
#1 /.../system/modules/catalog_openimmo/CatalogOpenImmo.php(794): simplexml_load_string('??loadData('tl_files/openIm...')
#3 /.../system/modules/backend/Backend.php(193): CatalogOpenImmo->sync(Object(DC_Table), 'tl_catalog_open...', Array)
#4 /.../contao/main.php(101): Backend->getBackendModule('catalog_openimm...')
#5 /.../contao/main.php(304): Main->run()
#6 {main} 

Als Quelle nehme ich eine XML die von Flowfact erzeugt wird. Kann mir jemand einen Lösungsansatz geben?

Kannst du mir die xml datei bitte per PM zusenden?
Desweiteren ist Simplexml bekannt für diverse parsing bugs. Eventuell php aktualisieren? Welche FlowFact version benutzt du? Vielleicht erstellt die invalide xml-dateien.

[basistom]

So, dann muss ich doch noch mal zu der Extension eine Unklarheit beseitigen:

Das Problem:
Sobald ich Daten synchronisiere, werden andere Einträge überschrieben.

Beschreibung:
1. Ich importiere beim ersten Mal eine XML mit 2 Immobilien-Einträgen. Alles wunderbar. Sie werden angezeigt und alles stimmt.
2. Beim Zweiten mal importiere ich eine XML mit 4 Immobilien-Einträgen. Jetzt werden die ersten beiden überschrieben und nur die neuen 4 Immobilien angezeigt.
3. Jetzt importiere ich eine XML mit nur einer Immobilie. Beim Synchronisieren wird jetzt die erste der 4 Immobilien vom Schritt davor überschrieben.

Eigentlich möchte ich ja aber die Immobilien immer dran hängen. Das heißt in Summe müsste ich ja jetzt schon bei 7 Einträgen sein. Hab ich etwas falsch verstanden an der Extension oder wo liegt mein Problem.

Wenn ich mir die XML-Dateien anschaue, sind auch immer nur die neuen Einträge drin. Deshalb gleich die nächste Frage: Wie bekomme ich aus OpenImmo die Information, dass ein Eintrag tatsächlich raus kann und nicht mehr benötigt wird?

Ich bin gespannt auf das Feedback. Danke

[der_On]

So, dann muss ich doch noch mal zu der Extension eine Unklarheit beseitigen:

Das Problem:
Sobald ich Daten synchronisiere, werden andere Einträge überschrieben.

Beschreibung:
1. Ich importiere beim ersten Mal eine XML mit 2 Immobilien-Einträgen. Alles wunderbar. Sie werden angezeigt und alles stimmt.
2. Beim Zweiten mal importiere ich eine XML mit 4 Immobilien-Einträgen. Jetzt werden die ersten beiden überschrieben und nur die neuen 4 Immobilien angezeigt.
3. Jetzt importiere ich eine XML mit nur einer Immobilie. Beim Synchronisieren wird jetzt die erste der 4 Immobilien vom Schritt davor überschrieben.

Eigentlich möchte ich ja aber die Immobilien immer dran hängen. Das heißt in Summe müsste ich ja jetzt schon bei 7 Einträgen sein. Hab ich etwas falsch verstanden an der Extension oder wo liegt mein Problem.

Wenn ich mir die XML-Dateien anschaue, sind auch immer nur die neuen Einträge drin. Deshalb gleich die nächste Frage: Wie bekomme ich aus OpenImmo die Information, dass ein Eintrag tatsächlich raus kann und nicht mehr benötigt wird?

Ich bin gespannt auf das Feedback. Danke

Bitte prüfe ob du in den Einstellungen für die Katalog-Openimmo-Verknüpfung das Feld "OpenImmo-Feld für eindeutige ID." korrekt gewählt hast. Ich habe dort "anbieter/immobilie/verwaltung_techn/openimmo_obid" gewählt, was einer eindeutigen ID für jede Immobilie entspricht. Es kann sein, dass bei deinen Daten ein anderes Feld gewählt werden muss, dass hängt von der Software ab, mit welcher du deine XML exportierst. Desweiteren vergewissere dich bitte, dass du die neuste Version der Extension von GitHub heruntergeladen hast, da gerade in dem Punkt einige Bugs vorhanden waren.

Desweiteren möchte ich darauf hinweisen dass derzeit nur der OpenImmo-Standard 1.2.1 unterstützt wird. Leider kann man auch 1.0 und 1.2.2 auswählen, aber die sind nicht funktional. Das ist mein Verschulden.

Das Problem ist, ich bin ein einzelner Entwickler an diesem Modul, welches ich für ein Kundenprojekt entwickelt und auch eingerichtet habe. Ich habe derzeit keine Kapazitäten eine Nutzer- oder Quelltextdokumentation zu schreiben und komme auch nur hin und wieder dazu Bugfixes zu machen, weshalb ich hier nochmal darauf hinweisen möchte, dass dieses Modul auf eigenes Risiko benutzt verwendet werden muss und ich auch keinen Support dafür garantiere/leiste. Es würde mich freuen, wenn sich andere Entwickler finden würden, die an der Weiterentwicklung des Moduls interessiert wären.

[basistom]

Hey,

nach dem das obere Problem gelöst war (du hattest recht, denn es lag an der Vergabe der eindeutigen ID, denn aus irgendeinem Grund wird bei dem Duplizieren eines Eintrags überschrieben und nicht dupliziert –*was aber wenn man es weiß ja zu umgehen ist) lief das Tool eine ganze Weile recht gut. Jetzt habe ich begonnen die Seite in Sachen Suchmaschinenfreundlichkeit ein wenig zu überarbeiten.

Summa summarum habe ich einen Alias im Katalog angelegt und lasse diesen mit dem OpenImmo-Titel befüllen. Wie es ja fast zu erwarten war, gibt es hier Probleme mit Umlauten. Der Titel wird komplett mit Leerzeichen und allen Sonderzeichen in den Alias geschrieben und damit funktionieren einige Einträge schlicht weg nicht mehr.

Gehe ich daher und speichere den Alias noch einmal von Hand, wird er richtig formatiert abgespeichert (zum Beispiel mit "-" statt " " (nbsp)). Hast du vielleicht noch einen Tipp wie ich die Aliaseintragung besser gestalten kann, so dass es "richtiger" wird?

[der_On]

Hey,

nach dem das obere Problem gelöst war (du hattest recht, denn es lag an der Vergabe der eindeutigen ID, denn aus irgendeinem Grund wird bei dem Duplizieren eines Eintrags überschrieben und nicht dupliziert –*was aber wenn man es weiß ja zu umgehen ist) lief das Tool eine ganze Weile recht gut. Jetzt habe ich begonnen die Seite in Sachen Suchmaschinenfreundlichkeit ein wenig zu überarbeiten.

Summa summarum habe ich einen Alias im Katalog angelegt und lasse diesen mit dem OpenImmo-Titel befüllen. Wie es ja fast zu erwarten war, gibt es hier Probleme mit Umlauten. Der Titel wird komplett mit Leerzeichen und allen Sonderzeichen in den Alias geschrieben und damit funktionieren einige Einträge schlicht weg nicht mehr.

Gehe ich daher und speichere den Alias noch einmal von Hand, wird er richtig formatiert abgespeichert (zum Beispiel mit "-" statt " " (nbsp)). Hast du vielleicht noch einen Tipp wie ich die Aliaseintragung besser gestalten kann, so dass es "richtiger" wird?

Hmm, so richtig gibt es da keine Möglichkeit, ausser versuchen den Alias aus einem anderen "sicheren" OI Feld zu nehmen. Ich verstehe aber dass der Titel schon SEO-technisch richtiger ist. Wenn ich mal wieder Zeit habe könnte ich schauen, ob ich irgentwie eine Art Formatierung mit einbaue, welche die Möglichkeit bietet den Wertetyp eines OI-Feldes zu bestimmen und beim Import die Daten entsprechend umformatiert werden.

[basistom]

Hey,

das wäre absolut klasse. Bleibt nur die übliche Frage, wann du dafür Zeit finden könntest und welches Honorar die Sache eventuell beschleunigen könnte

Gruß
Tom

[mrbuff]

Hallo,

erstmal vielen Dank für diese Erweiterung.

Ich bin gerade an einem Projekt dran, wo auch der Import von OpenImmo-Daten notwendig ist.
Da es auch bei mir ein paar Problemchen beim Import gibt, bin ich gerade auf "Fehlerquellensuche" und -beseitigung.

Außerdem wünscht sich der Kunde eine "Auto-Sync-Funktion".

Wenn es recht ist, würde ich mich von daher mehr oder weniger in die Weiterentwicklung "einklinken" und meine Ergebnisse dann posten.

Viele Grüße
Torsten

[der_On]

Hallo,

erstmal vielen Dank für diese Erweiterung.

Ich bin gerade an einem Projekt dran, wo auch der Import von OpenImmo-Daten notwendig ist.
Da es auch bei mir ein paar Problemchen beim Import gibt, bin ich gerade auf "Fehlerquellensuche" und -beseitigung.

Außerdem wünscht sich der Kunde eine "Auto-Sync-Funktion".

Wenn es recht ist, würde ich mich von daher mehr oder weniger in die Weiterentwicklung "einklinken" und meine Ergebnisse dann posten.

Viele Grüße
Torsten

Hallo Torsten,

das klingt wunderbar! Sehr gern. Mache einfach einen Fork auf Github auf: https://github.com/der-On/Contao-Catalog-Openimmo

Ich muss unbedingt den Quelltext dokumentieren.

[basistom]

Servus Torsten und der_on,

gibt es schon Weiterentwicklungen?