[site_export] Seiten-Export und Epub-Generierung (Ebook)

[Babelfisch]

Hier mal meine erste umfangreichere Erweiterung für Contao: Site-Export

Mit dieser Erweiterung lassen sich die Artikel ganzer Seitenbäume als einzelne HTML-Dateien oder als E-Book (Epub) exportieren. Anwendungsmöglichkeiten sind:

• Seiten für die Offline-Nutzung exportieren
• Seiten für die Nutzung in anderen Anwendungen (bspw. mobile Apps für iPhone und Co.) exportieren
• Epub E-Books von bestehenden Seiten erzeugen

Denkbar ist auch der Einsatz als E-Book-Publishingsystem. Durch die ausgefeilte Rechteverwaltung von Contao können ja verschiedene Autoren an ihren Artikel/Kapiteln eines Buchs gemeinsam arbeiten und dieses Buch lässt sich dann zentral als Epub exportieren.

Export-Set
Im Export-Set definiert man das Export-Verzeichnis und wählt die zu exportierenden Seiten aus. Für jedes Export-Set lässt sich ein extra Layout definieren, so dass die Seiten unabhängig vom Webseitenlayout frei exportiert werden können. Auf Wunsch wird automatisch ein eingerücktes oder flaches Inhaltsverzeichnis (toc.html) erstellt. Dabei wird die Struktur komprimiert, so dass keine Lücken entstehen, wenn in der Seitenstruktur nicht alle Ebenen enthalten sind.

Epub
Soll aus den exportieren Seiten ein Epub erzeugt werden, können dazu ein Cover-Bild und weitere notwendige Informationen wie bspw. Titel, Beschreibung, ID, Autor oder Sprache definiert werden.

Wichtig ist, dass dazu auf jeden Fall ein extra Layout angelegt und eingebunden wird, welches der Epub-Definition entspricht.

Ersetzungsregeln
Zu jedem Export-Set können beliebig viel Exportregeln angelegt werden, mit denen die Seiten vor dem Export noch angepasst werden können. Die Regeln können einfache Ersetzungen oder reguläre Ausdrücke enthalten. So können damit zum Beispiel bestimmte Inhaltselemente entfernt werden, die nicht mit im Export enthalten sein sollen. Mit diesem Suchmuster und einem leeren Ersetzungsausdruck wird bspw. das Inhaltselement Artikelliste komplett aus dem Export entfernt:

<(nav|div) class="ce_article_list block">(.*)</(nav|div)>

Als Modifikatoren sollten i m s und U gesetzt werden.

Export
Beim Export werden im ersten Schritt die zu exportierenden Seiten angezeigt. Im zweiten Schritt werden schon vorhandene Dateien im Export-Verzeichnis gelöscht und die ausgewählten Seiten exportiert.

Die Seiten werden alle ins Export-Verzeichnis geschrieben und die Dateinamen werden aus dem Alias generiert. Eingebundene Bilder und Stylesheets werden automatisch mit exportiert und die Verweise werden angepasst. Auch werden interne Links so weit wie möglich an die lokale Struktur angepasst.

Epub-Export
Im dritten Schritt kann dann das Epub erstellt werden. Die notwendigen Verzeichnisse und Dateien werden dazu automatisch generiert:

• mimetype
• OEBPS/toc.ncx
• OEBPS/content.opf
• META-INF/container.xml

Das Inhaltsverzeichnis wird natürlich auch gefüllt.

Anmerkungen
Es handelt sich um eine erste Alpha-Version der Erweiterung. Fehler sind garantiert noch vorhanden und somit ist Vorsicht bei der Nutzung geraten. Wichtig ist, dass im Export-Verzeichnis keine anderen Daten enthalten sind, da diese immer vor dem Export gelöscht werden.

Fehler melden
Fehler oder Feature-Request bitte im entsprechenden Projekt bei Contao-Forge melden.

site_export.jpg

[andreasisaak]

Gibt es die Möglichkeit dir Fehler und Bugs zu melden?

[Babelfisch]

Gibt es die Möglichkeit dir Fehler und Bugs zu melden?

Ja freilich, gerne. Entweder hier im Forum oder per PN. Wenn länger oder mit Anhang sein soll, dann schicke ich dir gleich noch meine E-Mail-Adresse.

Gruß

[andreasisaak]

Macht es nicht mehr Sinn im Contao-Forge ein neues Projekt anzulegen für dich?

[Babelfisch]

Gute Idee. Habe mich gerade angemeldet und eine E-Mail an info… mit dem Projektvorschlag geschrieben.

Gruß

[Babelfisch]

Na dann immer mal ran mit den Fehlermeldungen. ;-)

Gruß

[woiki]

Hallo,

bei der Generierung der HTML-Dateien erhalte immer die folgende Fehlermeldung

"Warning: preg_replace_callback() [function.preg-replace-callback]: Requires argument 2, 'SiteExport:rocessImages', to be a valid callback in /homepages/22/d74264111/htdocs/00_www/system/modules/site_export/SiteExport.php on line 542"

"Warning: preg_replace_callback() [function.preg-replace-callback]: Requires argument 2, 'SiteExport:rocessStylesheets', to be a valid callback in /homepages/22/d74264111/htdocs/00_www/system/modules/site_export/SiteExport.php on line 543"

Hast du eine Idee, woran das liegen könnte. Ich benutze Contao 2.10.2.

[Babelfisch]

Kannst du das auf eine bestimmte Ersetzungsregel eingrenzen und mir mal schreiben, was du als Such- und Ersetzungsausdruck angegeben hast und welche Modifikatoren ausgewählt sind?

Gruß

[woiki]

Danke für die schnelle Rückmeldung.
Verwendet habe ich keine Ersetzungsregel. Sind diese denn grundsätzlich notwendig?

[Babelfisch]

Nein, Ersetzungsregeln sind nicht notwendig und die Fehlermeldung hatte auch nichts damit zu tun - mein Fehler.

Ich habe jetzt mal die 1.0.0 alpha2 hochgeladen. Kannst du es damit bitte mal ausprobieren?

Wenn du einen Account bei GitHub hast, antworte am besten hier zu dem Fehler. Neue Fehler bitte dann auch bei GitGub melden. Ansonsten einfach hier.

Gruß

[ciaobello]

Danke für die tolle Erweiterung.
Nun kann man sichtbar machen welchen balast mann in der DB speichert bei ausgeblendeten Artikeln etc. ;-)


Habe die Erweiterung getestet und hatte auch ePub ausgewählt und ausgefüllt. Export gestarted:

1. Seiten wurden exportiert.
2. Epub erzeugen > folgende Fehlermeldung erschein:

Warning: copy() [function.copy]: The second argument to copy() function cannot be a directory in D:\Ampps\www\vhosts\qualifisio_211\system\modules\ site_export\SiteExport.php on line 380
#0 [internal function]: __error(2, 'copy() [createEpub(Object(DB_Mysql_Result)) #3 D:\Ampps\www\vhosts\qualifisio_211\system\modules\ backend\Backend.php(246): SiteExport->export(Object(DC_Table), 'tl_site_export', Array) #4 D:\Ampps\www\vhosts\qualifisio_211\contao\main.php (120): Backend->getBackendModule('site_export') #5 D:\Ampps\www\vhosts\qualifisio_211\contao\main.php (230): Main->run() #6 {main}

Erstellt werden META-INF (enthält 1 Inf Datei) Folder und OEBPS (mit html Dateien).

ciaobello

[Babelfisch]

Kann es sein, dass du ein Cover-Bild ausgewählt hast, welches es jetzt nicht mehr gibt? Eigentlich dürfte so ein Fehler nämlich nicht erscheinen.

Ich schaue mir das ganze aber nach der Conto-Konferenz noch mal genau an.

Gruß

[ciaobello]

Hallo Babelfisch,

habe die Erweiterung noch mal in einer anderen Seite installiert. Hatte das selbe Problem mit dem erstellen von Epub. Allerdings ging es, reine html Seiten zu exportieren. Habe mit den Layouts rum gespielt und auch die Root-Seite nicht ausgewählt. Bin mir aber nicht sicher ob die CSS nicht auch eingebunden sein sollte ? Kann es sein das man ein extra CSS dazu erstellen muss wie zum Beispiel zum Drucken?

Gut Konferenz ... bis bald

ciaobello

[Babelfisch]

Ich habe mal die Beta 1 hochgeladen, mit der du noch mal testen kann. Sollten immer noch Fehler kommen, poste bitte noch mal die komplette Fehlermeldung inkl. Zeilennummern.

Im Layout eingebundene Stylesheets werden beim Export eigentlich automatisch berücksichtigt und mit eingebunden.

Gruß

PS: Die neue Version erzeugt jetzt kürzere Dateinamen beim Export und es lässt sich optional ein Inhaltsverzeichnis im JSON-Format erzeugen.

[Babelfisch]

Hallo ciaobello,

probiere bitte die beta2 mal aus. Ich habe den Epub-Export noch mal umgeschrieben und nutze nun die ZipWriter-Classe von Contao. Damit wird kein externes ZIP-Programm mehr benötigt.

Gruß

[ciaobello]

Ok, nun sieht es gut aus! Kein Fehler mehr.

Aber wie schon mal gefragt, ist es normal das die Seite kein CSS richtig übernimmt ... die Musikakademie exportiert sieht nicht gut aus, ohne menu etc. ... obwohl es das was von css drin hat?

ciaobello

danke noch mal!

[Babelfisch]

Aber wie schon mal gefragt, ist es normal das die Seite kein CSS richtig übernimmt ... die Musikakademie exportiert sieht nicht gut aus, ohne menu etc. ... obwohl es das was von css drin hat?

Doch, CSS wird mit exportiert und die Links werden auch lokal angepasst. Hast du evtl. ein Layout für den Export genommen, bei welchem keine Stylesheets eingebunden sind?

Gruß

[ciaobello]

Nein ... css sind eingebunden im layout. Sogar ein layout habe ich ausgewählt. Aber sie (css) werden nicht gefunden.

Ich glaube "./" wird nicht gemocht. Zumindest zeigt mir der Firebug an das keine Regeln im CSS seien. Wenn ich die Lokale Datei öffne sind da aber regeln drin.

Habe es jetzt zig mal getestet, vom Server aus und lokal mit AMPPS. Immer das selbe.

ciaobello

[pief83]

Hallo,

sehr interessante Geschichte und ich überlege, diese als eine Art Präsentationssoftware für einen Kunden zu nutzen.

Ich habe die Erweiterung standardmäßig mit dem Music-Template getestet - leider wird mir das Hauptmenü nicht ausgegeben - woran liegt das? Habe ich etwas übersehen?

Auch sind keine Bilder vorhanden

Ich bräuchte die Funktion des Haupmenü und der Buchnavigation und möchte nicht nur über das Inhaltsverzeichnis navigieren.

Andere Frage: Inwieweit lässt sich der Speicherort festlegen? Geht da eventuell was mit Dropbox...

Vielen Dank vorab für sicherlich gutes Feedback!

[djo]

Hallo zusammen,

das wäre eine super Erweiterung, die ich dringend gebrauchen kann. Allerdings gibt sie bei mir nur das Inhaltsverzeichnis aus und alle HTML-Dateien haben 0KB - beim Export steht ERROR dahinter.
Leider kann ich so nicht herausfinden, wo der Fehler liegt.
Verblüffend finde ich, dass es sonst auch reichlich wenig bis gar keine Möglichkeiten gibt die Texte aus den Artikeln zu exportieren (importieren erwähne ich mal garnicht). Entweder die Erweiterungen sind in den Kinderschuhen gestorben, oder die Links dazu führen ins leere. Sehr schade.

Liebe Grüße,
Daniel

[BugBuster]

Kennst du Clipboard? Will es auch mal testen demnächst, ein Export ist im gewissen Sinne dabei.

[Babelfisch]

Allerdings gibt sie bei mir nur das Inhaltsverzeichnis aus und alle HTML-Dateien haben 0KB - beim Export steht ERROR dahinter.
Leider kann ich so nicht herausfinden, wo der Fehler liegt.

Hast du beim Export ein Layout mit angegeben? Wenn ja, werden die Seiten mit diesem Layout ansonsten normal angezeigt? Welche Contao-Version nutzt du?

Gruß

[pyretta]

Hallo Babelfisch,

erstmal: Klasse Erweiterung! Vielen Dank! Könnten wir sehr gut gebrauchen.

Aber leider hab ich noch bissel Probleme mit der Erweiterung und weiss nicht wie ich die lösen soll.

Ich hab sie unter Contao 2.11.4 installiert, der Web-Hoster ist Host-Europe.

Immer wenn ich versuche Seiten zu exportieren gibt mir Contao eine Fehlermeldung aus (die ich leider dank Host Europe nicht sehen kann, weil der Hoster das verhindert und die Möglichkeit das einzustellen aus dem Administrationsbereich verschwunden ist) und löscht anschließend das komplette Verzeichnis in das ich exportieren wollte. Leider ist auch nichts in den Logfiles drin, was auf einen Fehler beim Export hinweist.

Das ist das einzige was im allgemeinen Logfile von Host Europe zu dem Vorgang steht:

[28/Feb/2013:13:17:33 +0100] "GET /contao/main.php?do=site_export&table=tl_site_export_rules &id=1 HTTP/1.1" 200 4702 "http://www.domain.de/contao/main.php?do=site_export&table=tl_site_export&id=1& act=edit" "Mozilla/5.0 (Windows NT 5.1; rv:18.0) Gecko/20100101 Firefox/18.0"

Im error.log von Contao steht dazu gar nix, und vor allem nix zu diesem Zeitpunkt.

Ich hoffe mir kann trotzdem jemand weiterhelfen.

[Babelfisch]

Ohne Fehlermeldung kann ich natürlich auch nichts dazu sagen. Generell solltest du aber auf jeden Fall das aktuelle Contao 2.11.9 installieren, um evtl. Fehler von dieser Seite auszuschließen. Ich weiß zwar nicht mehr, ob da mal was war aber es gab einige Bugs in Contao, die Probleme mit Erweiterungen verursacht haben.

Gruß

[sandy_aw]

Hallo Babelfish,

ich wollte auch Deine Erweiterung ausprobieren, leider generiert er bei mir zwar die html-Dateien, aber sie sind alle 0 KByte.
Fehlermeldung: Export … aktuelles_3.html – ERROR –
Contao-Version 3.0.0, vorerst lokal installiert

Habe ein Export-Set angelegt
Seite ausgewählt
Export-Verzeichnis ausgewählt
ein Layout zugewiesen
und beim Inhaltsverzeichnis: eingerücktes Inhaltsverzeichnis - ausgewählt
gespeichert und dann den Export gestartet
Die Vorschau zeig er ganz normal an:
Export starten: Dann zeigt er:
Seiten wurden exportiert. Export … aktuelles_3.html – ERROR –

Gehe ich im Verzeichnis gucken, liegt dort das Inhaltsverzeichnis und meine html-Dateien, aber sie sind alle leer.

Habe ich noch irgendwo ein Fehler? Muss eine Regel definiert werden? Was kann es sein?

Vielen Dank schon mal für die Hilfe

Gruß Anja

[Babelfisch]

Mit Contao 3 habe ich die Erweiterung bisher noch nicht intensiv getestet. Da kann es durchaus noch zu Problemen kommen. Im Zuge der Umstellung eines C2-Projekts werde ich mir das in den nächsten Tagen (evlt. auch Wochen) noch mal genau anschauen.

Eine Frage aber noch: Ist bei dir CURL installiert?

Gruß

[sandy_aw]

sorry bin noch ziemlich neu in dem Geschäft, was ist CURL? ist das auch eine Erweiterung? Bewusst habe ich es nicht installiert.

[zack]

Hallo an alle,

könnte die Erweiterung gerade gut gebrauchen um einen Snapshot der lokal entstehenden Website an meinen internen Kunden weiterzugeben.

Funzt aber net - jedenfalls nicht bis zum Schluss, denn bevor die HTML-Dateien mit Inhalt gefüllt werden, kommt bei jeder die folgende Fehlermeldung:

Warning: file_get_contents(http:///index.php/?export=1&layout=14) [function.file-get-contents]: failed to open stream: operation failed in E:\Develop\meinServer\htdocs\contao\system\modules \site_export\SiteExport.php on line 270

#0 [internal function]: __error(2, 'file_get_conten...', 'E:\Develop\mein...', 270, Array)
#1 E:\Develop\meinServer\htdocs\contao\system\modules \site_export\SiteExport.php(270): file_get_contents('http:///index.p...')
#2 E:\Develop\meinServer\htdocs\contao\system\modules \core\classes\Backend.php(231): SiteExport->export(Object(Contao\DC_Table))
#3 E:\Develop\meinServer\htdocs\contao\contao\main.ph p(121): Contao\Backend->getBackendModule('site_export')
#4 E:\Develop\meinServer\htdocs\contao\contao\main.ph p(319): Main->run()
#5 {main}

So bleiben alle HTML-Dateien bei 0 Bytes, nur die TOC ist gefüllt und auch richtig verlinkt...

Mir scheint, das file_get_contents('http:///index.p...') funktioniert so bei localhost nicht?!

[fiedsch]

könnte die Erweiterung gerade gut gebrauchen um einen Snapshot der lokal entstehenden Website an meinen internen Kunden weiterzugeben.

Wenn ich Deine Aufgabrnstellung richtig verstehe, würde ich mir an Deiner Stelle mal wget anschauen. Z.B.: http://www.pro-linux.de/artikel/2/62...-gnu-wget.html

[Babelfisch]

Vergibt mal als Domainname für die Seitenwurzel localhost.

Gruß

[zack]

Eure Tipps haben mich in die richtige Spur gebracht:

So ein Seiten-"sauger" wie wget wäre sicher noch eine gute Idee, nur suche ich etwas, womit ich viel Einfluss auf Auswahl und Gestaltung des Exports nehmen kann. Ich vermute, das müsste ich dann immer temporär über die Layout-Zuweisungen in Contao machen...

Der vorgeschlagene localhost-Eintrag hat es bei mir so nicht ganz gebracht (auch nicht mit dem u.g. Pfad) . Ich habe dann aber in der
SiteExport.php die Originalzeile 145 mal entsprechend meinen Pfaden ersetzt:

#    'httpUrl' => 'http://'.$objPage->domain.'/'.$url,
    'httpUrl' => 'http://localhost/contao/'.$url, 

Und so geht's!

Für den Export nehme ich dann ein minimalistisches Layout, damit vor allem die Artikel angezeigt werden, und z.B. auch Accordions aufgeklappt sind (oder Javascript aus).

Also, vielen Dank an die nachtaktiven Helfer!

[Babelfisch]

Nach dem nächsten Update wird das auch ohne solche Hacks gehen. Beim Zusammenbauen der URL war ich hier ein wenig zu schludrig.

Gruß

[Babelfisch]

In Version 1.2.0 sollte der Fehler mit den falschen URLs jetzt behoben sein. Außerdem werden nun auch Audio-Dateien (MP3 und OGG) aus HTML5 Source-Tags beim Export mit kopiert.

Gruß

[mj1985]

Im Export steht bei mir immer noch:

<base href="http://meineoriginaldomain.de/">

im Quellcode der Seiten.
Ist das etwas was ich manuell in der Erweiterung anpassen muss?

Der unerfahrende Benutzer wundert sich bei der Ausgabe wahrscheinlich warum die Seite so zerschossen aussieht (keine Stylesheets etc)

[Babelfisch]

Ja, das musst du selber ändern und ein eigenes Layout mit geänderten Template fe_page.xhtml/.html5 erstellen und beim Export zuweisen. Wenigstens dieser Teil muss dort entfernt werden:

<base href="<?php echo $this->base; ?>">

Gruß

[ricola]

Da ich für meinen Verein verschiedene Inhalte auch offline bereitstellen möchte, kommt mir diese Erweiterung gerade recht
Es gibt nur ein paar Probleme:

Was ich gemacht habe:

Contao 3.0.0 installiert
Extension installiert
Verzeichnis angelegt
Neues Theme mit eigenem Template angelegt (siehe Punkte oben)
In der Extension alles ausgefüllt, ein Theme zugewiesen, das Coverbild zugewiesen und das Verzeichnis zum ablegen zugewiesen

Also denke ich, eigentlich alles richtig - jedoch:

Wenn ich mir die dann erzeugte ePub-Datei in Calibre ansehe ist alles in Ordnung. Öffne ich die Datei jedoch in Ebook-Readern stürzen diese entweder sofort ab oder ich erhalte in eBooks auf dem IPad auf allen Seiten in Rot folgende Fehlermeldung:

„This page contains the following errors:

error on line 9 at column 70: Opening and ending tag mismatch: li line 0 and ul
Below is a rendering of the page up to the first error.“

Tja, keine Ahnung was das bedeutet....

Habt Ihr das auch schon einmal gesehen?

LG Rico

[Babelfisch]

Überprüfe das erstelle Epub mal mit einem Epub-Valitaor wie validator.idpf.org und schau nach, ob die fehlerhaften Tags aus deinem eigenen Quellcode kommen. Wenn ja, überprüfe deine Seiten mal mit einem HTML-Validator. Wenn nein, schreib mal die Dateien, in denen der Fehler ist.

Gruß

[ricola]

Ich habe die Datei jetzt über den Validator laufen lassen und bekomme tatsächlich eine Unmenge an Fehlern.

Das ist schon merkwürdig. Ich habe im Theme ausschließlich die Artikel eingebunden und im Template alles entfernt was nicht nötig ist. Trotzdem findet er anscheinend nicht geschlossene Div, die es aber so nicht gibt ....

Ich werde dann wohl mal das Theme fürs Frontend umschalten und entsprechend validieren lassen.
Bis dahin.

Danke
Rico

Edit: Firefox meldet im Validator keine Probleme. Ich habe mal die Seite die ich als einzige für das Epub ausgewählt habe, hier mit dem entsprechenden Theme versehen: http://test.reitverein-hubertus.de/test.html

[ricola]

So, ich habe jetzt sukzessive alle möglichen Fehlerquellen ausgeschaltet und selbst das Template nach und nach auf folgende Zeilen begrenzt:

<html>
<head>
<title><?php echo $this->pageTitle; ?> - <?php echo $this->mainTitle; ?></title>
</head>
<body>
<?php echo $this->main; ?> 
</body>
</html>

wird zu

<html>
<head>
<!--

	This website is powered by Contao Open Source CMS :: Licensed under GNU/LGPL
	Copyright ©2005-2013 by Leo Feyer :: Extensions are copyright of their respective owners
	Visit the project website at http://contao.org for more information

//-->
<title>Test - Hubertus. e.V.</title>
</head>
<body>

<div class="mod_article block" id="test">

<div class="ce_text block">

<p>Das ist ein Test</p>
</div>

</div>
 
</body>
</html>

Auf einer Seite mit nur einem Satz gibt die erzeugte Epub-Datei immer noch dieselben Fehler aus.
Schade.

LG Rico

[Babelfisch]

Kannst du mir mal die toc.xhtml, toc.ncx und content.opf schicken?

Gruß