Crawler - schneller durch mehr Requests oder SSH?

[pipkin]

Hallo Leute,

in meiner Installation müssen die Crawler bereits 25 Minuten arbeiten, um alles in die tl_search zu schreiben.

Da steht, wenn der Server mehr Requests erlaubt, kann ich die Anzahl erhöhen. Ich hoffe, die Frage ist nicht zu dämlich: wie kann ich denn feststellen, wie viele Requests der Server erlaubt? Kann ich das vom Hoster in Erfahrungen bringen oder steht das irgendwo in der PHP-Konfiguration?

Außerdem:
Im Handbuch steht, ich kann den Crawler auch über die Konsole ausführen. Bedeutet das, dass ich so einen "Flaschenhals" maximaler gleichzeitiger Requests umgehe?

Vielen Dank!

[Spooky]

Über die Kommandozeile kannst du die Anzahl der gleichzeitigen Requests erhöhen.

[pipkin]

Hi Spooky,

Über die Kommandozeile kannst du die Anzahl der gleichzeitigen Requests erhöhen.

danke.

Ja, so steht es ja auch im Handbuch. Ich kann die Anzahl der Requests über die parameters.yml erhöhen oder über die Konsole.

Die Frage war ja: wie kann ich denn feststellen, wie viele Requests der Server erlaubt? Kann ich das vom Hoster in Erfahrungen bringen oder steht das irgendwo in der PHP-Konfiguration?

Denn im Backend steht während des Crawlens "wenn Ihr Server mehr als 5 gleichzeitige Requests verarbeiten kann...". Wie kann ich das feststellen, ob er das kann?


Im Handbuch steht auch, dass ich den Crawler auch über die Konsole ausführen kann.
Die Frage dazu war: umgehe ich den "Flaschenhals" einer maximalen Request-Anzahl, wenn ich den Crawler über die Konsole ausführe?

Danke...