[Eyüp]

Hallo Jungs und Mädels,

ich hab einen Problem mit dem keep-alive timeout.
wenn ich meinen script dazu bringe (Crawler), die db abzuarbeiten,
dann hat er nur 15sek zeit, das alle abzuarbeiten, denn nach 15sekunden sendet der http header einen Connection: close.

ich starte meinen script nach jedem request neu, damti ich max exec time und so nicht überschreite, da ich das problem mit dem dateidownload hatte, der eigentlich nicht kommen sollte.


danke im vorraus

grüße

Eyüp

[Bleistift]

Und was ist die Frage?

[Eyüp]

Wie ändere ich Keep-Alive..

[robo47]

Ganz einfach, normaler Webspace ist nicht für einen Crawler geeignet, die 15 Sekunden werden wohl die max-execution Time sein.

Für sowas bietet es sich an sich mindestens nen V-Server zuzulegen, wenn man ausreichend Linux Kenntnisse hat, ansonsten dann halt nen Managed Server.

Jenachdem was dein Crawler alles macht, ob es mehr zu lasten der CPU oder mehr zu lasten der Internetverbindung geht, würde ich fast sagen, es ist effektiver das Ding zuhause von nem XAMPP aus laufen zu lassen, auch weil es ein Hoster wohl kaum gerne sieht, wenn jemand auf seinem Webspace etwas 24/7 unter umgehung seiner gesetzen Limits laufen lässt.

[Eyüp]

Nun, das Ding wird nicht 24/7 laufen sondern 2-6 std am tag

Ok, dann werde ich das ganze anders lösen