[Eyüp]

Hallo erneut
Ich möchte von einer Seite bestimmte Seiten mittels PHP Crawlen und
deren Inhalt speichern. Der soll auto. den Links folgen

Eigentlich baut diese Frage auf meine vorrige Frage auf
@Ben weiß mehr *gg

Danke im vorraus.


Eyüp

[Ben]

Nu, du müsstest dir die Startseite vornehmen, dort alle Links raussuchen, dann alle diese Seiten, die verlinkt sind, wiederum anspringen und so weiter und so fort.

Ist halt eine rekursive Sache. Kannst dir ja mal das Tutorial anschauen.

[robo47]

gehts hier darum mal eben eine seite etwas zu crawlen, oder eine art crawler für eine suchmaschine ?

mal eben ein paar seiten crawlen ist noch machbar, aber wirklich als crawler würde ich es nicht einsetzen, habe das selbst schonmal versucht .... wenn du es wirklich vorhast, lass es nach möglichkeit nicht über den browser laufen sondern direkt über die php-binary, hat bei mir die leistung damals mehr als verdoppelt.

[Eyüp]

Zitat von robo47

gehts hier darum mal eben eine seite etwas zu crawlen, oder eine art crawler für eine suchmaschine ?

mal eben ein paar seiten crawlen ist noch machbar, aber wirklich als crawler würde ich es nicht einsetzen, habe das selbst schonmal versucht .... wenn du es wirklich vorhast, lass es nach möglichkeit nicht über den browser laufen sondern direkt über die php-binary, hat bei mir die leistung damals mehr als verdoppelt.

Hi, es geht einfachd arum, die seite so zu crawlen, einmalig.

Wie meinst du das, über php-binary?

[robo47]

nicht über den webserver das script starten sondern unter windows über die php-cgi.exe unter linux unter der cgi-binary