DaHo
15.11.2007, 15:55:39
Hallo zusammen,
ich hab folgendes Problem:
Ich habe ein Script geschrieben, was mir viele Proxys besorgt.
Diese Proxys möchte ich jetzt auf Erreichbarkeit und Anonymität
prüfen. Das Script dazu hab ich bereits geschrieben. Das Problem
ist, dass das Script (bspw.) bei 30000 Proxys bis zu 250 Stunden
läuft.
Da es in php ja leider kein multithreading gibt, aber Server
multithreading-fähig sind, habe ich mir gedacht ich teile das Script
in drei Teile auf:
Teil 1:
Proxys werden aus einer txt file in ein Array geladen
Aus diesem Array „schneide“ ich per for Schleife eine bestimmte
Menge an Proxys aus, und sende sie jeweils an ein „eigenes“
Überprüf-Script.
Teil 2:
besteht aus (bspw.) 1000 Überprüf-Scripten
jedes dieser Scripte bekommt eine Ladung proxys, überprüft diese
und sendet die Proxys nach bestimmten Kriterien sortiert an Teil 3 .
Teil 3:
nimmt die Proxys entgegen und speichert sie in entsprechenden files
ab.
Das Problem an der ganzen Sache ist, dass ich die Proxys nicht von
Teil 1 nach Teil 2 und von Teil 2 nach Teil 3 übergeben kann.
Ich versuch jetzt bereits zwei Tage das Problem irgendwie zu lösen.
Ich bin relativ schnell zu dem Entschluss gekommen, dass ich das
irgendwie per POST / GET lösen muss (wobei GET wegen der
begrenzten Speicherkapazität weg fällt).
Um per php Script POST request zu versenden, hab ich auch verschiedene
(User-)Funktionen gefunden:
post_it() - http://www.zend.com/zend/spotlight/mimocsumissions.php
sendToHost() - http://www.faqts.com/knowledge_base/view.phtml/aid/12039
HTTPrequest() - http://www.zend.com/zend/spotlight/universal-cgi-inter.php?article=universal-cgi-inter&kind=sl&id=960&open=1&anc=0&view=1
Allerdings, funktioniert keine Funktion davon :(
Ich würde es gerne vermeiden extra eine neu Script-/Programmiersprache zu lernen.
Kann mir irgendjemand sagen, wie ich mein Problem lösen kann?
PS: ich hab den Thread in „PHP für Fortgeschrittene und Experten“ eröffnet, da ich denke,
dass das Thema nicht mehr zu „PHP Grundlagen“ gehört. Falls ich mich geirrt habe, wäre
es nett, wenn ein Moderator den Thread in ein geeigneteres Forum verschieben könnte.
ich hab folgendes Problem:
Ich habe ein Script geschrieben, was mir viele Proxys besorgt.
Diese Proxys möchte ich jetzt auf Erreichbarkeit und Anonymität
prüfen. Das Script dazu hab ich bereits geschrieben. Das Problem
ist, dass das Script (bspw.) bei 30000 Proxys bis zu 250 Stunden
läuft.
Da es in php ja leider kein multithreading gibt, aber Server
multithreading-fähig sind, habe ich mir gedacht ich teile das Script
in drei Teile auf:
Teil 1:
Proxys werden aus einer txt file in ein Array geladen
Aus diesem Array „schneide“ ich per for Schleife eine bestimmte
Menge an Proxys aus, und sende sie jeweils an ein „eigenes“
Überprüf-Script.
Teil 2:
besteht aus (bspw.) 1000 Überprüf-Scripten
jedes dieser Scripte bekommt eine Ladung proxys, überprüft diese
und sendet die Proxys nach bestimmten Kriterien sortiert an Teil 3 .
Teil 3:
nimmt die Proxys entgegen und speichert sie in entsprechenden files
ab.
Das Problem an der ganzen Sache ist, dass ich die Proxys nicht von
Teil 1 nach Teil 2 und von Teil 2 nach Teil 3 übergeben kann.
Ich versuch jetzt bereits zwei Tage das Problem irgendwie zu lösen.
Ich bin relativ schnell zu dem Entschluss gekommen, dass ich das
irgendwie per POST / GET lösen muss (wobei GET wegen der
begrenzten Speicherkapazität weg fällt).
Um per php Script POST request zu versenden, hab ich auch verschiedene
(User-)Funktionen gefunden:
post_it() - http://www.zend.com/zend/spotlight/mimocsumissions.php
sendToHost() - http://www.faqts.com/knowledge_base/view.phtml/aid/12039
HTTPrequest() - http://www.zend.com/zend/spotlight/universal-cgi-inter.php?article=universal-cgi-inter&kind=sl&id=960&open=1&anc=0&view=1
Allerdings, funktioniert keine Funktion davon :(
Ich würde es gerne vermeiden extra eine neu Script-/Programmiersprache zu lernen.
Kann mir irgendjemand sagen, wie ich mein Problem lösen kann?
PS: ich hab den Thread in „PHP für Fortgeschrittene und Experten“ eröffnet, da ich denke,
dass das Thema nicht mehr zu „PHP Grundlagen“ gehört. Falls ich mich geirrt habe, wäre
es nett, wenn ein Moderator den Thread in ein geeigneteres Forum verschieben könnte.