CronJob-Service
bei SELFPHP mit ...
|
+ minütlichen Aufrufen
+ eigenem Crontab Eintrag
+ unbegrenzten CronJobs
+ Statistiken
+ Beispielaufrufen
+ Control-Bereich
Führen Sie mit den CronJobs von
SELFPHP zeitgesteuert Programme
auf Ihrem Server
aus. Weitere Infos
|
:: Anbieterverzeichnis ::
Globale Branchen
Informieren Sie sich über ausgewählte Unternehmen im Anbieterverzeichnis von SELFPHP
:: Newsletter ::
Abonnieren Sie hier den kostenlosen
SELFPHP Newsletter!
|
Apache HTTP-Server Alles was Ihr über den Apache diskutieren möchtet, gehört hierein |
09.01.2015, 12:31:01
|
Anfänger
|
|
Registriert seit: Oct 2007
Beiträge: 49
|
|
Server bricht Sciptlaufzeit ab
Hallo Leute,
ich habe ein kleines Problem mit der Verarbeitung großer Datenmengen auf unserem gemanagten Webserver.
Ich habe eine riesen Datandatei eines Versenders bekommen, diese ist mal eben gute 400MB groß. Sie ist auf den Server geladen und muss nun ausgelesen, interpretiert, verarbeitet und in die SQL Datenbank geschrieben werden.
Das Problem ist, das der Server offensichtlich nicht genug Zeit aufwendet um dies zu tun und bricht irgendwann ab und gibt dem Browser die Fehlermeldung 500 zurück.
Die Verabreitung in die diversen Datenbanktabellen läuft bis dahin einwandfrei, aber es sind halt einige Millionen Einträge (zusammengerechnet).
Ich weiß, jetzt kommt sofort wieder die Anmerkung die "max_execution_time" des Servers zu prüfen. Naja, habe ich gemacht, unser Hetzner Sever hat da gar keinen Wert vorgegeben, Laufzeit also offen, nix 10, 30, 60 Sekunden, damit wäre ich ja gerade mal zu 10% fertig.
Nein, nein, der Server läuft immer so gute 7:30 Minuten, in der Zeit kann ich auch sehen wie die SQL Datenbank sich reichlich füllt, aber ungefähr nach dieser Zeit ist Schluß. Diese Einstellung gibt die Variable max_execution_time gar nicht vor, der Abbruch muss also von woanders her erfolgen.
Wo gibt es bei einem Webserver noch Abbruchvariablen, wie kann ich ihm sagen arbeite bis du fertig bist und wenn du ne Stunde brauchst?
Oder ist das ein lokales Problem des Browsers, bricht der irgendwann ab und sendet dem Server verdeckt ein Signal "komm lass sein, bringt nix" oder so?
Wo finde ich nun den Schuldigen für den Abbruch?
Wäre schön wenn mir da jemand helfen könnte, Danke im Voraus.
Gruß
Doc
|
16.01.2015, 08:27:04
|
Junior Member
|
|
Registriert seit: Apr 2014
Alter: 58
Beiträge: 186
|
|
AW: Server bricht Sciptlaufzeit ab
Zitat:
Zitat von Doc_McSky
Hallo Leute,
ich habe ein kleines Problem mit der Verarbeitung großer Datenmengen auf unserem gemanagten Webserver.
|
Gemanaged also, ja?
Zitat:
Wo finde ich nun den Schuldigen für den Abbruch?
|
Im Log. Auf dem Server. FastCGI? Da gibt es auch noch Parameter. Wenn das gemanaged ist, dann sollte der tech. Support da helfen können. Ob das für Hetzner zutrifft weiß ich aber nicht.
Davon abgesehen: das, was Du vorhast, macht man besser in der CLI.
|
16.01.2015, 08:50:09
|
Member
|
|
Registriert seit: Nov 2007
Beiträge: 843
|
|
AW: Server bricht Sciptlaufzeit ab
Hi,
Zitat:
Ich habe eine riesen Datandatei eines Versenders bekommen, diese ist mal eben gute 400MB groß
|
Zwei Möglichkeiten:
1. wie pguser sagt per CLI und z.B. Load Data (cron)
2. Batch mit Load Data (cron)
MfG
CKaos
__________________
"Wenn die Leute Häuser so bauen würden, wie wir Programme schreiben, würde der erstbeste Specht unsere Zivilisation zerhacken."
In den allermeisten Fällen sitzt der Bug etwa 40 cm vor dem Monitor!
|
20.01.2015, 13:12:11
|
Anfänger
|
|
Registriert seit: Oct 2007
Beiträge: 49
|
|
AW: Server bricht Sciptlaufzeit ab
Hallo,
vielen Dank für die Antworten, dachte schon da traut sich keiner ran, aber eure Ideen waren sehr gut.
Habe meine Routinen jetzt mal per FastCGI als Cronjob direkt vom Server ausgeführt und was soll ich sagen: funzt. ;)
Kann mir denn jemand erklären was da anders ist?
Also zum einen hat er problemlos alles durchgearbeitet UND er war bereits nach knapp 5 Minuten fertig!
Wie gesagt, die gleiche PHP Routine von einem Browser aus am Server angestoßen arbeitet gute 7:30 Minuten und ist dann gerade zur Hälfte fertig, der cron wesentlich schneller mit allem.
Hält der Server mit dem jeweiligen Clientbrowser irgendeine Kommunikation offen von der der User nur nichts mitbekommt oder was klaut da die Zeit?
Also das wäre jetzt nur Antwort+, ich danke für die jetzigen, denn die brachten jedenfalls das gewünschte Ergebnis. :-D
Gruß
Doc
|
20.01.2015, 18:49:25
|
Junior Member
|
|
Registriert seit: Apr 2014
Alter: 58
Beiträge: 186
|
|
AW: Server bricht Sciptlaufzeit ab
Zitat:
Zitat von Doc_McSky
Kann mir denn jemand erklären was da anders ist?
|
Im Prinzip alles.
|
22.01.2015, 13:59:03
|
Member
|
|
Registriert seit: Mar 2004
Ort: wien
Beiträge: 512
|
|
AW: Server bricht Sciptlaufzeit ab
Zitat:
Zitat von Doc_McSky
...
Kann mir denn jemand erklären was da anders ist?
...
Hält der Server mit dem jeweiligen Clientbrowser irgendeine Kommunikation offen von der der User nur nichts mitbekommt oder was klaut da die Zeit?
...
|
Über den Webserver geht einfach alles anders.
Sehr vereinfacht stelle man sich das so vor:
Die Daten werden nun direkt verarbeitet und nicht mehr ausgelesen, vom Webserver in den Parser geschickt, dort ausgewertet, an die Server-Module weiter geleitet, wieder interpretiert und dann endlich verarbeitet. Der Webserver ist ausserdem so konfiguriert, dass er nur eine limitierte Anzahl an Instanzen zulässt.
Und ein wesentlicher Vorteil:
Die CLI/CGI hat eine eigene php.ini, in der man Umgebungsvariablen nabhängig von denen des Webservers einstellen kann.
__________________
Gruss sys ;-)
Ich möchte wie mein Grossvater sterben, lächelnd und schlafend, nicht schreiend und weinend, wie sein Beifahrer.
|
Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
|
|
Forumregeln
|
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.
HTML-Code ist aus.
|
|
|
Alle Zeitangaben in WEZ +2. Es ist jetzt 01:42:38 Uhr.
|