SELFPHP: Version 5.8.2 Befehlsreferenz - Tutorial – Kochbuch – Forum für PHP Einsteiger und professionelle Entwickler

SELFPHP


Professional CronJob-Service

Suche



CronJob-Service    
bei SELFPHP mit ...



 + minütlichen Aufrufen
 + eigenem Crontab Eintrag
 + unbegrenzten CronJobs
 + Statistiken
 + Beispielaufrufen
 + Control-Bereich

Führen Sie mit den CronJobs von SELFPHP zeitgesteuert Programme auf Ihrem Server aus. Weitere Infos



:: Buchempfehlung ::

Das Zend Framework

Das Zend Framework zur Buchempfehlung
 

:: Anbieterverzeichnis ::

Globale Branchen

Informieren Sie sich über ausgewählte Unternehmen im Anbieterverzeichnis von SELFPHP  

 

:: Newsletter ::

Abonnieren Sie hier den kostenlosen SELFPHP Newsletter!

Vorname: 
Name:
E-Mail:
 
 

Zurück   PHP Forum > SELFPHP > Apache HTTP-Server

Apache HTTP-Server Alles was Ihr über den Apache diskutieren möchtet, gehört hierein

Antwort
 
Themen-Optionen Ansicht
  #1  
Alt 09.01.2015, 12:31:01
Doc_McSky Doc_McSky ist offline
Anfänger
 
Registriert seit: Oct 2007
Beiträge: 49
Server bricht Sciptlaufzeit ab

Hallo Leute,

ich habe ein kleines Problem mit der Verarbeitung großer Datenmengen auf unserem gemanagten Webserver.
Ich habe eine riesen Datandatei eines Versenders bekommen, diese ist mal eben gute 400MB groß. Sie ist auf den Server geladen und muss nun ausgelesen, interpretiert, verarbeitet und in die SQL Datenbank geschrieben werden.

Das Problem ist, das der Server offensichtlich nicht genug Zeit aufwendet um dies zu tun und bricht irgendwann ab und gibt dem Browser die Fehlermeldung 500 zurück.
Die Verabreitung in die diversen Datenbanktabellen läuft bis dahin einwandfrei, aber es sind halt einige Millionen Einträge (zusammengerechnet).

Ich weiß, jetzt kommt sofort wieder die Anmerkung die "max_execution_time" des Servers zu prüfen. Naja, habe ich gemacht, unser Hetzner Sever hat da gar keinen Wert vorgegeben, Laufzeit also offen, nix 10, 30, 60 Sekunden, damit wäre ich ja gerade mal zu 10% fertig.

Nein, nein, der Server läuft immer so gute 7:30 Minuten, in der Zeit kann ich auch sehen wie die SQL Datenbank sich reichlich füllt, aber ungefähr nach dieser Zeit ist Schluß. Diese Einstellung gibt die Variable max_execution_time gar nicht vor, der Abbruch muss also von woanders her erfolgen.

Wo gibt es bei einem Webserver noch Abbruchvariablen, wie kann ich ihm sagen arbeite bis du fertig bist und wenn du ne Stunde brauchst?
Oder ist das ein lokales Problem des Browsers, bricht der irgendwann ab und sendet dem Server verdeckt ein Signal "komm lass sein, bringt nix" oder so?
Wo finde ich nun den Schuldigen für den Abbruch?

Wäre schön wenn mir da jemand helfen könnte, Danke im Voraus.

Gruß
Doc
Mit Zitat antworten
  #2  
Alt 16.01.2015, 08:27:04
pguser pguser ist offline
Junior Member
 
Registriert seit: Apr 2014
Alter: 58
Beiträge: 186
AW: Server bricht Sciptlaufzeit ab

Zitat:
Zitat von Doc_McSky Beitrag anzeigen
Hallo Leute,

ich habe ein kleines Problem mit der Verarbeitung großer Datenmengen auf unserem gemanagten Webserver.
Gemanaged also, ja?

Zitat:
Wo finde ich nun den Schuldigen für den Abbruch?
Im Log. Auf dem Server. FastCGI? Da gibt es auch noch Parameter. Wenn das gemanaged ist, dann sollte der tech. Support da helfen können. Ob das für Hetzner zutrifft weiß ich aber nicht.

Davon abgesehen: das, was Du vorhast, macht man besser in der CLI.
Mit Zitat antworten
  #3  
Alt 16.01.2015, 08:50:09
Ckaos Ckaos ist offline
Member
 
Registriert seit: Nov 2007
Beiträge: 843
AW: Server bricht Sciptlaufzeit ab

Hi,

Zitat:
Ich habe eine riesen Datandatei eines Versenders bekommen, diese ist mal eben gute 400MB groß
Zwei Möglichkeiten:
1. wie pguser sagt per CLI und z.B. Load Data (cron)
2. Batch mit Load Data (cron)

MfG

CKaos
__________________
"Wenn die Leute Häuser so bauen würden, wie wir Programme schreiben, würde der erstbeste Specht unsere Zivilisation zerhacken."
In den allermeisten Fällen sitzt der Bug etwa 40 cm vor dem Monitor!
Mit Zitat antworten
  #4  
Alt 20.01.2015, 13:12:11
Doc_McSky Doc_McSky ist offline
Anfänger
 
Registriert seit: Oct 2007
Beiträge: 49
AW: Server bricht Sciptlaufzeit ab

Hallo,

vielen Dank für die Antworten, dachte schon da traut sich keiner ran, aber eure Ideen waren sehr gut.

Habe meine Routinen jetzt mal per FastCGI als Cronjob direkt vom Server ausgeführt und was soll ich sagen: funzt. ;)

Kann mir denn jemand erklären was da anders ist?

Also zum einen hat er problemlos alles durchgearbeitet UND er war bereits nach knapp 5 Minuten fertig!
Wie gesagt, die gleiche PHP Routine von einem Browser aus am Server angestoßen arbeitet gute 7:30 Minuten und ist dann gerade zur Hälfte fertig, der cron wesentlich schneller mit allem.

Hält der Server mit dem jeweiligen Clientbrowser irgendeine Kommunikation offen von der der User nur nichts mitbekommt oder was klaut da die Zeit?

Also das wäre jetzt nur Antwort+, ich danke für die jetzigen, denn die brachten jedenfalls das gewünschte Ergebnis. :-D

Gruß
Doc
Mit Zitat antworten
  #5  
Alt 20.01.2015, 18:49:25
pguser pguser ist offline
Junior Member
 
Registriert seit: Apr 2014
Alter: 58
Beiträge: 186
AW: Server bricht Sciptlaufzeit ab

Zitat:
Zitat von Doc_McSky Beitrag anzeigen
Kann mir denn jemand erklären was da anders ist?
Im Prinzip alles.
Mit Zitat antworten
  #6  
Alt 22.01.2015, 13:59:03
sysop sysop ist offline
Member
 
Registriert seit: Mar 2004
Ort: wien
Beiträge: 512
AW: Server bricht Sciptlaufzeit ab

Zitat:
Zitat von Doc_McSky Beitrag anzeigen
...
Kann mir denn jemand erklären was da anders ist?
...
Hält der Server mit dem jeweiligen Clientbrowser irgendeine Kommunikation offen von der der User nur nichts mitbekommt oder was klaut da die Zeit?
...
Über den Webserver geht einfach alles anders.

Sehr vereinfacht stelle man sich das so vor:
Die Daten werden nun direkt verarbeitet und nicht mehr ausgelesen, vom Webserver in den Parser geschickt, dort ausgewertet, an die Server-Module weiter geleitet, wieder interpretiert und dann endlich verarbeitet. Der Webserver ist ausserdem so konfiguriert, dass er nur eine limitierte Anzahl an Instanzen zulässt.

Und ein wesentlicher Vorteil:
Die CLI/CGI hat eine eigene php.ini, in der man Umgebungsvariablen nabhängig von denen des Webservers einstellen kann.
__________________
Gruss sys ;-)
Ich möchte wie mein Grossvater sterben, lächelnd und schlafend, nicht schreiend und weinend, wie sein Beifahrer.
Mit Zitat antworten
Antwort

Stichworte
500, error500, laufzeit, script, server


Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)
 
Themen-Optionen
Ansicht

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind aus.
[IMG] Code ist aus.
HTML-Code ist aus.

Gehe zu

Ähnliche Themen
Thema Autor Forum Antworten Letzter Beitrag
Aufruf der Domain nicht möglich - Internal Server Error nosmoke2 Apache HTTP-Server 1 04.10.2013 16:33:12
Brauche Hilfe Partygirl MySQLi/PDO/(MySQL) 10 01.03.2011 09:18:11
$_SESSIO[] Problem + Server McB_sser PHP für Fortgeschrittene und Experten 3 29.04.2008 22:15:40
Download via Speicherbox von extermen Server -wie? SirRobin PHP für Fortgeschrittene und Experten 3 28.01.2006 15:30:48
3 verschiedene SQL-DB-Systeme auf 1 Server Anyt MySQLi/PDO/(MySQL) 2 08.01.2005 10:59:43


Alle Zeitangaben in WEZ +2. Es ist jetzt 20:22:17 Uhr.


Powered by vBulletin® Version 3.8.3 (Deutsch)
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.


© 2001-2024 E-Mail SELFPHP OHG, info@selfphp.deImpressumKontakt