UPDATE verfälscht SELECT?

[Domi]

Hallo Zusammen,

hab nen PHP-Skript auf der Konsole laufen, welches auch gerne mal über Tage hinweg läuft, da es jede Menge Einträge gibt und er für jeden Eintrag ein Skript laufen lass muss, welches nochmals ca. 1 Sekunde dauert.

PHP-Code:


$sql = 'SELECT * FROM table ORDER BY value';

// ...

while ($row = mysql_fetch_assoc($result)) {

  // ...

  $sql = 'UPDATE table SET value = ' . $random . ' WHERE id = ' . $row['id']; 


jetzt meine Frage: Kann es sein durch das sortieren an Hand eines Feldes welches auch immer wieder upgedatet wird irgendwas zerwürfelt wird und somit manche Einträge doppelt rauskommen? Ich war eigtl. bisher überzeugt davon, dass er einmal beim SELECT auswählt welche Datensätze er will und das UPDATE ihn dabei nicht stört.

-> bin weiter auf der Suche nach dem Fehler und möchte dieses Phänomen komplett als Fehler ausschließen.

Gruß
Domi

[KTB]

Verstehe ich das richtig, während das UPDATE läuft, holst du Daten über das SELECT raus?

[Der-Dennis]

Hey Domi,

PHP-Code:

$sql = 'SELECT * FROM table ORDER BY value';

while ($row = mysql_fetch_assoc($result)) {
    $sql = 'UPDATE table SET value = ' . $random; 


verstehe ich das richtig, dass Du X-MAL (also so viele Datensätze wie die Tabelle aus dem Select hat) ALLEN Datensätzen einen Zufallswert zuweisen willst?

Das macht egal wie man's dreht und wendet überhaupt keinen Sinn.

Gruß, Dennis

[cortex]

vielleicht findest du hier was zu deinem problem: wie MySQL Tabellen sperrt. da steht auch einiges zur gleichzeitigen verwendung von SELECT und INSERT.

cx

[Domi]

Zitat von Der-Dennis

Hey Domi,



verstehe ich das richtig, dass Du X-MAL (also so viele Datensätze wie die Tabelle aus dem Select hat) ALLEN Datensätzen einen Zufallswert zuweisen willst?

Das macht egal wie man's dreht und wendet überhaupt keinen Sinn.

Gruß, Dennis

Hi,

nein, möchte ich natürlich nicht. Wollte das Beispiel nur so einfach wie möglich halten. Im endeffekt werden aus der Datenbank N URLs geholt, diese Seiten werden relativ aufwendig analysiert und wieder in die DB geschrieben per update.

Zitat von cortex

vielleicht findest du hier was zu deinem problem: wie MySQL Tabellen sperrt. da steht auch einiges zur gleichzeitigen verwendung von SELECT und INSERT.

cx

Danke für den Link. Die Frage die ich ja jetzt erstmal habe, ob es wirklich so ist, dass es dort überhaupt ein Problem gibt? Wenn ich die LOCKs einrichte, dann ist das ja hauptsächlich, dass andere Abfragen/updates usw nicht stören, aber hier macht es ja genau das Script selber in dem ich jeden Datensatz update, den ich vorher selecte.

Bin also noch nicht wirklich schlauer =)

Zitat von KTB

Verstehe ich das richtig, während das UPDATE läuft, holst du Daten über das SELECT raus?

nein, während des SELECTs mach ich immer wieder UPDATEs

[Der-Dennis]

Zitat von Domi

nein, möchte ich natürlich nicht. Wollte das Beispiel nur so einfach wie möglich halten. Im endeffekt werden aus der Datenbank N URLs geholt, diese Seiten werden relativ aufwendig analysiert und wieder in die DB geschrieben per update.

Dann bin ich ja beruhigt :-)

Aber ehrlich gesagt kann ich so mit dem Beispiel nicht wirklich was anfangen. Ich habe beispielsweise einen Cronjob, der ähnliches macht. Also per Select alle Datensätze aus einer Tabelle holt und die dann ändert. Das klappt ohne Probleme.

Wenn ich allerdings Dein Beispiel von vorher sehe, dass das Update alle Datensätze ändert, kann ich mir schon vorstellen, dass das Probleme geben könnte. Du würdest so ja auch Datensätze ändern, die noch nicht vom Select geholt wurden.

Ein konkreteres Beispiel wäre daher sicher angebracht.

Gruß, Dennis

[Domi]

Zitat von Der-Dennis

Du würdest so ja auch Datensätze ändern, die noch nicht vom Select geholt wurden.

das is eben genau das Problem, ich sortiere nach einem Feld, im Beispiel `value` welches ich aber per UPDATE wieder ändere (Werte ergeben sich aus Analyse, fürs Beispiel könnte man aber auch $random nehmen). Dahers stellt sich mir die Frage, ob das nicht vorher irgendwie schon bestimmt wird welche Beiträge wann kommen und ob das UPDATE wirklich Einfluss drauf hat?

Datensätze sind es 1 - 10.000 je nach dem wie viele Unterseiten die Webseite hat, die Analyse kann aber schon recht langsam sein, manchmal bringen 4 in der Sekunde durch, manchmal nur einen, kommt halt immer drauf an. Script läuft als Shellscript. Daher dauert das ganze auch recht lang.

[jabubo]

Mal zu deinem SELECT ein Hinweis, wie du dir die Neusortierung sparen kannst:

SELECT * FROM table ORDER BY rand();

Dieser Select sortiert on the fly die Ergebnisse zufällig. Damit ist das Update überflüssig.

So wie ich dein Problem lese, hast du eventuell einen Fehler in der Datenbankstruktur. Arbeitest du beim Aktualisieren der Ergebnisse, mit der zufälligen (value) oder mit einer eindeutigen ID?
Sofern du deine Spalte nutzt in der die Zufallswerte stehen ist klar, dass ein späteres Update nicht mehr auf den richtigen Datensatz trifft. Immerhin ist dieser ja durch ein erneutes aufrufen von UPDATE verändert worden.

[Domi]

Zitat von jabubo

Mal zu deinem SELECT ein Hinweis, wie du dir die Neusortierung sparen kannst:

SELECT * FROM table ORDER BY rand();

Dieser Select sortiert on the fly die Ergebnisse zufällig. Damit ist das Update überflüssig.

So wie ich dein Problem lese, hast du eventuell einen Fehler in der Datenbankstruktur. Arbeitest du beim Aktualisieren der Ergebnisse, mit der zufälligen (value) oder mit einer eindeutigen ID?
Sofern du deine Spalte nutzt in der die Zufallswerte stehen ist klar, dass ein späteres Update nicht mehr auf den richtigen Datensatz trifft. Immerhin ist dieser ja durch ein erneutes aufrufen von UPDATE verändert worden.

Hi,

ich will aber nicht per Random sortieren, auch hat das ganze nichts mit Zufallswerten zu tun. Die analyse liefert einen Fehlerwert der im Idelfall 0 ist. Beim SELECT soritere ich eben nach den Fehlern absteigend, so dass die Seiten mit den meißten Fehlern immer zuerst neu analysiert werden. Nun gibt es einen neuen Fehlerwert, der eben anders sein kann wie vorher, da es unvorhersehbar ist wie der ist, habe ich diesen im Beispiel oben mit $random beschrieben. Hoffe jetzt ist es verständlicher? Wie man nach Random sortiert war mir auch klar, mache das ganze ja nicht schon umsonst so lange.. :P

[Der-Dennis]

Hey Domi,

jetzt wird's mir klarer, aber noch nicht ganz klar :-)


Heißt das, dass der Fehlerwert einer Seite von den Fehlerwerten der anderen Seiten abhängt? Wenn ja, wirst Du meiner Meinung nach nicht drum herum kommen, eine Seite in welcher Form auch immer abzuarbeiten, dann alle Updates durchzuführen und wieder von vorne zu beginnen. Sonst würde es wirklich Probleme mit SELECT in Kombination mit UPDATE geben.

Wenn die Fehlerwerte nicht voneinander abhängen sollte es eigentlich funktionieren. Du arbeitest die Fehler einfach der Reihe nach ab. Dann müsstest Du, wenn ich Dich richtig verstehe, allerdings hinnehmen, dass nicht gezwungenermaßen immer die Seite mit dem größten Fehler zuerst abgearbeitet wird. Wenn Du das möchtest, geht das meiner Meinung nach auch nur mit einem "Neustart".

Gruß, Dennis