Gruppen
- Top Gruppen
- Betriebsysteme
- Windows classik
- Linux
- BS-Sonstige
- Software
- Datenbanken
- Bildbearbeitung
- Audio/mp3/Video
- Security/Viren
- SW-Sonstige
- Hardware
- Mainboard/CPU
- Grafikkarten
- Peripherie
- Laptop/Notebook
- HW-Sonstiges
- Netzwerk
- Telefon,ISDN,Modem
- W-Lan
- NW-Sonstiges
- Programmierung
- PHP,ASP,Perl...
- Java,C++...
- Webseiten/HTML
- Sonstiges
- PC-Sonstiges
- Plauderecke
- SN Intern
- Test
/ Forum / Skripte(PHP,ASP,Perl...)
Skripte(PHP,ASP,Perl...)
Fragevon dwi vom 16.06.2022, 17:41 Options
Update von ca 20.000 datensätze
Hallo,
ich steh vor einem großen Problem: Ich habe eine CSV-Datei mit ca. 20.000 Zeilen. Eine Spalte einer Zeile beinhaltet immer eine E-Mail-Adresse.
In der Datenbank hab ich ebenso ein Feld mit der E-Mail-Adresse, hier liegt auch ein Index drauf.
Mein Vorhaben: Den Wert eines bestimmten Feldes update für den Datensatz mit der E-Mail, die in der CSV-Datei vorkommt. Beispiel:
in der CSV-Datei ist die E-Mail test@test.de vorhanden. In der Datenbank muss ich nun für diese E-Mail den Wert setzen. Der Wert den ich setze, ist immer der gleiche. Nur wie kann ich das am performantesten machen?
Möglichkeit 1 bricht bei mir immer ab mit einem Browser(!)-Fehler:
ich habe alle Emails der CSV-Datei in ein Array gelesen und geh in einer Schleife über alle Datensätze in der DB, die in Frage kommen für ein Update (sind aber leider immer noch ca 91.000).
mit array_key_exists prüfe ich, ob die Email im array vorhanden ist (email ist schlüssel im array) und führe dann das update durch. Hierfür nutze ich auch schon prepared Statements.
WIe gesagt, dauert das aber zu lange und bricht irgendwann ab. Momentan kann ich grad mal 100 Datensätze updaten.
Das Problem ist nämlich. dass ich jede E-Mail nur einmal updaten darf. Beispiel: die E-Mail test@test.de ist 5x in der Datenbank vorhanden, der erste Eintrag darf nur ein Update erhalten.
Wie kann ich das am geschicktesten lösen?
Ich hatte gedacht, ich packe alle Emails in einen String, kommagetrennt, den ich beim Update dann in der Where-Klausel mitgeben über "IN (emails...)". Aber 20.000 emails im where geht nicht gut oder? außerdem werden dann alle datensätze geupdatet...
Ich bin ratlos :-(
ich steh vor einem großen Problem: Ich habe eine CSV-Datei mit ca. 20.000 Zeilen. Eine Spalte einer Zeile beinhaltet immer eine E-Mail-Adresse.
In der Datenbank hab ich ebenso ein Feld mit der E-Mail-Adresse, hier liegt auch ein Index drauf.
Mein Vorhaben: Den Wert eines bestimmten Feldes update für den Datensatz mit der E-Mail, die in der CSV-Datei vorkommt. Beispiel:
in der CSV-Datei ist die E-Mail test@test.de vorhanden. In der Datenbank muss ich nun für diese E-Mail den Wert setzen. Der Wert den ich setze, ist immer der gleiche. Nur wie kann ich das am performantesten machen?
Möglichkeit 1 bricht bei mir immer ab mit einem Browser(!)-Fehler:
ich habe alle Emails der CSV-Datei in ein Array gelesen und geh in einer Schleife über alle Datensätze in der DB, die in Frage kommen für ein Update (sind aber leider immer noch ca 91.000).
mit array_key_exists prüfe ich, ob die Email im array vorhanden ist (email ist schlüssel im array) und führe dann das update durch. Hierfür nutze ich auch schon prepared Statements.
WIe gesagt, dauert das aber zu lange und bricht irgendwann ab. Momentan kann ich grad mal 100 Datensätze updaten.
Das Problem ist nämlich. dass ich jede E-Mail nur einmal updaten darf. Beispiel: die E-Mail test@test.de ist 5x in der Datenbank vorhanden, der erste Eintrag darf nur ein Update erhalten.
Wie kann ich das am geschicktesten lösen?
Ich hatte gedacht, ich packe alle Emails in einen String, kommagetrennt, den ich beim Update dann in der Where-Klausel mitgeben über "IN (emails...)". Aber 20.000 emails im where geht nicht gut oder? außerdem werden dann alle datensätze geupdatet...
Ich bin ratlos :-(
Antwort 1 von Constan vom 16.06.2022, 23:36 Options
Gerade wenn ich verschiedene Datenquellen habe und diese Kreuz und Quer rumschiebe nutze ich immer "Microsoft Access" dort kannst du deine geforderten Wünsche alle Problemlos umsetzen. Du holst dir einfach die CSV und die Datenbank als verküpfte Tabelle rein und legst eine Abfrage an mit deinen Bedinungen, fertig.
Viel Spaß, hoffe es hat geholfen.
Viel Spaß, hoffe es hat geholfen.
Antwort 2 von son_quatsch vom 17.06.2022, 07:22 Options
Zitat:
Beispiel: die E-Mail test@test.de ist 5x in der Datenbank vorhanden, der erste Eintrag darf nur ein Update erhalten.
Und welche davon ist die "erste"? Ohne weiteren Index oder ohne weiteres Sortierkriterium ist überhaupt nicht vorhersagbar, welche der E-Mails als "erste" gilt.Beispiel: die E-Mail test@test.de ist 5x in der Datenbank vorhanden, der erste Eintrag darf nur ein Update erhalten.
Zitat:
Möglichkeit 1 bricht bei mir immer ab mit einem Browser(!)-Fehler
Nun, wenn wir z.B. von PHP sprechen, werden mögliche Fehler immer im Browser ausgegeben...Möglichkeit 1 bricht bei mir immer ab mit einem Browser(!)-Fehler
Am besten fügst du hier mal dein bisheriges Skript ein - und benutz den Code-Button.
Antwort 3 von dwi vom 17.06.2022, 14:07 Options
Hallo,
danke für die Antworten. Allerdings hab ich das Problem schon gelöst...gott sei dank :-)
Trotzdem will ich noch kurz die Fragen beantworten:
Um zu prüfen, ob ich die "erste" Email grad in der Schleife habe, habe ich mir das Ergebnis per ID aufsteigend sortieren lassen. Das heißt, die erste Email bearbeite ich auch als erstes. Jede Email, die ich schon bearbeitet hab, packe ich in ein Array und prüfe beim nächsten Durchgang, ob die Email schon vorhanden ist oder nicht. Das mit dem Sortieren hätte ich vielleicht noch erwähnen sollen...
Der Fehler war komischerweise kein typischer PHP-Fehler, sondern vom Server selbst. Es war folgender:
gelöst hab ich das Problem wie folgt: ich hab mir angeschaut, was bei dem Script am längste gedauert hat, und das war die SQL-Abfrage, mit der ich jeden Datensatz gegenprüfe. Dabei ist mir aufgefallen, dass komplette Table-Scans von der DB durchgeführt werden mussten. Also hab ich einen Index auf die entsprechende Spalte gesetzt - und siehe da, das Script lief in knapp 5-10 Sekunden durch :-)
danke für die Antworten. Allerdings hab ich das Problem schon gelöst...gott sei dank :-)
Trotzdem will ich noch kurz die Fragen beantworten:
Um zu prüfen, ob ich die "erste" Email grad in der Schleife habe, habe ich mir das Ergebnis per ID aufsteigend sortieren lassen. Das heißt, die erste Email bearbeite ich auch als erstes. Jede Email, die ich schon bearbeitet hab, packe ich in ein Array und prüfe beim nächsten Durchgang, ob die Email schon vorhanden ist oder nicht. Das mit dem Sortieren hätte ich vielleicht noch erwähnen sollen...
Der Fehler war komischerweise kein typischer PHP-Fehler, sondern vom Server selbst. Es war folgender:
Serverfehler!
Die Anfrage kann nicht beantwortet werden, da im Server ein interner Fehler aufgetreten ist.
Fehlermeldung:
Premature end of script headers: php-fcgi-starter
Sofern Sie dies für eine Fehlfunktion des Servers halten, informieren Sie bitte den Webmaster hierüber.
Error 500
gelöst hab ich das Problem wie folgt: ich hab mir angeschaut, was bei dem Script am längste gedauert hat, und das war die SQL-Abfrage, mit der ich jeden Datensatz gegenprüfe. Dabei ist mir aufgefallen, dass komplette Table-Scans von der DB durchgeführt werden mussten. Also hab ich einen Index auf die entsprechende Spalte gesetzt - und siehe da, das Script lief in knapp 5-10 Sekunden durch :-)
Ähnliche Themen
Zeige Datensätze 0 - 7 (8 insgesamt)
Uesch 07.02.2009 - 133 Hits - 2 Antworten
Datensätze nach Ähnlichkeit sortieren
Uesch 19.03.2009 - 489 Hits - 23 Antworten
Mehrere Datensätze nach Checkbox ändern
Poly 13.05.2009 - 195 Hits - 2 Antworten
Datensätze eines bestimmten Alters auswählen
Bonny15 26.05.2009 - 193 Hits - 3 Antworten
Hinweis
Diese Frage ist schon etwas älter, Sie können daher nicht mehr auf sie antworten. Sollte Ihre Frage noch nicht gelöst sein, stellen Sie einfach eine neue Frage im Forum..
Neue Einträge
