Cronjob Aufruf - meldet "success" - aber Fehler im Log (ImageProcessing)

Ich stosse auf immer mehr Problem beim ImageProcessing...

Meine Version: 3.14.3.0
In den Zeitgesteuerten Aufgaben habe ich festgelegt:
- Export Sitemap XML (aktiv)
- Dateirechte überprüfen (aktiv)
- Image Processing (aktiv)
aktiv √
Nur fehlende Bilder erzeugen √
Ausführen nachdem Bild-Optionen geändert wurden √
Ausführungsintervall (24 Stunden)

Dazu gibt es dann ja die Cronjob URL, in etwa so:
https://www.realrecyclers.com/shop.php?do=Cronjobs/Run&token=xyz

Der tägliche Ablauf bei ESTUGO ergibt einen Eintrag im Log, der scheint keine Bilder "angefasst" zu haben, kann sein, da ich gestern noch einen manuellen Lauf des ImageProcessing im Shop gestartet habe.

Starte ich den Cronjob bei ESTUGO manuell, meldet er im Log einen Fehler bei einem Bild. Beim nächsten Aufruf bei einem etwa 50 Bilder danach liegenden Bild. Dann wieder etwa 50 weiter. Die Bilder sind aber da, sind auch in Ordnung, wurden beim manuellen ImageProcessing aus dem Shop heraus problemlos generiert.

Wenn ich den Cronjob einfach per URL aufrufe, also "https://www.realrecyclers.com/shop.php?do=Cronjobs/Run&token=xyz", meldet der Browser {"success":true}.

Mein Log sieht heute nach einigen Aufrufen des Cronjobs so aus:

Code:

[2021-04-29 00:00:25] ImageProcessingCronjob.INFO: Image Processing {"total image count":4017,"last image number":1} []
[2021-04-29 11:16:36] ImageProcessingCronjob.ERROR: Unprocessable images ["1-tb-1000-gb-hdd-festplatte-3-5-zoll-s-ata-imac-2011--7200-12--original-apple--1-LA0139.jpg"] []
[2021-04-29 11:16:53] ImageProcessingCronjob.INFO: Image Processing {"total image count":4018,"last image number":43} []
[2021-04-29 11:23:49] ImageProcessingCronjob.ERROR: Unprocessable images ["2x1-gb-ram-so-dimm-pc2-5300s-macbook-pro-macmini-imac-pc-667-mhz--2-EL0883.jpg"] []
[2021-04-29 11:24:09] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":87} []
[2021-04-29 11:26:25] ImageProcessingCronjob.ERROR: Unprocessable images ["airport-bluetooth-modul--661-4465--661-4970--macbook-air-a1237-a1304-wireless--1-EL0500.jpg"] []
[2021-04-29 11:26:45] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":139} []
[2021-04-29 11:35:56] ImageProcessingCronjob.ERROR: Unprocessable images ["akku--a1331--661-5585--macbook-unibody-weiss-a1342-13-zoll-original--1-EL1031.jpg"] []
[2021-04-29 11:36:15] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":185} []
[2021-04-29 17:51:00] ImageProcessingCronjob.ERROR: Unprocessable images ["akku-schrauben-triwing-macbook-13-zoll-a1342-15-zoll-a1286-unibody--1-SC0642.jpg"] []
[2021-04-29 17:51:20] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":239} []
[2021-04-29 17:53:13] ImageProcessingCronjob.ERROR: Unprocessable images ["anschluss-abdeckung--922-6172--ibook-14-zoll-a1055-a1134-original--3-GE2718.jpg"] []
[2021-04-29 17:53:33] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":294} []

Warum???

Zum einen: Die monierten Bilder sind normalgroß (etwa 200 kB), sind normal im Shop aufrufbar, sind in keinster Weise auffällig und werden beim manuellen Start des ImageProcessing über den Shop normale verarbeitet.

Ich suche einfach krampfhaft nach einer Möglichkeit, das ImageProcessing schnell und einfach bei Bedarf auszulösen. API Aufruf macht nix, also rein gar nix, ausser einer Success-Medlung - das ImageProcessing wird damit aber nicht getriggert.

 

Hallo Till!
Wie oben geschrieben: Aktiv: Ja.

- Image Processing (aktiv)
--- aktiv √
--- Nur fehlende Bilder erzeugen √
--- Ausführen nachdem Bild-Optionen geändert wurden √
--- Ausführungsintervall (24 Stunden)

Kann/soll/darf man den Cronjob überhaupt per direkter URL im Browser starten?
Wenn ich: https://www.realrecyclers.com/shop.php?do=Cronjobs/Run&token=xyz im Browser aufrufe (natürlich mit korrektem Token) kommt nach ca. 20 Sekunden {"success":true}.
Und dann habe ich eine neue Fehlermeldung im LOG.
Das ist dann ja völlig unabhängig von ESTUGO.

Gibt es im Shop irgendwelche Timeouts etc. die man für die Ausführung einstellen kann?
Soll ich mal ein Ticket aufmachen?

 

Wird irgendwie nix...

Meine Einstellungen sind so:




Jetzt läuft doch aber der Cronjob ständig, oder? Nicht nur wenn ich ihn aufrufe?

Das LOG füllt sich jetzt langsam:

Code:

[2021-04-29 00:00:25] ImageProcessingCronjob.INFO: Image Processing {"total image count":4017,"last image number":1} []
[2021-04-29 11:16:36] ImageProcessingCronjob.ERROR: Unprocessable images ["1-tb-1000-gb-hdd-festplatte-3-5-zoll-s-ata-imac-2011--7200-12--original-apple--1-LA0139.jpg"] []
[2021-04-29 11:16:53] ImageProcessingCronjob.INFO: Image Processing {"total image count":4018,"last image number":43} []
[2021-04-29 11:23:49] ImageProcessingCronjob.ERROR: Unprocessable images ["2x1-gb-ram-so-dimm-pc2-5300s-macbook-pro-macmini-imac-pc-667-mhz--2-EL0883.jpg"] []
[2021-04-29 11:24:09] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":87} []
[2021-04-29 11:26:25] ImageProcessingCronjob.ERROR: Unprocessable images ["airport-bluetooth-modul--661-4465--661-4970--macbook-air-a1237-a1304-wireless--1-EL0500.jpg"] []
[2021-04-29 11:26:45] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":139} []
[2021-04-29 11:35:56] ImageProcessingCronjob.ERROR: Unprocessable images ["akku--a1331--661-5585--macbook-unibody-weiss-a1342-13-zoll-original--1-EL1031.jpg"] []
[2021-04-29 11:36:15] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":185} []
[2021-04-29 17:51:00] ImageProcessingCronjob.ERROR: Unprocessable images ["akku-schrauben-triwing-macbook-13-zoll-a1342-15-zoll-a1286-unibody--1-SC0642.jpg"] []
[2021-04-29 17:51:20] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":239} []
[2021-04-29 17:53:13] ImageProcessingCronjob.ERROR: Unprocessable images ["anschluss-abdeckung--922-6172--ibook-14-zoll-a1055-a1134-original--3-GE2718.jpg"] []
[2021-04-29 17:53:33] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":294} []
[2021-04-29 18:36:39] ImageProcessingCronjob.ERROR: Unprocessable images ["audio-out-usb-dvi-port-board--820-2308-a--922-8324--macbook-air-a1237--1-EL1272.jpg"] []
[2021-04-29 18:36:59] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":351} []
[2021-04-29 18:37:02] ImageProcessingCronjob.ERROR: Unprocessable images ["battery-screws-apple-macbook-air-11-inch-a1370-a1465-original--2-SC0148.jpg"] []
[2021-04-29 18:37:22] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":408} []
[2021-04-29 18:38:01] ImageProcessingCronjob.ERROR: Unprocessable images ["bluetooth-board--922-7288--820-1829-a--922-7366--a1114--macbook-powerbook-original--2-EL0791.jpg"] []
[2021-04-29 18:38:21] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":466} []
[2021-04-29 18:39:02] ImageProcessingCronjob.ERROR: Unprocessable images ["bluetooth-set--922-7291--922-7315--a1114--922-7602--mac-mini-a1176-original--1-EL0703.jpg"] []
[2021-04-29 18:39:22] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":520} []
[2021-04-29 18:40:01] ImageProcessingCronjob.ERROR: Unprocessable images ["bottom-door-battery-access-latch-lever-macbook-13-inch-a1278-2008--2-GE1453.jpg"] []
[2021-04-29 18:40:21] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":571} []
[2021-04-29 18:41:02] ImageProcessingCronjob.ERROR: Unprocessable images ["center-bracket--806-1489--macbook-pro-13-inch-a1278-2011-2012-original--2-GE2398.jpg"] []
[2021-04-29 18:41:22] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":623} []
[2021-04-29 18:42:02] ImageProcessingCronjob.ERROR: Unprocessable images ["cpu-heatsink--730-0584-a--with-sensor-imac-27-inch-a1312-2010-original--2-GE2709.jpg"] []
[2021-04-29 18:42:21] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":678} []

 

Hallo Till!

Ich habe das Ganze gestern einfach mal ruhen lassen, um zu sehen, was um Mitternacht beim automatischen Aufruf des Cronjobs passiert...

Jetzt habe ich im Log:
• Viertelstündlich den Zugriffsrechtecheck (Ausschnitt von heute) Ist das normal wenn diese zeitgesteuerte Aufgabe aktiv ist?

Code:

[2021-04-30 13:30:02] CheckPermissionsCronjob.INFO: Permissions check [] []
[2021-04-30 13:45:02] CheckPermissionsCronjob.INFO: Permissions check [] []
[2021-04-30 14:00:03] CheckPermissionsCronjob.INFO: Permissions check [] []
[2021-04-30 14:15:03] CheckPermissionsCronjob.INFO: Permissions check [] []
[2021-04-30 14:30:03] CheckPermissionsCronjob.INFO: Permissions check [] []
[2021-04-30 14:45:02] CheckPermissionsCronjob.INFO: Permissions check [] []
[2021-04-30 15:00:04] CheckPermissionsCronjob.INFO: Permissions check [] []
[2021-04-30 15:15:02] CheckPermissionsCronjob.INFO: Permissions check [] []
[2021-04-30 15:30:03] CheckPermissionsCronjob.INFO: Permissions check [] []
[2021-04-30 15:45:03] CheckPermissionsCronjob.INFO: Permissions check [] []

• Einmal den CreateSitemapCronjob.INFO (gut, das passt)

• Und ab 00:00 Uhr minütlich den ImageProcessingCronjob

Code:

[2021-04-30 00:00:23] ImageProcessingCronjob.ERROR: Unprocessable images ["00 type_E_top kopie.jpg"] []
[2021-04-30 00:00:24] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":1} []
[2021-04-30 00:01:05] ImageProcessingCronjob.ERROR: Unprocessable images ["00 type_E_top.jpg"] []
[2021-04-30 00:01:21] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":35} []
[2021-04-30 00:02:02] ImageProcessingCronjob.ERROR: Unprocessable images ["2-x-4-gb-ram-so-dimm-pc3-10660-macbook-pro-macmini-imac-pc-1333mhz--2-EL0824.jpg"] []
[2021-04-30 00:02:22] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":76} []
[2021-04-30 00:03:02] ImageProcessingCronjob.ERROR: Unprocessable images ["airport-bluetooth-halter--076-1381--806-1483--macbook-pro-13-zoll-a1278-2011-2012--1-KA0666.jpg"] []
[2021-04-30 00:03:21] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":119} []
[2021-04-30 00:04:02] ImageProcessingCronjob.ERROR: Unprocessable images ["airport-wlan-bluetooth-board-bt-2-1--607-6760--661-6053--661-5687--607-6759--bcm943224pciebt2--macbook-air-13-inch-11-inch-a1369-a1370-a1465-a1466--2-EL0698.jpg"] []
[2021-04-30 00:04:22] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":170} []
[2021-04-30 00:05:03] ImageProcessingCronjob.ERROR: Unprocessable images ["akku-indicator--922-8921--821-0738-a--820-2478-a--board-macbook-pro-17-zoll-a1297-2009--1-EL0959.jpg"] []
[2021-04-30 00:05:22] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":223} []
[2021-04-30 00:06:02] ImageProcessingCronjob.ERROR: Unprocessable images ["ambient-temp-sensor-mit-kabel--593-0854--922-8826--593-0865--imac-20-zoll-a1224-24-zoll-a1225-2009-original--1-SE0102.jpg"] []
[2021-04-30 00:06:22] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":279} []
[2021-04-30 00:07:02] ImageProcessingCronjob.ERROR: Unprocessable images ["audio-cable--821-0576-a--821-0713-a--922-8380--922-8773--macbook-air-a1237-a1304--2-KA1265.jpg"] []
[2021-04-30 00:07:21] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":337} []
[2021-04-30 00:08:02] ImageProcessingCronjob.ERROR: Unprocessable images ["battery-connector--922-8275--922-8276--922-8244--sleep-sensor-macbook-13-inch-a1181-original--2-KA0548.jpg"] []
[2021-04-30 00:08:22] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":395} []
...
...
...
[2021-04-30 01:01:03] ImageProcessingCronjob.ERROR: Unprocessable images ["superdrive--uj-825-c--825ca--661-3272--678-0484b--825ca-dvd-brenner-apple-imac-g5-powerbook-ibook-original--1-LA0257.jpg"] []
[2021-04-30 01:01:23] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":3439} []
[2021-04-30 01:02:01] ImageProcessingCronjob.ERROR: Unprocessable images ["superdrive-uj-85j-c-apple-dvd-brenner-macbook-pro-imac-original--1-LA0274.jpg"] []
[2021-04-30 01:02:21] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":3495} []
[2021-04-30 01:03:02] ImageProcessingCronjob.ERROR: Unprocessable images ["tastatur-topcase--661-5871--613-8959-c--schwedisch-macbook-pro-13-zoll-a1278-2011-2012-original--1-GE0286.jpg"] []
[2021-04-30 01:03:21] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":3555} []
[2021-04-30 01:04:02] ImageProcessingCronjob.ERROR: Unprocessable images ["topcase--069-9392-b--keyboard-swedish-svenska-macbook-air-11-inch-a1465-2013-2014-2015--2-GE0248.jpg"] []
[2021-04-30 01:04:21] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":3609} []
[2021-04-30 01:05:03] ImageProcessingCronjob.ERROR: Unprocessable images ["topcase-leer--805-9440-42--069-3391-c--macbook-pro-17-zoll-a1297-2009-original--1-GE0407.jpg"] []
[2021-04-30 01:05:23] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":3659} []
[2021-04-30 01:06:02] ImageProcessingCronjob.ERROR: Unprocessable images ["topcase-tastatur-schwedisch--613-00564-a--macbook-pro-13-zoll-retina-a1502-2015--1-GE0250.jpg"] []
[2021-04-30 01:06:21] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":3713} []
[2021-04-30 01:07:02] ImageProcessingCronjob.ERROR: Unprocessable images ["trackpad-cable--821-0648-a--macbook-pro-15-inch-a1286-2008-early-2009-original--2-KA0913.jpg"] []
[2021-04-30 01:07:22] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":3770} []
[2021-04-30 01:08:02] ImageProcessingCronjob.ERROR: Unprocessable images ["trackpad-tastatur-kabel--821-0464-a--632-0450-a--apple-macbook-pro-a1211--1-KA0727.jpg"] []
[2021-04-30 01:08:21] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":3820} []
[2021-04-30 01:09:02] ImageProcessingCronjob.ERROR: Unprocessable images ["v-sync-lcd-inverter-cable--593-1049-a--922-9161--imac-27-inch-a1312-2009-original--2-KA0841.jpg"] []
[2021-04-30 01:09:22] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":3877} []
[2021-04-30 01:10:02] ImageProcessingCronjob.ERROR: Unprocessable images ["webcam-isight--820-2076-a--820-2125-a--macbook-pro-15-zoll-a1211-17-zoll-a1212--1-EL1124.jpg"] []
[2021-04-30 01:10:22] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":3931} []
[2021-04-30 01:11:01] ImageProcessingCronjob.ERROR: Unprocessable images ["webcam-mikrofon-kabel-imac--593-1554--923-0530--27-zoll-a1419-2012-original--1-KA0200.jpg"] []
[2021-04-30 01:11:21] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":3990} []
[2021-04-30 01:12:02] ImageProcessingCronjob.ERROR: Unprocessable images ["wlan-antenne--818-2020--macbook-pro-15-zoll-a1286-early-late-2011--3-GE1472.jpg"] []
[2021-04-30 01:12:12] ImageProcessingCronjob.INFO: Image Processing {"total image count":4019,"last image number":4019} []

Soll das so sein??? Ich habe in der Mitte mal einen ganzen Haufen weggelassen, sonst hat mein Beitrag zu viele Zeichen....

Der ImageProcessingCronjob beginnt mit einem Error, macht dann immer etwa 21 Sekunden was, bearbeitet dabei im Schnitt 45 Bilder, hört auf, beginnt eine Minute später, meldet einen Fehler, macht weiter für 21 Sekunden, endet... und so weiter, bis er alle 4019 Bilder bearbeitet hat.

Alle monierte Bilder liegen korrekt vor, unterscheiden sich in nichts technisch von allen anderen Bildern, alle wurden vorher schon mal mit dem manuellen (problemlos durchlaufenden) Image Prozessing bearbeitet (und werden seit langem auch im Shop genutzt), sind auch jetzt problemlos im Shop nutzbar.

Meine Fragen dazu:

• Warum bearbeitet der ImageProcessingCronjob alle Bilder noch mal, obwohl doch in den Einstellungen (siehe Post #4) festgelegt ist, dass vorhandene Bilder übersprungen werden sollen?

• Ist es normal, dass diese Fehler auftreten und kann das zu Problemen führen?

• Wie beeinflusst solch ein minütlicher Cronjob die Shop-Performance?

 

Wenn ich das Log richtig interpretiere, dann wird da nur der Verlauf aufgelistet. Das Processing kann nicht komplett durchlaufen, merkt sich das letzte Bild und starten dann beim Nächsten, bis es wieder unterbrochen wird.
Das passiert so lange, bis alle Bilder überprüft / aktualisiert wurden.

Wenn Du Dir die Nummern ansiehst, dann ist das etwa alle 50 - 60 Bilder, bis es abbricht.

 

Ja, sieht so aus, gefällt mir so aber nicht... Seltsam ist ja eben, dass jedes Bild frisch konvertiert wird, obwohl ausdrücklich ausgewählt ist, dass nur fehlende Bilder erzeugt werden sollen. Das heisst, jede Nacht werden alle bisherigen 4019 Bilder angefasst und neu konvertiert. Das läuft dann jede Nacht 1 1/4 Stunden.
In nächster Zeit kommen knapp 6000 Bilder dazu. Dann braucht der Cronjob 3 Stunden wenn er immer alle Bilder anfasst. Gefällt mir einfach nicht so...

Ich werde das wohl anders lösen, konvertiere mir die Bilder einfach selbst und lade die in die entsprechenden Verzeichnisse. Mit ein wenig Mühe kann ich das komplett automatisieren. Dann reicht mir in der WaWi ein Klick, und die neuen Bilder eines Bestandsartikels sind online. Ich hatte halt die Hoffnung, das mit einem Cronjob vom Shop erledigen zu können, aber wenn das noch Haken und Ösen hat, muss ich halt selber ran...