Wie lange darf Astrom/Photom dauern?

[Cordiz]

Hallo Thelianer!

Bei einer meiner Aufnahmen dauert die Astrom/Photom mit Scamp nun schon mehr als 6 Stunden (noch nicht beendet). Kann es sein dass sich da irgendetwas festgefahren hat? Die CPU-Auslastung ist weiterhin bei knapp 100% (leicht schwankend).
Ich kann mir aber auch vorstellen dass der ganze Prozess wegen der großen Anzahl von Sternen im Bild einfach sehr lange dauert. Im Ordner "astrom_photom_scamp/headers" erscheint jedoch schon nach wenigen Minuten (innerhalb einer Stunde) eine "fgroups_1.png" die eine korrekte Überlagerung der Subs aufweist. Ist es vorstellbar dass ein darauf folgender Prozess viele viele Stunden mehr Zeit in Anspruch nimmt? Danach folgt ja -glaube ich- noch das Skript create_stats_table.sh und create_absphotom_coadd.sh .

Hier ein paar Daten zu den Aufnahmen:
Objekt NGC 6992/6995 (Hexenhand; Cirrusnebel)
Sternkatalog ca. 14.000 Sterne (Grenze 15 mag)
Prozessor (VM Ware) zwei von vier verfügbaren Kernen der CPU freigegeben
216 Subs (Canon raw RGB); bzw. 648 Subs splitted

Bei meiner letzten Aufnahme der Plejaden hat Scamp bei 181 Subs genau eine Stunde gebraucht. Allerdings waren es dort auch nur etwa 1000-2000 Sterne im Feld. Ich verstehe schon dass darauf folgend der Berechnungsaufwand steigt und dies wahrscheinlich auch nicht linear, sondern eher quadratisch oder ähnlich.

Gibt es dennoch eine Möglichkeit den Prozess zu beschleunigen?
Mischa, es wäre für spätere Versionen von Theli schön wenn man kurze Statusnachrichten über den Fortschritt der Astrom/Photom erhält. Soetwas wie "Schritt xyz abgeschlossen" ... "Starte create_stats_table.sh". Wäre soetwas möglich?


Viele Grüße,
Patrick

[mischa]

Hier ein paar Daten zu den Aufnahmen:
Objekt NGC 6992/6995 (Hexenhand; Cirrusnebel)
Sternkatalog ca. 14.000 Sterne (Grenze 15 mag)
Prozessor (VM Ware) zwei von vier verfügbaren Kernen der CPU freigegeben
216 Subs (Canon raw RGB); bzw. 648 Subs splitted

Bei meiner letzten Aufnahme der Plejaden hat Scamp bei 181 Subs genau eine Stunde gebraucht. Allerdings waren es dort auch nur etwa 1000-2000 Sterne im Feld. Ich verstehe schon dass darauf folgend der Berechnungsaufwand steigt und dies wahrscheinlich auch nicht linear, sondern eher quadratisch oder ähnlich.

Gibt es dennoch eine Möglichkeit den Prozess zu beschleunigen?

Hi Patrick,

ein paar hundert Sterne reichen leicht, sowohl im Referenzkatalog als auch in den Objektkatalogen.

es wäre für spätere Versionen von Theli schön wenn man kurze Statusnachrichten über den Fortschritt der Astrom/Photom erhält. Soetwas wie "Schritt xyz abgeschlossen" ... "Starte create_stats_table.sh". Wäre soetwas möglich?

"Schritt xyz abgeschlossen" geht nicht, weil ich zu faul bin, um den source code von Scamp entsprechend zu hacken. Wenn du mehrere CPUs laufen hast: das matching der Einzelbilder mit dem Referenzkatalog
laeuft parallel, das kannst du an der Auslastung sehen. Alles weitere (Distortion, Photometrie, etc) geht dann ueber einen einzelnen Prozess.
"Starte create stats table" wird doch bereits im gelben "message window" angezeigt

mischa

[Cordiz]

Hallo Mischa,

dake für deine Antwort! =)

ein paar hundert Sterne reichen leicht, sowohl im Referenzkatalog als auch in den Objektkatalogen.

Ah das wirft eine Verständnisfrage auf. Ich habe mal gelesen (und vielleicht missverstanden?) dass Theli für die Referenzsterne nur nicht-ausgebrannte Sterne heranzieht.
Oder verwechsel ich das gerade mit der Farbkalibrierung? (Denn die braucht ja nicht-ausgebrannte... oder täusche ich mich schon wieder? Jetzt habe ich mir selbst ein Bein gestellt und bin ratloser als vorher. )

*edit*
Welches gelbe message window? Gab es das in Version 2.6.2 schon?
(Jetzt kommt gleich die Standpauke ein Update auszuführen. Die Wahrheit ist: Ich trau mich nicht so recht weil ich ziemlich unerfahren mit Linuxsystemen bin. Bleiben alle Einstellungen von Therli erhalten? Einfach drüber installieren oder komplett neu installieren? Geht das per apt-get update?)

Viele Grüße,
Patrick

[mischa]

Hallo Mischa,

dake für deine Antwort! =)

ein paar hundert Sterne reichen leicht, sowohl im Referenzkatalog als auch in den Objektkatalogen.

Ah das wirft eine Verständnisfrage auf. Ich habe mal gelesen (und vielleicht missverstanden?) dass Theli für die Referenzsterne nur nicht-ausgebrannte Sterne heranzieht.
Oder verwechsel ich das gerade mit der Farbkalibrierung? (Denn die braucht ja nicht-ausgebrannte... oder täusche ich mich schon wieder? Jetzt habe ich mir selbst ein Bein gestellt und bin ratloser als vorher. )


Viele Grüße,
Patrick

Hi Patrick,

das kannst du selbst einstellen, z.B. ueber "Maximum FLAG = 0" und "Saturation" unter "create source cat"

mischa

[Cordiz]

Hallo Mischa,

so langsam verzweifle ich. Ich hab mal einen neuen Source Cat erstellt mit 1060 Sternen (Grenzgröße 12 Mag). Hätte durchaus weniger sein können.
Aber wieder das gleiche Problem. Innerhalb einer Stunde ist wieder eine fgroups_1.png im Ordner "astrom_photom_scamp/headers". Alles passt soweit.

Nun rechnet Scamp allerdings schon mehr als 9 Stunden. Da ich mit dem Notebook auf Arbeit musste habe ich erneut abgebrochen.
Beim schließen ist mir in der Linuxkonsole (mit der ich Theli per Konsolenbefehl "theli" öffne) nun folgender Text aufgefallen...

Code: Alles auswählen

du: cannot access `/home/cordon//.theli//tmp/IMG_5480_G_1OFC.anet': No such file or directory
du: cannot access `/home/cordon//.theli//tmp/IMG_5614_R_1OFC_an1.cat': No such file or directory

Ich habe mal in dem Hauptverzeichnis der Datenreduktion unter dem Ordner "cat" nachgeschaut (nicht dem "tmp" der Fehlermeldung): IMG_5480_G_1OFC.anet existiert, IMG_5614_R_1OFC_an1.cat jedoch nicht. Allgemein erscheint mir die Endung "_an1.cat" etwas seltsam. Im Verzeichnis "cat" gibt es solche Dateien nicht.
Die Fehlermeldung ist mir auch schon nach dem Startbeitrag (wo ich noch 14.000 Sterne hatte) aufgefallen, allerdings waren es dort mit hoher Sicherheit zwei andere Dateien. Ich hielt sie nur für unbedeutend weil Scamp weiterhin rechnete bzw. die CPU belastet hat (undzwar nur einen Kern; danke für den Tipp Mischa!).

Wenn das das Problem ist frage ich mich aber zwei Dinge...
Wieso rechnet Scamp fröhlich weiter obwohl die Dateien nicht geöffnet werden können?
Wie kann ich das Problem lösen?

Ich habe bisher noch nie mit so vielen Subs gearbeitet. Vielleicht ist es eine gute Idee die 216 Subs in 2x108 Subs zu teilen und die zwei Reduktionen dann in PS manuell zusammenzufügen. Das wäre aber mehr ein Workaround als eine Lösung, denn genug Festplattenspeicher ist noch vorhanden (60 GB verbleiben).


Viele Grüße,
Patrick

[mischa]

Hi Patrick,

du hast mir bisher nicht gesagt, wie viele Sterne (ca.) in deinen Objektkatalogen drin sind, sondern nur wie viele im Referenzkatalog gefunden werden.
Das kannst du unter cat/ds9cat nachschauen. Die Anzahl der Zeilen laesst sich z.b. bestimmen mit "wc katalogname.reg".
Welche Werte hast du fuer DT und DMIN eingetragen?
Lad mal einen screenshot einer der Aufnahmen hoch.

Ein paar hundert Aufnahmen sind laecherlich wenig, das sollte selbst mit nur 2 CPUs sicherlich keine Stunden dauern.

Die "fehlenden Dateien" sind temporaer, die werden gleich nach ihrer Erzeugung und Gebrauch wieder geloescht. Wenn waehrend dieser Zeit zufaelligerweise der verbleibende Festplattenplatz bestimmt wird, dann kann diese Meldung auftauchen. Ist harmlos.

mischa

[Cordiz]

Hallo Mischa,

mein Fehler! Ich habe vor lauter Blindheit gestern zwar die Parameter von Create Source Cat verändert, es jedoch nicht noch einmal ausgeführt!
Nun habe ich es mal mit den Werten DT=20 und DMIN=10 laufen lassen. Die Ergebnisse lagen nun viel schneller vor! Allerdings zeigten die Plots (Distort Map) nun eine deutlich ovalförmige Distortion, was nicht korrekt ist, da am System nichts verändert wurde und alle vorherigen Aufnahmen dies nicht zeigten. Ich vermute mal dass die Quellen nicht zuverlässig zugeordnet werden konnten, da auch die referror.png ein wirres Muster mit mehreren Auswüchsen/Knubbeln zeigt, anstatt ein annähernd rundes Ergebnis.
Bei einem durchschnittlichen Bild wurden mit den Einstellungen genau 2005 Sources erkannt (Anzahl der Zeilen der ds9 img_xxxx.reg Datei).

Ich wiederhole nun mal das SourceCat mit DT=16 und DMIN=8 und hoffe auf Bessserung.


Hier die Plots des letzten Versuchs mit DT=20 und DMIN=10
So schlecht sahen die Plots noch nie aus, auch wenn fgroups korrekt ist. Wie sagt man? Gut Ding brauch Weile!





Viele Grüße,
Patrick