Astrometrie braucht ewig - Part II

[Cordiz]

Hallo Thelianer,

ich stoße nach einigen Monaten nun wieder auf das Problem, dass die Astrometrie sehr viele Stunden in Anspruch nimmt. Und dabei dachte ich, dass ich den Fehler erkannt und verstanden habe.
Die Situation:
Verwendung von Scamp
Aufnahmeserie von nunmehr 284 Frames RGB, 852 Frames splitted
NGC 6888 (Crescent Nebula)
guter Prozessor (i7) bei dem Theli 4 von 8 Kernen verwenden darf (2 physisch, 2 virtuell)

Pro Frame hat "Create Source Cat" ca. 1000 Sterne gefunden. Dafür wurde ein DT von 48.0 verwendet, DMIN 5.0, sowie ausgebrannte Sterne mit FLAG 8 zugelassen.
Der Referenzkatalog liefert mit einer Tiefe von 11.6mag auch 1100 Sterne.

Die anschließende Astro+Photometry mit Scamp ist jedoch nun das eigentliche Problem. Nach mehr als 5 Stunden liegt noch kein Ergebnis vor. Was ich dabei nicht verstehe ist, dass das Lösen der fgroups (also das Matching der einzelnen Bilder auf den Referenzkatalog) nur knapp 60 Sekunden dauert, was man auch schön an der Prozessorauslastung sieht. Mischa schrieb mir bereits mal, dass das parallelisiert ist, also 100% Auslastung auf allen Kernen. Soweit so gut. Das fgroups.png schaut auch korrekt aus, welches temporär im Verzeichnis "astrom_photom_scamp/headers" gespeichert wird.
Danach folgen laut Auslastung der Prozessoren mehrere Prozesse hintereinander, die jeweils immer nur ein Kern in Anspruch nehmen. Zwischendurch sind es dann mal ganz kurz zwei Kerne, dann wieder nur einer. Diese einzelnen Prozesse sind es die Stunden in Anspruch nehmen.
Was folgt also nach dem Matching und dem Erzeugen des fgroups.png bei Scamp? Dieser Vorgang scheint offenbar das Problem zu sein.

Zum Testen habe ich mal DISTORT_DEGREE auf 1 (keine Distortion) gesetzt. Leider rechnet er nun trotzdem schon wieder mehr als eine Stunde. Das Berechnen der Distortion kann man so also ausschließen.

Ich hoffe mir kann jemand helfen.


Grüße,
Patrick

[mischa]

wie hoch ist denn deine memory auslastung bei diesen letzten schritten?
versuch mal die setrndichte etwas runterzusetzen, 100 pro bild und referenzkatalog duerften locker reichen und das ganze erheblich becshleunigen.

mischa

[Knickohr]

Pro Frame hat "Create Source Cat" ca. 1000 Sterne gefunden. Dafür wurde ein DT von 48.0 verwendet, DMIN 5.0, sowie ausgebrannte Sterne mit FLAG 8 zugelassen.
Der Referenzkatalog liefert mit einer Tiefe von 11.6mag auch 1100 Sterne.

Mann !!! Viel ist nicht gleich besser ! Wie Mischa schon schreibt, 100 bis 150 Sterne reichen voll aus. Ihr habt wohl noch nie Monsterpanoramen gemacht ?

Selbst mit 5000 Frames bekomme ich eine Astrometrie innerhalb einer Stunde hin (falls der Speicher ausreicht). Ja, die Memoryauslastung ist kritisch, auf keinen Fall swappen lassen.

Thomas

[Cordiz]

Danke für die schnellen Antworten

Viele Sterne machens aber genauer oder? Nein mega-pano habe ich noch nicht aufgenommen, haha. Na dann werde ich es mal mit einen höheren DT probieren. Hatte noch nie mehr als 50 verwendet. Das wirkt schon hoch. Bin wahrscheinlich einfach zu vorsichtig

Die RAM-Auslastung liegt bei ca. 1,4 GB (bei 4GB max) alles zusammen, also Ubuntu Unity System und Theli. Swap ist deaktiviert.

Inzwischen ist er auch mit der Astrometrie ohne Distortion-Berechnung fertig geworden. Er hat knapp 2h gebraucht. Ohne dem ist das aber natürlich nur halbherzig. Ich werde es also noch einmal wiederholen und zum Abschluss über die Zeiten berichten.


Grüße,
Patrick

[Cordiz]

Nun ist die komplette Astrometrie in unter 30 Minuten fertig geworden. Besonders erfreulich: Das Matching an sich dauerte weniger als 10 Sekunden. Daran merkte man schon, dass der gesamte Prozess nun schneller sein musste.
Danke für die schnelle Hilfe Mischa und Thomas!

Zur Dokumentation für die Nachwelt und anderen Leidensgenossen:
Der Referenzkatalog enthielt mit 10.5mag Tiefe nun "nur" 320 Sterne.
Für "creae source cat" wurde ein astronomisch hoher DT von 256.0 gewählt. Trotz 600mm Brennweite, Milchstraßenregion macht's möglich. Für den R- und B-Kanal wurden ca. 180 Sterne, für den Grünkanal ca. 240 Sterne erkannt. Das ist bei der flächenmäßig höheren Abdeckung durch den Referenzkatalog (zirkular) gegenüber der etwas kleineren Aufnahmeregion (rechteckig) auch prinzipiell ein gutes Verhältnis.

Die plots sind okay. Durch leichte Nachführfehler-Eiersterne (und eventuell einer kleinen Verkippung?) entstehen wohl die Wellen bei den astr_referror-plots, wenn ich das richtig interpretiere.
Vielleicht kann jemand fachkundiges ja noch einmal etwas zu der Interpretation der Wellen schreiben. Ich würde mich über Aufklärung freuen.

fgroups_1.jpg

distort_1.jpg

astr_referror1d_1.jpg

Nundenn, auf zur neuen coaddition.


Grüße,
Patrick

[mischa]

Die plots sind okay. Durch leichte Nachführfehler-Eiersterne (und eventuell einer kleinen Verkippung?) entstehen wohl die Wellen bei den astr_referror-plots, wenn ich das richtig interpretiere.
Vielleicht kann jemand fachkundiges ja noch einmal etwas zu der Interpretation der Wellen schreiben. Ich würde mich über Aufklärung freuen.

Hi Patrick,

ich wuerde mal den DISTORT_DEGREE auf 3 oder 4 hochsetzen, gehen die Wellen dann weg? Kurzbrennweitige Teles haben oft kompliziertere Distortionen, die man mit niedrigen Polynomen nicht wegbekommt. Auch kann es sein, dass sich durch bewegliche Linsengruppen im tele die Distortion etwas veraendert, und man daher von Nacht zu Nacht unterschiedliche Distortionsmodelle braucht. Ich wuerde aber erst mal nur mit dem DISTORT_DEGREE spielen. Da das matching korrekt verlaufen ist, wuerde ich mal unter "astrom/photom" auf "update header" klicken, und anschliessend die Kataloge neu erstellen lassen. Dann hast du das auf jeden Fall eingetuetet und kannst scamp ohne das matching laufen lassen (Haken unter config wegmachen).

mischa