Astrometrie braucht ewig - Part II

Der schwierigste und komplizierteste Teil von Theli.
Forumsregeln
Bitte die Beiträge kurz fassen, so kann man sie nachher besser finden. Sollte ein Problem gelöst sein, dann einen neuen Beitrag eröffnen. Ebenso wenn die Ursache eine ganz andere ist, oder es Offtopic wird.

Astrometrie braucht ewig - Part II

Beitragvon Cordiz » Montag 1. September 2014, 00:17

Hallo Thelianer,

ich stoße nach einigen Monaten nun wieder auf das Problem, dass die Astrometrie sehr viele Stunden in Anspruch nimmt. Und dabei dachte ich, dass ich den Fehler erkannt und verstanden habe. :?
Die Situation:
Verwendung von Scamp
Aufnahmeserie von nunmehr 284 Frames RGB, 852 Frames splitted
NGC 6888 (Crescent Nebula)
guter Prozessor (i7) bei dem Theli 4 von 8 Kernen verwenden darf (2 physisch, 2 virtuell)

Pro Frame hat "Create Source Cat" ca. 1000 Sterne gefunden. Dafür wurde ein DT von 48.0 verwendet, DMIN 5.0, sowie ausgebrannte Sterne mit FLAG 8 zugelassen.
Der Referenzkatalog liefert mit einer Tiefe von 11.6mag auch 1100 Sterne.

Die anschließende Astro+Photometry mit Scamp ist jedoch nun das eigentliche Problem. Nach mehr als 5 Stunden liegt noch kein Ergebnis vor. Was ich dabei nicht verstehe ist, dass das Lösen der fgroups (also das Matching der einzelnen Bilder auf den Referenzkatalog) nur knapp 60 Sekunden dauert, was man auch schön an der Prozessorauslastung sieht. Mischa schrieb mir bereits mal, dass das parallelisiert ist, also 100% Auslastung auf allen Kernen. Soweit so gut. Das fgroups.png schaut auch korrekt aus, welches temporär im Verzeichnis "astrom_photom_scamp/headers" gespeichert wird.
Danach folgen laut Auslastung der Prozessoren mehrere Prozesse hintereinander, die jeweils immer nur ein Kern in Anspruch nehmen. Zwischendurch sind es dann mal ganz kurz zwei Kerne, dann wieder nur einer. Diese einzelnen Prozesse sind es die Stunden in Anspruch nehmen.
Was folgt also nach dem Matching und dem Erzeugen des fgroups.png bei Scamp? Dieser Vorgang scheint offenbar das Problem zu sein.

Zum Testen habe ich mal DISTORT_DEGREE auf 1 (keine Distortion) gesetzt. Leider rechnet er nun trotzdem schon wieder mehr als eine Stunde. Das Berechnen der Distortion kann man so also ausschließen.

Ich hoffe mir kann jemand helfen.


Grüße,
Patrick
Cordiz
 
Beiträge: 18
Registriert: Montag 5. August 2013, 08:02

Re: Astrometrie braucht ewig - Part II

Beitragvon mischa » Montag 1. September 2014, 02:15

wie hoch ist denn deine memory auslastung bei diesen letzten schritten?
versuch mal die setrndichte etwas runterzusetzen, 100 pro bild und referenzkatalog duerften locker reichen und das ganze erheblich becshleunigen.

mischa
mischa
Moderator
 
Beiträge: 985
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Astrometrie braucht ewig - Part II

Beitragvon Knickohr » Montag 1. September 2014, 12:28

Cordiz hat geschrieben:Pro Frame hat "Create Source Cat" ca. 1000 Sterne gefunden. Dafür wurde ein DT von 48.0 verwendet, DMIN 5.0, sowie ausgebrannte Sterne mit FLAG 8 zugelassen.
Der Referenzkatalog liefert mit einer Tiefe von 11.6mag auch 1100 Sterne.

Mann !!! Viel ist nicht gleich besser ! Wie Mischa schon schreibt, 100 bis 150 Sterne reichen voll aus. Ihr habt wohl noch nie Monsterpanoramen gemacht ? :mrgreen:

Selbst mit 5000 Frames bekomme ich eine Astrometrie innerhalb einer Stunde hin :wink: (falls der Speicher ausreicht). Ja, die Memoryauslastung ist kritisch, auf keinen Fall swappen lassen.

Thomas
Benutzeravatar
Knickohr
Moderator
 
Beiträge: 623
Registriert: Donnerstag 29. September 2011, 12:01
Wohnort: Blaustein

Re: Astrometrie braucht ewig - Part II

Beitragvon Cordiz » Montag 1. September 2014, 17:42

Danke für die schnellen Antworten :)

Viele Sterne machens aber genauer oder? :D Nein mega-pano habe ich noch nicht aufgenommen, haha. Na dann werde ich es mal mit einen höheren DT probieren. Hatte noch nie mehr als 50 verwendet. Das wirkt schon hoch. Bin wahrscheinlich einfach zu vorsichtig :)

Die RAM-Auslastung liegt bei ca. 1,4 GB (bei 4GB max) alles zusammen, also Ubuntu Unity System und Theli. Swap ist deaktiviert.

Inzwischen ist er auch mit der Astrometrie ohne Distortion-Berechnung fertig geworden. Er hat knapp 2h gebraucht. Ohne dem ist das aber natürlich nur halbherzig. Ich werde es also noch einmal wiederholen und zum Abschluss über die Zeiten berichten.


Grüße,
Patrick
Cordiz
 
Beiträge: 18
Registriert: Montag 5. August 2013, 08:02

Re: Astrometrie braucht ewig - Part II

Beitragvon Cordiz » Dienstag 2. September 2014, 12:45

Nun ist die komplette Astrometrie in unter 30 Minuten fertig geworden. :) Besonders erfreulich: Das Matching an sich dauerte weniger als 10 Sekunden. Daran merkte man schon, dass der gesamte Prozess nun schneller sein musste.
Danke für die schnelle Hilfe Mischa und Thomas!

Zur Dokumentation für die Nachwelt und anderen Leidensgenossen:
Der Referenzkatalog enthielt mit 10.5mag Tiefe nun "nur" 320 Sterne.
Für "creae source cat" wurde ein astronomisch hoher DT von 256.0 gewählt. Trotz 600mm Brennweite, Milchstraßenregion macht's möglich. :wink: Für den R- und B-Kanal wurden ca. 180 Sterne, für den Grünkanal ca. 240 Sterne erkannt. Das ist bei der flächenmäßig höheren Abdeckung durch den Referenzkatalog (zirkular) gegenüber der etwas kleineren Aufnahmeregion (rechteckig) auch prinzipiell ein gutes Verhältnis.

Die plots sind okay. Durch leichte Nachführfehler-Eiersterne (und eventuell einer kleinen Verkippung?) entstehen wohl die Wellen bei den astr_referror-plots, wenn ich das richtig interpretiere.
Vielleicht kann jemand fachkundiges ja noch einmal etwas zu der Interpretation der Wellen schreiben. Ich würde mich über Aufklärung freuen. :)

fgroups_1.jpg

distort_1.jpg

astr_referror1d_1.jpg


Nundenn, auf zur neuen coaddition.


Grüße,
Patrick
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
Cordiz
 
Beiträge: 18
Registriert: Montag 5. August 2013, 08:02

Re: Astrometrie braucht ewig - Part II

Beitragvon mischa » Dienstag 2. September 2014, 14:29

Cordiz hat geschrieben:Die plots sind okay. Durch leichte Nachführfehler-Eiersterne (und eventuell einer kleinen Verkippung?) entstehen wohl die Wellen bei den astr_referror-plots, wenn ich das richtig interpretiere.
Vielleicht kann jemand fachkundiges ja noch einmal etwas zu der Interpretation der Wellen schreiben. Ich würde mich über Aufklärung freuen. :)


Hi Patrick,

ich wuerde mal den DISTORT_DEGREE auf 3 oder 4 hochsetzen, gehen die Wellen dann weg? Kurzbrennweitige Teles haben oft kompliziertere Distortionen, die man mit niedrigen Polynomen nicht wegbekommt. Auch kann es sein, dass sich durch bewegliche Linsengruppen im tele die Distortion etwas veraendert, und man daher von Nacht zu Nacht unterschiedliche Distortionsmodelle braucht. Ich wuerde aber erst mal nur mit dem DISTORT_DEGREE spielen. Da das matching korrekt verlaufen ist, wuerde ich mal unter "astrom/photom" auf "update header" klicken, und anschliessend die Kataloge neu erstellen lassen. Dann hast du das auf jeden Fall eingetuetet und kannst scamp ohne das matching laufen lassen (Haken unter config wegmachen).

mischa
mischa
Moderator
 
Beiträge: 985
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile


Zurück zu Astrometrie und Photometrie

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast