Querstreifen im Rauschen

[Cordiz]

Hallo Thelianer,

ich bin neu hier, deshalb vor der Erklärung des Problems erst einmal ein herzliches Hallo in die Runde.

Ich habe von meinem aktuellen Projekt (Irisnebel) einen Belichtungs-Zwischenstand reduzieren lassen und dabei sind mir in den Coadds Rauschartefakte aufgefallen. Ich denke man kann sie gut als Querstreifen beschreiben, die sich vom Rauschen abheben. Da mir das etwas spanisch vorkam habe ich die Daten mal durch DSS geschoben, und siehe da, keine Querstreifen.
Bei welchem Schritt könnte die Ursache dafür zu suchen sein?

Anbei ein Bild mit Ausschnitten der reduzierten Daten aus DSS (links) und Theli (rechts).
http://www.sternwolken.de/tmpup/prob/problem_rauschen_streifen.jpg

Verwendet wurden Light(Science), Flat und Bias Frames.


Viele Grüße,
Patrick

*edit*
Ich sehe gerade, dass die coadd_weigthed.fits Dateien sehr deutlich die Querstreifen zeigen. Heißt das, dass das Problem beim Weighting liegt?
Anbei ein verkleinertes Bild des gesamten Frames.
http://www.sternwolken.de/tmpup/prob/problem_rauschen_streifen2.jpg

Grüße,
Patrick

[mischa]

Hi Patrick,

(1) hast du versehentlich einen overscan bei der kamera eingestellt? Der sollte null sein (kamera.ini checken)
(2) In den Einzelbildern, laufen die Streifen da Diagonal oder schraeg wie im Coadd?

mischa

Ich sehe gerade, dass die coadd_weigthed.fits Dateien sehr deutlich die Querstreifen zeigen. Heißt das, dass das Problem beim Weighting liegt?
Anbei ein verkleinertes Bild des gesamten Frames.
http://www.sternwolken.de/tmpup/prob/problem_rauschen_streifen2.jpg

Grüße,
Patrick

[Cordiz]

Hallo Mischa,

(1) Die Werte sind auf 0.
(2) In den _OFC.fits sind die Streifen nicht vorhanden. Das Rauschen ist recht homogen, allerdings sind viele Hotpixel vorhanden (ungekühlte DSLR bei 17°C Nachttemperatur). Auch die Splittings weisen ein homogenes Rauschen auf.

Mir ist jedoch eben aufgefallen, dass die einzelnen IMG_xxxx_R_1OFC.weight.fits neben dem Flat-typischen Hintergrund (Mitte hell, Rand dunkler) auch viele schwarze Flecken aufweisen. Wenn es hilft lade ich mal einen Ausschnitt einer _1OFC.weight.fits hoch.


*Schleimmodus an*
Aber Mischa, jetzt wo ich dich schon einmal an der Leitung hab: Mein Kompliment für Theli. Es ist ein unglaublich tolles Programm/Pipeline mit der ich gerne arbeite.
*Schleimmodus aus*


Grüße,
Patrick

[Knickohr]

Vorsicht !

Ausrutschgefahr

Aber das Programm isses wert

Thomas

[frasax]

Hallo und willkommen,

die Tatsache das es in Theli ein Problem ist, in DSS aber nicht führt nicht zwangsläufig zu dem Schluss das es sich um ein Problem mit einem Arbeitsschritt in Theli handelt:-) Ich falle da auch als alter Hase immer wieder drauf rein. Es zeigt in dem Falle eigentlich nur das DSS ordentlich schludert und schön rechnet:-) Theli verzeiht gar nichts und zeigt dir skrupellos die Qualität deiner Daten auf.

Diese schwarzen Punkte sehen sehr wie Hotpixel aus. Möglicherweise liegt das Problem in den sehr warmen Temperaturen und dem damit verbundenen Rauschen. Bei welchen Temperaturen hast du denn die Bias und Flats gemacht?

LG Frank

[Cordiz]

Hallo Frank und Thomas,

danke und ja... ich glaube ich muss mal hinter mir aufwischen, hehe.

@Frank
Nach meinen bisherigen Erfahrungen mit beiden Programmen (hab vor Theli ausschließlich DSS genutzt) kann ich dir Recht geben. Die Ergebnisse aus Theli sind doch deutlich.. ich mag es mal "reiner" nennen. Auch wenn Theli deutlich komplexer ist und mehr Zeit in Anspruch nimmt lohnt sich der Umstieg.

Die Bias- und Flat-Frames sind bei 20°C enstanden. Aber soweit ich weiß spielt das bei genügend Flat/Bias-Frames nur eine untergeordnete Rolle (habe jeweils 40 Stück).
Ich vermute dennoch ein Problem beim verarbeiten (coadd?) der Weightings, da die Rohdaten die Querstreifen nicht zeigen. Die Rohdaten weisen wie gesagt jedoch viele Hot Pixel (temperaturbedingt) auf.

Es sei noch zu erwähnen, dass die Aufnahmen ungeguidet erfolgten. Die Richtung der Streifen scheint mit dem Drift zwischen den Aufnahmen übereinzustimmen (siehe fgroups unten).
Eine Vermutung: Die schwarzen Punkte der _1OFC.weight.fits Dateien könnten beim Versatz zwischen den Bildern mit "verschoben" worden sein und so in die Richtung des Drifts die Streifen erzeugen.

Zur Vervollständigung hier nochmals die Ausschnitte geordnet. Vielleicht bieten sie als Ganzes einen Erklärungsansatz.
http://www.sternwolken.de/tmpup/prob/problem_rauschen_streifen.jpg (Ausschnitt: Vergleich Coadd von DSS [Links] und Theli [Rechts])
http://www.sternwolken.de/tmpup/prob/problem_rauschen_streifen2.jpg (Gesamtbild: die coadd.weight.fits)
http://www.sternwolken.de/tmpup/prob/problem_rauschen_streifen3.jpg (Ausschnitt: eine IMG_xxxx_B_1OFC.weight.fits)
http://www.sternwolken.de/tmpup/prob/problem_rauschen_streifen4.jpg (fgroups.png)

Ich habe die Vermutung, wie oben bereits erwähnt, dass sich die Punkte in den 1OFC.weight.fits Dateien (3. Link) durch den Drift zwischen den Bildern beim Coadding der Weights zu Streifen verziehen. So hinterlassen die schwarzen Punkte sozusagen ihre Spuren.
Oder greife ich gerade tief ins Klo? =)


Grüße,
Patrick

[frasax]

Hallo Patrick,

wenn deine Lights bei 17° entstanden sind und die Bias bei 20° liegt da das erste Problem. Die Bias sind zu warm.
Wenn du nicht geguidet hast, haste auch nicht gedithert. Nun passiert exakt das was du beschreibst: Die Flecken ziehen sich langsam durchs Bild und erzeugen Spuren. Die Outlier Rejection schafft es dann nicht diese raus zu werfen.

So sehe ich das.

LG Frank

[Cordiz]

Hallo Frank,

durch das fehlende Guiding Dither ich doch in der Theorie sogar sehr gut, sodass statische Abbildungsfehler/Rauschartefakte (Hotpixel, etc.) gut heraus gerechnet werden können. Hinzu kommt der dreimalige Versatz zwischen den Aufnahmeserien, also Dithern. Oder habe ich das falsch verstanden? =)

Es ist ja so, dass Theli bei anderen Aufnahmen wo ich genauso vorgegangen bin keine Streifen zeigt. Dort habe ich die 20°C Bias verwendet und Lights mit 10°C oder sogar weniger. Der Effekt scheint erst mit der höheren Temperatur zu kommen. Eine Aufnahmesession von M101 zeigte ebenso bei 14°C ähnliche Streifen, die Nacht zuvor bei 8°C an M101 jedoch ein klares Bild.
Master-Bias sind soweit ich weiß auch nicht von der Temperatur abhängig, Frank. =) Zumindest steht das so in diversen Tutorials.


Grüße,
Patrick

[frasax]

Hallo Patrick,

ja ich überlege ja auch nur laut. Ich denke ab einer gewissen Temperatur könnte die DSLR so stark rauschen das es eben doch eine Rolle spielt. Vielleicht sind deine Lights auch nicht hintergundlimitiert!?
Die DSLR arbeitet bei tropischen Nachttemperaturen einfach auch nicht mehr zufriedenstellend.

Das naturdithering funktioniert nicht so wie echtes da es viel zu "durchschaubar" ist. Sprich es kann nicht mehr als Ausreisser erkannt werden. Ähnliches hast du bei langsamen Asteroiden. Die müssten sich ja auch raus rechnen, tun sie aber nicht (nicht immer vor allem helle) weil die gleichmässige langsame Bewegung nicht als zufällig bewertet wird.

Nachtrag:Jetzt haste mich unsicher gemacht. Ich mache meine Bias immer mit den Darks drum habe ich die gleiche Temperatur. habe aber auch ne gekühlte CCD.Ich vermute das doch da irgendwo das Problem liegt, da Theli die Bias von deinen Lights abzieht.

CS Frank

[Cordiz]

Hallo Thelianer!

Frank, du hast mich auch unsicher gemacht Habe noch mal nachgelesen und Bias & Flats scheinen wirklich temperaturunabhängig zu sein, allerdings vom Gain/ISO abhängig.


@All und vor allem @Mischa
Ich habe noch einmal alle Vergleichsmöglichkeiten gesichtet und mir ist wieder etwas aufgefallen. Ich bombe euch hier echt mit Bildern zu, sorry. =)
Also es ist so, dass die Dateien "IMG_5089_R_1OFC.weight.fits" vom Weighting diese einzelnen schwarzen Pixel zeigt, also maskierte Hot Pixel oder ähnliches. Soweit so gut, alles richtig.
Nun ist es jedoch so, dass die "IMG_5089_R_1OFC.Red.resamp.weight.fits" plötzlich nicht nur die einzelnen schwarzen Pixel zeigt, sondern große schwarze Blöcke an den Positionen dieser Pixel. Klingt sehr nach der Outlier Rejection, richtig? Dachte also habe ich sie ausversehen angeschalten... aber dem ist nicht so. Die Outlier Rejection hat alle Felder leer und dennoch werden die Outlier maskiert. Oder ist das nicht die Outlier Rejection?

Hier die zugehörigen Screenshots:
http://www.sternwolken.de/tmpup/prob/problem_streifen_coadd1.jpg (IMG_5089_R_1OFC.weight.fits)
http://www.sternwolken.de/tmpup/prob/problem_streifen_coadd2.jpg (IMG_5089_R_1OFC.Red.resamp.weight.fits)
http://www.sternwolken.de/tmpup/prob/problem_streifen_coadd3.jpg (Screenshot der Coaddition-Einstellungen)

Ist das so normal? Ich dachte dass Theli die _1OFC.weight.fits (aus WEIGHTS Ordner) bei deaktiverter Outlier Rejection 1zu1 übernimmt.
Ist das Verhalten von Theli korrekt, oder liegt ein Fehler vor? Oder (sehr wahrscheinlich) bin ich hier auf dem Holzweg?


Viele Grüße und dankend für eure Geduld,
Patrick

[frasax]

Hallo,

die Outlier rejection im Coad Prozess ist einfach gesagt das was du aus anderen Programmen als Sigma stacking kennst. Du solltest zumindest ins erste Feld einen Wert eintragen. Versuch mal 4 und wenn das zu wenig oder zu viel ist versuchst du mal andere Werte (weniger als 3 macht keinen Sinn).

Ohne Sigma Werte (Die Outlier Rejection wird in Werten von Sigma angegeben) ist klar warum deine Bilder am Ende noch so viele Artefakte zeigen, es findet keine statistische Ausreisser Behandlung statt.

LG Frank

[Cordiz]

Hallo Frank,

nein ich glaube du hast meinen Beutrag nicht richtig gelesen.
Ich habe geschrieben, dass trotz der fehlenden Parameter in der Outlier Rejection eine "krasse" Outlier Rejection stattfindet, obwohl keine stattfinden sollte.

Outlier rejection threshold: The clipping threshold in units of sigma. If a (resampled) pixel deviates by more than this from the mean value of resampled pixels at this location, then it will be removed from the stack (i.e. it has its weight set to zero). If left empty, no rejection will be performed.

Und zwar mit wirklich großen Blöcken. So wird eine bedeutend größere Fläche maskiert als in den Weights zu sehen mit den 1x1 großen Hotpixeln.

Schau dir mal die drei Screenshots in meinem letzten Beitrag an.
Das stimmt irgendetwas nicht. So als ob Theli die Eingabe der Outlier Rejection Parameter missachtet.

Wenn ich die Rejection ausschalte sollte er doch keine dicken Blöcke aus den Frames maskieren, oder?
Ich erwarte mit den leeren Feldern der Outlier Rejection eigentlich, dass er nur die kleinen winzigen HotPixel (1x1) maskiert, anstatt eine Outlier Rejection mit den großen Blöcken durchzuführen.

Vielleicht kann Mischa etwas dazu sagen.
Ist das normal?


Grüße,
Patrick

[frasax]

Doch doch ich habe schon richtig gelesen:-)

Was du da siehst ist aber m.E. nicht die Outlier Rejection sonder das Resultat der weights. Ich habe neulich erst noch einen Datensatz durch genudelt und bin mir sicher das kein Programmfehler bei der OR vorliegt:-)
Das Problem wenn es überhaupt eins gibt sind deine Daten.

LG Frank

[Schicko]

Servus Patrick,

das was du auf den Bildern hast sind ganz normale DSLR Schleifspuren, die entstehen, wenn du eine Drift zwischen den Aufnahmen hast, das kenn ich nur zu gut aus meinen Astrodreck Zeiten

Die Streifen sind übrigens auch auf dem DSS Bild zu sehen, halt nicht ganz so scharf wie bei Theli. Wenn du das Theli Bild entrauschst oder weichzeichnest bekommst du in etwa das DSS Bild.

Was man dagegen tun kann, ein paar unsortierte Gedanken:
- ISO runter, dafür länger Belichten, wie war die ISO Einstellung bei der Aufnahme?
- "echtes" Dithern
- Darkframes benutzen, die müssen halt von der Temperatur her zu den Lights passen
- heftiges Entrauschen der dunklen Bildbereiche
- einen weicheren Resampling Kernel benutzen, z.B. Biliniear
- evtl. war beim Weighting eine Cosmics-Schwelle eingestellt, dieses Feld leeren.

[Cordiz]

Hallo,

vielen Dank für eure Hilfe. Na das ist so einstimmig, dann haben wir ja den Übeltäter. =)
Ich dachte mir schon, dass die warmen Nachttemperaturen der DSLR nicht gut tun. Bei meinen anderen Aufnahmen mit <10°C Nachttemperatur trat das Problem nicht auf und ich benutze Theli erst seit letzten Winter. ^^ Da hat der Sommer mich an der Nase lang geführt.

Ich bin nun für die warmen Sommerbilder auf Median umgestiegen und erhalte so sogar ein besseres S/N als mit Weighting. Im Herbst/Winter werde ich dann wieder Weighting nutzen.

Jetzt nur noch eine Frage für's Verständnis:
Frank hat ja gesagt, dass die dicken schwarzen Blöcke in den resamp.weight.fits vom Resampling kommen könnten und nicht vom OR. Mich macht es nur immernoch stutzig weshalb die kleinen winzigen maskierten Pixel vom WEIGHTING 1OFC.weight.fits (1x1 Pixel schwarz) durch das Resampling auf die großen schwarzen Blöcke anwachsen sollen (5x5 Pixel schwarze Blöcke oder gar 9x9... hab nicht nachgemessen).
Bringt solch eine riesen Maskierung durch das Resampling nicht einen gehörtigen Verlust an Bildinfos ein? Schließlich wird ein winziges Hotpixel gleich mit einem riesen Bulldozer von Fleck beseitigt.



Viele Grüße,
Patrick