Theli 2.10.4 Ubuntu 18.04 LTS Scamp Fehler ?

Der schwierigste und komplizierteste Teil von Theli.
Forumsregeln
Bitte die Beiträge kurz fassen, so kann man sie nachher besser finden. Sollte ein Problem gelöst sein, dann einen neuen Beitrag eröffnen. Ebenso wenn die Ursache eine ganz andere ist, oder es Offtopic wird.

Theli 2.10.4 Ubuntu 18.04 LTS Scamp Fehler ?

Beitragvon schubi » Mittwoch 27. Februar 2019, 22:16

Werte Thelianer,
nachdem die Anwendung des Weighings ohne Fehlermeldung funktioniert hat verzweifle ich an der Erstellung des Source Katalogs in der Astrometrie.
Als Katalog habe ich GSC-2.3 gewählt und erhalte 1054 reference sources.

Ich sehe bei jedem Bild im logFile der Astrometrie die Warnung Null or negative global weighting factor:defaulted to 1.
Bei einem meiner vorherigen Versuche gab es eine Error Meldung welche besagte dass der Katalog nicht gefunden wurde.
ich habe daraufhin Scamp neu installiert und in Theli nur Create source cat angewählt.
Der Error taucht nicht mehr im logfile auf.
Dennoch bricht die Erstellung des Sourcecat reproduzierbar mit Detecting sources ... ERROR (line 3024): Showing the log ab.
In Zeile 3024 steht die Warnung Null or negative global weighting factor:defaulted to 1..

Ich füge die logFiles der Astrometrie und des Weighings, um Speicherplatz zu sparen, in komprimierte Form bei und bitte um Euren Rat.

beste Grüße

Christian
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
schubi
 
Beiträge: 97
Registriert: Dienstag 4. Oktober 2011, 13:50
Wohnort: Simmerath

Re: Theli 2.10.4 Ubuntu 18.04 LTS Scamp Fehler ?

Beitragvon mischa » Mittwoch 13. März 2019, 15:43

Hi Christian,

sorry fuer die spaete Antwort. Ich komme z.Z. kaum dazu, hier reinzuschauen.
Schau mal deine globalweights an, die sind groesstenteils oder komplett null. Falls nicht, dann sind es die einzelnen weights.

mischa
mischa
Moderator
 
Beiträge: 997
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Theli 2.10.4 Ubuntu 18.04 LTS Scamp Fehler ?

Beitragvon schubi » Freitag 15. März 2019, 00:44

Hallo Mischa,
danke für das Reinschauen.

Ich habe Folgendes ermittelt:

Globalweight_1.fits
Mittelwert : 0.24566376
Varianz : 0.18249464
Std.Abweichung : 0.42719391
Minimum : 0 @ 0,0
Maximum : 1.2275406 @ 1468,1396
Pixelanzahl : 6080136

globalweight_1.mc.fits
Mittelwert : 1
Varianz : 0
Std.Abweichung : 0
Minimum : 1 @ 0,0
Maximum : 1 @ 0,0
Pixelanzahl : 6080136

globalweight_1.cx.fits und globalweight_1.cy.fits
Mittelwert : 1
Varianz : 0
Std.Abweichung : 0
Minimum : 1 @ 0,0
Maximum : 1 @ 0,0
Pixelanzahl : 6080136

globalflag_1.fits

Mittelwert : 1.5008283
Varianz : 0.74917104
Std.Abweichung : 0.86554667
Minimum : 0 @ 2,2
Maximum : 2 @ 0,0
Pixelanzahl : 6080136

Hier ein Weight Blaukanal einer Aufnahme:

Leo190215-002L_f_B_1OFC.weight.fits

Mittelwert : 0.24566376
Varianz : 0.18249464
Std.Abweichung : 0.42719391
Minimum : 0 @ 0,0
Maximum : 1.2275406 @ 1468,1396
Pixelanzahl : 6080136

und das dazugehörige flag-file
Leo190215-002L_f_B_1OFC.flag.fits

Mittelwert : 1.5008283
Varianz : 0.74917104
Std.Abweichung : 0.86554667
Minimum : 0 @ 2,2
Maximum : 2 @ 0,0
Pixelanzahl : 6080136

Ich habe 10 einzelne ..OFC.weight.fits und der dazugehörigen flag Files untersucht. Die Statistik aller Aufnahmen ist identisch und hat folgenden Inhalt:
Leo190215-005L_f_B_1OFC.weight.fits

Mittelwert : 0.24566376
Varianz : 0.18249464
Std.Abweichung : 0.42719391
Minimum : 0 @ 0,0
Maximum : 1.2275406 @ 1468,1396
Pixelanzahl : 6080136

Leo190215-005L_f_B_1OFC.flag.fits

Mittelwert : 1.5008283
Varianz : 0.74917104
Std.Abweichung : 0.86554667
Minimum : 0 @ 2,2
Maximum : 2 @ 0,0
Pixelanzahl : 6080136

Was ist Deine Empfehlung?

beste Grüße

Christian
schubi
 
Beiträge: 97
Registriert: Dienstag 4. Oktober 2011, 13:50
Wohnort: Simmerath

Re: Theli 2.10.4 Ubuntu 18.04 LTS Scamp Fehler ?

Beitragvon mischa » Freitag 15. März 2019, 09:14

Meine Empfehlung ist, das (global)weight als Bild anzusehen. Anhand der Statistik kannst du nicht erkennen, was falsch ist.
Da sollten keine grossen Bereiche drin sein, die null sind. Falls doch, hast du thresholds falsch gesetzt.
mischa
Moderator
 
Beiträge: 997
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Theli 2.10.4 Ubuntu 18.04 LTS Scamp Fehler ?

Beitragvon schubi » Montag 18. März 2019, 22:39

Hallo Mischa,
ich habe das globalweight Deinem Rat folgend analysiert. Ich habe festgestellt dass jedes 2. Pixel, sowohl senkrecht wie auch waagrecht den Wert 0 hat.
Ich wundere mich über diese Regelmässigkeit.

beste Grüße
Christian
schubi
 
Beiträge: 97
Registriert: Dienstag 4. Oktober 2011, 13:50
Wohnort: Simmerath

Re: Theli 2.10.4 Ubuntu 18.04 LTS Scamp Fehler ?

Beitragvon mischa » Dienstag 19. März 2019, 09:09

Mach mal die thresholds (min max) weg.
wenn das nicht hilft, dann ist was mit deinen flats verkehrt gelaufen.
ist das ein detektor mit bayermatrix?
mischa
Moderator
 
Beiträge: 997
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Theli 2.10.4 Ubuntu 18.04 LTS Scamp Fehler ?

Beitragvon schubi » Dienstag 19. März 2019, 21:51

Hallo Mischa,
ich habe das projekt zurückgesetzt und den Workflow, nach Entfernen aller Thresholds inm Weighing Modul durchgeführt. Das Ergebnis war identisch zu den vorhergehenden Versuchen.
ich glaube es liegt an den Flats.
Dort finde ich ein ähnliches Muster. Die Intensitätswerte springen von ca. 16000 für ein dunkles Pixel auf ca. 55000 für ein helles Pixel.
Der Kamera hat einen CCD Sensor mit Bayer Matrix. Zu Aufnahme war im Strahlengang ein IDAS LPS-Filter. Dadurch wird das Bild sehr stark grünstichig.
Es könnte sein dass die dunklen Pixel die Sensorpixel für die rote Farbe relativ dunkel sind und die für grüne und blaue Farbe die hohen Intensitäten (keine Sättigung) aufweisen.
Ich wundere mich allerdings warum ich bei früheren Aufnahmen die Probleme nicht hatte.

Ich habe nach Fehlermeldung libcfitsio.so.2: cannot open shared object file: No such file or directory
im Verzeichnis /usr/lib/x86_64-linux-gnu einen symbolischen Link angelegt
sudo ln -s libcfitsio.so.5.3.43 libcfitsio.so.2
Könnte die neuere Version der Datei zu Fehlern bereits beim Splitting führen ?

Ich werde noch einmal neue Flats anfertigen und erneuten Anlauf nehmen.

beste Grüße
Christian
schubi
 
Beiträge: 97
Registriert: Dienstag 4. Oktober 2011, 13:50
Wohnort: Simmerath

Re: Theli 2.10.4 Ubuntu 18.04 LTS Scamp Fehler ?

Beitragvon mischa » Mittwoch 20. März 2019, 09:58

Die Sache mit der libcfitsio ist nicht die Ursache, das hast du denke ich korrekt geloest.
Pixel mit Werten von 55000 sind gesaettigt. Da solltest du weniger belichten.

Du musst beim gliobalweight ansetzen. Dort gibt es thresholds FLAT_norm min/max, die normalwerweise bei 0.5 und 1.5 (oder so) stehen.
Wenn du aber eine derartig bimodale Verteilung in den Pixelwerten hast, dann ist zwar der Mittelwert im normierten Flat 1, aber die einzelnen Werte liegen dann entweder unter 0.5, oder ueber 1.5, und werden auf Null gesetzt. Daher solltest du diese beiden Felder leer lassen.

Das wiederrum ist aber das falsche Vorgehen, da die jeweiligen Farbkanaele nach dem Debayern diese hochfrequente Struktur nicht mehr aufweisen.
Am einfachsten waere es daher, wenn du bei den global weights "same weight for all pixels" anklickst.

mischa
mischa
Moderator
 
Beiträge: 997
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Theli 2.10.4 Ubuntu 18.04 LTS Scamp Fehler ?

Beitragvon schubi » Donnerstag 21. März 2019, 00:22

Hallo Mischa,
bisher ging ich davon aus dass ein Wert von 65565 für ein 16 Bit Kamera das Kriterium für das Vorliegen eines Sättigungszustandes ist.
Ich muss gestehen dass ich erst jetzt den Default-Wert 55000 im Dialogfeld für die Sättigungsschwelle wahrgenommen habe. Dann ist es für mich schlüssig dass 55000 als gesättigt behandelt wird.
Bei der Aufnahme der Flats habe ich darauf geachtet dass die Bildstatistik einen mittleren Intensitätswert von 30000- 45000 ADU hat.
Da vermutlich der rote Farbkanal deutlich schwächere Intensitäten zeigt ist der Mittelwert irreführend.

Ich werde erneut Flats anfertigen welche deutlich geringere Intensitäten haben. Die hohe Grünlastigkeit der Flats habe ich bei früheren Aufnahmeserien nie wahrgenommen.
Bei meinem letzten Versuch hatte ich die Felder FLAT_norm min/max leer gelassen. Alle Felder im Dialog Weighting (2) waren ebenfalls leer.

Wird bei Auswahl von "same weight for all pixels" die Division der Nutzbilder durch das normierte Masterflat durchgeführt ?


Wenn ich 11.3 der Dokumentation richtig interpretiere wird aus dem normalisierten Flat für jedes Nutzbild ein Gewichtungsbild erstellt. Die Werte im Gewichtungsbild geben an wie stark das jeweilige Bild ( eigentlich das jeweilige Pixel) zum coaadierten Bild des jeweiligen Farbkanals beiträgt.
Mir ist nicht klar nach welchen Kriterien ein Pixel als gut oder schlecht eingestuft wird.

Im weiteren steht in der Dok. dass bei leeren Felder die Default-Werte benutzt werden. Beim FLAT_norm sind das die Werte 0,5 und 1.6 ; Diese Werte hatte ich eingestellt.

Besten dank und beste Grüße nach Chile

Christian
schubi
 
Beiträge: 97
Registriert: Dienstag 4. Oktober 2011, 13:50
Wohnort: Simmerath

Re: Theli 2.10.4 Ubuntu 18.04 LTS Scamp Fehler ?

Beitragvon mischa » Freitag 22. März 2019, 10:42

Hallo Christian,

Wird bei Auswahl von "same weight for all pixels" die Division der Nutzbilder durch das normierte Masterflat durchgeführt ?


Das Flatfielding passiert lange vor der Erstellung der Gewichtsbilder.
Da die Bilder debayert werden, sieht man die unterschiedliche Pixelhelligkeiten nicht mehr, das wird im Gewichtsbild dann nicht richtig reflektiert. Daher solltest du hier "same weight" benutzen.

Mir ist nicht klar nach welchen Kriterien ein Pixel als gut oder schlecht eingestuft wird.


Das Flat gibt an, wie viel Information ein Pixel im Vergleich zu den anderen traegt, daher werden sie entsprechend gewichtet.
Du kannst dann manuell noch thresholds fuer Pixel festlegen, die nicht zum koaddierten Bild beitragen. Das waeren die FLAT_norm min/max Werte.
Richtig, wenn sie leer gelassen werden, dann werden hier default Werte eingetragen.
Du kannst ja z.B. 0.1 und 3 verwenden.

mischa
mischa
Moderator
 
Beiträge: 997
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Theli 2.10.4 Ubuntu 18.04 LTS Scamp Fehler ?

Beitragvon schubi » Samstag 23. März 2019, 20:38

Hallo Mischa,
ich glaube noch niht alles verstanden zu haben.
Beim Flatfielding wird das Masterflat erstellt und das Pixel (n,m) im Nutzbild durch den Wert des Pixels (n,m) des normierten Masterflats dividiert.
Das Masterflat entsteht aus den Flatfields durch Medianbildung.
Bei den Bildern mit Bayermatrix wird dann jeder Farbkanal getrennt normiert so dass nach der Normierung der Mittelwert des jeweiligen Farbkanals im normierten Masterflat den Wert 1 hat. Dunkle Pixel haben in der Datenstruktur des normierten Masterflats einen Wert <1 damit das Pixel im Nutzbild nach der Dvision aufgehellt wird. Diese Prozedur wird für jeden Farbkanal durchgeführt.
Wennm das bereits durchgeführt wird, dann ist das Flatfield bereits berücksichtigt und die Staubkörner und donuts sollten verschwunden sein.

Hier meine Verständnislücke:


[quote="mischa"
Das Flat gibt an, wie viel Information ein Pixel im Vergleich zu den anderen traegt, daher werden sie entsprechend gewichtet.
mischa[/quote].
Der Satz steht so ähnlich unter 11.3 in der Dokumentation.
Ich verstehe diese Aussage noch nicht.

Ich kann mir vorstellen dass ein Pixel(m,n) im Flatfield eine relativ geringe Inensität aufweist aber im Nutzbild an der Stelle (m,n) eine sehr hohe Intensität ist als besonders markant gewertet wird und deshalb bei der Coaddition eine höhere Gewichtung bekommt als ein unauffälliges Pixel.
das ist dann in meinen Augen eine Präszisierung des Flatfieldings.

Das ist nur eine Vermutung.
Es wäre schön wenn Du mir den Weighing Prozess noch etwas näher bringen könntest.

Zwischenzeitlich fahre ich mit "same weight for all pixels" weiter.

beste Grüße
Christian
schubi
 
Beiträge: 97
Registriert: Dienstag 4. Oktober 2011, 13:50
Wohnort: Simmerath

Re: Theli 2.10.4 Ubuntu 18.04 LTS Scamp Fehler ?

Beitragvon mischa » Sonntag 24. März 2019, 20:21

Ich kann mir vorstellen dass ein Pixel(m,n) im Flatfield eine relativ geringe Inensität aufweist aber im Nutzbild an der Stelle (m,n) eine sehr hohe Intensität ist als besonders markant gewertet wird und deshalb bei der Coaddition eine höhere Gewichtung bekommt als ein unauffälliges Pixel.
das ist dann in meinen Augen eine Präszisierung des Flatfieldings.


Der Fluss im Bild hat nichts mit seiner Gewichtung zu tun.

Beispiel: Du willst ein Auto der Marke A kaufen. Ein Freund der beim Autohersteller B arbeitet, sagt du von Firma A nicht kaufen sollst, weil die Schummelsoftware in die Motorsteuerung installiert haben. Ein anderer Freund, der beim Autohersteller A arbeitet, sagt dir dass du nicht von A kaufen sollst, weil sie Schummelsoftware installieren.

Beide Pixel (Menschen) haben den gleichen Informationsgehalt (sagen das gleiche), aber du wirst der Aussage des zweiten Freundes wesentlich mehr Gewicht bei deiner Kaufentscheidung zuteilen als der Aussage des ersten Freundes.

Das Flatfield sagt dir, wie sehr du einem Pixel im Vergleich zu den anderen trauen kannst (unabhaengig davon, wie well das entsprechende Pixel in den Lights ist).

mischa
mischa
Moderator
 
Beiträge: 997
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Theli 2.10.4 Ubuntu 18.04 LTS Scamp Fehler ?

Beitragvon schubi » Sonntag 24. März 2019, 20:51

mischa hat geschrieben:


Das Flatfield sagt dir, wie sehr du einem Pixel im Vergleich zu den anderen trauen kannst (unabhaengig davon, wie well das entsprechende Pixel in den Lights ist).

mischa

Hallo Mischa,
danke für die Veranschaulichung.
Wie erkennt eine Software ob ein Pixel glaubwürdig ist ? Liegt hier eine Statistik zu Grunde ?

beste Grüße
Christian
schubi
 
Beiträge: 97
Registriert: Dienstag 4. Oktober 2011, 13:50
Wohnort: Simmerath

Re: Theli 2.10.4 Ubuntu 18.04 LTS Scamp Fehler ?

Beitragvon mischa » Montag 25. März 2019, 15:30

schubi hat geschrieben:Wie erkennt eine Software ob ein Pixel glaubwürdig ist ? Liegt hier eine Statistik zu Grunde ?


Das ist keine Schwarz-Weiss Statistik. Je heller ein pixel im Flat ist, umso mehr Information traegt er.
Die relativen Helligkiten sind dann die Gewichte.
Man kann mathematisch zeigen, dass das Flat als Ausgangsbasis fuer das Gewicht bei der Koaddition das optimale S/N ergibt.

mischa
mischa
Moderator
 
Beiträge: 997
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile


Zurück zu Astrometrie und Photometrie

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron