Bug Report Theli v3

Wichtige Updates, neue Theli-Versionen, Euer Wunschzettel für Theli, Feedback

Re: Bug Report Theli v3

Beitragvon spiegelei » Sonntag 24. Mai 2020, 09:14

Hi Mischa,

mischa hat geschrieben:
das kann ich momentan nicht reproduzieren. Hast du das jedesmal bei diesem datensatz oder war das "nur" "spontan".

mischa


Tritt derzeit eigentlich regelmäßig auf. Auch bei Daten, die schon mal durchgelaufen sind.

Gruß
Karsten
Atik 383 - AP80/560 - GSO RC 8" - LX50 8" SC - TSAPO65Q - CGEM
Theli 3 - SUSE Leap 15.1/64 - Dual XEON 12K/24T - 32GB
Die meisten großen Erfindungen beginnen nicht mit "HEUREKA" sondern mit "Das ist aber komisch....."
Benutzeravatar
spiegelei
 
Beiträge: 197
Registriert: Donnerstag 29. September 2011, 15:15
Wohnort: Chemnitz

Re: Bug Report Theli v3

Beitragvon moos » Sonntag 24. Mai 2020, 12:57

Hi,
Version 3.0.1 von 24.05.
Also erstmal großes Lob. Die Speicherverwaltung ist nun sehr effizient. Ich habe 4 GB und 4 CPUs in einer VM am rattern und es ist stabil.
Die Einstellung minimize memory usage habe ich zunächst nicht gesetzt.
37 RAW Bilder = 111 fits.
Es läuft und ist sehr schnell.

Probleme gibt es aber folgende:
  1. nach der Astrometrie werden mir die plots angezeigt. Die sehen gut und ich klicke auf ACCEPT.
    Theli schafft ca 75% der Bilder mit dem aktualsierten Header und stürzt komplett ab.
    Neustart und ich wiederhole die Astrometrie. Wieder dasselbe, bei ACCEPT werden ca 45% der Bilder noch mit dem neuen Haeder gemacht und dann stürzt theli komplett ab.
    Neustart, in den Preferences die Einstellung minimize memory usage jetzt doch gesetzt.
    Nun klappt das ACCEPT.
    Ab nun habe ich die Einstellung minimize memory usage wieder nicht mehr gesetzt.
  2. Statistic Modul aufgerufen. Dann habe ich die mit "Stellar ellipiticity" über einem Schwellwert markiert und mit alle "delete tet". Die Bilder wandern in einen Ordner bad_statistics ( oder so)
    Coadd gestartet, und Theli findet die Bilder, die ich gerade als inactive gesetzt habe nichtwieder, obwohl sie im Memory Viewer markiert sind.
    memo-mon-poor-data-mark.png

    coadd-inactive-file-miss.png
  3. in PAC Dateien stehen keine FWHW, erst in den PACS. Das ist nur insofern problematisch, wenn man die Statistik vor dem Subsky machen will.

Wozu steht im Statistik Modul " cut-offs / seeing " Es gibt m.E. keine seeing Angaben.
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
Ciao Carsten
moos
 
Beiträge: 504
Registriert: Dienstag 18. Oktober 2011, 19:06

Re: Bug Report Theli v3

Beitragvon dietmar » Sonntag 24. Mai 2020, 14:11

mischa hat geschrieben:Das Problem mit dem Wiederherstellen der Rohdaten, gibt es das bloss bei den Biases oder auch bei anderen Daten? Schreibst du eventuell auf eine externe Platte, wo die Zugriffsrechte anders sind als auf einem internen Laufwerk?

Ich glaube ich weiss, was da schief läuft:
Du verschiebst <subdir>/RAWDATA nach <subdir>_rawdata, löscht <subdir> und benennst <subdir>_rawdata in <subdir> um.
Im Fall von Bias-Bildern ist <subdir> jedoch kein Verzeichnis, sondern ein Symlink auf ein Verzeichnis mit Biasen, die ich immer wieder verwende, da ich davon ausgehe, dass der Ausleseoffset sich nicht ändert.
Im Falle von CCD-Daten verfahre ich mit den Darks aber genauso, da ist mir sowas aber noch nicht aufgefallen.
Muss mir das gleich nochmal ansehen.

Dietmar
dietmar
 
Beiträge: 151
Registriert: Montag 24. Februar 2014, 11:41
Wohnort: Hilden (in der Lichtglocke von Düsseldorf)

Re: Bug Report Theli v3

Beitragvon dietmar » Sonntag 24. Mai 2020, 14:47

mischa hat geschrieben:Das coadd.fits sollte aber das korrekte TEXPTIME keyword enthalten?

Nö:
Screenshot_2020-05-24_15-41-57.png

TEXPTIME sollte 5418 sein.
Und der Filter stimmt auch nicht. Richtig wäre 'G'.

Dietmar
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
dietmar
 
Beiträge: 151
Registriert: Montag 24. Februar 2014, 11:41
Wohnort: Hilden (in der Lichtglocke von Düsseldorf)

Re: Bug Report Theli v3

Beitragvon mischa » Sonntag 24. Mai 2020, 15:44

Hi Dietmar,

waren das DSLR Daten oder monochrome CCDs?
Wie viele Aufnahmen hast du koaddiert?
Hattest du verschiedene Filter im SCIENCE Verzeichnis oder nur einen?
Falls mehrere, welche Auswahl hast du getroffen als THELI dir angeboten hat, die Filter einzeln oder kombiniert zu koaddieren?
Wie gross ist EXPTIME in den FITS headern?

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Bug Report Theli v3

Beitragvon dietmar » Sonntag 24. Mai 2020, 15:51

Moin nochmal,

als ich behauptete, in CCD-Daten wäre TEXPTIME richtig, hatte ich wohl 'n Knick in der Linse :?
Screenshot_2020-05-24_16-41-13.png

dietmar hat geschrieben:Im Falle von CCD-Daten verfahre ich mit den Darks aber genauso, da ist mir sowas aber noch nicht aufgefallen.
Ist bei den CCD-Darks genauso.
Bei Theli 2 hat das so funktioniert. Bei Theli 3 statt einem Link auf ein Verzeichnis, ein Verzeichnis von Links verwenden, dann sollte das gehen, muss man nur wissen.

Dietmar
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
dietmar
 
Beiträge: 151
Registriert: Montag 24. Februar 2014, 11:41
Wohnort: Hilden (in der Lichtglocke von Düsseldorf)

Re: Bug Report Theli v3

Beitragvon moos » Sonntag 24. Mai 2020, 16:00

Mein Header sieht so aus:
Code: Alles auswählen
================================================================================
FITS header number 1 at block number 1.
--------------------------------------------------------------------------------
SIMPLE  =                    T / This is a FITS file
BITPIX  =                  -32 /
NAXIS   =                    2 /
NAXIS1  =                 5112 / Number of pixels along this axis
NAXIS2  =                 5112 / Number of pixels along this axis
EXTEND  =                    T / This file may contain FITS extensions
EQUINOX =   2.000000000000E+03 / Mean equinox
MJD-OBS =   5.895894631944E+04 / Modified Julian date at start
RADESYS = 'ICRS    '           / Astrometric system
CTYPE1  = 'RA---TAN'           / WCS projection type for this axis
CUNIT1  = 'deg     '           / Axis unit
CRVAL1  =   1.909166666667E+02 / World coordinate on this axis
CRPIX1  =                 2556 / Reference pixel on this axis
CD1_1   =  -1.859977370000E-04 / Linear projection matrix
CD1_2   =   6.495184000000E-06 / Linear projection matrix
CTYPE2  = 'DEC--TAN'           / WCS projection type for this axis
CUNIT2  = 'deg     '           / Axis unit
CRVAL2  =   1.155250000000E+01 / World coordinate on this axis
CRPIX2  =                 2556 / Reference pixel on this axis
CD2_1   =   6.495184000000E-06 / Linear projection matrix
CD2_2   =   1.859977370000E-04 / Linear projection matrix
EXPTIME =              1.0E+00 / Exposure time is normalized to 1s
GAIN    =            1.058E+05 / Effective gain
SATURATE=            1.000E+03 / Currently undetermined (e-)
COMMENT
SOFTNAME= 'SWarp   '           / The software that processed those data
SOFTVERS= '2.41.3  '           / Version of the software
SOFTDATE= '2020-04-28'         / Release date of the software
SOFTAUTH= '2010-2012 IAP/CNRS/UPMC' / Maintainer of the software
SOFTINST= 'IAP  http://www.iap.fr' / Institute
COMMENT
AUTHOR  =
ORIGIN  = 'Ubuntheli3-VirtualBox' / Where it was done
DATE    = '2020-05-24T12:05:07' / When it was started (GMT)
COMBINET= 'WEIGHTED'           / COMBINE_TYPE config parameter for SWarp
COMMENT
COMMENT  Propagated FITS keywords
OBJECT  = 'Unknown '
COMMENT
COMMENT  Axis-dependent config parameters
RESAMPT1= 'LANCZOS2'           / RESAMPLING_TYPE config parameter
CENTERT1= 'ALL     '           / CENTER_TYPE config parameter
PSCALET1= 'MEDIAN  '           / PIXELSCALE_TYPE config parameter
RESAMPT2= 'LANCZOS2'           / RESAMPLING_TYPE config parameter
CENTERT2= 'ALL     '           / CENTER_TYPE config parameter
PSCALET2= 'MEDIAN  '           / PIXELSCALE_TYPE config parameter
COMMENT
COMMENT
COMMENT
COMMENT  Propagated FITS keywords
COMMENT
COMMENT  Axis-dependent config parameters
FILTER  = 'BRGGGB  '
TEXPTIME=            1.058E+05 / Total exposure time [s]
SKYVALUE=            6.154E-01 / Effective background value [e-/s]
UNITS   = 'e-/s    '           / Pixels are photo-electrons / second
MJDSTART=   5.895894631944E+04 / Begin of observation (MJD)
MJDEND  =   5.895907849737E+04 / End of observation (MJD)
MJDMED  =   5.895903909822E+04 / Median MJD of observations
THELIRUN= 'M60D1200'           / THELI project name
END
-----------------------------------------------------------

Filter ist B, TExptime müsste 5400 s sein.
Alle PACS.fits haben eine korrekte EXPTIME von 180 s, 30 Bilder
Zuletzt geändert von moos am Sonntag 24. Mai 2020, 16:03, insgesamt 1-mal geändert.
Ciao Carsten
moos
 
Beiträge: 504
Registriert: Dienstag 18. Oktober 2011, 19:06

Re: Bug Report Theli v3

Beitragvon dietmar » Sonntag 24. Mai 2020, 16:01

mischa hat geschrieben:waren das DSLR Daten oder monochrome CCDs?
DSLR
mischa hat geschrieben:Wie viele Aufnahmen hast du koaddiert?
18
mischa hat geschrieben: Hattest du verschiedene Filter im SCIENCE Verzeichnis oder nur einen?
Alle, weil DSLR
mischa hat geschrieben:Falls mehrere, welche Auswahl hast du getroffen als THELI dir angeboten hat, die Filter einzeln oder kombiniert zu koaddieren?
"Separately"
mischa hat geschrieben:Wie gross ist EXPTIME in den FITS headern?
301.
dietmar
 
Beiträge: 151
Registriert: Montag 24. Februar 2014, 11:41
Wohnort: Hilden (in der Lichtglocke von Düsseldorf)

Re: Bug Report Theli v3

Beitragvon mischa » Sonntag 24. Mai 2020, 16:10

Hi Dietmar und Carsten,

habt ihr ein Komma oder einen Dezimalpunkt in den headern eurer Rohdaten?

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Bug Report Theli v3

Beitragvon dietmar » Sonntag 24. Mai 2020, 16:22

mischa hat geschrieben:habt ihr ein Komma oder einen Dezimalpunkt in den headern eurer Rohdaten?
Unterschiedlich.
DSLR:
Code: Alles auswählen
EXPTIME = 301                                                                   

CCD:
Code: Alles auswählen
EXPTIME =                  300. / The total exposure time in seconds           

Dietmar
dietmar
 
Beiträge: 151
Registriert: Montag 24. Februar 2014, 11:41
Wohnort: Hilden (in der Lichtglocke von Düsseldorf)

Re: Bug Report Theli v3

Beitragvon moos » Sonntag 24. Mai 2020, 16:31

Hi Mischa,
im P weder noch:
Code: Alles auswählen
EXPTIME = 180

im PA beides
Code: Alles auswählen
EXPTIME = 180
EXPTIME = 1.800000E+02

im PAC und PACS wie PA
Ciao Carsten
moos
 
Beiträge: 504
Registriert: Dienstag 18. Oktober 2011, 19:06

Re: Bug Report Theli v3

Beitragvon dietmar » Sonntag 24. Mai 2020, 17:02

Moin Mischa,

kann es sein, dass Du vergessen hast coaddTexptime und coaddSkyvalue zu initialisieren, bevor Du die Werte aus den Einzelbildern dazuaddierst?
Ich hab' in processingInternal/processingCoadd.cc zwei Zeilen eingefügt, jetzt passt's bei CCD, bei DSLR ist's immernoch verkehrt.

Dietmar
dietmar
 
Beiträge: 151
Registriert: Montag 24. Februar 2014, 11:41
Wohnort: Hilden (in der Lichtglocke von Düsseldorf)

Re: Bug Report Theli v3

Beitragvon dietmar » Sonntag 24. Mai 2020, 17:27

Moin Mischa,

ich hab' 'n paar Zahlenspiele gemacht.
Vielleicht es nur Zufall, aber die TEXPTIME ist bei den DSLR-Bildern um den Faktor 3 falsch.

Dietmar
dietmar
 
Beiträge: 151
Registriert: Montag 24. Februar 2014, 11:41
Wohnort: Hilden (in der Lichtglocke von Düsseldorf)

Re: Bug Report Theli v3

Beitragvon mischa » Sonntag 24. Mai 2020, 19:26

dietmar hat geschrieben:Moin Mischa,

kann es sein, dass Du vergessen hast coaddTexptime und coaddSkyvalue zu initialisieren, bevor Du die Werte aus den Einzelbildern dazuaddierst?
Ich hab' in processingInternal/processingCoadd.cc zwei Zeilen eingefügt, jetzt passt's bei CCD, bei DSLR ist's immernoch verkehrt.

Dietmar


VERY GOOD CATCH!

Die Parameter waren alle initialisiert, aber nur einmal in der header Datei, nicht aber jedesmal wenn die Koaddition laeuft. Wenn man also mehrere Koadditionen macht ohne THELI zu schliessen, dann waren TEXPTIME, SKYVALUE, GAIN und FILTER falsch. Die ersten drei wurden inkrementell hoeher, und das FILTER keyword inkrementell laenger und bloedsinniger (wie von Carsten bemerkt). Sowas haette ich selbst bemerken sollen. Die sache mit den 3-fach laengeren Belichtungszeiten fuer DSLR habe ich vermutlich auch korrigiert, bitte nochmal testen.

Danke!
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Bug Report Theli v3

Beitragvon mischa » Sonntag 24. Mai 2020, 19:29

dietmar hat geschrieben:
mischa hat geschrieben:habt ihr ein Komma oder einen Dezimalpunkt in den headern eurer Rohdaten?
Unterschiedlich.
DSLR:
Code: Alles auswählen
EXPTIME = 301                                                                   

CCD:
Code: Alles auswählen
EXPTIME =                  300. / The total exposure time in seconds           

Dietmar


ich meinte, ob auf eurer Linux-Box bzw Aufnahme-Laptop Dezimalzahlen mit einem "Komma" oder "Punkt" geschrieben werden. Falls da Kommas statt Punkte in den Dezimalzahlen im FITS header stehen, gibt das Probleme mit der cfitsio Bibliothek (wie von Karsten aka 'spiegelei') bemerkt.

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

VorherigeNächste

Zurück zu Wunschzettel und Feedback

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste

cron