Bug Report Theli v3

[mischa]

Ja, THELI laedt alle notwendigen Daten des letzten Projekts. Es liest aber nicht die Pixeldaten ein, sondern nur die Header. Ich vermute, es liegt daran, dass die globalweights nicht richtig aufgeraeumt werden, das kann ich mir nochmal genauer anschauen.

Es ist eine gute Idee beim Start den Benutzer zu fragen, ob das letzte Projekt geladen werden soll oder ob ein Neues angefangen wird. Das kann ich leicht machen.

[dietmar]

Ja, THELI laedt alle notwendigen Daten des letzten Projekts. Es liest aber nicht die Pixeldaten ein, sondern nur die Header. Ich vermute, es liegt daran, dass die globalweights nicht richtig aufgeraeumt werden, das kann ich mir nochmal genauer anschauen.

Es ist eine gute Idee beim Start den Benutzer zu fragen, ob das letzte Projekt geladen werden soll oder ob ein Neues angefangen wird. Das kann ich leicht machen.

Es spricht ja eigentlich nichts dagegen, beim Start das letzte Projekt zu laden. Nur das Lesen der Bilder/Header sollte erst dann erfolgen, wenn sie gebraucht werden. Sonst ändert man was im Data tree und das Lesen war umsonst. Das würde auch den Start beschleunigen.

Dietmar

[mischa]

Es spricht ja eigentlich nichts dagegen, beim Start das letzte Projekt zu laden. Nur das Lesen der Bilder/Header sollte erst dann erfolgen, wenn sie gebraucht werden. Sonst ändert man was im Data tree und das Lesen war umsonst. Das würde auch den Start beschleunigen.

Die header sind nur ein paar kB gross, und deren Einlesen ueber die cfitsio Bibliothek ist sehr schnell. Die Pixeldaten hingegen werden erst dann geladen, wenn sie gebraucht werden.

mischa

[dietmar]

Die header sind nur ein paar kB gross, und deren Einlesen ueber die cfitsio Bibliothek ist sehr schnell. Die Pixeldaten hingegen werden erst dann geladen, wenn sie gebraucht werden.

Dennoch werden die Dateien erstmal geöffnet, d.h. im Dateisystem gesucht, was bei mechanischen Platten Kopfpositionierungen verursacht, und das dauert auch, auch wenn von der einzelnen Dateien nur das 1. kB gelesen wird. Das sind bei mir in der Regel um die 50 Dateien. Bei DSLR-Daten sind das nach dem RGB-Splitting schon 150.
Ich denke vor allem Carsten, der mit vielen kurzen Belichtungen arbeitet, wurde eine deutliche Beschleunigung spüren.

Dietmar

[mischa]

Die header sind nur ein paar kB gross, und deren Einlesen ueber die cfitsio Bibliothek ist sehr schnell. Die Pixeldaten hingegen werden erst dann geladen, wenn sie gebraucht werden.

Dennoch werden die Dateien erstmal geöffnet, d.h. im Dateisystem gesucht, was bei mechanischen Platten Kopfpositionierungen verursacht, und das dauert auch, auch wenn von der einzelnen Dateien nur das 1. kB gelesen wird. Das sind bei mir in der Regel um die 50 Dateien. Bei DSLR-Daten sind das nach dem RGB-Splitting schon 150.
Ich denke vor allem Carsten, der mit vielen kurzen Belichtungen arbeitet, wurde eine deutliche Beschleunigung spüren.

Dietmar

Sicher, die mechanischen Overheads gibt es. Aber ob sie beim Einlesen des Projekts passieren oder spaeter aendert an der Gesamtdauer nichts. Abgesehen davon will ich das jetzt auf keinen Fall mehr umstricken. das erhoeht die Komplexitaet des codes an vielen Stellen, weil ich dort checken muss, ob die Information schon vorliegt oder nicht, und wenn nicht, dann muss ich erst alles einlesen. So habe ich mit Initialisierung eines Projekts alles vorhanden.
Abgesehen davon will ich mechanischen Festplatten nicht hinterher optimieren. Die Dinger sind einfach Vergangenheit; ich weiss, dass viele noch eine haben, aber darauf kann ich auf diesem Niveau keine Ruecksicht nehmen. Dazu hab ich zu wenig Zeit. Ein Grund warum THELI v2 sich ueber die letzten Jahre zu einem derartigen Flaschenhals entwickelt hat, waren die teilweise extrem konservativen Annahmen was die hardware und verschiedene Linux OS und deren compiler anging.

mischa

[dietmar]

Moin,

'nen Overhead gibt es beim Öffnen von Dateien immer, nur bei mechanischen Platten ist er besonders groß.
Wenn das einen erheblichen Änderungsaufwand verursacht, dann vergiss es. Zumal auch jede Änderung eine potenzielle Fehlerquelle darstellt.

Viel Spaß noch
Dietmar

[dietmar]

Moin Mischa,

ich hab' da nochwas gefunden:
Wenn ich in der "Sky subtraction" "polinomial fit" auswähle und zu wenige Bereiche auswähle, setzt die Funktion

Code: Alles auswählen

Fitting::makePolynomialFit2D()

die Variable

Code: Alles auswählen

Fitting::FITSUCCESS

auf false und kehrt zum Aufrufer zurück.
Die aufrufende Funktion

Code: Alles auswählen

Controller::skysubPolynomialFit()

überprüft diese Variable jedoch nicht und übergibt der Funktion

Code: Alles auswählen

MyImage::subtractSkyFit()

einen uninitialisierten Pointer, die sich daraufhin verabschiedet.

Könntest Du in

Code: Alles auswählen

processingInternal/processingSkysub.cc

hinter

Code: Alles auswählen

skyFit.makePolynomialFit2D(order, skyPolyfitNodes);

sowas

Code: Alles auswählen

if(!skyFit.FITSUCCESS)
{
    emit messageAvailable("Insufficient number of data points");
    continue;
}

oder was ähnliches einbauen?

Viel Spaß noch
Dietmar

[mischa]

Hi Dietmar,

danke, schau ich mir gleich morgen an!

mischa

[mischa]

Ok, hab's abgefangen. Danke nochmal.

mischa

[ThomasS]

Ich hab mir gestern (1.8.) mit git pull die neuesten Dateien heruntergeladen. Habe aber beim make -j Probleme:

Code: Alles auswählen

g++ -fopenmp -Wl,-O1 -o theli main.o absphot.o abszeropoint.o colorpicture.o refcatdata.o subtaskColorcalib.o subtaskCropcoadd.o subtaskbbnb.o subtaskfits2tiff.o consistencychecks.o datadir.o datamodel.o deepmessages.o confdockwidget.o defaults.o memoryviewer.o monitor.o validate_confdock.o functions.o imagestatistics.o imagestatistics_events.o imagestatistics_plotting.o instrumentdefinition.o actions.o constructors.o ivcolordockwidget.o ivconfdockwidget.o ivscampdockwidget.o ivwcsdockwidget.o events.o iview.o mygraphicsellipseitem.o mygraphicsscene.o mygraphicsview.o mainwindow.o astrometrynet.o background.o fitsinterface.o memoryoperations.o myimage.o segmentation.o skysub.o sourceextractor.o tifftools.o weighting.o writefits.o preferences.o errordialog.o controller.o data.o displayconfig.o dictionaries.o mask.o photinst.o processingAncillary.o processingAstrometry.o processingBackground.o processingCalibration.o processingCoadd.o processingCollapse.o processingSkysub.o processingSplitter.o processingWeight.o processingCreateSourceCat.o processingStatus.o qcustomplot.o query.o imstatsreadme.o multidirreadme.o scampreadme.o swarpreadme.o license.o acknowledging.o settings.o status.o taskinfrastructure.o tasks.o abszpworker.o colorpictureworker.o mainguiworker.o memoryworker.o scampworker.o sourceextractorworker.o swarpworker.o worker.o anetworker.o cfitsioerrorcodes.o correlator.o cpu.o debayer.o detectedobject.o fileprogresscounter.o fitgauss1d.o fitting.o imagequality.o polygon.o ram.o splitter.o splitter_RAW.o splitter_buildHeader.o splitter_processingGeneric.o splitter_processingSpecific.o splitter_queryHeaderLists.o splitter_multiport.o swarpfilter.o tools.o xcorr.o validators.o qrc_resources.o moc_abszeropoint.o moc_colorpicture.o moc_refcatdata.o moc_datamodel.o moc_confdockwidget.o moc_memoryviewer.o moc_monitor.o moc_imagestatistics.o moc_instrumentdefinition.o moc_ivcolordockwidget.o moc_ivconfdockwidget.o moc_ivscampdockwidget.o moc_ivwcsdockwidget.o moc_iview.o moc_mygraphicsscene.o moc_mygraphicsview.o moc_mainwindow.o moc_myimage.o moc_preferences.o moc_errordialog.o moc_controller.o moc_data.o moc_mask.o moc_photinst.o moc_processingStatus.o moc_qcustomplot.o moc_query.o moc_acknowledging.o moc_imstatsreadme.o moc_license.o moc_multidirreadme.o moc_scampreadme.o moc_swarpreadme.o moc_status.o moc_abszpworker.o moc_anetworker.o moc_colorpictureworker.o moc_mainguiworker.o moc_memoryworker.o moc_scampworker.o moc_sourceextractorworker.o moc_swarpworker.o moc_worker.o moc_cfitsioerrorcodes.o moc_correlator.o moc_cpu.o moc_detectedobject.o moc_fileprogresscounter.o moc_fitting.o moc_imagequality.o moc_ram.o moc_splitter.o moc_swarpfilter.o   -lcfitsio -lcurl -lfftw3_omp -lfftw3 -lm -lgsl -lgslcblas -lwcs -ltiff -lraw -lQt5PrintSupport -lQt5Widgets -lQt5Gui -lQt5Test -lQt5Core -lGL -lpthread
absphot.o: Datei nicht erkannt: Datei abgeschnitten
collect2: error: ld returned 1 exit status
Makefile:628: recipe for target 'theli' failed
make: *** [theli] Error 1


Kann mir jemand sagen, wie ich das repariere?
LG Thomas

[spiegelei]

Hallo Thomas,
probiere mal ohne das -j.
Gruß
Karsten

[ThomasS]

Funktioniert bei euch die Koordinatensuche bei Eingabe des Objektnamens in Create catalogs, page 6? Ich kann eingeben, was ich will, z.B. M8, m8, Messier 8, NGC 6523 und bekomme immer eine Fehlermeldung:
Target not found - The coordinates of NGC 6523 could not be resolved. Check for typos, or try a different name of the same target.

[ThomasS]

Hallo Thomas,
probiere mal ohne das -j.
Gruß
Karsten

Genau das selbe:

Code: Alles auswählen

thomas@thomas-VirtualBox:~/THELI/src$ make
g++ -fopenmp -Wl,-O1 -o theli main.o absphot.o abszeropoint.o colorpicture.o refcatdata.o subtaskColorcalib.o subtaskCropcoadd.o subtaskbbnb.o subtaskfits2tiff.o consistencychecks.o datadir.o datamodel.o deepmessages.o confdockwidget.o defaults.o memoryviewer.o monitor.o validate_confdock.o functions.o imagestatistics.o imagestatistics_events.o imagestatistics_plotting.o instrumentdefinition.o actions.o constructors.o ivcolordockwidget.o ivconfdockwidget.o ivscampdockwidget.o ivwcsdockwidget.o events.o iview.o mygraphicsellipseitem.o mygraphicsscene.o mygraphicsview.o mainwindow.o astrometrynet.o background.o fitsinterface.o memoryoperations.o myimage.o segmentation.o skysub.o sourceextractor.o tifftools.o weighting.o writefits.o preferences.o errordialog.o controller.o data.o displayconfig.o dictionaries.o mask.o photinst.o processingAncillary.o processingAstrometry.o processingBackground.o processingCalibration.o processingCoadd.o processingCollapse.o processingSkysub.o processingSplitter.o processingWeight.o processingCreateSourceCat.o processingStatus.o qcustomplot.o query.o imstatsreadme.o multidirreadme.o scampreadme.o swarpreadme.o license.o acknowledging.o settings.o status.o taskinfrastructure.o tasks.o abszpworker.o colorpictureworker.o mainguiworker.o memoryworker.o scampworker.o sourceextractorworker.o swarpworker.o worker.o anetworker.o cfitsioerrorcodes.o correlator.o cpu.o debayer.o detectedobject.o fileprogresscounter.o fitgauss1d.o fitting.o imagequality.o polygon.o ram.o splitter.o splitter_RAW.o splitter_buildHeader.o splitter_processingGeneric.o splitter_processingSpecific.o splitter_queryHeaderLists.o splitter_multiport.o swarpfilter.o tools.o xcorr.o validators.o qrc_resources.o moc_abszeropoint.o moc_colorpicture.o moc_refcatdata.o moc_datamodel.o moc_confdockwidget.o moc_memoryviewer.o moc_monitor.o moc_imagestatistics.o moc_instrumentdefinition.o moc_ivcolordockwidget.o moc_ivconfdockwidget.o moc_ivscampdockwidget.o moc_ivwcsdockwidget.o moc_iview.o moc_mygraphicsscene.o moc_mygraphicsview.o moc_mainwindow.o moc_myimage.o moc_preferences.o moc_errordialog.o moc_controller.o moc_data.o moc_mask.o moc_photinst.o moc_processingStatus.o moc_qcustomplot.o moc_query.o moc_acknowledging.o moc_imstatsreadme.o moc_license.o moc_multidirreadme.o moc_scampreadme.o moc_swarpreadme.o moc_status.o moc_abszpworker.o moc_anetworker.o moc_colorpictureworker.o moc_mainguiworker.o moc_memoryworker.o moc_scampworker.o moc_sourceextractorworker.o moc_swarpworker.o moc_worker.o moc_cfitsioerrorcodes.o moc_correlator.o moc_cpu.o moc_detectedobject.o moc_fileprogresscounter.o moc_fitting.o moc_imagequality.o moc_ram.o moc_splitter.o moc_swarpfilter.o   -lcfitsio -lcurl -lfftw3_omp -lfftw3 -lm -lgsl -lgslcblas -lwcs -ltiff -lraw -lQt5PrintSupport -lQt5Widgets -lQt5Gui -lQt5Test -lQt5Core -lGL -lpthread
absphot.o: Datei nicht erkannt: Datei abgeschnitten
collect2: error: ld returned 1 exit status
Makefile:628: recipe for target 'theli' failed
make: *** [theli] Error 1


[spiegelei]

Hallo nochmal,
da gab es mal einen Thread hier dazu. Mischa hat das aber wohl mal umgestellt von vizquery auf eine eigen Lösung. Ich habe aber grade den Link dahin nicht auf dem Schirm.

Gruß
Karsten

[mischa]

In eurem THELI Installationspfad gibt es ein "python/' Unterverzeichnis. Bitte da mal in einer Konsole reinwechseln und folgendes ausfuehren:

python3 resolvetargets.py ngc6992

Das sollte RA und DEC in Dezimalformat zurueckgeben. Falls ihr python3 nicht habt, dann einfach 'python' verwenden.

mischa