Seite 9 von 12
Re: Bug Report Theli v3
Verfasst:
Samstag 20. Juni 2020, 19:14
von mischa
Ja, THELI laedt alle notwendigen Daten des letzten Projekts. Es liest aber nicht die Pixeldaten ein, sondern nur die Header. Ich vermute, es liegt daran, dass die globalweights nicht richtig aufgeraeumt werden, das kann ich mir nochmal genauer anschauen.
Es ist eine gute Idee beim Start den Benutzer zu fragen, ob das letzte Projekt geladen werden soll oder ob ein Neues angefangen wird. Das kann ich leicht machen.
Re: Bug Report Theli v3
Verfasst:
Sonntag 21. Juni 2020, 17:47
von dietmar
mischa hat geschrieben:Ja, THELI laedt alle notwendigen Daten des letzten Projekts. Es liest aber nicht die Pixeldaten ein, sondern nur die Header. Ich vermute, es liegt daran, dass die globalweights nicht richtig aufgeraeumt werden, das kann ich mir nochmal genauer anschauen.
Es ist eine gute Idee beim Start den Benutzer zu fragen, ob das letzte Projekt geladen werden soll oder ob ein Neues angefangen wird. Das kann ich leicht machen.
Es spricht ja eigentlich nichts dagegen, beim Start das letzte Projekt zu laden. Nur das Lesen der Bilder/Header sollte erst dann erfolgen, wenn sie gebraucht werden. Sonst ändert man was im Data tree und das Lesen war umsonst. Das würde auch den Start beschleunigen.
Dietmar
Re: Bug Report Theli v3
Verfasst:
Montag 22. Juni 2020, 09:02
von mischa
dietmar hat geschrieben:Es spricht ja eigentlich nichts dagegen, beim Start das letzte Projekt zu laden. Nur das Lesen der Bilder/Header sollte erst dann erfolgen, wenn sie gebraucht werden. Sonst ändert man was im Data tree und das Lesen war umsonst. Das würde auch den Start beschleunigen.
Die header sind nur ein paar kB gross, und deren Einlesen ueber die cfitsio Bibliothek ist sehr schnell. Die Pixeldaten hingegen werden erst dann geladen, wenn sie gebraucht werden.
mischa
Re: Bug Report Theli v3
Verfasst:
Donnerstag 25. Juni 2020, 17:15
von dietmar
mischa hat geschrieben:Die header sind nur ein paar kB gross, und deren Einlesen ueber die cfitsio Bibliothek ist sehr schnell. Die Pixeldaten hingegen werden erst dann geladen, wenn sie gebraucht werden.
Dennoch werden die Dateien erstmal geöffnet, d.h. im Dateisystem gesucht, was bei mechanischen Platten Kopfpositionierungen verursacht, und das dauert auch, auch wenn von der einzelnen Dateien nur das 1. kB gelesen wird. Das sind bei mir in der Regel um die 50 Dateien. Bei DSLR-Daten sind das nach dem RGB-Splitting schon 150.
Ich denke vor allem Carsten, der mit vielen kurzen Belichtungen arbeitet, wurde eine deutliche Beschleunigung spüren.
Dietmar
Re: Bug Report Theli v3
Verfasst:
Donnerstag 25. Juni 2020, 18:58
von mischa
dietmar hat geschrieben:mischa hat geschrieben:Die header sind nur ein paar kB gross, und deren Einlesen ueber die cfitsio Bibliothek ist sehr schnell. Die Pixeldaten hingegen werden erst dann geladen, wenn sie gebraucht werden.
Dennoch werden die Dateien erstmal geöffnet, d.h. im Dateisystem gesucht, was bei mechanischen Platten Kopfpositionierungen verursacht, und das dauert auch, auch wenn von der einzelnen Dateien nur das 1. kB gelesen wird. Das sind bei mir in der Regel um die 50 Dateien. Bei DSLR-Daten sind das nach dem RGB-Splitting schon 150.
Ich denke vor allem Carsten, der mit vielen kurzen Belichtungen arbeitet, wurde eine deutliche Beschleunigung spüren.
Dietmar
Sicher, die mechanischen Overheads gibt es. Aber ob sie beim Einlesen des Projekts passieren oder spaeter aendert an der Gesamtdauer nichts. Abgesehen davon will ich das jetzt auf keinen Fall mehr umstricken. das erhoeht die Komplexitaet des codes an vielen Stellen, weil ich dort checken muss, ob die Information schon vorliegt oder nicht, und wenn nicht, dann muss ich erst alles einlesen. So habe ich mit Initialisierung eines Projekts alles vorhanden.
Abgesehen davon will ich mechanischen Festplatten nicht hinterher optimieren. Die Dinger sind einfach Vergangenheit; ich weiss, dass viele noch eine haben, aber darauf kann ich auf diesem Niveau keine Ruecksicht nehmen. Dazu hab ich zu wenig Zeit. Ein Grund warum THELI v2 sich ueber die letzten Jahre zu einem derartigen Flaschenhals entwickelt hat, waren die teilweise extrem konservativen Annahmen was die hardware und verschiedene Linux OS und deren compiler anging.
mischa
Re: Bug Report Theli v3
Verfasst:
Freitag 26. Juni 2020, 18:28
von dietmar
Moin,
'nen Overhead gibt es beim Öffnen von Dateien immer, nur bei mechanischen Platten ist er besonders groß.
Wenn das einen erheblichen Änderungsaufwand verursacht, dann vergiss es. Zumal auch jede Änderung eine potenzielle Fehlerquelle darstellt.
Viel Spaß noch
Dietmar
Re: Bug Report Theli v3
Verfasst:
Donnerstag 23. Juli 2020, 14:52
von dietmar
Moin Mischa,
ich hab' da nochwas gefunden:
Wenn ich in der "Sky subtraction" "polinomial fit" auswähle und zu wenige Bereiche auswähle, setzt die Funktion
- Code: Alles auswählen
Fitting::makePolynomialFit2D()
die Variable
- Code: Alles auswählen
Fitting::FITSUCCESS
auf false und kehrt zum Aufrufer zurück.
Die aufrufende Funktion
- Code: Alles auswählen
Controller::skysubPolynomialFit()
überprüft diese Variable jedoch nicht und übergibt der Funktion
- Code: Alles auswählen
MyImage::subtractSkyFit()
einen uninitialisierten Pointer, die sich daraufhin verabschiedet.
Könntest Du in
- Code: Alles auswählen
processingInternal/processingSkysub.cc
hinter
- Code: Alles auswählen
skyFit.makePolynomialFit2D(order, skyPolyfitNodes);
sowas
- Code: Alles auswählen
if(!skyFit.FITSUCCESS)
{
emit messageAvailable("Insufficient number of data points");
continue;
}
oder was ähnliches einbauen?
Viel Spaß noch
Dietmar
Re: Bug Report Theli v3
Verfasst:
Donnerstag 23. Juli 2020, 21:35
von mischa
Hi Dietmar,
danke, schau ich mir gleich morgen an!
mischa
Re: Bug Report Theli v3
Verfasst:
Freitag 24. Juli 2020, 10:27
von mischa
Ok, hab's abgefangen. Danke nochmal.
mischa
Re: Bug Report Theli v3
Verfasst:
Sonntag 2. August 2020, 09:51
von ThomasS
Ich hab mir gestern (1.8.) mit git pull die neuesten Dateien heruntergeladen. Habe aber beim make -j Probleme:
- Code: Alles auswählen
g++ -fopenmp -Wl,-O1 -o theli main.o absphot.o abszeropoint.o colorpicture.o refcatdata.o subtaskColorcalib.o subtaskCropcoadd.o subtaskbbnb.o subtaskfits2tiff.o consistencychecks.o datadir.o datamodel.o deepmessages.o confdockwidget.o defaults.o memoryviewer.o monitor.o validate_confdock.o functions.o imagestatistics.o imagestatistics_events.o imagestatistics_plotting.o instrumentdefinition.o actions.o constructors.o ivcolordockwidget.o ivconfdockwidget.o ivscampdockwidget.o ivwcsdockwidget.o events.o iview.o mygraphicsellipseitem.o mygraphicsscene.o mygraphicsview.o mainwindow.o astrometrynet.o background.o fitsinterface.o memoryoperations.o myimage.o segmentation.o skysub.o sourceextractor.o tifftools.o weighting.o writefits.o preferences.o errordialog.o controller.o data.o displayconfig.o dictionaries.o mask.o photinst.o processingAncillary.o processingAstrometry.o processingBackground.o processingCalibration.o processingCoadd.o processingCollapse.o processingSkysub.o processingSplitter.o processingWeight.o processingCreateSourceCat.o processingStatus.o qcustomplot.o query.o imstatsreadme.o multidirreadme.o scampreadme.o swarpreadme.o license.o acknowledging.o settings.o status.o taskinfrastructure.o tasks.o abszpworker.o colorpictureworker.o mainguiworker.o memoryworker.o scampworker.o sourceextractorworker.o swarpworker.o worker.o anetworker.o cfitsioerrorcodes.o correlator.o cpu.o debayer.o detectedobject.o fileprogresscounter.o fitgauss1d.o fitting.o imagequality.o polygon.o ram.o splitter.o splitter_RAW.o splitter_buildHeader.o splitter_processingGeneric.o splitter_processingSpecific.o splitter_queryHeaderLists.o splitter_multiport.o swarpfilter.o tools.o xcorr.o validators.o qrc_resources.o moc_abszeropoint.o moc_colorpicture.o moc_refcatdata.o moc_datamodel.o moc_confdockwidget.o moc_memoryviewer.o moc_monitor.o moc_imagestatistics.o moc_instrumentdefinition.o moc_ivcolordockwidget.o moc_ivconfdockwidget.o moc_ivscampdockwidget.o moc_ivwcsdockwidget.o moc_iview.o moc_mygraphicsscene.o moc_mygraphicsview.o moc_mainwindow.o moc_myimage.o moc_preferences.o moc_errordialog.o moc_controller.o moc_data.o moc_mask.o moc_photinst.o moc_processingStatus.o moc_qcustomplot.o moc_query.o moc_acknowledging.o moc_imstatsreadme.o moc_license.o moc_multidirreadme.o moc_scampreadme.o moc_swarpreadme.o moc_status.o moc_abszpworker.o moc_anetworker.o moc_colorpictureworker.o moc_mainguiworker.o moc_memoryworker.o moc_scampworker.o moc_sourceextractorworker.o moc_swarpworker.o moc_worker.o moc_cfitsioerrorcodes.o moc_correlator.o moc_cpu.o moc_detectedobject.o moc_fileprogresscounter.o moc_fitting.o moc_imagequality.o moc_ram.o moc_splitter.o moc_swarpfilter.o -lcfitsio -lcurl -lfftw3_omp -lfftw3 -lm -lgsl -lgslcblas -lwcs -ltiff -lraw -lQt5PrintSupport -lQt5Widgets -lQt5Gui -lQt5Test -lQt5Core -lGL -lpthread
absphot.o: Datei nicht erkannt: Datei abgeschnitten
collect2: error: ld returned 1 exit status
Makefile:628: recipe for target 'theli' failed
make: *** [theli] Error 1
Kann mir jemand sagen, wie ich das repariere?
LG Thomas
Re: Bug Report Theli v3
Verfasst:
Sonntag 2. August 2020, 10:23
von spiegelei
Hallo Thomas,
probiere mal ohne das -j.
Gruß
Karsten
Objektsuche in Catalogs
Verfasst:
Sonntag 2. August 2020, 10:24
von ThomasS
Funktioniert bei euch die Koordinatensuche bei Eingabe des Objektnamens in Create catalogs, page 6? Ich kann eingeben, was ich will, z.B. M8, m8, Messier 8, NGC 6523 und bekomme immer eine Fehlermeldung:
Target not found - The coordinates of NGC 6523 could not be resolved. Check for typos, or try a different name of the same target.
Re: Bug Report Theli v3
Verfasst:
Sonntag 2. August 2020, 10:26
von ThomasS
spiegelei hat geschrieben:Hallo Thomas,
probiere mal ohne das -j.
Gruß
Karsten
Genau das selbe:
- Code: Alles auswählen
thomas@thomas-VirtualBox:~/THELI/src$ make
g++ -fopenmp -Wl,-O1 -o theli main.o absphot.o abszeropoint.o colorpicture.o refcatdata.o subtaskColorcalib.o subtaskCropcoadd.o subtaskbbnb.o subtaskfits2tiff.o consistencychecks.o datadir.o datamodel.o deepmessages.o confdockwidget.o defaults.o memoryviewer.o monitor.o validate_confdock.o functions.o imagestatistics.o imagestatistics_events.o imagestatistics_plotting.o instrumentdefinition.o actions.o constructors.o ivcolordockwidget.o ivconfdockwidget.o ivscampdockwidget.o ivwcsdockwidget.o events.o iview.o mygraphicsellipseitem.o mygraphicsscene.o mygraphicsview.o mainwindow.o astrometrynet.o background.o fitsinterface.o memoryoperations.o myimage.o segmentation.o skysub.o sourceextractor.o tifftools.o weighting.o writefits.o preferences.o errordialog.o controller.o data.o displayconfig.o dictionaries.o mask.o photinst.o processingAncillary.o processingAstrometry.o processingBackground.o processingCalibration.o processingCoadd.o processingCollapse.o processingSkysub.o processingSplitter.o processingWeight.o processingCreateSourceCat.o processingStatus.o qcustomplot.o query.o imstatsreadme.o multidirreadme.o scampreadme.o swarpreadme.o license.o acknowledging.o settings.o status.o taskinfrastructure.o tasks.o abszpworker.o colorpictureworker.o mainguiworker.o memoryworker.o scampworker.o sourceextractorworker.o swarpworker.o worker.o anetworker.o cfitsioerrorcodes.o correlator.o cpu.o debayer.o detectedobject.o fileprogresscounter.o fitgauss1d.o fitting.o imagequality.o polygon.o ram.o splitter.o splitter_RAW.o splitter_buildHeader.o splitter_processingGeneric.o splitter_processingSpecific.o splitter_queryHeaderLists.o splitter_multiport.o swarpfilter.o tools.o xcorr.o validators.o qrc_resources.o moc_abszeropoint.o moc_colorpicture.o moc_refcatdata.o moc_datamodel.o moc_confdockwidget.o moc_memoryviewer.o moc_monitor.o moc_imagestatistics.o moc_instrumentdefinition.o moc_ivcolordockwidget.o moc_ivconfdockwidget.o moc_ivscampdockwidget.o moc_ivwcsdockwidget.o moc_iview.o moc_mygraphicsscene.o moc_mygraphicsview.o moc_mainwindow.o moc_myimage.o moc_preferences.o moc_errordialog.o moc_controller.o moc_data.o moc_mask.o moc_photinst.o moc_processingStatus.o moc_qcustomplot.o moc_query.o moc_acknowledging.o moc_imstatsreadme.o moc_license.o moc_multidirreadme.o moc_scampreadme.o moc_swarpreadme.o moc_status.o moc_abszpworker.o moc_anetworker.o moc_colorpictureworker.o moc_mainguiworker.o moc_memoryworker.o moc_scampworker.o moc_sourceextractorworker.o moc_swarpworker.o moc_worker.o moc_cfitsioerrorcodes.o moc_correlator.o moc_cpu.o moc_detectedobject.o moc_fileprogresscounter.o moc_fitting.o moc_imagequality.o moc_ram.o moc_splitter.o moc_swarpfilter.o -lcfitsio -lcurl -lfftw3_omp -lfftw3 -lm -lgsl -lgslcblas -lwcs -ltiff -lraw -lQt5PrintSupport -lQt5Widgets -lQt5Gui -lQt5Test -lQt5Core -lGL -lpthread
absphot.o: Datei nicht erkannt: Datei abgeschnitten
collect2: error: ld returned 1 exit status
Makefile:628: recipe for target 'theli' failed
make: *** [theli] Error 1
Re: Bug Report Theli v3
Verfasst:
Sonntag 2. August 2020, 10:27
von spiegelei
Hallo nochmal,
da gab es mal einen Thread hier dazu. Mischa hat das aber wohl mal umgestellt von vizquery auf eine eigen Lösung. Ich habe aber grade den Link dahin nicht auf dem Schirm.
Gruß
Karsten
Re: Bug Report Theli v3
Verfasst:
Sonntag 2. August 2020, 16:07
von mischa
In eurem THELI Installationspfad gibt es ein "python/' Unterverzeichnis. Bitte da mal in einer Konsole reinwechseln und folgendes ausfuehren:
python3 resolvetargets.py ngc6992
Das sollte RA und DEC in Dezimalformat zurueckgeben. Falls ihr python3 nicht habt, dann einfach 'python' verwenden.
mischa