Bug Report Theli v3

Wichtige Updates, neue Theli-Versionen, Euer Wunschzettel für Theli, Feedback

Re: Bug Report Theli v3

Beitragvon mischa » Samstag 20. Juni 2020, 19:14

Ja, THELI laedt alle notwendigen Daten des letzten Projekts. Es liest aber nicht die Pixeldaten ein, sondern nur die Header. Ich vermute, es liegt daran, dass die globalweights nicht richtig aufgeraeumt werden, das kann ich mir nochmal genauer anschauen.

Es ist eine gute Idee beim Start den Benutzer zu fragen, ob das letzte Projekt geladen werden soll oder ob ein Neues angefangen wird. Das kann ich leicht machen.
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Bug Report Theli v3

Beitragvon dietmar » Sonntag 21. Juni 2020, 17:47

mischa hat geschrieben:Ja, THELI laedt alle notwendigen Daten des letzten Projekts. Es liest aber nicht die Pixeldaten ein, sondern nur die Header. Ich vermute, es liegt daran, dass die globalweights nicht richtig aufgeraeumt werden, das kann ich mir nochmal genauer anschauen.

Es ist eine gute Idee beim Start den Benutzer zu fragen, ob das letzte Projekt geladen werden soll oder ob ein Neues angefangen wird. Das kann ich leicht machen.
Es spricht ja eigentlich nichts dagegen, beim Start das letzte Projekt zu laden. Nur das Lesen der Bilder/Header sollte erst dann erfolgen, wenn sie gebraucht werden. Sonst ändert man was im Data tree und das Lesen war umsonst. Das würde auch den Start beschleunigen.

Dietmar
dietmar
 
Beiträge: 151
Registriert: Montag 24. Februar 2014, 11:41
Wohnort: Hilden (in der Lichtglocke von Düsseldorf)

Re: Bug Report Theli v3

Beitragvon mischa » Montag 22. Juni 2020, 09:02

dietmar hat geschrieben:Es spricht ja eigentlich nichts dagegen, beim Start das letzte Projekt zu laden. Nur das Lesen der Bilder/Header sollte erst dann erfolgen, wenn sie gebraucht werden. Sonst ändert man was im Data tree und das Lesen war umsonst. Das würde auch den Start beschleunigen.


Die header sind nur ein paar kB gross, und deren Einlesen ueber die cfitsio Bibliothek ist sehr schnell. Die Pixeldaten hingegen werden erst dann geladen, wenn sie gebraucht werden.

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Bug Report Theli v3

Beitragvon dietmar » Donnerstag 25. Juni 2020, 17:15

mischa hat geschrieben:Die header sind nur ein paar kB gross, und deren Einlesen ueber die cfitsio Bibliothek ist sehr schnell. Die Pixeldaten hingegen werden erst dann geladen, wenn sie gebraucht werden.
Dennoch werden die Dateien erstmal geöffnet, d.h. im Dateisystem gesucht, was bei mechanischen Platten Kopfpositionierungen verursacht, und das dauert auch, auch wenn von der einzelnen Dateien nur das 1. kB gelesen wird. Das sind bei mir in der Regel um die 50 Dateien. Bei DSLR-Daten sind das nach dem RGB-Splitting schon 150.
Ich denke vor allem Carsten, der mit vielen kurzen Belichtungen arbeitet, wurde eine deutliche Beschleunigung spüren.

Dietmar
dietmar
 
Beiträge: 151
Registriert: Montag 24. Februar 2014, 11:41
Wohnort: Hilden (in der Lichtglocke von Düsseldorf)

Re: Bug Report Theli v3

Beitragvon mischa » Donnerstag 25. Juni 2020, 18:58

dietmar hat geschrieben:
mischa hat geschrieben:Die header sind nur ein paar kB gross, und deren Einlesen ueber die cfitsio Bibliothek ist sehr schnell. Die Pixeldaten hingegen werden erst dann geladen, wenn sie gebraucht werden.
Dennoch werden die Dateien erstmal geöffnet, d.h. im Dateisystem gesucht, was bei mechanischen Platten Kopfpositionierungen verursacht, und das dauert auch, auch wenn von der einzelnen Dateien nur das 1. kB gelesen wird. Das sind bei mir in der Regel um die 50 Dateien. Bei DSLR-Daten sind das nach dem RGB-Splitting schon 150.
Ich denke vor allem Carsten, der mit vielen kurzen Belichtungen arbeitet, wurde eine deutliche Beschleunigung spüren.

Dietmar


Sicher, die mechanischen Overheads gibt es. Aber ob sie beim Einlesen des Projekts passieren oder spaeter aendert an der Gesamtdauer nichts. Abgesehen davon will ich das jetzt auf keinen Fall mehr umstricken. das erhoeht die Komplexitaet des codes an vielen Stellen, weil ich dort checken muss, ob die Information schon vorliegt oder nicht, und wenn nicht, dann muss ich erst alles einlesen. So habe ich mit Initialisierung eines Projekts alles vorhanden.
Abgesehen davon will ich mechanischen Festplatten nicht hinterher optimieren. Die Dinger sind einfach Vergangenheit; ich weiss, dass viele noch eine haben, aber darauf kann ich auf diesem Niveau keine Ruecksicht nehmen. Dazu hab ich zu wenig Zeit. Ein Grund warum THELI v2 sich ueber die letzten Jahre zu einem derartigen Flaschenhals entwickelt hat, waren die teilweise extrem konservativen Annahmen was die hardware und verschiedene Linux OS und deren compiler anging.

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Bug Report Theli v3

Beitragvon dietmar » Freitag 26. Juni 2020, 18:28

Moin,

'nen Overhead gibt es beim Öffnen von Dateien immer, nur bei mechanischen Platten ist er besonders groß.
Wenn das einen erheblichen Änderungsaufwand verursacht, dann vergiss es. Zumal auch jede Änderung eine potenzielle Fehlerquelle darstellt.

Viel Spaß noch
Dietmar
dietmar
 
Beiträge: 151
Registriert: Montag 24. Februar 2014, 11:41
Wohnort: Hilden (in der Lichtglocke von Düsseldorf)

Re: Bug Report Theli v3

Beitragvon dietmar » Donnerstag 23. Juli 2020, 14:52

Moin Mischa,

ich hab' da nochwas gefunden:
Wenn ich in der "Sky subtraction" "polinomial fit" auswähle und zu wenige Bereiche auswähle, setzt die Funktion
Code: Alles auswählen
Fitting::makePolynomialFit2D()
die Variable
Code: Alles auswählen
Fitting::FITSUCCESS
auf false und kehrt zum Aufrufer zurück.
Die aufrufende Funktion
Code: Alles auswählen
Controller::skysubPolynomialFit()
überprüft diese Variable jedoch nicht und übergibt der Funktion
Code: Alles auswählen
MyImage::subtractSkyFit()
einen uninitialisierten Pointer, die sich daraufhin verabschiedet.

Könntest Du in
Code: Alles auswählen
processingInternal/processingSkysub.cc
hinter
Code: Alles auswählen
skyFit.makePolynomialFit2D(order, skyPolyfitNodes);
sowas
Code: Alles auswählen
if(!skyFit.FITSUCCESS)
{
    emit messageAvailable("Insufficient number of data points");
    continue;
}
oder was ähnliches einbauen?

Viel Spaß noch
Dietmar
dietmar
 
Beiträge: 151
Registriert: Montag 24. Februar 2014, 11:41
Wohnort: Hilden (in der Lichtglocke von Düsseldorf)

Re: Bug Report Theli v3

Beitragvon mischa » Donnerstag 23. Juli 2020, 21:35

Hi Dietmar,

danke, schau ich mir gleich morgen an!

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Bug Report Theli v3

Beitragvon mischa » Freitag 24. Juli 2020, 10:27

Ok, hab's abgefangen. Danke nochmal.

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Bug Report Theli v3

Beitragvon ThomasS » Sonntag 2. August 2020, 09:51

Ich hab mir gestern (1.8.) mit git pull die neuesten Dateien heruntergeladen. Habe aber beim make -j Probleme:

Code: Alles auswählen
g++ -fopenmp -Wl,-O1 -o theli main.o absphot.o abszeropoint.o colorpicture.o refcatdata.o subtaskColorcalib.o subtaskCropcoadd.o subtaskbbnb.o subtaskfits2tiff.o consistencychecks.o datadir.o datamodel.o deepmessages.o confdockwidget.o defaults.o memoryviewer.o monitor.o validate_confdock.o functions.o imagestatistics.o imagestatistics_events.o imagestatistics_plotting.o instrumentdefinition.o actions.o constructors.o ivcolordockwidget.o ivconfdockwidget.o ivscampdockwidget.o ivwcsdockwidget.o events.o iview.o mygraphicsellipseitem.o mygraphicsscene.o mygraphicsview.o mainwindow.o astrometrynet.o background.o fitsinterface.o memoryoperations.o myimage.o segmentation.o skysub.o sourceextractor.o tifftools.o weighting.o writefits.o preferences.o errordialog.o controller.o data.o displayconfig.o dictionaries.o mask.o photinst.o processingAncillary.o processingAstrometry.o processingBackground.o processingCalibration.o processingCoadd.o processingCollapse.o processingSkysub.o processingSplitter.o processingWeight.o processingCreateSourceCat.o processingStatus.o qcustomplot.o query.o imstatsreadme.o multidirreadme.o scampreadme.o swarpreadme.o license.o acknowledging.o settings.o status.o taskinfrastructure.o tasks.o abszpworker.o colorpictureworker.o mainguiworker.o memoryworker.o scampworker.o sourceextractorworker.o swarpworker.o worker.o anetworker.o cfitsioerrorcodes.o correlator.o cpu.o debayer.o detectedobject.o fileprogresscounter.o fitgauss1d.o fitting.o imagequality.o polygon.o ram.o splitter.o splitter_RAW.o splitter_buildHeader.o splitter_processingGeneric.o splitter_processingSpecific.o splitter_queryHeaderLists.o splitter_multiport.o swarpfilter.o tools.o xcorr.o validators.o qrc_resources.o moc_abszeropoint.o moc_colorpicture.o moc_refcatdata.o moc_datamodel.o moc_confdockwidget.o moc_memoryviewer.o moc_monitor.o moc_imagestatistics.o moc_instrumentdefinition.o moc_ivcolordockwidget.o moc_ivconfdockwidget.o moc_ivscampdockwidget.o moc_ivwcsdockwidget.o moc_iview.o moc_mygraphicsscene.o moc_mygraphicsview.o moc_mainwindow.o moc_myimage.o moc_preferences.o moc_errordialog.o moc_controller.o moc_data.o moc_mask.o moc_photinst.o moc_processingStatus.o moc_qcustomplot.o moc_query.o moc_acknowledging.o moc_imstatsreadme.o moc_license.o moc_multidirreadme.o moc_scampreadme.o moc_swarpreadme.o moc_status.o moc_abszpworker.o moc_anetworker.o moc_colorpictureworker.o moc_mainguiworker.o moc_memoryworker.o moc_scampworker.o moc_sourceextractorworker.o moc_swarpworker.o moc_worker.o moc_cfitsioerrorcodes.o moc_correlator.o moc_cpu.o moc_detectedobject.o moc_fileprogresscounter.o moc_fitting.o moc_imagequality.o moc_ram.o moc_splitter.o moc_swarpfilter.o   -lcfitsio -lcurl -lfftw3_omp -lfftw3 -lm -lgsl -lgslcblas -lwcs -ltiff -lraw -lQt5PrintSupport -lQt5Widgets -lQt5Gui -lQt5Test -lQt5Core -lGL -lpthread
absphot.o: Datei nicht erkannt: Datei abgeschnitten
collect2: error: ld returned 1 exit status
Makefile:628: recipe for target 'theli' failed
make: *** [theli] Error 1


Kann mir jemand sagen, wie ich das repariere?
LG Thomas
ThomasS
 
Beiträge: 29
Registriert: Dienstag 24. März 2020, 20:57
Wohnort: Surberg

Re: Bug Report Theli v3

Beitragvon spiegelei » Sonntag 2. August 2020, 10:23

Hallo Thomas,
probiere mal ohne das -j.
Gruß
Karsten
Atik 383 - AP80/560 - GSO RC 8" - LX50 8" SC - TSAPO65Q - CGEM
Theli 3 - SUSE Leap 15.1/64 - Dual XEON 12K/24T - 32GB
Die meisten großen Erfindungen beginnen nicht mit "HEUREKA" sondern mit "Das ist aber komisch....."
Benutzeravatar
spiegelei
 
Beiträge: 197
Registriert: Donnerstag 29. September 2011, 15:15
Wohnort: Chemnitz

Objektsuche in Catalogs

Beitragvon ThomasS » Sonntag 2. August 2020, 10:24

Funktioniert bei euch die Koordinatensuche bei Eingabe des Objektnamens in Create catalogs, page 6? Ich kann eingeben, was ich will, z.B. M8, m8, Messier 8, NGC 6523 und bekomme immer eine Fehlermeldung:
Target not found - The coordinates of NGC 6523 could not be resolved. Check for typos, or try a different name of the same target.
ThomasS
 
Beiträge: 29
Registriert: Dienstag 24. März 2020, 20:57
Wohnort: Surberg

Re: Bug Report Theli v3

Beitragvon ThomasS » Sonntag 2. August 2020, 10:26

spiegelei hat geschrieben:Hallo Thomas,
probiere mal ohne das -j.
Gruß
Karsten


Genau das selbe:
Code: Alles auswählen
thomas@thomas-VirtualBox:~/THELI/src$ make
g++ -fopenmp -Wl,-O1 -o theli main.o absphot.o abszeropoint.o colorpicture.o refcatdata.o subtaskColorcalib.o subtaskCropcoadd.o subtaskbbnb.o subtaskfits2tiff.o consistencychecks.o datadir.o datamodel.o deepmessages.o confdockwidget.o defaults.o memoryviewer.o monitor.o validate_confdock.o functions.o imagestatistics.o imagestatistics_events.o imagestatistics_plotting.o instrumentdefinition.o actions.o constructors.o ivcolordockwidget.o ivconfdockwidget.o ivscampdockwidget.o ivwcsdockwidget.o events.o iview.o mygraphicsellipseitem.o mygraphicsscene.o mygraphicsview.o mainwindow.o astrometrynet.o background.o fitsinterface.o memoryoperations.o myimage.o segmentation.o skysub.o sourceextractor.o tifftools.o weighting.o writefits.o preferences.o errordialog.o controller.o data.o displayconfig.o dictionaries.o mask.o photinst.o processingAncillary.o processingAstrometry.o processingBackground.o processingCalibration.o processingCoadd.o processingCollapse.o processingSkysub.o processingSplitter.o processingWeight.o processingCreateSourceCat.o processingStatus.o qcustomplot.o query.o imstatsreadme.o multidirreadme.o scampreadme.o swarpreadme.o license.o acknowledging.o settings.o status.o taskinfrastructure.o tasks.o abszpworker.o colorpictureworker.o mainguiworker.o memoryworker.o scampworker.o sourceextractorworker.o swarpworker.o worker.o anetworker.o cfitsioerrorcodes.o correlator.o cpu.o debayer.o detectedobject.o fileprogresscounter.o fitgauss1d.o fitting.o imagequality.o polygon.o ram.o splitter.o splitter_RAW.o splitter_buildHeader.o splitter_processingGeneric.o splitter_processingSpecific.o splitter_queryHeaderLists.o splitter_multiport.o swarpfilter.o tools.o xcorr.o validators.o qrc_resources.o moc_abszeropoint.o moc_colorpicture.o moc_refcatdata.o moc_datamodel.o moc_confdockwidget.o moc_memoryviewer.o moc_monitor.o moc_imagestatistics.o moc_instrumentdefinition.o moc_ivcolordockwidget.o moc_ivconfdockwidget.o moc_ivscampdockwidget.o moc_ivwcsdockwidget.o moc_iview.o moc_mygraphicsscene.o moc_mygraphicsview.o moc_mainwindow.o moc_myimage.o moc_preferences.o moc_errordialog.o moc_controller.o moc_data.o moc_mask.o moc_photinst.o moc_processingStatus.o moc_qcustomplot.o moc_query.o moc_acknowledging.o moc_imstatsreadme.o moc_license.o moc_multidirreadme.o moc_scampreadme.o moc_swarpreadme.o moc_status.o moc_abszpworker.o moc_anetworker.o moc_colorpictureworker.o moc_mainguiworker.o moc_memoryworker.o moc_scampworker.o moc_sourceextractorworker.o moc_swarpworker.o moc_worker.o moc_cfitsioerrorcodes.o moc_correlator.o moc_cpu.o moc_detectedobject.o moc_fileprogresscounter.o moc_fitting.o moc_imagequality.o moc_ram.o moc_splitter.o moc_swarpfilter.o   -lcfitsio -lcurl -lfftw3_omp -lfftw3 -lm -lgsl -lgslcblas -lwcs -ltiff -lraw -lQt5PrintSupport -lQt5Widgets -lQt5Gui -lQt5Test -lQt5Core -lGL -lpthread
absphot.o: Datei nicht erkannt: Datei abgeschnitten
collect2: error: ld returned 1 exit status
Makefile:628: recipe for target 'theli' failed
make: *** [theli] Error 1
ThomasS
 
Beiträge: 29
Registriert: Dienstag 24. März 2020, 20:57
Wohnort: Surberg

Re: Bug Report Theli v3

Beitragvon spiegelei » Sonntag 2. August 2020, 10:27

Hallo nochmal,
da gab es mal einen Thread hier dazu. Mischa hat das aber wohl mal umgestellt von vizquery auf eine eigen Lösung. Ich habe aber grade den Link dahin nicht auf dem Schirm.

Gruß
Karsten
Atik 383 - AP80/560 - GSO RC 8" - LX50 8" SC - TSAPO65Q - CGEM
Theli 3 - SUSE Leap 15.1/64 - Dual XEON 12K/24T - 32GB
Die meisten großen Erfindungen beginnen nicht mit "HEUREKA" sondern mit "Das ist aber komisch....."
Benutzeravatar
spiegelei
 
Beiträge: 197
Registriert: Donnerstag 29. September 2011, 15:15
Wohnort: Chemnitz

Re: Bug Report Theli v3

Beitragvon mischa » Sonntag 2. August 2020, 16:07

In eurem THELI Installationspfad gibt es ein "python/' Unterverzeichnis. Bitte da mal in einer Konsole reinwechseln und folgendes ausfuehren:

python3 resolvetargets.py ngc6992

Das sollte RA und DEC in Dezimalformat zurueckgeben. Falls ihr python3 nicht habt, dann einfach 'python' verwenden.

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

VorherigeNächste

Zurück zu Wunschzettel und Feedback

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron