Bug Report Theli v3

Alles über das neue Theli 3. Die Software ist noch Beta, was aber nicht davon abhalten soll, es auch mal zu probieren. Hier findet die Dokumentation und der Linkaustausch statt. Momentan ist das Unterforum noch nicht in Kategorien unterteilt. Also plappert freudig drauf los.

Re: Bug Report Theli v3

Beitragvon mischa » Samstag 20. Juni 2020, 19:14

Ja, THELI laedt alle notwendigen Daten des letzten Projekts. Es liest aber nicht die Pixeldaten ein, sondern nur die Header. Ich vermute, es liegt daran, dass die globalweights nicht richtig aufgeraeumt werden, das kann ich mir nochmal genauer anschauen.

Es ist eine gute Idee beim Start den Benutzer zu fragen, ob das letzte Projekt geladen werden soll oder ob ein Neues angefangen wird. Das kann ich leicht machen.
mischa
Moderator
 
Beiträge: 1176
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Bug Report Theli v3

Beitragvon dietmar » Sonntag 21. Juni 2020, 17:47

mischa hat geschrieben:Ja, THELI laedt alle notwendigen Daten des letzten Projekts. Es liest aber nicht die Pixeldaten ein, sondern nur die Header. Ich vermute, es liegt daran, dass die globalweights nicht richtig aufgeraeumt werden, das kann ich mir nochmal genauer anschauen.

Es ist eine gute Idee beim Start den Benutzer zu fragen, ob das letzte Projekt geladen werden soll oder ob ein Neues angefangen wird. Das kann ich leicht machen.
Es spricht ja eigentlich nichts dagegen, beim Start das letzte Projekt zu laden. Nur das Lesen der Bilder/Header sollte erst dann erfolgen, wenn sie gebraucht werden. Sonst ändert man was im Data tree und das Lesen war umsonst. Das würde auch den Start beschleunigen.

Dietmar
dietmar
 
Beiträge: 98
Registriert: Montag 24. Februar 2014, 11:41
Wohnort: Hilden

Re: Bug Report Theli v3

Beitragvon mischa » Montag 22. Juni 2020, 09:02

dietmar hat geschrieben:Es spricht ja eigentlich nichts dagegen, beim Start das letzte Projekt zu laden. Nur das Lesen der Bilder/Header sollte erst dann erfolgen, wenn sie gebraucht werden. Sonst ändert man was im Data tree und das Lesen war umsonst. Das würde auch den Start beschleunigen.


Die header sind nur ein paar kB gross, und deren Einlesen ueber die cfitsio Bibliothek ist sehr schnell. Die Pixeldaten hingegen werden erst dann geladen, wenn sie gebraucht werden.

mischa
mischa
Moderator
 
Beiträge: 1176
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Bug Report Theli v3

Beitragvon dietmar » Donnerstag 25. Juni 2020, 17:15

mischa hat geschrieben:Die header sind nur ein paar kB gross, und deren Einlesen ueber die cfitsio Bibliothek ist sehr schnell. Die Pixeldaten hingegen werden erst dann geladen, wenn sie gebraucht werden.
Dennoch werden die Dateien erstmal geöffnet, d.h. im Dateisystem gesucht, was bei mechanischen Platten Kopfpositionierungen verursacht, und das dauert auch, auch wenn von der einzelnen Dateien nur das 1. kB gelesen wird. Das sind bei mir in der Regel um die 50 Dateien. Bei DSLR-Daten sind das nach dem RGB-Splitting schon 150.
Ich denke vor allem Carsten, der mit vielen kurzen Belichtungen arbeitet, wurde eine deutliche Beschleunigung spüren.

Dietmar
dietmar
 
Beiträge: 98
Registriert: Montag 24. Februar 2014, 11:41
Wohnort: Hilden

Re: Bug Report Theli v3

Beitragvon mischa » Donnerstag 25. Juni 2020, 18:58

dietmar hat geschrieben:
mischa hat geschrieben:Die header sind nur ein paar kB gross, und deren Einlesen ueber die cfitsio Bibliothek ist sehr schnell. Die Pixeldaten hingegen werden erst dann geladen, wenn sie gebraucht werden.
Dennoch werden die Dateien erstmal geöffnet, d.h. im Dateisystem gesucht, was bei mechanischen Platten Kopfpositionierungen verursacht, und das dauert auch, auch wenn von der einzelnen Dateien nur das 1. kB gelesen wird. Das sind bei mir in der Regel um die 50 Dateien. Bei DSLR-Daten sind das nach dem RGB-Splitting schon 150.
Ich denke vor allem Carsten, der mit vielen kurzen Belichtungen arbeitet, wurde eine deutliche Beschleunigung spüren.

Dietmar


Sicher, die mechanischen Overheads gibt es. Aber ob sie beim Einlesen des Projekts passieren oder spaeter aendert an der Gesamtdauer nichts. Abgesehen davon will ich das jetzt auf keinen Fall mehr umstricken. das erhoeht die Komplexitaet des codes an vielen Stellen, weil ich dort checken muss, ob die Information schon vorliegt oder nicht, und wenn nicht, dann muss ich erst alles einlesen. So habe ich mit Initialisierung eines Projekts alles vorhanden.
Abgesehen davon will ich mechanischen Festplatten nicht hinterher optimieren. Die Dinger sind einfach Vergangenheit; ich weiss, dass viele noch eine haben, aber darauf kann ich auf diesem Niveau keine Ruecksicht nehmen. Dazu hab ich zu wenig Zeit. Ein Grund warum THELI v2 sich ueber die letzten Jahre zu einem derartigen Flaschenhals entwickelt hat, waren die teilweise extrem konservativen Annahmen was die hardware und verschiedene Linux OS und deren compiler anging.

mischa
mischa
Moderator
 
Beiträge: 1176
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Bug Report Theli v3

Beitragvon dietmar » Freitag 26. Juni 2020, 18:28

Moin,

'nen Overhead gibt es beim Öffnen von Dateien immer, nur bei mechanischen Platten ist er besonders groß.
Wenn das einen erheblichen Änderungsaufwand verursacht, dann vergiss es. Zumal auch jede Änderung eine potenzielle Fehlerquelle darstellt.

Viel Spaß noch
Dietmar
dietmar
 
Beiträge: 98
Registriert: Montag 24. Februar 2014, 11:41
Wohnort: Hilden

Vorherige

Zurück zu Theli 3 - Das neue Theli (noch Beta-Stadium)

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast