Seite 1 von 2

Installation Theli v3 in Ubuntu 20.04

BeitragVerfasst: Sonntag 8. März 2020, 06:30
von bocca
Hallo Mischa,
alle Hochachtung an das neue THELI v3. Da steckt echt viel Arbeit drin.

Ich mußte aus Hardwaregründen bereits Ubuntu 20.04 nehmen und habe dort THELI v3 installiert.

Die Installation lief gut, wie in INSTALL beschrieben. Außer ein paar Anpassungen wegen Ubuntu 20.04 und einer nötigen Nachinstallation von libraw-dev war es problemlos.

Trotzdem sind einige Fragen aufgekommen.

1. Ist eine Migration auf Python3 geplant ?
2. THELI stürzt trotzdem noch sehr häufig ab. Würde es Dir helfen, wann ich die Abstürze dokumentiere und ggf. LOGs zusende ? Wenn ja, welche LOG Dateien brauchst Du ?
3. @alle : Besteht Interesse, daß ich die Installation detailliert beschreibe ? Vor allem die Installation von swarp , scamp v2.7 , sextractor v2.19 , vizquery.py und sesame ?
4. Gibt es schon eine aktualisierte Dokumentation von THELI v3 ?

Vielen Dank und Viele Grüße,
Kay

Re: Installation Theli v3 in Ubuntu 20.04

BeitragVerfasst: Sonntag 8. März 2020, 20:45
von spiegelei
Hallo Kay,

Installationsbeschreibung ist immer gut ;) Ich habe einen Großteil des Wochenendes damit zugebracht, die V3 unter Suse zum Laufen zu bringen.
Das mit den Abstürzen ist bei mir auch, dafür ist es ja auch noch beta.

Gruß
Karsten

Re: Installation Theli v3 in Ubuntu 20.04

BeitragVerfasst: Montag 9. März 2020, 20:25
von bocca
Hallo Karsten,

OK, dann schreibe ich mal eine Installationsanleitung.
Viele Grüße,
Kay.

Re: Installation Theli v3 in Ubuntu 20.04

BeitragVerfasst: Mittwoch 11. März 2020, 20:55
von bocca
1. Aktualisieren der Installation:

sudo apt-get update

sudo apt-get upgrade

2. Installation der notwendigen Pakete

Hinweis: Seit Ubuntu 20.04 wird python durch python2 ersetzt !!!


sudo apt install g++ build-essential autotools-dev python2 python-requests libfftw3-dev libtiff-dev curl libcurl4 libcurl4-gnutls-dev qt5-default qt5-qmake libgsl-dev libatlas-base-dev libblas-dev libplplot-dev libcfitsio-dev libwcstools-dev wcslib-dev liblapack-dev git libraw-dev

3. symbolischen Link für python setzen

sudo ln -s /usr/bin/python2 /usr/bin/python



Download und Installation von:
swarp v2.38 https://www.astromatic.net/software/swarp
scamp v2.7 https://github.com/astromatic/scamp
sextractor v2.19 https://www.astromatic.net/software/sextractor
vizquery.py http://cds.u-strasbg.fr/resources/doku.php?id=cdsclient
sesame http://cdsarc.u-strasbg.fr/ftp/pub/sw/cdsclient.tar.gz


4. Swarp Installation:

Download der Source : https://www.astromatic.net/download/swa ... 8.0.tar.gz

Entpacken mit: tar -xzf swarp-2.38.0.tar.gz

Kompilieren des Paketes:

1. ins entpackte Verzeichnis wechseln
'cd swarp-2.38.0'
2. eingeben von
'./configure' um die Paketkonfiguration zu starten
3. Kompilieren starten mit
'make'
4. Installation mit
'sudo make install'


-------------------------------------------------------------------
5. scamp Installation

Herunterladen der Version 2.7.8: https://github.com/astromatic/scamp/tree/v2.7.8
Auswahl: download zip from git

1. entpacken mit:
unzip scamp-2.7.8.zip
2. ins entpackte Verzeichnis wechseln
'cd scamp-2.7.8'
3. Konfiguration starten mit:
'sh autogen.sh'
4. Dabei wird ein configure Script erzeugt, welches gestartet wird:
'./configure'
5. Kompilieren starten
'make -j'
6. Installation mit
'sudo make install'

----------------------------------------------------------------
6. sextractor v2.19 Installation

Herunterladen von sextractor 2.19 von
https://www.astromatic.net/download/sex ... 9.5.tar.gz

1. entpacken mit:
'tar -xzf sextractor-2.19.5.tar.gz'
2. ins entpackte Verzeichnis wechseln:
'cd sextractor-2.19.5'
3. starten von:
'./configure'
4. Kompilieren starten:
'make'
5 Installation mit:
'sudo make install'



--------------------------------------------------------------
7. Installation von vizquery.py

Download der Installationsdatei von http://cds.u-strasbg.fr/resources/doku.php?id=cdsclient

Hinweis: Ich habe die Installationsdatei im Home Verzeichnis gespeichert. Nach dem entpacken entsteht dann ein neuer Ordner
'python-cdsclient' der im pfad aufgenommen werden muß.

1. entpacken mit:
'tar -xzvf python-cdsclient.tar.gz'
2. ins neu entstandene Verzeichnis wechseln
'cd python-cdsclient'
3. Test:
'./find_2mass.py -h'



--------------------------------------------------------------
8. Installation von sesame

Download der Installationsdatei von http://cdsarc.u-strasbg.fr/ftp/pub/sw/cdsclient.tar.gz

Hinweis: Ich habe die Installationsdatei im Home Verzeichnis gespeichert. Nach dem entpacken entsteht dann ein neuer Ordner
'cdsclient-3.84' der im pfad aufgenommen werden muß.

1. entpacken mit
'tar -xzvf cdsclient.tar.gz'

------------

9. Installation von THELI

1. herunterladen der Source:
'git clone https://github.com/schirmermischa/THELI.git'

2. THELIDIR in bashrc setzen:
editieren der Datei ./bashrc
folgende Zeile hinzufügen (den korrekten eigenen Pfad benutzen):
export THELIDIR=/home/<user>/Software/theli/THELI

3. ins Source Verzeichnis wechslen:
'cd /home/<user>/Software/theli/THELI/src'

4. 'qmake -o Makefile THELI.pro'

5. In UBUNTU 20.04 war es nötig in THELI.pro folgende Anpassung vorzunehmen:


die Zeile: INCLUDEPATH += /usr/local/include/wcslib-6.4/

wird zu: INCLUDEPATH += /usr/include/wcslib-7.1/

6. Übersetzen mit: für # die Anzahl der Prozessoren eingeben
'make -j #'



Anpassen der Pfadvariable in der .bashrc:
Hinzufügen folgender Zeile: (bitte Pfad anpassen)

export PATH="$PATH":/home/<user>/cdsclient-3.84:/home/<user>/python-cdsclient:/home/<user>/Software/theli/THELI/src

Jetzt entweder Ab- und Anmelden oder
'source ~/.bashrc' eingeben, umn die Änderungen in der .bashrc zu aktivieren.

Jetzt kann theli von der Kommandozeile gestartet werden.

Bei Fragen oder Verbesserungen bitte einfach melden.
Viele Grüße,
Kay

Re: Installation Theli v3 in Ubuntu 20.04

BeitragVerfasst: Donnerstag 12. März 2020, 08:16
von spiegelei
Hallo Kay,
Danke für die Mühen.

Zu ergänzen wäre evtl. für die Punkte 4-6, dass hier bei ./configure das Installationsverzeichnis vorgegeben werden kann (damit man das mal wiederfindet),
also z.B.
./configure --prefix=/usr/local

oder

./configure --prefix=/usr

Gruß
Karsten

Re: Installation Theli v3 in Ubuntu 20.04

BeitragVerfasst: Donnerstag 12. März 2020, 22:28
von bocca
Hallo Karsten,

der Standard Install Pfad ist für samp, swarp und sextractor '/usr/local/bin/' .

Falls es jemand sucht ;-).

Viele Grüße,
Kay

Re: Installation Theli v3 in Ubuntu 20.04

BeitragVerfasst: Freitag 13. März 2020, 10:27
von mischa
Hallo,

danke fuer's Zusammenstellen der Installationsdetails. Ich moechte an dieser Stelle nochmal erwaehnen, dass es fuer THELI v3 ein vorkonfiguriertes Debian-Paket geben wird (unter https://blends.debian.org/astro/tasks/), mit dem die meisten Abhaengigkeiten automatisch geloest werden koennen. Die Zusage habe ich hierfuer bereits, aber ich muss die Zeit finden, es auch zu tun.

Falls sich von euch jemand mit debian packaging auskennt, dann koennt ihr euch gerne bei mir melden. Schwierig ist es nicht, aber es braucht Zeit.

mischa

Re: Installation Theli v3 in Ubuntu 20.04

BeitragVerfasst: Samstag 14. März 2020, 23:24
von bocca
Hallo Mischa,

ich habe zwar noch nie offizielle Debian Packages gebaut, aber ich würde Dich gern unterstützen.
Nach kurzem googeln habe ich gesehen, daß es viele Tutorials gibt, da kann man sich sicher daran orientieren.

Sicher hast Du schon eine grobe Marschrichtung, die können wir ja mal abstimmen.
Viele Grüße,
Kay.

Re: Installation Theli v3 in Ubuntu 20.04

BeitragVerfasst: Sonntag 15. März 2020, 19:33
von mischa
Hallo Kay,

eine grobe Marschrichtung habe ich nicht. Ich wuerde mich genauso wie du an den Tutorials entlang hangeln. Falls du das angehen wuerdest, waere ich sehr erfreut! Alles weitere am besten per email, an "schirmer[at]mpia.de"

mischa

Release candidate 1

BeitragVerfasst: Dienstag 24. März 2020, 15:23
von mischa
Hallo,

ich habe die letzten Tage eine ganze Reihe Abstuerze ausgemerzt. Die neue Version laeuft nun deutlich stabiler und wird der erste release werden, ausser ihr findet in den naechsten Tagen noch weitere bugs. Der release candidate 1 ist ueber den normalen Download link erreichbar:

https://github.com/schirmermischa/THELI

mischa

Re: Installation Theli v3 in Ubuntu 20.04

BeitragVerfasst: Mittwoch 1. April 2020, 05:43
von astrofoto.harz
Hallo Mischa -
zunächst möchte ich Dir erst einmal für Dein wirklich hervorragendes Engagement für Deine Theli-Community danken.
Ich habe Theli v3 RC1 schon seit ein paar Tagen in der Mangel und finde folgende reproduzierbare Probleme:

OS: Linux Mint 19.3 Tricia
- Die Aktivierung von mehr als einem Core verursacht Abstürze, also teste ich im Moment nur mit einem Core.
- Ich habe ein Projekt mit 50 Bias, 80 Dark, 250 Luminanz Frames (Kamera QSI660, 12MB fit Datei). Die Fit Dateien benenne ich vor der Bearbeitung mit Theli in *.fits um.
- 1. Schritt , erzeugen der PDU Frames: Bias, Dark läuft durch, alles ok. Luminanz: Ab dem 169. Frame fängt Theli an langsamer zu werden, ab dem 175. Frame stockt das gesamte Betriebssystem für Minuten, ohne dass volle CPU Last erkennbar wäre, dann beendet sich Theli.
Vielleicht reicht die Info schon für Dich, um das nachzuvollziehen. Ansonsten könnte ich auch eine Debug-Version bauen und den coredump auswerten, wenn Du mehr Infos brauchst.

Grüsse aus dem Seuchenland, Olaf

Re: Installation Theli v3 in Ubuntu 20.04

BeitragVerfasst: Mittwoch 1. April 2020, 11:56
von astrofoto.harz
Das gleiche Fehlerbild besteht mit einer VM + Ubuntu 19.0.
Der Task ist übrigens der "Calibration Task/HDU reformatting" - ich hatte es im vorangegangenen Post falsch beschrieben.

CS, Olaf

Re: Installation Theli v3 in Ubuntu 20.04

BeitragVerfasst: Mittwoch 1. April 2020, 15:50
von mischa
Hi Olaf,

(1) bei welchen Schritten stuerzt THELI ab wenn du mehr als einen Core benutzt?

(2) Die Rohdaten musst du nicht umbenennen.

(3) Wie viel RAM hast du? Wie hoch ist die RAM Anzeige (oben rechts)?

THELI v3 behaelt so viel im Speicher wie moeglich bevor etwas als FITS Datei auf Platte geschrieben wird. Das sollte automatisch passieren und auch in der Speicheranzeige sichtbar sein. THELI reduziert auch automatisch die Anzahl CPUs falls es einen solchen Zustand registriert.

In den Einstellungen (das 'gears' Symbol oben links) kannst du angeben, dass FITS Dateien immer sofort rausgeschrieben werden muessen. Auch kannst du weiter unten im Abschnitt ueber RAM angeben, dass nur minimaler RAM benutzt werden soll. Das erhoeht den disk I/O overhead dann erheblich, vor allem wenn du keine SSD hast.

Im Grunde aber sollte dem System nicht die Luft ausgehen. Da meine Maschine 64 GB RAM hat, kann es ein, dass ich da an der einen oder anderen Stelle was uebersehen habe. In den Einstellungen bzgl. RAM kann man auch eine Obergrenze angeben. Das habe ich hauptsaechlich fuer mich zum testen gemacht. Selbst mit 512 MB kann ich sehr grosse Datensaetze reduzieren.

mischa

Re: Installation Theli v3 in Ubuntu 20.04

BeitragVerfasst: Mittwoch 1. April 2020, 15:54
von mischa
Nur um spezifisch zu sein: Die Verlangsamung passiert bereits beim ersten Schritt ("HDU reformat"), oder erst spaeter?

Kannst du mal mit 'top' in der Kommandozeile schauen, wie gross der vom betriebssystem erkannte Speicherbedarf ist, wenn die Verlangsamung eintritt?

mischa

Re: Installation Theli v3 in Ubuntu 20.04

BeitragVerfasst: Mittwoch 1. April 2020, 16:24
von mischa
Hi Olaf,

tatsaechlich, ich habe beim HDU reformatting den Speicher nach Gebrauch nicht explizit freigegeben.
Kannst du bitte den neuesten snapshot aus dem repository ziehen und es damit nochmal versuchen?

mischa