Bug Report Theli v3

[astrofoto.harz]

Hallo Mischa,
ich beantworte Deine Fragen zu meinem Testbericht lieber hier in dem v3 Forum weiter:

1. Dein Bugfix halt geholfen, der "HDU reformatting" Task läuft jetzt durch. Dafür kommt aber jetzt beim Build eine Warnung:

--- snip start---

/opt/Qt5.9.6/5.9.6/gcc_64/include/QtCore/qlist.h: In member function ‘bool Controller::updateDataDirs(Data*)’:
/opt/Qt5.9.6/5.9.6/gcc_64/include/QtCore/qlist.h:786:34: warning: ‘DT_x’ may be used uninitialized in this function [-Wmaybe-uninitialized]
QListData::Data *x = p.detach(alloc);
~~~~~~~~^~~~~~~
processingInternal/processingSplitter.cc:240:23: note: ‘DT_x’ was declared here
QList<Data*> *DT_x;
^~~~
--- snip end---

2. Bei Benutzung von mehr als einem Core beendet sich Theli gleich beim "HDU reformatting" nach den ersten 5-6 Bias frames.
3. Mein Rechner hat 16GB RAM und eine SSD. I/O sollte schnell genug sein.

Morgen teste ich "HDU reformatting" mit allen Filter-Kanälen und deren Flats im Data tree . bin gespannt.

CS, Olaf

[mischa]

Hi Olaf,

die Warnung habe ich beseitigt, war harmlos, aber nicht initialiserte Sachen sind niemals schoen. Es wundert mich, dass mein Compiler sich da nicht beschwert hat.

Das mit dem crash verstehe ich nicht. Kannst du mir mal diese Bias hochladen, zusammen mit einem einzelnen flat, sowie deiner "kamera.ini" (zu finden unter ~/.theli/instruments_user/)

mischa

[astrofoto.harz]

Hallo Mischa,
die Daten lade ich Dir heute abend hoch - muss jetzt noch arbeiten und habe den Rechner gerade nicht in Reichweite.
Den Test mit allen Farb/Luminanz-Kanälen habe ich heute morgen noch gemacht (sind ca. 1300 Frames). Unter einer VM mit Ubuntu 19 und 4 Cores in Gebrauch läuft der Task jetzt problemlos durch. Auf dem Rechner, auf dem Linux direkt auf der Hardware läuft, kommt direkt nach den ersten Frames der Absturz.
Ich gehe von einem system-spezifischen Problem aus.

Viele Grüße, Olaf

[mischa]

Hi Olaf,

das hoert sich in der Tat nach einem system-spezifischen Problem an. Allerdings basiert Linux Mint 19.3 Tricia offenbar auf Ubuntu 18.04, und da gibt es diesen Absturz nicht.
Das einzige, wo ich bisher Abstuerze hatte wenn man die Parallelisierung eingeschaltet hat, war auf MacOS Mojave. Da wird der OpenMP Standard, den ich zur Parallelisierung verwende, nicht richtig unterstuetzt. ich habe mal versucht diesbezueglich was zu Mint 19.3 zu finden, war aber erfolglos.

Falls du den entsprechenden background hast was software development angeht:

Das einfachste waere, wenn du dir den Qt5 Creator installierst, das ist die Entwicklungsumgebung die ich verwende. Unter ubuntu bekommt man die mit "sudo apt install qtcreator". Da kannst du das THELI Projekt direkt laden (THELI-master/src/THELI.pro). Nachdem du den Creator konfiguriert hast, sollte unten links die Moeglichkeit bestehen, von "Release" auf "Debug" zu schalten, und das ganze im Debug-Modus laufen zu lassen. Ist erheblich viel schneller als ueber gdb oder valgrind.

Da der Absturz aber offenbar gleich am Angang passiert, koenntest du es auch ueber "valgrind" versuchen. Da solltest du aber vorher noch im makefile bei den compiler flags die debug-option dazuschalten und die Optimierungen wegnehmen.

mischa

[spiegelei]

Hallo Mischa,
ich wechsle auch mal den Thread, damit es dort nicht zu unübersichtlich wird.

Ich habe grade eben die fitsio-Sachen noch mal neu compiliert (zum x-ten male.....) - und es hat funktioniert (zumindest 1 mal) . Das Splitting ist durchgelaufen.
Ich hatte jetzt beim ./configure das --enable-reentrant und --enable-sse2 mit angegeben - vielleicht lag es daran - vielleicht war es auch nur Zufall.

Die Weight-Maps hat Theli auch erzeugt - o.k.

Wenn ich bei Source Catalogs unter Detection Method Theli angebe kommt irgendein Fehler, dass nix gefunden wurde, mit Sextractor scheint es aber zu gehen.
Das Abrufen der Koordinaten für den Rerenzkatalog geht auch unter SuSe nicht, nach manueller Eingabe wird der Katalog aber geladen.

Bei der Astrometrie stürzt scamp nach einer Weile ab - das ist aber erst mal ne andere Baustelle. Allerdings bekommt Theli von dem Absturz scheinbar nichts mit - im "Start"-Button steht weiterhin "Running..." und auch alle Eingabefelder in der Configuration bleiben ausgegraut.

Bis dahin
Karsten

[mischa]

Hallo Karsten,

"good catch" mit der cfitsio Library. Die ist als vorkompilierte Bibliothek meistens 'reentrant', unterstuetzt also Parallelisierung, das ist aber nicht die Voreinstellung wenn man selbst kompiliert. Das erklaert denke ich den Absturz gleich zu Anfang.

Welcher Fehler genau kommt da bei der Erstellung der Quellkataloge?

Bzgl. Referenzkatalog: Stell mal in den Praeferenzen den Wert fuer "verbosity" von "normal" auf "full" oder "debug". Anschliessend gib den namen deines Objekts ein und versuch, die Koordinaten finden zu lassen. Jetzt bekommst du im "Monitor" rechts einen text angezeigt, der wie foklgt lautet:

"vizquery command: sesame ..."

Den kannst du mal in eine Kommandozeile kopieren, und sehen ob er die Koordinaten findet. Kopier das Ergebnis auch mal hier ins Forum.

Den Fall, dass Scamp abstuerzt hatte ich bisher noch nicht. Da muss ich mal sehen, ob ich das irgendwie abfangen kann.

mischa

[spiegelei]

Hallo Mischa,
na ja, manchmal hilft es doch, wenn man die Ausgabe von configure --help liest

Ich muss mir erst mal scamp neu bauen (das ist eigentlich die schlimmste Baustelle), wenn ich das geschafft haben sollte probiere ich das mit dem vizquery mal aus.

Das wäre natürlich der Oberhammer, wenn es scamp mal wieder als statisch gelinktes Binary geben würde (falls das überhaupt noch geht...)

Ich melde mich.
Gruß
Karsten

[mischa]

Hi Karsten,

die Zeiten eines statisch kompilierten scamp sind denke ich vorbei. Die 2.7-er version auf github laesst sich aber deutlich leichter kompilieren als die alte 2.0 oder 2.2.

mischa

[spiegelei]

Hallo Mischa,
dachte ich mir schon...

Hier die Ausgabe von vizquery:

mueller@Astro-PC:~> vizquery sesame ox M45
which: no wwwget in (/usr.....

Soll das vielleicht wget heissen?
Gruß
Karsten

[spiegelei]

Hallo nochmal,
wenn ich ein ln -s /usr/bin/wget /usr/bin/wwwget mache und
sesame -ox M45 eintippe kommt das hier:

sesame -ox m45
--2020-04-04 18:44:48-- http://cds.u-strasbg.fr/cgi-bin/nph-sesame/-ox/SNV?m45
Auflösen des Hostnamens cds.u-strasbg.fr (cds.u-strasbg.fr)… 130.79.128.30
Verbindungsaufbau zu cds.u-strasbg.fr (cds.u-strasbg.fr)|130.79.128.30|:80 … verbunden.
HTTP-Anforderung gesendet, auf Antwort wird gewartet … 200 OK
Länge: nicht spezifiziert [text/xml]
Wird in »SNV?m45.1« gespeichert.

SNV?m45.1 [ <=> ] 1,01K --.-KB/s in 0s

2020-04-04 18:44:48 (58,9 MB/s) - »SNV?m45.1« gespeichert [1034]

Da lädt er dann auch brav eine Datei runter.

Code: Alles auswählen

<Sesame xsi:noNamespaceSchemaLocation="http://vizier.u-strasbg.fr/xml/sesame_4x.xsd"><Target option="SNV"><name>m45</name><!-- Q75879461 #1 --><Resolver name="Sc=Simbad (CDS, via client/server)"><!--delay: 197ms [5] --><oid>675533</oid><otype>OpC</otype><jpos>03:47:00.00 +24:07:00.0</jpos><jradeg>56.75</jradeg><jdedeg>24.11666667</jdedeg><refPos>2009MNRAS.399.2146W</refPos><pm><v>49.744</v><e>0.162</e><q>B</q><r>2018A&A...616A..10G</r><pa>156.3</pa><pmRA>19.997</pmRA><epmRA>0.127</epmRA><pmDE>-45.548</pmDE><epmDE>0.101</epmDE></pm><Vel><v>5.65</v><e>0.09</e><q>A</q><r>2018A&A...616A..10G</r></Vel><plx><v>7.364</v><e>0.005</e><q>B</q><r>2018A&A...616A..10G</r></plx><oname>Cl Melotte   22</oname><nrefs>2948</nrefs></Resolver></Target></Sesame><!--- ====Done (2020-Apr-04,16:43:28z)==== -->

Aus Theli raus geht es aber trotzdem nicht....

Gruß
Karsten

[spiegelei]

Nachtrag:

Irgendwie wird das wwwget beim normalen make von cdsclient nicht mit gebaut. Muss extra über make wwwget gemacht werden....

Gruß
Karsten

[spiegelei]

Nun geht es auch in Theli

[mischa]

Danke, das mit dem 'wwwget' hatte ich glatt uebersehen, das lag bei mir noch im Pfad von der alten THELI v2 installation. Super, das beta-testing hier!

[astrofoto.harz]

Hallo Mischa,
ich wechsle auch mal den Thread, damit es dort nicht zu unübersichtlich wird.

Ich habe grade eben die fitsio-Sachen noch mal neu compiliert (zum x-ten male.....) - und es hat funktioniert (zumindest 1 mal) . Das Splitting ist durchgelaufen.
Ich hatte jetzt beim ./configure das --enable-reentrant und --enable-sse2 mit angegeben - vielleicht lag es daran - vielleicht war es auch nur Zufall.

Die Weight-Maps hat Theli auch erzeugt - o.k.

Wenn ich bei Source Catalogs unter Detection Method Theli angebe kommt irgendein Fehler, dass nix gefunden wurde, mit Sextractor scheint es aber zu gehen.
Das Abrufen der Koordinaten für den Rerenzkatalog geht auch unter SuSe nicht, nach manueller Eingabe wird der Katalog aber geladen.

Bei der Astrometrie stürzt scamp nach einer Weile ab - das ist aber erst mal ne andere Baustelle. Allerdings bekommt Theli von dem Absturz scheinbar nichts mit - im "Start"-Button steht weiterhin "Running..." und auch alle Eingabefelder in der Configuration bleiben ausgegraut.

Bis dahin
Karsten

Hallo Karsten, Hallo Mischa - das war der richtige Geistesblitz von Karsten:
Ich habe jetzt citsio unter Linux Mint 19 mit "./configure das --enable-reentrant und --enable-sse2" kompiliert. Jetzt läufts auf allen Cores. Unter Ubuntu 19 hatte ich bereits das vorkompilierte Paket installiert - deshalb gab es dort auch keine Probleme.

[spiegelei]

Hallo,
das Wichtige ist das reentrant, das sse2/sse3 sind nur intelspezifische Geschichten.

@Micha - natürlich, immer wieder gerne

Nun muss ich nur noch scamp vernünftig zum laufen kriegen. Das Schwierige ist eigentlich nicht das compilieren von scamp, sondern das ganze ATLAS-Zeugs.

Wenn die Astrometrie laufen soll erhalte irgendwann folgende Meldung:

Code: Alles auswählen

Setting up Scamp run ...
Linking scamp catalogs to /home/kmueller/Astro/Objects/M45/200125_theli3/lights_red/astrom_photom_scamp//cat/ ...
Scamp memory estimate: 0 MB
Executing the following scamp command :

/usr/local/bin/scamp @/home/kmueller/.theli/tmp//scamp_cats -NTHREADS 24 -ASTREF_CATALOG FILE -ASTREFCAT_NAME /home/kmueller/Astro/Objects/M45/200125_theli3/lights_red/cat/refcat/theli_mystd.scamp -ASTREF_WEIGHT 1.0 -ASTRINSTRU_KEY FILTER -CROSSID_RADIUS 14 -DISTORT_DEGREES 3 -DISTORT_GROUPS 1,1 -DISTORT_KEYS XWIN_IMAGE,YWIN_IMAGE -PIXSCALE_MAXERR 1.05 -POSANGLE_MAXERR 180 -POSITION_MAXERR 16 -SN_THRESHOLDS 5,20 -STABILITY_TYPE INSTRUMENT -MOSAIC_TYPE UNCHANGED -MATCH_FLIPPED N -ASTRINSTRU_KEY NONE -PHOTINSTRU_KEY NONE -MATCH Y

in directory:

/home/kmueller/Astro/Objects/M45/200125_theli3/lights_red/astrom_photom_scamp/cat/


Scamp output

WARNING: scamp.conf not found using internal defaults
WARNING: This executable has been compiled using a version of the ATLAS library without support for multithreading. Performance will be degraded.
----- SCAMP 2.7.8 started on 2020-04-05 at 10:06:34 with 24 threads 1A----- 1 inputs:
Examining Catalog M45_180000ms-filter_Red_1-Group_000.scamp
M45_180000ms-filter_Red_1-Group_000.scamp: Unknown no ext. header 19 sets 29276 detections
----- 29276 detections
loaded
Grouping fields on the sky ...
Grouping fields: field 1/1 0 group
----- 1 instrument found for astrometry:

Instrument A1 : 19 extensions NONE ----- 1
instrument found for photometry:

Instrument P1 : NONE ----- 1 field group found:
Group 1: 1 field at 03:47:23.71 24:07:05.3 with radius 93.09
instruments epoch center coordinates radius scale
0m
M45_180000ms-filter_ A1 P1 2020.0 03:47:23.71 24:07:05.3 93.09 2.652
Making mosaic adjustments... 1A----- Reference catalogs: Examining Catalog theli_mystd.scamp...
Loading Catalog theli_mystd.scamp...
theli_mystd.scamp: 0 / 0 references stored
ERROR: Could not find scamp output headers.
Abort.

Punkt 1: - die scamp.conf existiert im Theli-src- Verzeichnis, wird aber nicht gefunden (vorerst nicht so tragisch, da stehen aktuell eh nur die scamp Defaults drin). Wechselt Theli intern das Verzeichnis?
Punkt 2: - das Meckern über ATLAS muss ich erst mal hinnehmen (siehe oben)
Punkt 3: - der Rest.... Da muss ich mal versuchen, ob ich das Schritt für Schritt auf der Kommandozeile nachvollziehen kann um zu begreifen, was da überhaupt passiert. Gibt es da evtl. einen tiefgreifenden Tip?

Bis dahin
Karsten