Multi-Threads > 16

[bernd68]

Hallo ihr Lieben,

Man kann bei der Init-Seite die Anzahl der Prozessoren bis zur Anzahl der tatsächlich zur Verfügung stehenden CPUs einstellen aber bei 16 CPUs / Threads ist definitif Schluss.
Habe ich mehr und möchte die logischerweise auch nutzen, dann kommt eine Fehlermeldung, die so was wie 'NTHREADS aut of Range' erzählt. Für die Astrometrie mit scamp kann ich die Zahl dann wieder hoch stellen. Spätestens für die Skysubs und das Coadding aber höchstesn wieder 16 Cores.
Mein Wunsch sind mindestens 64 bessoer sogar 72 (soll es auch schon auf 2 CPU-Sockel verteilt geben) Threads oder besser noch: gar kein Limit

Grüße, Bernd

[mischa]

Hi Bernd,

dazu musst du die entsprechenden Pakete (swarp, etc) neu kompilieren. Dafuer gibt es in den jeweiligen "configure.sh" scripten eine Option, bei der man die maximale Anzahl der Prozessoren angeben kann. Mehr als etwa 10 macht meiner Erfahrung nach auf normalen Desktopsystemen keinen Sinn, weil alle Bilder auf einer Festplatte liegen, die die Daten nicht mehr schnell genug an eine groessere Zahl threads liefern kann (und wieder zurueckschreiben). Bei der Astrometrie kann es ausserdem zu Speicherproblemen kommen

mischa

[bernd68]

Hi Mischa,

Danke für den Tip. Das werde ich ausprobieren und hier berichten.
Wegen dem Datendurchsatz zur Festplatte habe ich keine Bauchschmerzen. Für meine Arbeit muss ich eh einen striped Raid 0 mit 3 Platten fahren,
sonst habe ich keine Chance mehrere Maschinen gleichzeitig für Client/Server Gedönse zu virtualisieren.

Bernd

[bernd68]

Hallo Mischa und Alle, die es ausserdem interessiert,

habe ich also theli normal installiert (ist leider nur die GUI 2.94 aber spielt hier keine Rolle) und danach die Pakete sextractor und swarp runtergeladen, ensprechend jeweils mit ./configure --enable-threads=64 und mit make gebaut. Im Anschluss die jeweilige ausführbare Datei aus dem ./src Verzeichnis in *_theli umbenannt und nach ~/THELI/theli/bin/Linux64 kopiert.
Im Ergebnis brauche ich die Anzahl der CPUs auf der Init-Seite nicht mehr verstellen. Die kann auf Maximum bleiben. Die Fehlermeldung kommt auch nicht mehr. Das ist schon Mal ein Vorteil.
Es bleibt aber dabei, dass nur bei der Astrometrie und neu: Coadition (Resamplen) alle Prozessoren mitmachen. Überwiegend läuft 1 Prozess mit sehr wenig Festplattenaktivität.
Vielleicht müsste ich noch mehr Paken neu bauen. Da weiß ich aber nicht welche.

viele Grüße,
Bernd

[mischa]

Hi Bernd,

die Parallelisierung in Theli ist fuer Multi-Chip Kameras optimiert, d.h. die Daten der einzelnen Detektoren werden von verschiedenen CPUs verarbeitet. Amateurkameras besitzen im allgemeinen nur einen Chip, da wird die Parallelisierung nur bei bestimmten Schritten benutzt (astrometrie, sky subtraction, coaddition).

mischa