Frage: Performance Coaddition

Wie arbeite ich mit Theli, wie verarbeite ich in Theli erstellten Bilder ?
Forumsregeln
Bitte die Beiträge kurz fassen, so kann man sie nachher besser finden. Sollte ein Problem gelöst sein, dann einen neuen Beitrag eröffnen. Ebenso wenn die Ursache eine ganz andere ist, oder es Offtopic wird.

Frage: Performance Coaddition

Beitragvon Roy » Samstag 12. Mai 2012, 18:58

Hallo, wollte mal wissen ob es "normal" ist mit meinem PC Setup das ich bei der Coaddition von ca. 40 Bildern (DSLR) pro Farbkanal 3-4 Stunden benötige. (Win 7 /64 Bit 6 GB Ram i7 Prozessor ~ 3GHz - davon ca 3,6 GB RAM ubuntheli zugewiesen) Ubuntheli2.5 upgedated auf theli-1.6.1 und gui-2.5.1
Ubuntehli sowie eine zusätzliche virtuelle Platte mit ca. 100 GB -> REDU2 auf einer SSD Platte installiert. (Auf REDU2 findet auch die Datenreduktion statt)

Eventuell hab ich ja durch irgend eine Einstellung die Hanbremse angezogen, falls das aber "normal" ist, würde sich eine RAM Erweiterung von 6 auf 12 GB "performace-technisch lohnen (die ubuntheli Version ist ja 32 Bit) ?

Bildschirmfoto-theli.png


Viele Grüße und Danke im vorraus

Thomas
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
Roy
 
Beiträge: 25
Registriert: Montag 30. April 2012, 09:42

Re: Frage: Performance Coaddition

Beitragvon mischa » Samstag 12. Mai 2012, 19:55

Roy hat geschrieben:Hallo, wollte mal wissen ob es "normal" ist mit meinem PC Setup das ich bei der Coaddition von ca. 40 Bildern (DSLR) pro Farbkanal 3-4 Stunden benötige. (Win 7 /64 Bit 6 GB Ram i7 Prozessor ~ 3GHz - davon ca 3,6 GB RAM ubuntheli zugewiesen) Ubuntheli2.5 upgedated auf theli-1.6.1 und gui-2.5.1
Ubuntehli sowie eine zusätzliche virtuelle Platte mit ca. 100 GB -> REDU2 auf einer SSD Platte installiert. (Auf REDU2 findet auch die Datenreduktion statt)

Eventuell hab ich ja durch irgend eine Einstellung die Hanbremse angezogen, falls das aber "normal" ist, würde sich eine RAM Erweiterung von 6 auf 12 GB "performace-technisch lohnen (die ubuntheli Version ist ja 32 Bit) ?

Bildschirmfoto-theli.png


Viele Grüße und Danke im vorraus

Thomas


die virtuelle version ist sicherlich ein bremser, aber 3-4 stunden auf einem i7 ist schon heftig. das kann ich weiter nicht beurteilen. eine speichererwieterung bringt hier wohl nicht viel. vie viele CPUs hat dein i7, wie viele hast du der VM zugewiesen, und wieviele davon nutzt du in theli?

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Frage: Performance Coaddition

Beitragvon Knickohr » Samstag 12. Mai 2012, 20:31

Hi,

coadding dauert lange, aber nicht sooo lange. Ich werfe 4000 Bilder in die Pipeline und wurstel das mit einem i7 (6-Core) durch. Das dauert ca. 7 bis 8 Stunden.

Es scheint so, als ob Deine Kiste ein bißchen swapt. Das ist das größte Übel, da wirds dann richtig langsam. Kannst Du vielleicht noch ein oder zwei GB der VM zuweisen ? Halt so, das es nicht mehr swapt. Ansonsten langweilt sich Deine Kiste ja, gerade mal 25% CPU auf Deinem Quad-Core

Wie sieht Deine swappiness aus ?

# swapon -s
# sysctl vm.swappiness

Thomas
Benutzeravatar
Knickohr
Moderator
 
Beiträge: 631
Registriert: Donnerstag 29. September 2011, 12:01
Wohnort: Blaustein

Re: Frage: Performance Coaddition

Beitragvon Roy » Samstag 12. Mai 2012, 21:18

Hallo Mischa und Thomas,

also ich hab in der VB 4 Prozessoren zugewiesen und in Theli den Defaultwert 1 da die CPU eh kaum Arbeit hat..wenn ich im Win-Taskmanager meinen Ressourcenmonitor beobachte.. langweilt sich die CPU tatsächlich...und macht dann alle paar Minuten kurz was...

@Thomas hier mal ein Screenshot , allerdings sagen mir die Werte nichts..aber event. findet Ihr ja etwas das ich probieren könnte..

Bildschirmfoto-theli1.png


Grüße Thomas
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
Roy
 
Beiträge: 25
Registriert: Montag 30. April 2012, 09:42

Re: Frage: Performance Coaddition

Beitragvon Knickohr » Samstag 12. Mai 2012, 21:38

Also,

erst mal stellst Du bei Theli die Anzahl der Prozessoren auf 4.

Dann gibste der VM mal ein oder 2GB mehr RAM.

Jetzt laß es mal durchlaufen, ob es noch so langsam ist.

Idealerweise wäre es, Theli überhaupt nicht in einer VM laufen zu lassen. Haste keinen älteren PC, den Du mit ein bißchen Speicher beglücken kannst ?

Zu der Ausgabe :
Du swapst auf eine Partition und das Swappiness ist relativ ausgeglichen eingestellt. Das sind normalerweise die Parameter für einen Desktop-PC. Das ist erst mal gut so. Man kann es ein bißchen tunen, indem man das Swappiness auf 10 stellt. Birgt aber die Gefahr, das dann der PC einfriert, wenn er richtig was zu tun hat.

Thomas
Benutzeravatar
Knickohr
Moderator
 
Beiträge: 631
Registriert: Donnerstag 29. September 2011, 12:01
Wohnort: Blaustein

Re: Frage: Performance Coaddition

Beitragvon Roy » Samstag 12. Mai 2012, 21:50

Hallo Thomas,

werde das testen, noch ein Hinweis das Festpalltensysmbol (das die aktivitäten der virtuellen Platten anzeigt) leuchtet permanent alle 2-3 Sekunden mal kurz "rot" auf , ob das von Bedeutung ist kann ich nicht sagen, ich nehme mal an rot bedeutet schreiben und grün lesen ?..

Werde mich aber nach dem Test nochmal melden.

PS: Das mit dem 2. PC werde ich mal in Angriff nehmen falls das hier keine signifikante Änderung bringt.. Muß nur noch jemand finden der mich bei der Installation supportet .. aber sollte machbar sein...

Grüße
Thomas
Roy
 
Beiträge: 25
Registriert: Montag 30. April 2012, 09:42

Re: Frage: Performance Coaddition

Beitragvon Knickohr » Samstag 12. Mai 2012, 21:57

Roy hat geschrieben:... noch ein Hinweis das Festpalltensysmbol (das die aktivitäten der virtuellen Platten anzeigt) leuchtet permanent alle 2-3 Sekunden mal kurz "rot" auf , ob das von Bedeutung ist kann ich nicht sagen, ich nehme mal an rot bedeutet schreiben und grün lesen ?..

Kann ich Dir leider nicht sagen, ich habe nie mit einer VM gearbeitet. Aber denke, das es so ist.

Thomas
Benutzeravatar
Knickohr
Moderator
 
Beiträge: 631
Registriert: Donnerstag 29. September 2011, 12:01
Wohnort: Blaustein

Re: Frage: Performance Coaddition

Beitragvon moos » Samstag 12. Mai 2012, 22:11

Interessanter Fred,
ich kann nicht viel dazubeitragen, denke aber es ist mit Feintuning noch einges zu verbessern.
wie viele hast du der VM zugewiesen, und wieviele davon nutzt du in theli?


Eine wichtige Frage dabei ist, welchen Kernel hat das Ubuntheli: Einen
Code: Alles auswählen
Linux 2.6.32-22-generic

Dazu steht in
Code: Alles auswählen
less /var/log/dmesg
ein Eintrag
Code: Alles auswählen
SMP: Allowing 1 CPUs, 0 hotplug CPUs

Hier müssen dann vermutlich 4 CPU auftauchen. Der kernel kan SMP, also sollte Multi-CPU's unterstützt werden.
Weiter unten steht :
Code: Alles auswählen
[    0.360001] SMP disabled
[    0.360001] Brought up 1 CPU
Total of 1 processors activated (3634.54 BogoMIPS).

wenn nur 1 virtuelle CPU vorhanden

Vielleicht hilft es bei der Feineinstellung.
Ich denke, dass bei 3.6 GB RAM und einer SSD Platte das Ubuntheli genauso flüssig laufen sollte, wie bei einer nativen Festplatteninstallation.
Jedoch sind die angezeigten 156 Minuten CPU-Zeit eher ein Gegenbeweis.
Ciao Carsten
moos
 
Beiträge: 504
Registriert: Dienstag 18. Oktober 2011, 19:06

Re: Frage: Performance Coaddition

Beitragvon moos » Samstag 12. Mai 2012, 22:21

das die aktivitäten der virtuellen Platten anzeigt) leuchtet permanent alle 2-3 Sekunden mal kurz "rot" auf

Das sind sicherlich Plattenzugriffe von swarp auf die weights, die OFC.sub.fits und headerdaten.
Das theli-logging ist auch noch drumrum, das dürfet aber nach dem Vorgang einmalig laufen.

Deshalb würde ich die Plattenzugriffe als erstes optimal einstellen, habe aber nur kleineTipps dazu:
  • ATA statt IDE Festplattentreiber ( default )
  • (Windows) Host ohne Plattenaktivität betreiben
  • VB-Support forum lesen


@mischa : mach swarp_theli sowohl das resampling als auch das outlier-rejecting??
Ciao Carsten
moos
 
Beiträge: 504
Registriert: Dienstag 18. Oktober 2011, 19:06

Re: Frage: Performance Coaddition

Beitragvon mischa » Sonntag 13. Mai 2012, 00:24

Roy hat geschrieben:also ich hab in der VB 4 Prozessoren zugewiesen und in Theli den Defaultwert 1 da die CPU eh kaum Arbeit hat


aeeeh, die hat eigentlich schon was zu tun, vor allem bei der astrometrie, sky subtraction und koaddition, diese prozesse sind d.h. alle parallelisiert!

schau auch mal in deinem BIOS nach, da gibts manchmal einstellungen, welche virtualisierung betreffen.

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Frage: Performance Coaddition

Beitragvon mischa » Sonntag 13. Mai 2012, 00:25

moos hat geschrieben:@mischa : mach swarp_theli sowohl das resampling als auch das outlier-rejecting??


letzteres macht 'swarpfilter'. leider noch nicht parallelisiert und bei grossen datensaetzen sehr speicherhungrig.

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Frage: Performance Coaddition

Beitragvon Knickohr » Sonntag 13. Mai 2012, 09:17

mischa hat geschrieben:leider noch nicht parallelisiert und bei grossen datensaetzen sehr speicherhungrig.

:mrgreen:

Ich sag nur 64GB RAM *fg*

Thomas
Benutzeravatar
Knickohr
Moderator
 
Beiträge: 631
Registriert: Donnerstag 29. September 2011, 12:01
Wohnort: Blaustein

Re: Frage: Performance Coaddition

Beitragvon Roy » Sonntag 13. Mai 2012, 18:44

BIOS : Intel Virtualization war und ist aktiviert:
So hier mal einige Tests:

Bei der Sky subtraction sieht es wie folgt aus : (CPU und Speicherauslastung wird genutzt)
Sky_subtraction.jpg


Sky_subtraction.png


Bei der Calculating astrometric solution .. und beim Coadding sieht es etwas anderst aus.
Astrometry.png


Hier ist laut Ubuntu-Sysstemüberwachung eine CPU permanent am Anschlag (100%) während im Windows Taskmanager die entsprechende CPU bei max 50% ist.
Auch ist zu beobachten das die Ubuntu-Systemüberwachung den reservierten Speicher mit 3,4 GB anzeigt was auch etwa mit einer 32 Bit Adressierung übereinstimmt ? (Somit wäre eine Speicherzuweisung von der VB mit mehr als 3,4 GB ohne Nutzen)
Bei einem komletten Durchgang der Datenreduktion war die Speichernutzung laut Ubuntu-> Systemüberwachung nie größer als ca. 1 GB. (In wie weit diese Anzeige Aussagekräftig ist kann ich nicht beurteilen)
Subjektiv empfunden ist die schlechte Performace die ich bei meinem Setup festgestellt habe eher ein Problem der optimalen CPU Ausnutzung einzelner Module wie z.B. bei der Photometry/Astrometry und beim Coadding, der Speicher scheint hier keine große Rolle zu spielen ?

Eine Änderung der CPU Zuweisung von VB bzw. Theli 4:1, 4:4 , 8:8 habe m.E. nach, wenn überhaupt, nur minimale Verbesserungen ergeben.

Grüße
Thomas
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
Roy
 
Beiträge: 25
Registriert: Montag 30. April 2012, 09:42

Re: Frage: Performance Coaddition

Beitragvon Knickohr » Sonntag 13. Mai 2012, 19:03

So sieht das bei mir beim Resampling der Images aus :

Bild1.jpg

Vorsicht, das Coadding besteht nicht nur aus dem Coadding. Er macht da eventuell ein Smoothing, dann ein Resampling, und das finale Coadding mit Update Header. Das Smoothing lassen wir jetzt mal weg. Beim Resampling werden die CPUs richtig schön durchgespielt, wie die Pfeifen bei einer Orgel (siehe Panel ganz oben), beim Coadding ist meist nur eine oder 2 CPUs aktiv, da der eigentliche Coadding-Prozeß sehr viel Platten-I/O hat. Ich glaube, das eigentliche Coadding (zu einem Bild zusammen pappen) kann man nicht parallelisieren.

Wenn Du noch ein paar Minuten wartest, kann ich Dir das auch mal beim Coadding zeigen. Aber Du kannst derweil vielleicht mal das "Überwachen der Prozessortaktstufen" und den Systemmonitor als Icon in dem Panel einbinden.

Nachtrag :
"Calculation strometric soluten" ist nicht immer gleich ! Da gibt es Prozesse, die hin und wieder alle 12 CPUs bei mir voll auslasten, dann ist wieder mal Stille, dann kommen wieder mehrere CPUs gleichzeitig. Auch das ist abhängig davon, welcher Prozeß im Hintergrund beim der Astrometrie läuft. Aber da kann ich Dir nicht viel weiter helfen, da ich eine spezielle Lösung für mein Allsky hab basteln müssen. Das ist bei mir nicht mehr "Standard-Theli". Siehe hier : viewtopic.php?f=36&t=227 (So ab Seite 2 unten).

Thomas
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
Benutzeravatar
Knickohr
Moderator
 
Beiträge: 631
Registriert: Donnerstag 29. September 2011, 12:01
Wohnort: Blaustein

Re: Frage: Performance Coaddition

Beitragvon Knickohr » Sonntag 13. Mai 2012, 19:36

So ,jetzt.

Hier der eigentliche Coadding-Prozeß (Bilder zusammen pappen)

Bild1.jpg

Hin und wieder ist eine 2. CPU voll aktiv, ansonsten dümpeln sie vor sich hin. Aber es werden trotzdem mehrere CPUs verwendet, wenn auch nicht voll ausgelastet. Ich glaube, ich habe irgendwo gelesen, das das eigentliche Zusammenpappen der Bilde nicht parallelisiert werden kann. Kann mich aber auch irren. Trotzdem dauert das bei meinen 4000 Images "nur" etwa so lange, wie bei Deinen 40 ;-)

Thomas
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
Benutzeravatar
Knickohr
Moderator
 
Beiträge: 631
Registriert: Donnerstag 29. September 2011, 12:01
Wohnort: Blaustein

Nächste

Zurück zu Arbeiten mit Theli

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 17 Gäste

cron