Wieviel Speicher benötigt Theli für mein Projekt?

[eisentpferd]

So, hab nochmal getestet.
Einstellungen wie hier:

einstellungen.GIF

Dann starte ich "create catalog"
Es werden daraufhin alle Bilder in den ram geladen. Sieht man im Memory Viewer. Die Ram Auslastung geht auf knapp 10gb hoch. Auch der Systemmonitor zeigt die selbe Auslastung an.
Alle Dateien scheinen einem Kern zugeordnet zu sein: Hier sind es 2 Hälften und am anfang jeder Gruppe sieht man wie nacheinander die ersten Dateien die verarbeitet sind wieder aus dem Ram gelöscht werden. Folgendes Bild zeigt dass schon 7 Dateien der 2. Gruppe (wohl für den 2. Kern) wieder raus sind.

create catalog2.GIF

Wenn ich 8 Kerne einstelle kann ich sehen dass die Dateien in 8 Gruppen liegen und dass jeweils die ersten Dateien der Gruppe da wieder aus dem Ram raus gehen.
Die Ram Nutzung sinkt also während der Bearbeitung kontinuierlich wieder ab.

Das Verhalten ist bei Dir anders?

Ich nutze Ubuntu 20.4 (wenn das wichtig ist)

Gruß /Hendrik/

[mischa]

Hi Hendrik,

genau so soll die Parallelisierung ablaufen. Wenn "minimize memory usage" aktiviert ist, werden die Pixeldaten wieder aus dem RAM geloescht, wenn sie nicht mehr gebraucht werden.
Die RAM Obergrenze ist ein sehr softes limit, welches insbesondere bei der Verwendung von vielen CPUs oft ueberschritten wird; die holen sich den Speicher, den sie brauchen.

mischa

[eisentpferd]

das Argument zieht aber nicht weil er immer alle lights in den Speicher läd, egal wie viele Kerne aktiv sind.
Aber für mich ist das kein Problem. Und wenn man zu wenig ram hat wird halt geswappt...

Also alles gut...

/Hendrik/

[mischa]

HalloHhendrik,

natuerlich werden alle Bilder in den Speicher geladen. Aber immer nur so viele gleichzeitig, wie du CPUs verwendest, und wenn eine CPU mit dem Bild fertig ist, wird der Speicher auch wieder freigegeben, wie du ja selbst schreibst. Oder ich verstehe nicht was du beobachtest.

LG

mischa

[eisentpferd]

Guten Morgen, ja ich glaube wir reden aneinander vorbei.
Für mich stellt es sich so dar:
1.Alle (in meinem Fall 204) Bilder werden in den Ram geladen, undabhängig von den Einstellungen für Ram und CPU (ich sehe wie in 2 Blöcken alles in Spalte "L0 in RAM" blau wird)
2.Jeder Kern bearbeitet sein erstes Bild (in meinem Beispiel verschwindet zuerst Bild 1 und Bild 103 aus dem Ram, wird also wieder orange)
3.die fertig bearbeiteten Bilder werden aus dem Ram gelöscht
in dem obigen screenshot sind schon 7 Bilder pro Kern fertig gerechnet, also sind noch 204-(2*7)=190 Bilder im Ram
Auf dem screenshot sieht man natürlich nur den Block für den 2. Kern, der beginnt in der vierten Zeile.

Also: Bei mir werden nicht nur so viele Bilder gleichzeitig geladen wie ich Kerne habe sonder Alle direkt am Anfang. Deshalb liegt ja auch die Ram Auslastung bei fast 10GB.

Soll ich nochwas anderes testen?

Gruß /Hendrik/

ps:was wäre wohl wenn ich die Nacht durch nicht 120s Bilder sondern 30s Bilder gemacht hätte, dann müsste ich ja 40GB Ram haben)

[mischa]

Ah, jetzt verstehe ich dich. Ich schau's mir mal an, das sollte so natuerlich nicht sein.

mischa

[mischa]

Hendrik,

eine Frage noch: siehst du das auch, wenn du THELI zur Erstellung der Kataloge neu startest? Schreib mir mal eine email an schirmer[at]mpia.de

mischa

[mischa]

Hendrik,

ich kann das nicht reproduzieren. Ich sehe bei mir, dass jede CPU ein Bild laedt, und anschliessend den Speicher wieder freigibt.

Welche Version von g++ verwendest du? In der Konsole ermittelbar ueber

Code: Alles auswählen

g++ --version

Welches Betriebssystem?

mischa

[eisentpferd]

g++ (Ubuntu 9.3.0-10ubuntu2) 9.3.0
auf Ubuntu 20.4 LTS

Rest ist in der Mail...

[eisentpferd]

Update!!
Das Problem mit dem Speicherhunger im Task "create catalog" ist behoben.
Wenn ich Mischa richtig verstanden habe trat der Fehler nur auf wenn im Fits Header noch keine Koordinaten drin standen.

Jetzt läd Theli nur noch eine Datei pro Kern und gibt den Speicher auch wieder frei wenn das Limit aus den Einstellungen erreicht wird.

Gruß /Hendrik/

[mischa]

So ist es. Ist bereits im neuen master branch integriert.

mischa