Wieviel Speicher benötigt Theli für mein Projekt?

Alles über das neue Theli 3 - bitte keine Beiträge vom alten Theli (2) hier posten, es gibt eine extra Unterforumfür das alte Theli

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon eisentpferd » Sonntag 17. Mai 2020, 14:26

So, hab nochmal getestet.
Einstellungen wie hier:
einstellungen.GIF


Dann starte ich "create catalog"
Es werden daraufhin alle Bilder in den ram geladen. Sieht man im Memory Viewer. Die Ram Auslastung geht auf knapp 10gb hoch. Auch der Systemmonitor zeigt die selbe Auslastung an.
Alle Dateien scheinen einem Kern zugeordnet zu sein: Hier sind es 2 Hälften und am anfang jeder Gruppe sieht man wie nacheinander die ersten Dateien die verarbeitet sind wieder aus dem Ram gelöscht werden. Folgendes Bild zeigt dass schon 7 Dateien der 2. Gruppe (wohl für den 2. Kern) wieder raus sind.
create catalog2.GIF


Wenn ich 8 Kerne einstelle kann ich sehen dass die Dateien in 8 Gruppen liegen und dass jeweils die ersten Dateien der Gruppe da wieder aus dem Ram raus gehen.
Die Ram Nutzung sinkt also während der Bearbeitung kontinuierlich wieder ab.

Das Verhalten ist bei Dir anders?

Ich nutze Ubuntu 20.4 (wenn das wichtig ist)

Gruß /Hendrik/
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
eisentpferd
 
Beiträge: 46
Registriert: Sonntag 12. Januar 2020, 21:14

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon mischa » Sonntag 17. Mai 2020, 14:49

Hi Hendrik,

genau so soll die Parallelisierung ablaufen. Wenn "minimize memory usage" aktiviert ist, werden die Pixeldaten wieder aus dem RAM geloescht, wenn sie nicht mehr gebraucht werden.
Die RAM Obergrenze ist ein sehr softes limit, welches insbesondere bei der Verwendung von vielen CPUs oft ueberschritten wird; die holen sich den Speicher, den sie brauchen.

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon eisentpferd » Sonntag 17. Mai 2020, 17:07

das Argument zieht aber nicht weil er immer alle lights in den Speicher läd, egal wie viele Kerne aktiv sind.
Aber für mich ist das kein Problem. Und wenn man zu wenig ram hat wird halt geswappt...

Also alles gut...

/Hendrik/
eisentpferd
 
Beiträge: 46
Registriert: Sonntag 12. Januar 2020, 21:14

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon mischa » Sonntag 17. Mai 2020, 20:47

HalloHhendrik,

natuerlich werden alle Bilder in den Speicher geladen. Aber immer nur so viele gleichzeitig, wie du CPUs verwendest, und wenn eine CPU mit dem Bild fertig ist, wird der Speicher auch wieder freigegeben, wie du ja selbst schreibst. Oder ich verstehe nicht was du beobachtest.

LG

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon eisentpferd » Montag 18. Mai 2020, 10:43

Guten Morgen, ja ich glaube wir reden aneinander vorbei.
Für mich stellt es sich so dar:
1.Alle (in meinem Fall 204) Bilder werden in den Ram geladen, undabhängig von den Einstellungen für Ram und CPU (ich sehe wie in 2 Blöcken alles in Spalte "L0 in RAM" blau wird)
2.Jeder Kern bearbeitet sein erstes Bild (in meinem Beispiel verschwindet zuerst Bild 1 und Bild 103 aus dem Ram, wird also wieder orange)
3.die fertig bearbeiteten Bilder werden aus dem Ram gelöscht
in dem obigen screenshot sind schon 7 Bilder pro Kern fertig gerechnet, also sind noch 204-(2*7)=190 Bilder im Ram
Auf dem screenshot sieht man natürlich nur den Block für den 2. Kern, der beginnt in der vierten Zeile.

Also: Bei mir werden nicht nur so viele Bilder gleichzeitig geladen wie ich Kerne habe sonder Alle direkt am Anfang. Deshalb liegt ja auch die Ram Auslastung bei fast 10GB.

Soll ich nochwas anderes testen?

Gruß /Hendrik/

ps:was wäre wohl wenn ich die Nacht durch nicht 120s Bilder sondern 30s Bilder gemacht hätte, dann müsste ich ja 40GB Ram haben)
eisentpferd
 
Beiträge: 46
Registriert: Sonntag 12. Januar 2020, 21:14

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon mischa » Montag 18. Mai 2020, 11:17

Ah, jetzt verstehe ich dich. Ich schau's mir mal an, das sollte so natuerlich nicht sein.

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon mischa » Montag 18. Mai 2020, 11:43

Hendrik,

eine Frage noch: siehst du das auch, wenn du THELI zur Erstellung der Kataloge neu startest? Schreib mir mal eine email an schirmer[at]mpia.de

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon mischa » Montag 18. Mai 2020, 11:53

Hendrik,

ich kann das nicht reproduzieren. Ich sehe bei mir, dass jede CPU ein Bild laedt, und anschliessend den Speicher wieder freigibt.

Welche Version von g++ verwendest du? In der Konsole ermittelbar ueber

Code: Alles auswählen
g++ --version


Welches Betriebssystem?

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon eisentpferd » Montag 18. Mai 2020, 13:38

g++ (Ubuntu 9.3.0-10ubuntu2) 9.3.0
auf Ubuntu 20.4 LTS

Rest ist in der Mail...
eisentpferd
 
Beiträge: 46
Registriert: Sonntag 12. Januar 2020, 21:14

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon eisentpferd » Freitag 22. Mai 2020, 19:57

Update!!
Das Problem mit dem Speicherhunger im Task "create catalog" ist behoben.
Wenn ich Mischa richtig verstanden habe trat der Fehler nur auf wenn im Fits Header noch keine Koordinaten drin standen.

Jetzt läd Theli nur noch eine Datei pro Kern und gibt den Speicher auch wieder frei wenn das Limit aus den Einstellungen erreicht wird.

Gruß /Hendrik/
eisentpferd
 
Beiträge: 46
Registriert: Sonntag 12. Januar 2020, 21:14

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon mischa » Freitag 22. Mai 2020, 21:55

So ist es. Ist bereits im neuen master branch integriert.

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Vorherige

Zurück zu Theli 3 - Das neue Theli

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 0 Gäste