Wieviel Speicher benötigt Theli für mein Projekt?

[moos]

Wieviel Speicher benötigt Theli für mein Projekt?
Es ist manchmal gut , wenn man das vorher ungefähr weiß.
Ich habe ein paar Kalkulation in Excel ( ja ich weiß ) gemacht, dich ich später online stellen kann.
Hat jemand vllt. die Zeit, seine Projekte damit zu vergleichen?
Dann könnte ich das verallgemeinern.
Die bisherigen Berechnungen basieren auf EOS Daten.

[spiegelei]

Hi Carsten,
meinst Du bei science Frames die Frames/Filter oder die Frames gesamt?
Gruß
Karsten

[moos]

meinst Du bei science Frames die Frames/Filter oder die Frames gesamt?

Hi Karsten,
gute Frage. Ich meine Frames/Filter, was wohl die Einsatzfähigkeit einschränkt, da man ja nicht immer von allen Filtern gleich viele hat. Das würde ich erweitern auf jeden einzelnen Filter, aber nicht in Excel

[mischa]

Es sollte im allgemeinen eigentlich kein Speicherproblem geben, daher wuerde ich da jetzt nicht allzu viel Energie reinstecken. Ich weiss aber, dass an mancher Stelle in THELI das noch nicht optimal geloest ist.

mischa

[eisentpferd]

Also zur Speichersache kann ich was sagen:
Der Task "create catalog" läd alle lightframes in den ram und linux tötet dann Theli wenn es zu viel wird.
Ich habe 68 lights (gesplittet 204) die dann ca. 10gb ram brauchen.
Mit 8gb ram und 2gb swap stürzte theli dann ab. Die Einstellungen wieviel Ram genutz werden soll hatten keinen Einfluss.
In skysubstract zum Beispiel ist dann immer nur ein frame pro cpu-kern geladen. Das kann man dann schön in der Speicher-Ansicht sehen.

Jetzt habe ich 24gb drin, somit kein Problem bis jetzt.

/Hendrik/

[moos]

Hallo Hendrik,
das mit dem create catalog kann ich bestätigen. Ich habe nur 4 GB und muss den create catalog prozess in Teile teilen.
Das hat aber nix mit diesem Beitrag zu tun, er dreht sich um HDD Speicher.

[spiegelei]

Hallo Hendrik,
passiert das auch, wenn Du in den Einstellungen die Files gleich auf Platte schreiben lässt?
Gruß
Karsten

[moos]

Hallo Hendrik,
passiert das auch, wenn Du in den Einstellungen die Files gleich auf Platte schreiben lässt?
Gruß
Karsten

Ich merke da keinen Unterschied. Ich habe auch schon mit ulimit der Task ein RAM Limit gegeben, das nutzt der Prozess voll aus und theli wird gekillt. Auch minimize memory usage ( oder so ) macht da keinen Unterschied. Ich kann etwa 30 Bilder pro Filter auf einmal durchlaufen lassen. Und dabei wird bei den ersten drei Bilder etwas geswapt.

Code: Alles auswählen

[color=#FF8000]274 MB requested 0 MB released...[/color]

ich habe den Branch vom 4.5.

[spiegelei]

Hi Carsten,

muss ich mal irgendwann ausprobieren. Ich habe bei meinem Testdatensatz bloss 5x10 lights a 34 MB, da kommen ich mit mein 32GB noch nicht an die Grenze.
Passiert der Crash auch, wenn Theli nur einen Prozessor nutzen darf?

Gruß
Karsten

[moos]

Passiert der Crash auch, wenn Theli nur einen Prozessor nutzen darf?

ja, der Prozess ist quasi unersättlich
Ich werde heute oder morgen mal updaten.

[mischa]

OK, schau ich mir an. Das Problem mit der Katalogerstellung sollte definitiv nicht der Fall sein.

[eisentpferd]

Hallo Mischa, du hast garnicht erwähnt dass Du das schon repariert hast. Die maximale eingestellte RAM Größe wird jetzt brav eingehalten.

[eisentpferd]

Kommando zurück:
Der Task "create catalog" kann sich doch noch nicht benehmen. Alle anderen Tasks halten sich an das eingestellte Ram Limit, nur der create catalog nicht...

Tschuldigung... Falsch geschaut...

[mischa]

Also zur Speichersache kann ich was sagen:
Der Task "create catalog" läd alle lightframes in den ram und linux tötet dann Theli wenn es zu viel wird.
Ich habe 68 lights (gesplittet 204) die dann ca. 10gb ram brauchen.
Mit 8gb ram und 2gb swap stürzte theli dann ab. Die Einstellungen wieviel Ram genutz werden soll hatten keinen Einfluss.

Als du den Absturz hattest, hast du da "minimize memory usage" aktiviert gehabt?

Ich kann die Probleme bei der Katalogerstellung einfach nicht nachvollziehen. Mit "minimize memory usage" werden maximal so viele Bilder geladen wie CPUs laufen. Intern gibt es noch ca 2-3 Zwischenkopien, aber das sollte selbst mit 4GB RAM und 8 CPUs ohne Probleme laufen. Auf meiner VM die ich auf 4 GB begrenzt habe, hab ich da keine Probleme. Ich wuerde das nur allzu gerne verstehen weil mehrere das Problem haben, andere aber nicht, und mir leuchtet nicht ein, warum das so sein sollte ...

mischa

[eisentpferd]

Ich hatte erste gemerkt dass der Speicher voll läuft und hatte dann in den Einstellungen der "max usable memory" und auch "minimize memory usage" ausprobiert, und nichts hat etwas verändert.
Ich ziehe die beiden 8gb Riegel nochmal wieder raus sodass ich wieder nur 8gb im Rechner habe und teste damit nochmal.

Heute hatte ich zumindest nochmal probiert "max usable memory" auf 5gb zu setzen und hatte dann bei dem task create catalog gesehen dass er deutlich mehr als diese 5gb benutzt hat.

Ich werde berichten...