Wieviel Speicher benötigt Theli für mein Projekt?

Alles über das neue Theli 3 - bitte keine Beiträge vom alten Theli (2) hier posten, es gibt eine extra Unterforumfür das alte Theli

Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon moos » Sonntag 10. Mai 2020, 10:06

Wieviel Speicher benötigt Theli für mein Projekt?
Es ist manchmal gut , wenn man das vorher ungefähr weiß.
Ich habe ein paar Kalkulation in Excel ( :lol: ;-) ja ich weiß ) gemacht, dich ich später online stellen kann.
Hat jemand vllt. die Zeit, seine Projekte damit zu vergleichen?
Dann könnte ich das verallgemeinern.
Die bisherigen Berechnungen basieren auf EOS Daten.
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
Ciao Carsten
moos
 
Beiträge: 504
Registriert: Dienstag 18. Oktober 2011, 19:06

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon spiegelei » Sonntag 10. Mai 2020, 12:07

Hi Carsten,
meinst Du bei science Frames die Frames/Filter oder die Frames gesamt?
Gruß
Karsten
Atik 383 - AP80/560 - GSO RC 8" - LX50 8" SC - TSAPO65Q - CGEM
Theli 3 - SUSE Leap 15.1/64 - Dual XEON 12K/24T - 32GB
Die meisten großen Erfindungen beginnen nicht mit "HEUREKA" sondern mit "Das ist aber komisch....."
Benutzeravatar
spiegelei
 
Beiträge: 197
Registriert: Donnerstag 29. September 2011, 15:15
Wohnort: Chemnitz

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon moos » Sonntag 10. Mai 2020, 13:18

spiegelei hat geschrieben:meinst Du bei science Frames die Frames/Filter oder die Frames gesamt?

Hi Karsten,
gute Frage. Ich meine Frames/Filter, was wohl die Einsatzfähigkeit einschränkt, da man ja nicht immer von allen Filtern gleich viele hat. Das würde ich erweitern auf jeden einzelnen Filter, aber nicht in Excel ;-)
Ciao Carsten
moos
 
Beiträge: 504
Registriert: Dienstag 18. Oktober 2011, 19:06

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon mischa » Sonntag 10. Mai 2020, 14:51

Es sollte im allgemeinen eigentlich kein Speicherproblem geben, daher wuerde ich da jetzt nicht allzu viel Energie reinstecken. Ich weiss aber, dass an mancher Stelle in THELI das noch nicht optimal geloest ist.

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon eisentpferd » Sonntag 10. Mai 2020, 20:30

Also zur Speichersache kann ich was sagen:
Der Task "create catalog" läd alle lightframes in den ram und linux tötet dann Theli wenn es zu viel wird.
Ich habe 68 lights (gesplittet 204) die dann ca. 10gb ram brauchen.
Mit 8gb ram und 2gb swap stürzte theli dann ab. Die Einstellungen wieviel Ram genutz werden soll hatten keinen Einfluss.
In skysubstract zum Beispiel ist dann immer nur ein frame pro cpu-kern geladen. Das kann man dann schön in der Speicher-Ansicht sehen.

Jetzt habe ich 24gb drin, somit kein Problem bis jetzt.

/Hendrik/
eisentpferd
 
Beiträge: 46
Registriert: Sonntag 12. Januar 2020, 21:14

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon moos » Sonntag 10. Mai 2020, 21:29

Hallo Hendrik,
das mit dem create catalog kann ich bestätigen. Ich habe nur 4 GB und muss den create catalog prozess in Teile teilen.
Das hat aber nix mit diesem Beitrag zu tun, er dreht sich um HDD Speicher.
Ciao Carsten
moos
 
Beiträge: 504
Registriert: Dienstag 18. Oktober 2011, 19:06

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon spiegelei » Sonntag 10. Mai 2020, 21:33

Hallo Hendrik,
passiert das auch, wenn Du in den Einstellungen die Files gleich auf Platte schreiben lässt?
Gruß
Karsten
Atik 383 - AP80/560 - GSO RC 8" - LX50 8" SC - TSAPO65Q - CGEM
Theli 3 - SUSE Leap 15.1/64 - Dual XEON 12K/24T - 32GB
Die meisten großen Erfindungen beginnen nicht mit "HEUREKA" sondern mit "Das ist aber komisch....."
Benutzeravatar
spiegelei
 
Beiträge: 197
Registriert: Donnerstag 29. September 2011, 15:15
Wohnort: Chemnitz

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon moos » Sonntag 10. Mai 2020, 22:03

spiegelei hat geschrieben:Hallo Hendrik,
passiert das auch, wenn Du in den Einstellungen die Files gleich auf Platte schreiben lässt?
Gruß
Karsten

Ich merke da keinen Unterschied. Ich habe auch schon mit ulimit der Task ein RAM Limit gegeben, das nutzt der Prozess voll aus und theli wird gekillt. Auch minimize memory usage ( oder so ) macht da keinen Unterschied. Ich kann etwa 30 Bilder pro Filter auf einmal durchlaufen lassen. Und dabei wird bei den ersten drei Bilder etwas geswapt.
Code: Alles auswählen
[color=#FF8000]274 MB requested 0 MB released...[/color]


ich habe den Branch vom 4.5.
Ciao Carsten
moos
 
Beiträge: 504
Registriert: Dienstag 18. Oktober 2011, 19:06

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon spiegelei » Montag 11. Mai 2020, 07:09

Hi Carsten,

muss ich mal irgendwann ausprobieren. Ich habe bei meinem Testdatensatz bloss 5x10 lights a 34 MB, da kommen ich mit mein 32GB noch nicht an die Grenze.
Passiert der Crash auch, wenn Theli nur einen Prozessor nutzen darf?

Gruß
Karsten
Atik 383 - AP80/560 - GSO RC 8" - LX50 8" SC - TSAPO65Q - CGEM
Theli 3 - SUSE Leap 15.1/64 - Dual XEON 12K/24T - 32GB
Die meisten großen Erfindungen beginnen nicht mit "HEUREKA" sondern mit "Das ist aber komisch....."
Benutzeravatar
spiegelei
 
Beiträge: 197
Registriert: Donnerstag 29. September 2011, 15:15
Wohnort: Chemnitz

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon moos » Montag 11. Mai 2020, 07:30

Passiert der Crash auch, wenn Theli nur einen Prozessor nutzen darf?

ja, der Prozess ist quasi unersättlich :mrgreen:
Ich werde heute oder morgen mal updaten.
Ciao Carsten
moos
 
Beiträge: 504
Registriert: Dienstag 18. Oktober 2011, 19:06

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon mischa » Montag 11. Mai 2020, 07:50

OK, schau ich mir an. Das Problem mit der Katalogerstellung sollte definitiv nicht der Fall sein.
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon eisentpferd » Samstag 16. Mai 2020, 14:03

Hallo Mischa, du hast garnicht erwähnt dass Du das schon repariert hast. Die maximale eingestellte RAM Größe wird jetzt brav eingehalten.
eisentpferd
 
Beiträge: 46
Registriert: Sonntag 12. Januar 2020, 21:14

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon eisentpferd » Samstag 16. Mai 2020, 16:21

Kommando zurück:
Der Task "create catalog" kann sich doch noch nicht benehmen. Alle anderen Tasks halten sich an das eingestellte Ram Limit, nur der create catalog nicht...

Tschuldigung... Falsch geschaut...
eisentpferd
 
Beiträge: 46
Registriert: Sonntag 12. Januar 2020, 21:14

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon mischa » Samstag 16. Mai 2020, 19:28

eisentpferd hat geschrieben:Also zur Speichersache kann ich was sagen:
Der Task "create catalog" läd alle lightframes in den ram und linux tötet dann Theli wenn es zu viel wird.
Ich habe 68 lights (gesplittet 204) die dann ca. 10gb ram brauchen.
Mit 8gb ram und 2gb swap stürzte theli dann ab. Die Einstellungen wieviel Ram genutz werden soll hatten keinen Einfluss.


Als du den Absturz hattest, hast du da "minimize memory usage" aktiviert gehabt?

Ich kann die Probleme bei der Katalogerstellung einfach nicht nachvollziehen. Mit "minimize memory usage" werden maximal so viele Bilder geladen wie CPUs laufen. Intern gibt es noch ca 2-3 Zwischenkopien, aber das sollte selbst mit 4GB RAM und 8 CPUs ohne Probleme laufen. Auf meiner VM die ich auf 4 GB begrenzt habe, hab ich da keine Probleme. Ich wuerde das nur allzu gerne verstehen weil mehrere das Problem haben, andere aber nicht, und mir leuchtet nicht ein, warum das so sein sollte ...

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Wieviel Speicher benötigt Theli für mein Projekt?

Beitragvon eisentpferd » Samstag 16. Mai 2020, 22:22

Ich hatte erste gemerkt dass der Speicher voll läuft und hatte dann in den Einstellungen der "max usable memory" und auch "minimize memory usage" ausprobiert, und nichts hat etwas verändert.
Ich ziehe die beiden 8gb Riegel nochmal wieder raus sodass ich wieder nur 8gb im Rechner habe und teste damit nochmal.

Heute hatte ich zumindest nochmal probiert "max usable memory" auf 5gb zu setzen und hatte dann bei dem task create catalog gesehen dass er deutlich mehr als diese 5gb benutzt hat.

Ich werde berichten...
eisentpferd
 
Beiträge: 46
Registriert: Sonntag 12. Januar 2020, 21:14

Nächste

Zurück zu Theli 3 - Das neue Theli

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron