division by zero

Der schwierigste und komplizierteste Teil von Theli.
Forumsregeln
Bitte die Beiträge kurz fassen, so kann man sie nachher besser finden. Sollte ein Problem gelöst sein, dann einen neuen Beitrag eröffnen. Ebenso wenn die Ursache eine ganz andere ist, oder es Offtopic wird.

Re: division by zero

Beitragvon Knickohr » Dienstag 7. Februar 2012, 19:16

Jupp,

hab den "min # of objects" auch auf 100 gestellt ;-)

so im Durchschnitt habe ich knapp 500 Sterne, mal mehr, aber eher weniger.

Geht recht fix von der Hand. Hab ja schon die genauen Koordinaten.

Thomas
Benutzeravatar
Knickohr
Moderator
 
Beiträge: 631
Registriert: Donnerstag 29. September 2011, 12:01
Wohnort: Blaustein

Re: division by zero

Beitragvon mischa » Dienstag 7. Februar 2012, 20:10

Knickohr hat geschrieben:Jupp,

hab den "min # of objects" auch auf 100 gestellt ;-)

so im Durchschnitt habe ich knapp 500 Sterne, mal mehr, aber eher weniger.

Geht recht fix von der Hand. Hab ja schon die genauen Koordinaten.

Thomas


das bringt nichts. damit werden nur kataloge in ein 'lownum' verzeichnis verschoben, wenn sie weniger objekte haben.
ein fehler wird deshalb nicht produziert, du kannst daran nur erkennen, bei welchen bildern du nachhelfen musst.

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: division by zero

Beitragvon Knickohr » Dienstag 7. Februar 2012, 20:28

Ja genau ;-)

Das will ich damit ja erreichen. Ich habe bei einigen Pointings sehr viele Einzelbilder gemacht, und wenn bei denen die schlechtesten raus fliegen, ist es mir gerade Recht.

Thomas
Benutzeravatar
Knickohr
Moderator
 
Beiträge: 631
Registriert: Donnerstag 29. September 2011, 12:01
Wohnort: Blaustein

Re: division by zero

Beitragvon mischa » Dienstag 7. Februar 2012, 21:33

Knickohr hat geschrieben:JIch habe bei einigen Pointings sehr viele Einzelbilder gemacht, und wenn bei denen die schlechtesten raus fliegen, ist es mir gerade Recht.


Da musst du aufpassen. Wenn ein Bild im 'lownum' ordner landet, dann z.b. deswegen, weil es besser als die anderen fokussiert war, und dein MIN_FWHM parameter zu hoch gesetzt war, so dass all die nadelfeinen sternchen verlorengehen.
dann hast du gute bilder weggeschmissen, und die schlechten behalten.

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: division by zero

Beitragvon Knickohr » Dienstag 7. Februar 2012, 21:38

Hi.

Ich passe da schon auf :)

Ich habe teilweise Einzelbilder mit durchziehenden Wolken, die haben dann so etwas unter 100 Sterne, wo andere fast 500 Sterne haben. Bei einigen sind dermaßen Gradienten drin, die ich so auch sauber rausfischen kann. Bis jetzt (25 neu durchgerechnete Pointings) ist noch kein gutes Bild im lownum gelandet.

Ach ja, mein FWHM steht bei 1,5. Ich glaube nicht, das das eine DSLR übertrifft. Schon allein wegen der Bayer-Matrix müßte da mindesten 2 raus kommen.

Thomas
Benutzeravatar
Knickohr
Moderator
 
Beiträge: 631
Registriert: Donnerstag 29. September 2011, 12:01
Wohnort: Blaustein

Re: division by zero

Beitragvon mischa » Mittwoch 8. Februar 2012, 13:06

Knickohr hat geschrieben:Ach ja, mein FWHM steht bei 1,5. Ich glaube nicht, das das eine DSLR übertrifft. Schon allein wegen der Bayer-Matrix müßte da mindesten 2 raus kommen.


Nicht unbedingt. Du vergisst, dass Theli einen sehr guten Algorithmus zur Rekonstruktion der vollen Aufloesung in den einzelnen Farbkanaelen verwendet.
Das Beispielbild, welches du mir gesandt hast, ist in der Mitte deutlich kleiner als FWHM=2.

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: division by zero

Beitragvon Knickohr » Mittwoch 8. Februar 2012, 13:37

Das war auch eines von den Besten :shock:

Ganz frisch aus Namibia *fg*

Und außerdem wars der Grünkanal ;-)

Thomas
Benutzeravatar
Knickohr
Moderator
 
Beiträge: 631
Registriert: Donnerstag 29. September 2011, 12:01
Wohnort: Blaustein

Re: division by zero

Beitragvon Knickohr » Mittwoch 8. Februar 2012, 18:39

Sooo !

Ich bin wieder im Rennen ;-)

2868 Dateien, 50 Pointings, die Kataloge sind 9GB groß, Plattenplatz 1,5TB ! :shock:

Mal sehen, wie es jetzt weiter geht. Hab zur Sicherheit auch gleich noch die Weights neu erzeugt.

Thomas
Benutzeravatar
Knickohr
Moderator
 
Beiträge: 631
Registriert: Donnerstag 29. September 2011, 12:01
Wohnort: Blaustein

Re: division by zero

Beitragvon Knickohr » Donnerstag 9. Februar 2012, 06:56

Ich verstehe das nicht :cry:

Genau die gleiche Fehlermeldung an haargenau der gleichen Stelle :

gawk: cmd. line:11: (FILENAME=/home/theli/.theli/tmp//photdata.txt_30326 FNR=2868) fatal: division by zero attempted

Ich werde jetzt mal die letzten Pointings weg nehmen und es nochmal versuchen. Bis dahin klappte es (mit der alten Version) ja.

Thomas
Benutzeravatar
Knickohr
Moderator
 
Beiträge: 631
Registriert: Donnerstag 29. September 2011, 12:01
Wohnort: Blaustein

Re: division by zero

Beitragvon Knickohr » Donnerstag 9. Februar 2012, 11:16

Hmmm,

es ging wieder in die Hose, trotz weniger Pointings, so wie es vor ein paar Tagen mit der alten Version noch klappte. Ich werde jetzt mal auf die alte Version umlinken und es nochmal probieren.

Na hoffentlich wurde da nicht was verschlimmbessert ;-)

Thomas
Benutzeravatar
Knickohr
Moderator
 
Beiträge: 631
Registriert: Donnerstag 29. September 2011, 12:01
Wohnort: Blaustein

Re: division by zero

Beitragvon Knickohr » Donnerstag 9. Februar 2012, 17:33

Irgendwas seltsames passiert hier !

Theli (alt) meldet jetzt "Done". Hab aber immer noch keine Dateien im Headers-Verzeichnis, auch keine Plots. Halt nein, ich hab Plots, aber im Verzeichnis "astrom_photom_scamp/plots"

Ich habe wohl irgendwo etwas kaputt gemacht :-(

HALT
Kommando zurück, es sind doch die Plots auch an der richtigen Stelle. Der doofe Nautilus hat nur nicht aktualisiert. Auch die Headers sind da, wo sie hin gehören. Ich hasse so langsam diesen grafischen Dateimanager. Das hat er mir schon mal gemacht !

OK, ich werde jetzt wieder auf die neue Version verlinken und es nochmal probieren. Hab da so einen Verdacht.

Thomas
Benutzeravatar
Knickohr
Moderator
 
Beiträge: 631
Registriert: Donnerstag 29. September 2011, 12:01
Wohnort: Blaustein

Re: division by zero

Beitragvon Knickohr » Donnerstag 9. Februar 2012, 22:20

Hallo,

mein Verdacht hat sich bewahrheitet :shock:

Es ist die ramzswap ! Man darf nicht mehr als die tatsächliche Größe dafür anlegen. Also bei 16GB RAM kann man nicht mehr als 16GB ramzswap machen, komprimiert wären das dann 8GB. Lieber noch ein bißchen drunter bleiben. Offensichtlich braucht irgendetwas von der ramzswap noch wirklich reellen Speicher um zu arbeiten.

Rein theoretisch könnte man ja der Meinung sein, das bei 16GB RAM eine ramzswap von 32GB (komprimiert 16GB) in den Speicher paßt. Offensichtlich muß aber die Hälfte vom reellen RAM frei bleiben. Man kann sich also den Speicher durch die ramzswap nur knapp max. verdoppeln, wenn mehr gebraucht wird, dann hilft auch nur wieder richtiges swapping mit Partition oder Datei (oder eben doch mehr physikalischer Speicher).

Noch ein interessanter Effekt (oder auch Bug) vom ramzswap. Den Speicher, den sich die ramzswap vom RAM mal einverleibt hat, gibt sie nicht mehr her. Erst nach einem reboot ist der RAM wieder frei. Das scheint offenbar auch der Grund für eben jene max. 50% (komprimiert) zu sein.

Anyway, man lernt nie aus. Theli (neu) rechnet jetzt wieder mit allen 50 Pointings. Mal sehen, ob es diesmal ohne Fehler durchläuft.

Thomas
Benutzeravatar
Knickohr
Moderator
 
Beiträge: 631
Registriert: Donnerstag 29. September 2011, 12:01
Wohnort: Blaustein

Re: division by zero

Beitragvon Knickohr » Samstag 11. Februar 2012, 09:57

Himmel :evil:

Die Kiste swappt wieder ohne Ende. Der RAM ist einfach zu klein, der scamp-Prozeß bekommt nur 6 bis 10 % CPU, der Rest geht entweder beim swapping oder I/O oder schlicht und einfach beim wait drauf. Sieht ganz so aus, als müßte ich mal 1000 Euro in die Hand nehmen, um ein Board, Prozessor und Speicher (und drumherum) zu kaufen. Dummerweise muß ich quasi alles neu kaufen, weil Boards, die mind. 64GB RAM aufnehmen, einen aktuellen Prozessor und DDR3-RAM brauchen. Wenn ich Nägel mit Köpfen mache, dann sollte das auch noch ein bißchen nach oben skalierbar sein und Möglichkeiten zur Aufrüstung, zumindest beim RAM lassen. Ein Board mit 8 Speicherbänken und 128GB erfordert leider aktuellste Hardware (Sandy-Brigde) :shock:

Ich werde noch eine letzte Möglichkeit ausschöpfen : Eine i-RAM-Karte mit 4GB (RAMdisk, auf die ich eine swappartition lege). Kostet mich 70 Euro, den RAM habe ich ja schon von der letzten Aufrüstung übrig.

Ach ja, AMD kommt mir nicht ins Haus ;-)

Es hat nicht zufällig jemand so etwas rum liegen, das er nicht (mehr) braucht ? :P :mrgreen:

Thomas
Benutzeravatar
Knickohr
Moderator
 
Beiträge: 631
Registriert: Donnerstag 29. September 2011, 12:01
Wohnort: Blaustein

Re: division by zero

Beitragvon TorstenK » Samstag 11. Februar 2012, 13:40

Warum reduzierst du nicht einfach die Kataloggrößen? Kann mir nicht vorstellen, daß du da schon am unteren Limit bist... :roll:
TorstenK
 
Beiträge: 79
Registriert: Donnerstag 13. Oktober 2011, 18:55

Re: division by zero

Beitragvon Knickohr » Samstag 11. Februar 2012, 14:06

Hi,

ich habe die Kataloggröße schon auf 1/3 (Dateigröße) reduziert. Das brachte beim scamp etwas über 1GB (RAM) mehr (vorher 26.7GB, jetzt 25,3GB). Auch Mischa hat das vorgeschlagen, was ich auch gemacht habe. Noch weiter reduzieren ? Wenns dann auch nur 1GB bringt, dann schenke ich mir das.

Thomas
Benutzeravatar
Knickohr
Moderator
 
Beiträge: 631
Registriert: Donnerstag 29. September 2011, 12:01
Wohnort: Blaustein

VorherigeNächste

Zurück zu Astrometrie und Photometrie

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 18 Gäste

cron