[ehli75]

Ich habe gerade das Problem, dass ich massenhaft Daten aus einer DB in den Speicher schaufel ... und dann kommt irgenwann die Meldung:
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space.

Kann man diesen Error abfangen (wie z.B. eine Exception) und verarbeiten ?? Ich hab zwar einen try/catch-Block drum ... aber da gehts immer nur rein, wenn eine Exception kommt ...

Michael

[peschmae]

Nicht die Frage, aber du weisst schon dass du mit -Xmx256m oder so den Heap-Limit der JVM raufstellen kannst?

MfG Peschmä

[ehli75]

hab ich schon auf 512M gesetzt ...

[Sym]

Wieviel Daten ziehst Du denn aus der DB?

[nove]

würd mich auch mal interessieren wieviel daten du da schaufelst ...

oder hast du etwa sowas wie ne recursive SQL Schleife gebaut die dir den Speicher zumüllt?!

[ehli75]

Die Menge der Daten ist schon korrekt ... es handelt sich da um eine Zahl zwischen 100.000 und 1.000.000 Objekte, die ich aus den Daten der DB erzeuge.
Das mache ich deshalb, weil ich hinterher sehr viele Berechnungen machen muss, die normaler Weise ständig auf die DB zugreifen. Dadurch das ich vorher das in den Speicher lade, was ich brauche, steigere ich die Performance um ein Zigfaches (Berechnung vorher: über 8 Stunden ... nachher: 3 Min.) Bis jetzt hatte ich immer Berechnungen durchzuführen, wo bis 200.00 Datensaetzen geladen wurden ... aber nun kommen neue Anforderungen ... ;o(

Um nochmal zur Ursprungsfrage zurückzukehren ... kann man einen Error fangen, ohne das mir die VM alles automatisch abwürgt ?
Ich bin auch für andere Anregungen offen ... vielleicht gibts ja noch weiter Speicherschrauben an denen ich drehen könnte ... ?!?!?

[peschmae]

Um noch auf dein Ursprungsposting zurückzukommen:

Zitat von ehli75

Kann man diesen Error abfangen (wie z.B. eine Exception) und verarbeiten ?? Ich hab zwar einen try/catch-Block drum ... aber da gehts immer nur rein, wenn eine Exception kommt ...

Das ist mir nicht ganz klar. Das ist doch genau das was du willst, oder? Oder ist das Problem dass du dann nichts mehr machen kannst weils halt *überhaupt* keinen Speicher mehr übrig hat, d.h. du möchtest die Exception quasi 5 MB vor Speicherende und nicht erst am Schluss?

Hab noch gerade was gefunden was dich eventuell interssieren könnte: http://www.javaworld.com/javaworld/j...avatip130.html

MfG Peschmä

[dyrathror]

Hi,
je nachdem wie Dein Programm aussieht hilft es vielleicht die Stacksize für Threads hoch zu setzen (-Xss).


Aber ehrlich gesagt würde ich erst einmal kontrollieren ob beim Import Deiner
Daten alles richtig läuft, z.B. nichts mehrfach gespeichert wird, ...
Vielleicht kannst Du Deine Daten auch anders organisieren oder komprimieren?
Wie groß ist denn ein durchschnittlicher Datensatz? Sollten denn alle Daten
rein rechnerisch in Deinen Hauptspeicher passen? Vielleicht kannst Du auch
zwischendurch mal den GarbageCollector starten ?!? Vielleicht hältst Du
noch Referenzen auf Datenstrukturen von denen Du eigentlich dachtest das
sie wieder freigegeben worden sind?

Viel Spaß
Stephan

[ehli75]

@peschmae:
Leider ist das nicht so einfach ... wenn eine Anweisung eine Exception wirft, kann ich diese mit einem try-catch-Block fangen. Wenn ein Error (nicht zu verwechseln mit einer Exception) auftritt, wird die ganze Applikation beendet. Meine Frage war, ob man Errors wie eine Exceptions behandeln kann.
Danke für den Link ... werd ich bei Gelegenheit mal ausprobieren!

@dyrathror:
Mehrfach wird nix gespeichert, alte nicht mehr verwendete Referenzen gibt es (leider) nicht ( der Error kommt recht schnell nach dem Programmstart ... also quasi noch beim Reinladen der Daten ).
Das mit dem Umorganisieren der Datenstruktur ist mir auch schon in den Sinn gekommen ... aber das heisst VIEL Arbeit .... ;(

Einen kleinen Ausweg gibts mittlerweile schon ... auf unserem Server, auf dem die Applikation später laufen soll, wurde auf 4GB RAM aufgestockt (aber nicht nur wegen meinem Problem ... ) ... da läufts jetzt. find ich als Entwickler allerdings nicht so toll, da ich die Test lieber lokal durchführe und nicht auf einer produktiven Maschine.

Aber die Frage, ob man einen ERROR abfangen und bearbeiten kann steht aber immer noch ... schliesslich gibt es ja auch noch andere ERRORS (also welche die nix mit dem Speicher zu tun habe) ... und die würde ich auch gerne fangen ... und wenn nur dazu dient, im Programm aufzuräumen (DB-Verbindung ordnungsgemäß beenden, Dateien schließen, ...), dem User eine aussagekräftige Fehlermeldung geben, den Fehler im Log-File "sichern" und dann das Programm zu beenden .

Michael

[peschmae]

Zitat von ehli75

@peschmae:
Leider ist das nicht so einfach ... wenn eine Anweisung eine Exception wirft, kann ich diese mit einem try-catch-Block fangen. Wenn ein Error (nicht zu verwechseln mit einer Exception) auftritt, wird die ganze Applikation beendet. Meine Frage war, ob man Errors wie eine Exceptions behandeln kann.
Danke für den Link ... werd ich bei Gelegenheit mal ausprobieren!

Achso, jetzt hab ichs kapiert. Das ist eigentlich eine Assertion. Oder zumindest etwas was anders heisst aber dasselbe ist.

Ich wüsste nicht dass man da was machen kann. Sorry, keine hilfe

MfG Peschmä