memory error, after processing 277 Mhits

[emx77]

windows, version, python 2, 20180504

D:\Data\2018\M4I\20180219\beam_stop>python D:\Software\python\tpx3HitParser\tpx3
HitParser.py --hits half_beam_stop_10s_40mhit_hits.h5 -C -o half_beam_stop_10s_4
0mhit_clusters.h5 --overwrite
2018-04-04 15:48:48,076 - INFO - find - Started finding clusters
277Mhits [6:33:41, 11.5khits/s]2018-04-04 22:22:31,464 - INFO - find - Finish
ed finding 43351228 clusters from 277172916 hits in 23623 seconds on 4 cores ( 1
1733 hits / second )
Traceback (most recent call last):
File "D:\Software\python\tpx3HitParser\tpx3HitParser.py", line 97, in

sys.exit(main())

File "D:\Software\python\tpx3HitParser\tpx3HitParser.py", line 70, in main
cluster_info, cluster_matrix = clusters.find_clusters(hits)
File "D:\Software\python\tpx3HitParser\clusters\find.py", line 65, in find_clu
sters
return np.array(cluster_info), np.array(cluster_matrix)
MemoryError

[PaulVanSchayck]

Please try version 0.8.0, it includes improvement for chunked write to the hdf5 file

[emx77]

Hij is er helemaal door gekomen. Ik ben denk ik alleen store clusters vergeten :( D:\Data\2018\M4I\20180219\beam_stop>python D:\Software\python\ tpx3HitParser\tpx3 HitParser.py --hits half_beam_stop_10s_40mhit_hits.h5 -C -o half_beam_stop_10s_4 0mhit_clusters.h5 --overwrite 2018-04-05 17:49:44,753 - INFO - find - Started finding clusters 277Mhits [6:03:47, 11.1khits/s]2018-04-05 23:54:13,107 - INFO - find - Finish ed finding 43351228 clusters from 277172916 hits in 21868 seconds on 4 cores ( 1 2674 hits / second ) 277Mhits [6:03:48, 12.7khits/s]

…

On 5 April 2018 at 12:56, Paul van Schayck ***@***.***> wrote: Please try version 0.8.0, it includes improvement for chunked write to the hdf5 file — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub <#2 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AQU-QVucDi8kxuE4QJYo1Gn4F_mClYQfks5tlfhUgaJpZM4TH8OD> .

-- Erik Maddox, PhD Amsterdam Scientific Instruments B.V. www.amscins.com

[PaulVanSchayck]

Mooi om te horen!

Jammer dat je --store_clusters bent vergeten, want wat er dus nu gebeurt is dat ie alles opslaat en als --store_clusters niet is geset, dan verwijderd ie alles.

Ik heb trouwens wel eens gezien dat je 8 cores hebt. Je kan naar 8 cores gebruiken met --cores 8

[emx77]

nu heb ik de clusters wel gesaved. Nu de event stap gaat hij dan eerst alles in geheugen laden? Erik. 2018-04-06 15:48 GMT+02:00 Paul van Schayck <[email protected]>:

…

Mooi om te horen! Jammer dat je --store_clusters bent vergeten, want wat er dus nu gebeurt is dat ie alles opslaat en als --store_clusters niet is geset, dan verwijderd ie alles. Ik heb trouwens wel eens gezien dat je 8 cores hebt. Je kan naar 8 cores gebruiken met --cores 8 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub <#2 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AQU-QTls6vyqsZZ5zuqr5DUYsX-fySP5ks5tl3IWgaJpZM4TH8OD> .

-- Erik Maddox, PhD Amsterdam Scientific Instruments B.V. www.amscins.com

[PaulVanSchayck]

Van hits naar clusters doet ie dat zeker niet. De hits worden chunks gewijs geladen.

Van clusters naar events doet ie dat zeker niet voor de CNN methode. Voor de centroiding methode mogelijk wel. Hangt er een beetje af hoe een bepaalde library functie werkt.

Ik denk dat je centroiding aan het uitproberen bent he? Zie je het geheugen sterk toenemen voordat je de progress bar ziet?

[emx77]

store_events moet nu ook zie ik. de hele 9Gb gaat in het geheugen en past net. Erik. 2018-04-06 17:24 GMT+02:00 Paul van Schayck <[email protected]>:

…

Van hits naar clusters doet ie dat zeker niet. De hits worden chunks gewijs geladen. Van clusters naar events doet ie dat zeker niet voor de CNN methode. Voor de centroiding methode mogelijk wel. Hangt er een beetje af hoe een bepaalde library functie werkt. Ik denk dat je centroiding aan het uitproberen bent he? Zie je het geheugen sterk toenemen voordat je de progress bar ziet? — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub <#2 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AQU-Qb3m8T7Wc21Ws-s-xnCqZgv6n1enks5tl4imgaJpZM4TH8OD> .

-- Erik Maddox, PhD Amsterdam Scientific Instruments B.V. www.amscins.com

[PaulVanSchayck]

OK.. ik zal dat stukje binnenkort ook eens aanpassen, dat is niet zo lastig om dat ook stapsgewijs te laten lezen.

Er zit trouwens na de localisatie stap en voor de storing stap een proces wat redelijk lang kan duren (15 minuten+) en geen indicatie van voortgang geeft. Ik moet dit proces nog een keer optimaliseren.

[PaulVanSchayck]

Dat is nu aangepast dat de clusters chunk voor chunk ingelezen worden. En de stap na localisatie is nu ook geoptimaliseerd.