| Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате |
| Форум программистов > Python: Общие вопросы > Не могу прочитать data.h5 |
| Автор: suvor 13.12.2016, 19:45 |
| Код: import numpy as np import pandas as pd a=raw_input('import ok') data = pd.read_hdf("D:/train.h5") a=raw_input('read ok') Импорт проходит, а на чтении файла выдает много чего, но в конце- MemoryError Файл 700 метров, ОЗУ - 2 ГИГ.. Чтобы это значило и что можно сделать? Спасибо.. |
| Автор: suvor 14.12.2016, 00:45 |
| Спасибо, похоже разобрался... ОЗУ не 2 ГИГа.. Врет Винда и не краснеет.. |
| Автор: suvor 14.12.2016, 10:42 |
| Нет.. я не прав.. оперативки таки 2 гига.. система 200 метров, памяти полно.. значит это сам Питон лопушится.. попробовал еще поставить пакет pyh5 - не встал.. питон 27.. ось-хр.. значит он не может работать с большими массивами в принципе!?.. тоже мне язык для научной работы!.. |
| Автор: Envy 16.12.2016, 07:36 |
| Может. Хорошо бы посмотреть ошибку полностью, версию питона, версию pandas. у read_hdf() есть параметр chuncksize, если его передать, то файл будет читаться кусками. Этот ответ добавлен с нового Винграда - http://ru.vingrad.com/Ne-mogu-prochitat-datah5-id585026414e6f474d8a25dca3#findElement_E7045_58536f3c20a8ef6dab35300f_0 |
| Автор: Envy 16.12.2016, 07:36 |
| Может. Хорошо бы посмотреть ошибку полностью, версию питона, версию pandas. у read_hdf() есть параметр chuncksize, если его передать, то файл будет читаться кусками. Этот ответ добавлен с нового Винграда - http://ru.vingrad.com/Ne-mogu-prochitat-datah5-id585026414e6f474d8a25dca3#findElement_E7045_58536f3c20a8ef6dab35300f_0 |
| Автор: Envy 16.12.2016, 07:36 |
| Может. Хорошо бы посмотреть ошибку полностью, версию питона, версию pandas. у read_hdf() есть параметр chuncksize, если его передать, то файл будет читаться кусками. Этот ответ добавлен с нового Винграда - http://ru.vingrad.com/Ne-mogu-prochitat-datah5-id585026414e6f474d8a25dca3#findElement_E7045_58536f3c20a8ef6dab35300f_0 |
| Автор: Envy 16.12.2016, 07:36 |
| Может. Хорошо бы посмотреть ошибку полностью, версию питона, версию pandas. у read_hdf() есть параметр chuncksize, если его передать, то файл будет читаться кусками. Этот ответ добавлен с нового Винграда - http://ru.vingrad.com/Ne-mogu-prochitat-datah5-id585026414e6f474d8a25dca3#findElement_E7045_58536f3c20a8ef6dab35300f_0 |
| Автор: Envy 16.12.2016, 07:36 |
| Может. Хорошо бы посмотреть ошибку полностью, версию питона, версию pandas. у read_hdf() есть параметр chuncksize, если его передать, то файл будет читаться кусками. Этот ответ добавлен с нового Винграда - http://ru.vingrad.com/Ne-mogu-prochitat-datah5-id585026414e6f474d8a25dca3#findElement_E7045_58536f3c20a8ef6dab35300f_0 |