Модераторы: pythonwin, Daevaorn
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Не могу прочитать data.h5 
:(
    Опции темы
suvor
Дата 13.12.2016, 19:45 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 16
Регистрация: 4.8.2006

Репутация: нет
Всего: нет



Код:

import numpy as np
import pandas as pd
a=raw_input('import ok')
data = pd.read_hdf("D:/train.h5")
a=raw_input('read ok')

Импорт проходит, а на чтении файла выдает много чего, но в конце- MemoryError
Файл 700 метров, ОЗУ - 2 ГИГ.. 
Чтобы это значило и что можно сделать?
Спасибо..
PM MAIL   Вверх
suvor
Дата 14.12.2016, 00:45 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 16
Регистрация: 4.8.2006

Репутация: нет
Всего: нет



Спасибо, похоже разобрался... ОЗУ не 2 ГИГа.. Врет Винда и не краснеет..
PM MAIL   Вверх
suvor
Дата 14.12.2016, 10:42 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 16
Регистрация: 4.8.2006

Репутация: нет
Всего: нет



Нет.. я не прав.. оперативки таки 2 гига.. система 200 метров, памяти полно.. значит это сам Питон лопушится.. попробовал еще поставить пакет pyh5 - не встал..  питон 27.. ось-хр.. значит он не может работать с большими массивами в принципе!?.. тоже мне язык для научной работы!..
PM MAIL   Вверх
Envy
Дата 16.12.2016, 07:36 (ссылка)    |    (голосов: 0) Загрузка ... Загрузка ... Быстрая цитата Цитата


Unregistered











Может.
Хорошо бы посмотреть ошибку полностью, версию питона, версию pandas.
у read_hdf() есть параметр chuncksize, если его передать, то файл будет читаться кусками.

Этот ответ добавлен с нового Винграда - http://vingrad.com
  Вверх
Envy
Дата 16.12.2016, 07:36 (ссылка)    |    (голосов: 0) Загрузка ... Загрузка ... Быстрая цитата Цитата


Unregistered











Может.
Хорошо бы посмотреть ошибку полностью, версию питона, версию pandas.
у read_hdf() есть параметр chuncksize, если его передать, то файл будет читаться кусками.

Этот ответ добавлен с нового Винграда - http://vingrad.com
  Вверх
Envy
Дата 16.12.2016, 07:36 (ссылка)    |    (голосов: 0) Загрузка ... Загрузка ... Быстрая цитата Цитата


Unregistered











Может.
Хорошо бы посмотреть ошибку полностью, версию питона, версию pandas.
у read_hdf() есть параметр chuncksize, если его передать, то файл будет читаться кусками.

Этот ответ добавлен с нового Винграда - http://vingrad.com
  Вверх
Envy
Дата 16.12.2016, 07:36 (ссылка)    |    (голосов: 0) Загрузка ... Загрузка ... Быстрая цитата Цитата


Unregistered











Может.
Хорошо бы посмотреть ошибку полностью, версию питона, версию pandas.
у read_hdf() есть параметр chuncksize, если его передать, то файл будет читаться кусками.

Этот ответ добавлен с нового Винграда - http://vingrad.com
  Вверх
Envy
Дата 16.12.2016, 07:36 (ссылка)    |    (голосов: 0) Загрузка ... Загрузка ... Быстрая цитата Цитата


Unregistered











Может.
Хорошо бы посмотреть ошибку полностью, версию питона, версию pandas.
у read_hdf() есть параметр chuncksize, если его передать, то файл будет читаться кусками.

Этот ответ добавлен с нового Винграда - http://vingrad.com
  Вверх
Google
  Дата 25.5.2019, 02:36 (ссылка)  





  Вверх
  
Ответ в темуСоздание новой темы Создание опроса
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Python: Общие вопросы | Следующая тема »


 




[ Время генерации скрипта: 0.0948 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.