Модераторы: Snowy, MetalFan, bems, Poseidon
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> огромный массив больше 2 ГБ, как быть? 
:(
    Опции темы
Mersik
Дата 23.9.2008, 14:17 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 69
Регистрация: 15.1.2007
Где: Latvija, Riga

Репутация: 1
Всего: 0



Как поступить если массив больше 2гб и невозможно обработать данние? Разделить обработку?

Рад любому ценному совету !

PM MAIL WWW   Вверх
Ch0bits
Дата 23.9.2008, 14:52 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Python Dev.
****


Профиль
Группа: Завсегдатай
Сообщений: 2124
Регистрация: 21.2.2005
Где: Казань

Репутация: нет
Всего: 62



Не использовать такие гигантские массивы. Все программы вокруг обходятся, а тебе зачем?
Но если уж приспичило, то можно поделить массив на части, использовать раздельную адресацию, использовать подкачку.

Лучше расскажи что за данные и как ты их обрабатываешь? Наверняка найдется более оптимальный алгоритм.


PM WWW   Вверх
Mersik
Дата 23.9.2008, 15:11 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 69
Регистрация: 15.1.2007
Где: Latvija, Riga

Репутация: 1
Всего: 0



Работаю с искуственной неиронной сетью, обрабативаю массив картинок 512х512 пикселей. Перед обработкой считиваю в массив значение каждого пикселя. 2 етап обрабативаю полученние данние (используя алгоритм Бацк пропогатион ), 3 етап вивод информации классификацийи изобразений.


PM MAIL WWW   Вверх
CodeMonkey
Дата 23.9.2008, 15:25 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1839
Регистрация: 24.6.2008
Где: Россия, Тверь

Репутация: 29
Всего: 89





--------------------
Опытный программист на C++ легко решает любые не существующие в Паскале проблемы.
PM MAIL WWW ICQ Skype GTalk Jabber   Вверх
Ch0bits
Дата 23.9.2008, 15:27 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Python Dev.
****


Профиль
Группа: Завсегдатай
Сообщений: 2124
Регистрация: 21.2.2005
Где: Казань

Репутация: нет
Всего: 62



А где тут массив в 2 гб?  512 х 512 x 4 (32 bit цвет) = 1 мб памяти.
PM WWW   Вверх
Mersik
Дата 23.9.2008, 15:42 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 69
Регистрация: 15.1.2007
Где: Latvija, Riga

Репутация: 1
Всего: 0



Ето одна картунка а если их 200 ?  200 мб, 
Плюс куча разних данних о неиронной сети.
  C_input_weight:             array[1..263000,1..15,1..46] of double;
  Input_Neiro_value_TSet:       array[1..263000,1..50] of single;
  Input_Neiro_value_ExSet:       array[1..263000,1..50] of single;

 smile 
PM MAIL WWW   Вверх
Ch0bits
Дата 23.9.2008, 16:06 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Python Dev.
****


Профиль
Группа: Завсегдатай
Сообщений: 2124
Регистрация: 21.2.2005
Где: Казань

Репутация: нет
Всего: 62



Зачем тебе все картинки держать в памяти? Грузи последовательно.

ПС: Под нейронную сеть много памяти не надо, где-то ошибка. Когда нейронов много они приоритетно не обучаются а запоминают, особенно простейшие сети обратного распространения.
PM WWW   Вверх
Mersik
Дата 24.9.2008, 07:35 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 69
Регистрация: 15.1.2007
Где: Latvija, Riga

Репутация: 1
Всего: 0



Ch0bits := У меня раньше било последовательная загрузка картинок ноооо ! скорость обучения уменьшается правда читал значение пикселей через CANVAS.Pixels[i,j] а на форуме читал что мозно ускоритй СканЛине-ом  . и вся фишка в том что я обучаю не одну сеть а 50 подряд а потом вивожу коллективное рещение коммитета хеиронних сетей smile замудренно я знаю smile 
PM MAIL WWW   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Правила форума "Delphi: Для новичков"
SnowyMetalFan
bemsPoseidon
Rrader

Запрещается!

1. Публиковать ссылки на вскрытые компоненты

2. Обсуждать взлом компонентов и делиться вскрытыми компонентами

  • Литературу по Дельфи обсуждаем здесь
  • Действия модераторов можно обсудить здесь
  • С просьбами о написании курсовой, реферата и т.п. обращаться сюда
  • Вопросы по реализации алгоритмов рассматриваются здесь
  • 90% ответов на свои вопросы можно найти в DRKB (Delphi Russian Knowledge Base) - крупнейшем в рунете сборнике материалов по Дельфи


Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, Snowy, MetalFan, bems, Poseidon, Rrader.

 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Delphi: Для новичков | Следующая тема »


 




[ Время генерации скрипта: 0.0858 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.