вариант 1:

$зарплата{'Иванов'}=10;
$зарплата{'Петров'}=15;
$зарплата{'Сидоров'}=20;
$опыт_работы{'Иванов'}=3;
$опыт_работы{'Петров'}=5;
$опыт_работы{'Сидоров'}=10;


вариант 2:

$сотрудники{'Иванов'}{'зарплата'}=10;
$сотрудники{'Иванов'}{'опыт работы'}=3;
$сотрудники{'Петров'}{'зарплата'}=15;
$сотрудники{'Петров'}{'опыт работы'}=5;
$сотрудники{'Сидоров'}{'зарплата'}=20;
$сотрудники{'Сидоров'}{'опыт работы'}=10;


Всего около 10 параметров (зарплата, опыт работы, возраст и т.п). и 8 млн. уникальных сотрудников.
Какой вариант хеша будет занимать меньше оперативной памяти?

 

по моему занимаемый объём оперативы должен быть одинаковый или во втором варианте чуть меньше

В первом случае создается 10 хешей (по количеству свойств) с 8 млн. пар ключ/значение.
Во втором случае создается 1 сложный хеш с 80 млн. пар ключ/значение.

Я, вот, думаю, можно ли как-то оптимизировать создание такой структуры, потому что для быстрых расчетов необходимо засунуть ее в оперативку, но 2 Гб не хватает :(

попробуйте переформулировать задачу.

А не сделать ли 10 параметров массивом? Если они точно известны, может не стоит хешировать?

Одинаково.

с точки зрения памяти может и одинаково, а вот производительность однозначно выиграет, не придется считать лишние хеш суммы.

infarch, 

в плане производительности выиграет второй вариант? (один большой хеш хешей)

в плане экономии ресурсов и производительности выгоднее массив (массив массивов).
что касается хешей не знаю, но я бы отдал предпочтения первому - структура проще.

По моим замерам получилось, что первый вариант (10 хешей по 8 млн. пар) занимает меньше оперативки.
Сколько занимает второй вариант, так и не удалось узнать, потому что Perl вылетал с "out of memory" на 70 - 80% пути.

Еще выяснил такой момент:

хеш хешей вида

$h{цифровой ID}{параметр}=значение

занимает ровно столько же оперативки, как и двумерный массив

$a[цифровой ID][параметр] = значение

Что-то я не так сделал в первый раз, оказывается и правда первый вариант занимает места меньше, чем второй.

Если вы начинаете считать байты, то используйте соответствующий инструмент. В перле даже undef занимает от 12 до 16 байт.

У меня 8 млн. уникальных ID, у каждого из которых 10 параметров (т.е. 8 млн. строк и 10 столбцов).

Если создать просто хеш с одним из параметров, то хеш занимает 200 Мб оперативки.
Если создать хеш хешей и забить в него один параметр, то он сразу занимает 1000 Мб.
Но зато потом при добавлении других параметров в готовый хеш хешей прирост
занимаемой оперативки небольшой (т.е. не по 200 Мб прибавляет, а по 50 - 100).

Двумерный массив занимает столько же оперативки, что и хеш хешей, но менее удобен. 



Это сообщение отредактировал(а) Suppir - 31.3.2011, 08:10

Вариант сделать ещё так:




А вообще для таких целей не зазорно использовать базу данных, которая пережуёт и больше 2-х гигов.

Как раз хотел написать про базу... Действительно, подключите MySQL и не парьтесь с хешами.