 |
|
|
 
|
|
Работа с большими массивами 
| lysf |
|
|||
|
Новичок Профиль Группа: Участник Сообщений: 2 Регистрация: 4.8.2009 Репутация: нет Всего: нет |
Пусть на диске есть большой массив слов, размером, например, 100 Гб (т.е. целиком в память не поместится). Как за приемлемое время можно получить по слову его индекс в этом массиве?
|
|||
|
||||
Загрузка ...
| Lipetsk |
|
|||
 в форме ;)  Профиль Группа: Участник Сообщений: 180 Регистрация: 28.1.2009 Где: Липецк Репутация: 2 Всего: 5 |
для этого надо потратить еще несколько десятков Гб под индексные файлы
В них например можно хранить позиции слов в исходном файле отсортированные по алфавиту |
|||
|
||||
| Pavia |
|
|||
|
Опытный Профиль Группа: Участник Сообщений: 418 Регистрация: 6.12.2008 Репутация: 11 Всего: 12 |
lysf,
Бинарный поиск. Хэш таблицы. Построить суфиксное дерево и сжать вдруг влезет в память. |
|||
|
||||
| lysf |
|
|||
|
Новичок Профиль Группа: Участник Сообщений: 2 Регистрация: 4.8.2009 Репутация: нет Всего: нет |
Pavia,
Бинарный поиск думаю медленновато будет, надо с десяток раз к диску обращаться. Про хэш-таблицу надо подумать как ее кусками загружать в память - пока еще не приходилось близко смотреть на ее внутренне устройство. Ну и пойду читать про суффиксные деревья - вообще не слышал раньше про них  |
|||
|
||||
|
|
| Правила форума "Алгоритмы" | |
|
|
Форум "Алгоритмы" предназначен для обсуждения вопросов, связанных только с алгоритмами и структурами данных, без привязки к конкретному языку программирования и/или программному продукту.
Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, maxim1000. |
| 0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей) | |
| 0 Пользователей: | |
| « Предыдущая тема | Алгоритмы | Следующая тема » |
[ Время генерации скрипта: 0.0586 ] [ Использовано запросов: 21 ] [ GZIP включён ]
Реклама на сайте Информационное спонсорство
|
|
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности Powered by Invision Power Board(R) 1.3 © 2003 IPS, Inc. |