 |
|
Модераторы: LSD, AntonSaburov |
 
|
|
Поиск строк в файле несколько раз 
| Andy_L20066 |
|
|||
 Бывалый  Профиль Группа: Участник Сообщений: 177 Регистрация: 10.3.2008 Репутация: нет Всего: 1 |
Привет, нужен совет (знаю что подобные теми уже поднимались, но всетаки): есть некий файл, нужно из него значение постоянно вытягивать. Логика такова: приходит риквест на сервер с неким значением, и соотвественно сервер должен проверить нет ли такого значения в файле. Проблема в том что нужно это делать по несколько раз, и соответвественно возникает проблема з перформансом поскольку риквестов на сервер может приходить очень много и для каждого нужно проверить есть ли значение в файле...есть такие подходы:
1). можно просто парсать файл, читать построково, проверять есть ли нужное значение... 2). можна было би весь файл как-то замапить в контейнер (HashSet, HashMap)... 3). этот файл можна замапить в какую то таблицу в базе данных 4). использовать какую библиотеку типа Lucene что - ли, ну вот не знаю даст ли мне это вииграш по памяти Что посоветуете? Заранее спасибо!!! |
|||
|
||||
Загрузка ...
| Metal_Heart |
|
|||
|
а почему бы и нет? Профиль Группа: Участник Сообщений: 728 Регистрация: 31.3.2005 Где: Москва Репутация: 4 Всего: 12 |
Andy_L20066, Мудрёно как-то
Любое чтение файла с диска потребует времени и особо не важно как он у тебя будет представлен. Вариант1: использование файла в ОЗУ или совместное использование страницы ОЗУ Вариант2: разбить всю кашу по разным файлам, т.е запрос по кирпичам - 1й файл, запрос по авторучкам - 2й. и перечитывать только изменившийся файл. Но тут нюанс - если размер файла не большой то второй вариант будет всегда в проигрыше. -------------------- не стыдно учиться, а стыдно не учиться |
|||
|
||||
| fixxer |
|
|||
 Опытный Профиль Группа: Участник Сообщений: 672 Регистрация: 14.9.2006 Где: Саратов, Россия Репутация: 6 Всего: 27 |
1. Если файл маленький, то зачитать все сразу.
2. Если большой, то а) организовать кеш на слабых ссылках; б) использовать какой-нибудь сторонний кеш (ehcache); в) заменить файл легкой базой данных. Это сообщение отредактировал(а) fixxer - 18.3.2010, 15:03 --------------------  |
|||
|
||||
| Andy_L20066 |
|
||||
|
Бывалый Профиль Группа: Участник Сообщений: 177 Регистрация: 10.3.2008 Репутация: нет Всего: 1 |
здесь идет речь о том чтобы все хранить в HasMap или в каком то еще контейнере? Добавлено через 1 минуту и 3 секунды
файл большой будет |
||||
|
|||||
| fixxer |
|
|||
|
Опытный Профиль Группа: Участник Сообщений: 672 Регистрация: 14.9.2006 Где: Саратов, Россия Репутация: 6 Всего: 27 |
да, если совсем большой, то лучше его проиндексировать.
но, думаю, проще всего использовать БД и не париться. Это сообщение отредактировал(а) fixxer - 18.3.2010, 15:07 -------------------- |
|||
|
||||
| Andy_L20066 |
|
|||
|
Бывалый Профиль Группа: Участник Сообщений: 177 Регистрация: 10.3.2008 Репутация: нет Всего: 1 |
ну кеш тут не очень то поможет.... считиватся будут постоянно новые значения... тоесть предполагается что в риквесте на сервер будет постоянно новое значение, тоесть всеравно прийдется бегать по файлу... |
|||
|
||||
| fixxer |
|
|||
|
Опытный Профиль Группа: Участник Сообщений: 672 Регистрация: 14.9.2006 Где: Саратов, Россия Репутация: 6 Всего: 27 |
Тогда индексирование или база.
Кстати, а какой формат файла-то? -------------------- |
|||
|
||||
| Andy_L20066 |
|
|||
|
Бывалый Профиль Группа: Участник Сообщений: 177 Регистрация: 10.3.2008 Репутация: нет Всего: 1 |
еще точно не решно с форматом... скорее всего будет СSV
Добавлено через 7 минут и 59 секунд
Если это будет индексирование, то что можете посоветовать...? Lucene? |
|||
|
||||
| fixxer |
|
||||
|
Опытный Профиль Группа: Участник Сообщений: 672 Регистрация: 14.9.2006 Где: Саратов, Россия Репутация: 6 Всего: 27 |
Для CSV? Зачем Lucene? Достаточно будет самопального индекса на TreeMap. -------------------- |
||||
|
|||||
| Andy_L20066 |
|
|||
|
Бывалый Профиль Группа: Участник Сообщений: 177 Регистрация: 10.3.2008 Репутация: нет Всего: 1 |
если есть пример - дай линк пожалуйста, посмотрю что к чему |
|||
|
||||
|
|
| Правила форума "Java" | |
|
|
Если Вам помогли, и атмосфера форума Вам понравилась, то заходите к нам чаще! С уважением, LSD, AntonSaburov, powerOn, tux, javastic. |
| 0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей) | |
| 0 Пользователей: | |
| « Предыдущая тема | Java: Общие вопросы | Следующая тема » |
[ Время генерации скрипта: 0.1385 ] [ Использовано запросов: 22 ] [ GZIP включён ]
Реклама на сайте Информационное спонсорство
|
|
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности Powered by Invision Power Board(R) 1.3 © 2003 IPS, Inc. |