| Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате |
| Форум программистов > Java: Общие вопросы > DBM файлы в Java или их аналог |
| Автор: korob2001 7.8.2011, 11:51 |
| Привет всем! Причина породившая этот вопрос: Мне сейчас необходимо написать библиотеку, что впринципе и сделал. С помощью этой библиотеки программа должна фильтровать входные строки и ассоциировать их с ID в базе данных, по принципу словаря. Например на вход я получаю марки автомобилей: Audi, может быть AUD, может быть AU, где все три варианта подразумевают одно и тоже, и их необходимо привести к единому виду Audi, точнее к его ID в базе данных например 1. или цвета: Black, может быть Noir, Zwart, Чёрный, Sensation Black и т.д., что необходимо привести к виду Black, точнее его ID в базе, например 10. Сейчас все ассоциации ханятся в HashMap после чего сериализуются на диск. Проблема в том, что при десериализации всё считывается в память, после чего программа использующая библиотеку работает с ней длительное время, от 20 минут до 3 часов. В хеш добавляются другие ассоциации, когда программа завершает свою работу, она сериализует данные обратно на диск. Вот собственно и проблема: Десериализовали данные, получили HashMap в памяти, в это время другая программа использующая библиотеку десериализует файл и получает свой HashMap в памяти. ;((( После чего одна отработала скажем за 20 минут, сериализовала свои данные на диск. Проходит час, завершает свою работу вторая программа и тоже сериализовала свои данные в тот же файл. ;((( Можно было бы создать табилицу в базе, но это не есть гуд, собственно для этого и делался этот фильтр, что бы в базу входили чистые данные. Потому хранение мусора в базе отпадает. Почему DBM? В Perl я бы использовал, в данной ситуации, именно его. DBM - это по сути тот же хеш, только он не в памяти, а в файле на диске. Кол-во ассоциаций марок авто, в текущий момент доходит до 70000, фантазия у людей бурная, каждый извращается как может, с цветами авто дела обстоят ещё хуже. ;)))) Вопрос: Есть ли что-то подобное в Java? Причём не обязательно точный аналог DBM в Perl. Может быть какая-то другая технология решающая данную проблему? Может кто-то уже сталкивался с подобной проблемой и знает куда копать? |
| Автор: jk1 7.8.2011, 13:17 |
| http://habrahabr.ru/blogs/open_source/25140/ подойдет? |