Модераторы: LSD
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> сохранение объекта в БД как такового 
:(
    Опции темы
makaka
Дата 30.10.2009, 04:37 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 49
Регистрация: 25.10.2009

Репутация: нет
Всего: нет



У меня следующая проблема:

Сейчас пишется большая программа, производящая мат моделирование. В процессе возникают большие объемы данных - до 2 Гб. Их нужно периодически сохранять в БД.

Дело в том, что сохраняемые объекты очень большие и сложные - много разных полей и т.д. А самое главное их структура постоянно меняется в процессе разработки программы - переписывание запросов на запись и чтение объектов сейчас занимает до 50% времени. Достало!!!!! 

Я хотел бы на время написания программы иметь возможность сохранять объект без описания в БД как хранить обекты. Т.е. передавать в БД объект, а БД дальше сама пусть думает как его хранить, в каких внутренних таблицах и т.д. Разумеется нужна возможность загрузки этого объекта обратно в программу. Пусть это будет неэффективно по времени и месту на диске, но как временная заплатка очень нужна эта возможность

Возможно ли это???



PS Программа на Java. Используемая сейчас БД - MySQL. Надо будет - перейду на другую БД
PM MAIL   Вверх
Gluttton
Дата 30.10.2009, 08:35 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Начинающий
***


Профиль
Группа: Завсегдатай
Сообщений: 1170
Регистрация: 28.8.2008
Где: Феодосия

Репутация: 10
Всего: 54





--------------------
Слава Україні!
PM MAIL   Вверх
DimW
Дата 30.10.2009, 09:54 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1330
Регистрация: 24.2.2005
Где: Орёл

Репутация: 2
Всего: 44



Цитата(Gluttton @  30.10.2009,  08:35 Найти цитируемый пост)
ORM библиотека для Java. 

и как это поможет в этом случае:
Цитата(makaka @  30.10.2009,  04:37 Найти цитируемый пост)
переписывание запросов на запись и чтение объектов сейчас занимает до 50% времени


Цитата(makaka @  30.10.2009,  04:37 Найти цитируемый пост)
А самое главное их структура постоянно меняется в процессе разработки программы

нет таких возможностей учитывать ваше не постоянство в архитекруре ващих объектов.
все известные средства расчитаны на то что разработчик прежде должен определиться и архитектурой.
PM MAIL ICQ   Вверх
Gluttton
Дата 30.10.2009, 10:20 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Начинающий
***


Профиль
Группа: Завсегдатай
Сообщений: 1170
Регистрация: 28.8.2008
Где: Феодосия

Репутация: 10
Всего: 54



Цитата(DimW @  30.10.2009,  09:54 Найти цитируемый пост)
и как это поможет в этом случае:

Ну с ORM я не работал (сейчас только разбираюсь с NHibirnate + .Net), поэтому сильно спорить не буду, но на приведенной мною ссылке говорят, что оно для того и нужно, что бы избавить разработчика от низкоуровнего программирования.
Или может я не до конца понимаю смысл вопроса...


--------------------
Слава Україні!
PM MAIL   Вверх
DimW
Дата 30.10.2009, 12:43 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1330
Регистрация: 24.2.2005
Где: Орёл

Репутация: 2
Всего: 44



Цитата(Gluttton @  30.10.2009,  10:20 Найти цитируемый пост)
что оно для того и нужно, что бы избавить разработчика от низкоуровнего программирования.

если низким уровнем считать логику реализованную в БД, то от этого избавит  smile 
только для этого необходимо все детально описать - естественно со структурой и набором атрибутов нужно определиться заранее.
в качестве примера посмотрите это http://forum.vingrad.ru/forum/topic-277848.html, здесь ТС показывает описание сушности.

Цитата(Gluttton @  30.10.2009,  10:20 Найти цитируемый пост)
Или может я не до конца понимаю смысл вопроса... 

смысл вопроса заключается в тос что ТС хочет средство которое сделает за него всю работу мапинга объекта в реляционную модель - так не бывает.
PM MAIL ICQ   Вверх
Gluttton
Дата 30.10.2009, 13:00 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Начинающий
***


Профиль
Группа: Завсегдатай
Сообщений: 1170
Регистрация: 28.8.2008
Где: Феодосия

Репутация: 10
Всего: 54



DimW, понятно smile ...

Посмотрим, что ТС скажет, что ему больше подходит ORM или фрилансер...


--------------------
Слава Україні!
PM MAIL   Вверх
DimW
Дата 30.10.2009, 13:05 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1330
Регистрация: 24.2.2005
Где: Орёл

Репутация: 2
Всего: 44



Цитата(Gluttton @  30.10.2009,  13:00 Найти цитируемый пост)
что ТС скажет

посмотрим smile
PM MAIL ICQ   Вверх
Zloxa
Дата 30.10.2009, 14:02 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Чо?
****


Профиль
Группа: Завсегдатай
Сообщений: 3473
Регистрация: 12.9.2008

Репутация: 11
Всего: 161



Сдается мне что два гига результатов мат моделирования подлежащие сохранению не предполагают реляционного доступа, а перед ТС стоит проблема сериализации объекта а не реляционного его представления.


--------------------
Достоверно известно, что 89% людей доверяют статистике взятой с потолка smile
PM   Вверх
DimW
Дата 30.10.2009, 14:46 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1330
Регистрация: 24.2.2005
Где: Орёл

Репутация: 2
Всего: 44



Цитата(Zloxa @  30.10.2009,  14:02 Найти цитируемый пост)
предполагают реляционного доступа

в реляционной СУБД может быть не реляционная структура, точно так же ORM может такой объект туда положить - пусть в данном случае это называется сериализацией.
PM MAIL ICQ   Вверх
makaka
Дата 30.10.2009, 17:32 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 49
Регистрация: 25.10.2009

Репутация: нет
Всего: нет



Цитата

в реляционной СУБД может быть не реляционная структура, точно так же ORM может такой объект туда положить - пусть в данном случае это называется сериализацией.


Поподробней! Как я понимаю по описанию СУБД (того же Оракла) определять объектные типы можно, но в конечном счете они все равно в виде таблиц пишутся...



Цитата

Сдается мне что два гига результатов мат моделирования подлежащие сохранению не предполагают реляционного доступа, а перед ТС стоит проблема сериализации объекта а не реляционного его представления.


Видимо так и буду делать. Но с БД удобней - я например сейчас по мере накопления результатов пишу их в таблицы Memory (MySQL). Потом быстро копирую их на жесткий диск. 
В случае с сериализацией результаты нужно будет держать в памяти как объекты - а это ох как неэффективно. Как показала практика для объекта 100Мб Java требует 120-150Мб оперативной памяти.


В общем надо экспериментировать...



Цитата

Посмотрим что ТС скажет

посмотрим smile 


- Что вы об этом думаете? Это хорошо или плохо???
- Это?.. Это печально...

 smile  smile 
PM MAIL   Вверх
DimW
Дата 2.11.2009, 08:02 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1330
Регистрация: 24.2.2005
Где: Орёл

Репутация: 2
Всего: 44



Цитата(makaka @  30.10.2009,  17:32 Найти цитируемый пост)
Поподробней! 

а что тут по подробней - реляционность это в первую очередь таблицы и связи между ними, отсутствие последних говорит об отсутствии реляционности.

Цитата(makaka @  30.10.2009,  17:32 Найти цитируемый пост)
Как я понимаю по описанию СУБД (того же Оракла) определять объектные типы можно

можно только в вашем случае это не сильно поможет, т.к. придется писать механизм мапирования вашего явского объекта с объектом оракла, для того что бы гонять его между апликухой и базой.

Цитата(makaka @  30.10.2009,  17:32 Найти цитируемый пост)
Видимо так и буду делать. 

Zloxa, имел ввиду, что вот было бы замечательно если бы в БД можно было бы хранить сериализованное представление объекта, тогда бы не пришлось извращаться и переписывать километры кода в случае изменения структуры объекта - что положил то и взял smile
подозреваю что бородатые СУБД таким функционалом похвастаться не могут. нужно поискать что нить на тему dbms java based и за планками памяти в магаз сбегать  smile 

Цитата(makaka @  30.10.2009,  17:32 Найти цитируемый пост)
- Что вы об этом думаете? 

надежда умирает последней.

Это сообщение отредактировал(а) DimW - 2.11.2009, 08:05
PM MAIL ICQ   Вверх
DimW
Дата 2.11.2009, 08:41 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1330
Регистрация: 24.2.2005
Где: Орёл

Репутация: 2
Всего: 44



Цитата(DimW @  2.11.2009,  08:02 Найти цитируемый пост)
надежда умирает последней.

CREATE CLASS class-name FROM 'java-name' [INHERITS class-list]   smile 
PM MAIL ICQ   Вверх
Zloxa
Дата 2.11.2009, 10:26 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Чо?
****


Профиль
Группа: Завсегдатай
Сообщений: 3473
Регистрация: 12.9.2008

Репутация: 11
Всего: 161



Цитата(DimW @  2.11.2009,  08:02 Найти цитируемый пост)
Zloxa, имел ввиду

Вообще я имел в виду генерацию нечто вроде XML и сохранение его в LOB. smile
В случае, если перед нами не стоит задача предоставления доступа к элементам объекта, вполне себе решение. (правда не совсем понятно зачем СУБД)


--------------------
Достоверно известно, что 89% людей доверяют статистике взятой с потолка smile
PM   Вверх
DimW
Дата 2.11.2009, 10:43 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1330
Регистрация: 24.2.2005
Где: Орёл

Репутация: 2
Всего: 44



Цитата(Zloxa @  2.11.2009,  10:26 Найти цитируемый пост)
Вообще я имел в виду генерацию нечто вроде XML и сохранение его в LOB.

почти угадал. smile

Цитата(Zloxa @  2.11.2009,  10:26 Найти цитируемый пост)
правда не совсем понятно зачем СУБД

исходя из этого:
Цитата(makaka @  30.10.2009,  17:32 Найти цитируемый пост)
Потом быстро копирую их на жесткий диск.

мне теперь тоже не совсем понятно...
PM MAIL ICQ   Вверх
former
Дата 11.11.2009, 15:29 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


MEMS Expert
***


Профиль
Группа: Завсегдатай
Сообщений: 1166
Регистрация: 1.3.2006
Где: Россия

Репутация: нет
Всего: 17



makaka, можно посмотреть, как это реализовано в Matlab. Если мне не изменяет память, то там данные моделирования пишутся в виде матриц в файлы.


--------------------
Достаточно снизить уровень мышления, чтобы иные почувствовали почву под ногами.
PM MAIL   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Правила форума "Общие вопросы по базам данных"
LSD
Zloxa

Данный форум предназначен для обсуждения вопросов о базах данных не попадающих под тематику других форумов:

  • вопросам по СУБД для которых нет отдельных подфорумов
  • вопросам которые затрагивают несколько разных СУБД (например проблема выбора)
  • инструменты для работы с СУБД
  • вопросы проектирования БД
  • теоретически вопросы о СУБД

Данный форум не предназначен для:

  • вопросов о поиске разлиных БД (если не понимаете чем БД отличается от СУБД то: а) вам не сюда; б) Google в помощь)
  • обсуждения проблем с доступом к СУБД из различных ЯП (для этого есть соответсвующие форумы по каждому ЯП)
  • обсуждения проблем с написание SQL запросов, для этого есть форум Составление SQL-запросов
  • просьб о написании курсовой, реферата и т.п., для этого есть Центр помощи или фриланс биржа
  • объявлений о найме специалистов, для этого есть раздел Объявления о найме специалистов

Если вы не соблюдаете эти правила, не удивляйтесь потом не найдя свою тему/сообщение. ;)


Полезные советы:

При написании сообщения постарайтесь дать теме максимально понятное название. В теме максимально подробно опишите проблему. Если применимо укажите: название базы данных и версии (MySQL 4.1, MS SQL Server 2000 и т.п.); используемых язык программирования; способа доступа (ADO, BDE и т.д.); сообщения об ошибках.

Для вставки кода используйте теги [code=sql] [/code].

Литературу по базам данных можно поискать здесь.

Действия модераторов можно обсудить здесь.


Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, LSD, Zloxa.

 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | СУБД, общие вопросы | Следующая тема »


 




[ Время генерации скрипта: 0.1029 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.