 |
|
Модераторы: LSD |
 
|
|
Идеологическая дилемма 
| SABROG |
|
|||
 Hacker  Профиль Группа: Завсегдатай Сообщений: 2481 Регистрация: 18.9.2006 Репутация: нет Всего: 91 |
Ну я в общем-то к этому и пришел пока ехал с работы домой. Основной ключ + дополнительный. Если в дополнительном вместо ключа 0 или NULL, значит некоторые примочки отключаются.
Насчет объемов. Бывает за день приходится парсить по 50 XML файлов, каждый со средним размером в 3 мегабайта. У PHP скрипта на котором это делается сейчас уходит на каждый в среднем по 5 минут. У моей программы пока 30 секунд. Данные из XML файла распихиваются где-то по 20 таблицам. На выходе (это в сумме после всех обработок) обычно получается нечто с 1.5 млн строк и 15 столбцами. Такое чудо не умещается в Excel файл, т.к. 65535 строк явно мало, хотя очень многое и объединяется. |
|||
|
||||
Загрузка ...
| Fortop |
|
||||
 Эксперт Профиль Группа: Завсегдатай Сообщений: 2200 Регистрация: 13.11.2007 Где: Донецк Репутация: нет Всего: 42 |
SABROG,
А может сделать нормальную репликацию? Добавлено через 26 секунд
Для 5000 отелей? ты шутишь? Добавлено через 53 секунды 300*15 ячеек на 1 отель -------------------- Мир это Я. Живее всех живых. |
||||
|
|||||
| Akina |
|
||||
|
Советчик Профиль Группа: Модератор Сообщений: 20581 Регистрация: 8.4.2004 Где: Зеленоград Репутация: 13 Всего: 454 |
Из этих 3 мегабайтов минимум половина - структурирующий мусор.
из 150 мегабайт XML-ек? -------------------- О(б)суждение моих действий - в соответствующей теме, пожалуйста. Или в РМ. И высшая инстанция - Администрация форума. |
||||
|
|||||
| SABROG |
|
|||
|
Hacker Профиль Группа: Завсегдатай Сообщений: 2481 Регистрация: 18.9.2006 Репутация: нет Всего: 91 |
Дык там не список самих отелей передается, а цены. Отель может быть и один, а цен на пол года вперед.
Репликацию сделать нельзя, т.к. некоторые партнеры - крупные организации для которых мы вроде клиентов (диллеры), они просто не дают доступа к их базе, т.к. боятся утечки конфеденциальной информации, а квалификация и профессионализм их системных администраторов оставляет желать лучшего, т.е. тупо не умеют открывать доступа к определенным таблицам базы данных на чтение, плюс страх, что мы положим их базу своими запросами, к тому же они используют софт стороннего разработчика и только этот разработчик знает все структуры базы и зависимости. Зачастую приходится писать им, чтобы они что-то поченили для партнера, т.к. партнер не замечает, что сервис по выкладке xml накрылся. А таких фирм как мы не больше 10 на всю Россию. Наши мощности позволяют прокачивать объемы 12 партнеров, в то время как каждый партнер не справляется со своими объеми, но это как раз потому, что софт у нас самописный в основном. |
|||
|
||||
| programador |
|
|||
 Шустрый Профиль Группа: Участник Сообщений: 65 Регистрация: 12.4.2006 Репутация: нет Всего: нет |
Действительно идеологическая проблема
 . Сам много раз сталкивался с подобным, когда занимался переносом данных и обменом между информационными базами. Всегда решал это поиском одного уникального ключевого реквизита, причем этот реквизит должен контролироваться не на "местном уровне", а на государственном. Т.е. это могут быть номера единого государственного реестра предприятий (ОКПО, например); налоговые номера; номера паспортов, лицензий, сертификатов. В моем понимании это единственный правильный выход. Мне кажется, что вы пытаетесь решить исключительно программно ту проблему, которую можно решить только с задействованием "организационных рычагов". Такой реквизит как "наименование предприятия" крайне нежелательно делать ключевым, т.к на него идет существенное влияние человеческого фактора. Подобные реквизиты могут быть только информационными. Наверняка у ваших отелей есть уникальные реквизиты, которые достаточно жестко стандартизированы и форматировны на законодательно уровне. Синхронизация по ним убережет вас от лишней головной боли и упростит программу (но добавит необходимость контроля ввода данного реквизита). |
|||
|
||||
|
|
| Правила форума "Общие вопросы по базам данных" | |
|
|
Данный форум предназначен для обсуждения вопросов о базах данных не попадающих под тематику других форумов:
Данный форум не предназначен для:
Если вы не соблюдаете эти правила, не удивляйтесь потом не найдя свою тему/сообщение.
Полезные советы: Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, LSD, Zloxa. |
| 0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей) | |
| 0 Пользователей: | |
| « Предыдущая тема | СУБД, общие вопросы | Следующая тема » |
[ Время генерации скрипта: 0.0472 ] [ Использовано запросов: 22 ] [ GZIP включён ]
Реклама на сайте Информационное спонсорство
|
|
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности Powered by Invision Power Board(R) 1.3 © 2003 IPS, Inc. |