Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > MS SQL Server > Копирование бол. объем данных из одной БД в другую

Автор: IrinaLive 29.3.2013, 11:49

Здравствуйте, подскажите, пожалуйста, может кто сталкивался...

У меня есть БД на сервере, мне необходимо некоторые данные из таблиц (не полностью таблицы, а отдельные столбцы) копировать в БД на другом сервере (оба сервера MS SQL 2008), причем объем БД источника большой, в некоторых таблицах миллионы записей. Выполнение подобного с помощью Insert...SELECT происходит в течении 30-40 мин.

Каким образом можно это сделать эффективно, чтобы не так долго копировалось?

Я пишу приложение на C# и с помощью него вызываю хранимую процедуру...может быть можно сделать копирование как-то с помощью приложения?

Автор: Akina 29.3.2013, 12:53

Для начала попробуйте на целевом сервере с таблиц назначения убрать все связи, индексы и прочие наслоения. Именно они могут тормозить загрузку, воссоздадите потом.

Попробуйте создать на исходном сервере новую БД, выполнить локальное копирование в неё только нужных данных, потом отсоединить её, перенести файл на целевой сервер, там присоединить и забрать из него данные. При этом версии серверов, само собой, должны полностью совпадать.

Попробуйте (особенно если версии не совпадают) выгрузить нужные данные на исходном сервере в XML, перенести файл на целевой сервер и там загрузить.

Кстати, а почему время столь велико? точно из-за объёма? не из-за скорости передачи, блокировок и прочего... потому как если проблема исключительно в объёмах - вовсе не факт, что удастся ускорить процесс.

Автор: IrinaLive 29.3.2013, 13:31

Цитата

Кстати, а почему время столь велико? точно из-за объёма? не из-за скорости передачи, блокировок и прочего... потому как если проблема исключительно в объёмах - вовсе не факт, что удастся ускорить процесс.

Честно, это мои предположения, что из-за объема, хотя вполне возможно, что не оптимизирована хранимая процедура, я не сильна в T-SQL.

Просто изначально стоит задача сделать возможным вызов обновления моей БД данными из другой БД (которая на другом сервере), вот я попыталась с помощью вызова хранимой процедуры, но пока это выполняется очень долго

Автор: Akina 29.3.2013, 13:57

Цитата(IrinaLive @ 29.3.2013, 14:31

)

стоит задача сделать возможным вызов обновления моей БД данными из другой БД (которая на другом сервере)

Показывайте DDL обновляемых таблиц и код процедуры (лишнее можно поскипать). Потому как по опыту - получение данных по быстрой сети с другого сервера через OPENDATASOURCE выполняется достаточно быстро, особенно если на время обновления поотрубать индексы, констрейнты, триггеры и прочую грязь.

Автор: IrinaLive 29.3.2013, 15:03

Вот так примерно я пытаюсь делать...не думаю, что это правильно, но я, так сказать, только учусь)

Я убрала таблицы, которые небольшого объема, но обновляю их по аналогии

Автор: Akina 29.3.2013, 15:48

Берём первую пачку запросов (для одной таблицы):

Код


UPDATE
  t2 
SET
  t2.GoodsId = t1.GoodsId
, t2.KindId = t1.KindId
, t2.GroupId = t1.GroupId
, t2.SubGroupId = t1.SubGroupId
, t2.Name = t1.Name
, t2.Price = t1.Price
, t2.ManufactureId = t1.ManufactureId
, t2.BrandId = t1.BrandId
, t2.CountryId = t1.CountryId
FROM ' + @ServDB2 + '.dbo.Goods_Com as t2
INNER JOIN [USER-ПК].TRADINGBASE.dbo.Goods_Com as t1
ON t2.GoodsId = t1.GoodsId;

INSERT ' + @ServDB2 + '.dbo.Goods_Com 
  (
    GoodsId
  , KindId
  , GroupId
  , SubGroupId
  , Name
  , Price
  , ManufactureId
  , BrandId
  , CountryId
  )
SELECT
  GoodsId
, KindId
, GroupId
, SubGroupId
, Name
, Price
, ManufactureId
, BrandId
, CountryId
FROM [USER-ПК].TRADINGBASE.dbo.Goods_Com AS t1
WHERE NOT EXISTS 
  (
    SELECT 1 
    FROM ' + @ServDB2 + '.dbo.Goods_Com WHERE  
    GoodsId = t1.GoodsId
  );

DELETE t2
FROM ' + @ServDB2 + '.dbo.Goods_Com AS t2
LEFT OUTER JOIN [USER-ПК].TRADINGBASE.dbo.Goods_Com AS t1
ON t2.GoodsId = t1.GoodsId
WHERE t1.GoodsId IS NULL;

Вы выполняете целых ТРИ запроса для переноса данных - апдейт совпадающих, добавление недостающих, удаление лишних, со связываниями, выборками, проверками... когда достаточно было вульгарного

Код


TRUNCATE TABLE @ServDB2.dbo.Goods_Com;
INSERT @ServDB2.dbo.Goods_Com (набор_полей) SELECT набор_полей FROM [USER-ПК].TRADINGBASE.dbo.Goods_Com;

Автор: IrinaLive 29.3.2013, 16:07

Спасибо, я убрала связи и магическим образом время сократилось до пяти минут, определенно лучше 30 мин)

Цитата

Делала так, потому что предполагала, что первый раз (когда БД еще пуста) будет выполняться вставка, а в дальнейшем, при повторном вызове хр. процедуры, уже будет выполняться обновление

Автор: IrinaLive 31.3.2013, 13:17

Хотела еще поинтересоваться, как вы считаете, может быть подобное обновление лучше выполнять с помощью BULK INSERT (или еще как-нибудь) или средствами приложения, а не хранимой процедурой?

Автор: Akina 31.3.2013, 20:03

Попробуйте. Но полагаю, лучше не станет.