Добрый день.

Необходимо загрузить много данных из какого-либо источника (в данном случае это XML, но не принципиально) на сервер MS SQL Server 2008 из C#.

Каким образом это можно сделать максимально быстро? При помощи SqlConnection, SqlCommand? Есть ли какие-то хитрости (пакетная засылка данных, буффер, еще что-то)?

Заранее спасибо .

Массовый импорт данных при помощи инструкции BULK INSERT или OPENROWSET(BULK...).

Если это xml, то это вообще можно сделать при помощи MSSQL сервера, без других программных средств.

Gluttton, насколько я понял, это работает для файлов разных форматов. Мне же нужен метод записи данных на сервер из приложения. Причем создавать файлы доступные с сервера я не могу. Вообщем, я имел в виду, как программно я могу максимально быстро это сделать.


Выхухоль, нет, надо из приложения программными средствами .

А каких объемах данных (количество записей), с какой частотой и каким количеством пользователей идет речь?

Объем данных: примерно по 600 000 тыс. записей в 5 таблицах.
Частота: редко.
Пользователей: такую операцию осуществляет один пользователь.

Проблема в том, что сейчас я использовал Entity Framework. Потребление памяти росло с огромной скоростью, производительность с той же скоростью падало (возможно, я что-то не так делал). Вот я и задался вопросом, как это можно сделать оптимально?

Непосредсвенно с Entity Framework работать не приходилось, но проводя аналогию может "подлечить" периодический COMMIT, в данном контексте это может быть закрытие и повторное октрытие соединения через каждые например 10 000 записей (а может и 1 000). Но это уже так сказать эксперименты  , я не уверен в том что это поможет  ...

Хотя с другой стороны, если бы это помогало, наверное об этом бы пИсали  ...

А индексы в БД есть? Может их нужно перед началом вставки блока данных удалять, а потом (после завершения операции вставки) по новой создавать?

Это сообщение отредактировал(а) Gluttton - 27.7.2009, 16:03

Наиболее оптимально - либо OPENROWSET (с ADO=шными провайдерами), либо сериализовать данные в XML и распарсерить на стороне сервера. Множество инсёртов - в любом случае неоптимально.

Добавлено через 1 минуту и 32 секунды

Сурово... Только это займёт больше времени  

один запрос позволяет сделать несколько инсертов. Даже без "два раза insert" например:

ну и два инсерта подряд тоже вполне себе работают за один "ExecuteNonQuery".

ну и вообще про bulk insert почитать стоит все же.

Добавлено через 2 минуты и 23 секунды
их можно отключить вроде, а потом DBCC reindex table ну или конкретный индекс реиндексировать... впрочем таже фигня что и банальное пересоздание. Можно эту операцию сделать job-ом и запускать его (правда таблица будет залочена).

Получим строковое формирование SQL-а. Что не есть хорошо (по крайней мере в данном случае).

Любитель в любом случае формируется строка, никто ж не запрещает сделать класс и наружу будет все "красиво".

Эээ.. Речь о том, чтобы отсылать один и тот же SQL всегда (скорее даже просто вызов нужной хранимки).