Здравствуйте!

Есть несколько (много, очень много) мелких файлов на жестком диске в одном каталоге. Необходимо их БЫСТРО скопировать в другой каталог.
Идея такова:
1. Считать файлы в один непрерывный буфер, мегабайт под 60-100
2. Естественно всю информацию о каждом файле сохранить в каком-нибудь List<FileInformation>, это не проблема. Там же записывать смещение и длину каждого файла в нашем буфере
3. Записать весь буфер одним блоком в папку приемник
4. Разделить файл на части прямо на месте, соответствующие этим мелким файлам

Вызывает вопрос пункт 4. Возможен ли он? В ту ли ветку я написал?
Я пишу на c#, но готов послушать и решения на c++, asm, если это вообще возможно.

думаю что не возможно, с той точки зрения что не факт что файлы будут лежать в одном месте подряд, скорее всего они будут разбиты на кластеры и будут в разных местах диска. все файлы все равно придется читать по очереди(т.е. открывать и закрывать поток для каждого файла). на счет скопировать в одно место, по тем же причинам мало вероятно, потому что система может решить не писать их в одно место, а записать их туда куда ей хочется. это что касается описанной ситуации. если же подойти к вопросу творчески то, прочитав все файлы в один буфер и передав по сети весь буфер ты несомненно выиграешь в скорости передачи по сети, потому что не придется создавать подключения для передачи каждого файла, но записывал я бы лучше просто по очереди в фоновом потоке, пока один принимает второй пишет и все довольны.

Экскалупатор, 
суть не в том, чтобы файлы лежали в соседних кластерах, а в том, чтобы память под все эти файлы выделялась 1 раз (по размеру буфера)
Считывание, понятное дело, по очереди.

ты имеешь ввиду RAM? мне кажется что затраты по выделению памяти будут намного меньше чем затраты на открытие/закрытие файлов. к тому же как ты узнаешь сколько конкретно тебе памяти надо? считать сколько занимают файлы? так уже проще их сразу и прочитать, уверен что будет быстрее... а что делать если не хватит выделенного объема?
Дальше ИМХО:
если же ты имеешь ввиду выделить место на диске для записи буфера то опять же повторюсь, не все так розово как тебе хочется. если к примеру у тебя файл занимает 5КБ, то ты выделишь под него 5КБ, но стандартный размер кластера равен 4КБ, тогда система запишет этот файл в два кластера и таки да выделенного размера не хватит на все файлы.

не знаю точно зачем тебе это нужно, но могу предположить что для ускорения копирования, мне кажется единственный способ выиграть и не запариться придумывать алгоритмы это читать все в один буфер, передавать буфер по сети и на клиенте писать из буфера каждый файл по отдельности. я уверен что даже при выделении места под все файлы писать их придется все равно по отдельности, так что разницы никакой нету.

Нельзя. Каждый файл на диске адресуется кластерами. Файл не может начаться в середине кластера. В продолжение примера Экскалупатор, допустим что у тебя два файла по 5КБ, то есть 10КБ всего. Если ты запишешь этот буфер на диск как один файл, то он разместится на трех кластерах (4КБ -- 1КБ+3КБ -- 2КБ). Далее, тебе надо разбить его на два файла. Но как, файл вдеь не может начаться в середине кластера. Отсюда вердикт - непозволительно.

Другое дело, если твой буфер будет строится как образ диска, по тем же правилам и кластеризацией, но я бы не стал лезть в глубины нативной работы с диском только из-за этого (должна быть острая причина, например разработка чего-то типа Acronis TrueImage).

-Mikle-, 
Экскалупатор, 
что-то я недостаточно подумал над вопросом. Мало того, что посреди кластера файл не начнется никак, но и особенности файловой системы я не учел. Ведь маленькие файлы (<2k) вообще могут храниться в записях файловой таблицы.
А я своим разбиением вообще что-то непонятное творю.

Всем спасибо)