Здравствуйте, уважаемые.
Возникла потребность работать с большими объемами данных помещенных в TMemotyStream объект. К примеру с большими файлами, загруженными в поток памяти. Необходимо удалять из памяти определенным образом помеченные блоки и соответствующим образом корректировать размер потока памяти.
Для работы с потоком памяти помимо его стандартных средств исползую указатель на его данные:
код условно-описательный, чтобы показать, что делаю:
| Код |
TMemoryStream *MStream = new TMemoryStream;
char *MainBuf = (char*)MStream->Memory; //указывает на данные в потоке памяти
First(); //на начало
while(!Eof()) //пока не конец блока
{
if(CheckDelRecord()) //проверка на признак необходимости удаления записи
{
MoveMemory((MainBuf + Offset1),(MainBuf + Offset2),MStream->Size - Offset2); //копируем данные со смещения Offset2 на
//Offset1 размером от Offset2 до конца файл
//т.е. "подтягиваем" на место удаленного блока все остльные данные
MStream->SetSize(Offset1 - Offset2);//и уменьшаем размер потока памяти на количество "удаленных" байт
}
else
Next();
}
|
Данных код нормально работает, с файлами не слишком большого размера. С большими файлами - очень медленно.
Еще вариант, тоже условно-описательный:
| Код |
First();
int R = 0,
N = 0,
K = 0;
while(K != RecordCount) //RecordCount - количество записей т.е. блоков данных определенного размера в потоке памяти
{
K = N;
FCurrentRecord = N; //указывает на текущую запись
if(CheckDelRecord()) //если запись нужно удалить
{
if(K == RecordCount)
break;
FCurrentRecord = firstNDRec;
while((K++ != RecordCount) && (CheckDelRecord())) //ищем следующую запись которую удалять не нужно
FCurrentRecord = firstNDRec = K ;
if(!CheckDelRecord()) //если нашли
{
FCurrentRecord = R = N; //для рассчета смещений Offset1 и Offset2 описание расчета не привожу для краткости
MoveMemory((MainBuf + Offset1),(MainBuf + Offset2),RecordSize); //копируем данные из "неудаленной" записи в ту область которую "удалить" нужно
FCurrentRecord = K;
DeleteRecord(); //помечаем скопированную запись чтобы удалить ее когда до нее доберемся дабы не делать дубли
}
}
else
R = N;
}
if(R == 0)
Empty();
else
MStream->SetSize(MStream->Size - RecordSize * (RecordCount - R)); //ну и в конце уменьшаем размер потока до необходимого
|
Данных код тоже работает нормально с файлами не слишком большого размера. С большими файлами медленно, хотя и быстрее чем предыдущий.
Подскажите пожалуйста, как еще можно реализовать данную задачу с наибольшим быстродействием. Интересует именно быстродействие, затраченные ресурсы неважны.
Заранее спасибо! |
)