Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате
Форум программистов > Алгоритмы > Вычисление CRC32 по частям


Автор: bigbuka 6.11.2010, 23:29
есть много файлов 
много это 4-5 Гб 
нужно их быстро проверять на так скажем валидность.
как проверку навалидность я взял вычисление CRC32 и сравнение их с CRC32 от оригинальных файлов
все это делаутся в несколко потоков и занимает в зависимости от жетского диска от 3 до 20 минут 
использовал табличный алгоритм.
хотелось бы ускорить этот процесс....
подскажите алгоритм или метод какой либо другой проверки либо вычисления CRC32 для файла по частям ( с кчетом того что вычисление crc32 для строки уже есть)

Автор: ksnk 6.11.2010, 23:43
время модификации файла не может быть использовано для проверки на валидность?

Автор: bigbuka 7.11.2010, 00:07
нет нужно проверять и целостность и правильность файлов

Автор: maxim1000 7.11.2010, 11:31
а как вычисление CRC32 по частям ускорит процесс?
насколько я понял из описания, разделение на потоки уже есть, кроме того "в зависимости от диска" намекает на то, что узким место является скорее диск, чем процессор...

Автор: ksnk 7.11.2010, 14:45
Прочитать 4-5гиг для вычисленя CRC в любой системе не будет быстрым действием  smile 

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)