Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Вычисление CRC32 по частям 
:(
    Опции темы
bigbuka
Дата 6.11.2010, 23:29 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 50
Регистрация: 1.10.2009

Репутация: нет
Всего: нет



есть много файлов 
много это 4-5 Гб 
нужно их быстро проверять на так скажем валидность.
как проверку навалидность я взял вычисление CRC32 и сравнение их с CRC32 от оригинальных файлов
все это делаутся в несколко потоков и занимает в зависимости от жетского диска от 3 до 20 минут 
использовал табличный алгоритм.
хотелось бы ускорить этот процесс....
подскажите алгоритм или метод какой либо другой проверки либо вычисления CRC32 для файла по частям ( с кчетом того что вычисление crc32 для строки уже есть)

PM MAIL   Вверх
ksnk
Дата 6.11.2010, 23:43 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


прохожий
****


Профиль
Группа: Комодератор
Сообщений: 6855
Регистрация: 13.4.2007
Где: СПб

Репутация: 7
Всего: 386



время модификации файла не может быть использовано для проверки на валидность?


--------------------
Человеку свойственно ошибаться, программисту свойственно ошибаться профессионально ! user posted image
PM MAIL WWW Skype   Вверх
bigbuka
Дата 7.11.2010, 00:07 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 50
Регистрация: 1.10.2009

Репутация: нет
Всего: нет



нет нужно проверять и целостность и правильность файлов

Это сообщение отредактировал(а) bigbuka - 7.11.2010, 00:07
PM MAIL   Вверх
maxim1000
Дата 7.11.2010, 11:31 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Участник
Сообщений: 3334
Регистрация: 11.1.2003
Где: Киев

Репутация: 33
Всего: 110



а как вычисление CRC32 по частям ускорит процесс?
насколько я понял из описания, разделение на потоки уже есть, кроме того "в зависимости от диска" намекает на то, что узким место является скорее диск, чем процессор...


--------------------
qqq
PM WWW   Вверх
ksnk
Дата 7.11.2010, 14:45 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


прохожий
****


Профиль
Группа: Комодератор
Сообщений: 6855
Регистрация: 13.4.2007
Где: СПб

Репутация: 7
Всего: 386



Прочитать 4-5гиг для вычисленя CRC в любой системе не будет быстрым действием  smile 


--------------------
Человеку свойственно ошибаться, программисту свойственно ошибаться профессионально ! user posted image
PM MAIL WWW Skype   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Правила форума "Алгоритмы"

maxim1000

Форум "Алгоритмы" предназначен для обсуждения вопросов, связанных только с алгоритмами и структурами данных, без привязки к конкретному языку программирования и/или программному продукту.


Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, maxim1000.

 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Алгоритмы | Следующая тема »


 




[ Время генерации скрипта: 0.0449 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.