VPF::Большой бинарный файл (2Гб) - Форум программистов

Fabio

Дата 13.9.2011, 21:59 (ссылка)

(нет голосов)

Загрузка ...

Новичок

Профиль
Группа: Участник
Сообщений: 29
Регистрация: 9.11.2007

Репутация: нет
Всего: нет

newbee, жаль плюсануть пока не могу smile

Это сообщение отредактировал(а) Fabio - 13.9.2011, 22:15

Fabio

Дата 13.9.2011, 23:08 (ссылка)

(нет голосов)

Загрузка ...

Новичок

Профиль
Группа: Участник
Сообщений: 29
Регистрация: 9.11.2007

Репутация: нет
Всего: нет

Так, оказывается ещё надо учитывать то, что файл нужно обрабатывать с конца, т.к. там самые новые данные. А то я сначала загнался, что в момент обработки файла моей программой есть вероятность сброса биллингом новой порции данных, но т.к. новые данные дописываются в конец файла, то в принципе ни чего страшного не должно произойти. Главное, что-бы указатели в памяти не менялись.

Это сообщение отредактировал(а) Fabio - 13.9.2011, 23:28

bsa

Дата 14.9.2011, 17:35 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Модератор
Сообщений: 9185
Регистрация: 6.4.2006
Где: Москва, Россия

Репутация: 16
Всего: 196

Цитата(Fabio @ 13.9.2011, 18:48

)

Ооох чую жесть будет, когда начну пробовать, тамже придётся осваивать gdb, а без отладки никуда... Сервак-то консольный, с доступом только по ssh

Скопируй на свой комп файл статистики и отлаживай свою прогу под любимой IDE.

--------------------

Правильно заданный вопрос - половина ответа
Отзывы о работе модератора.

Fabio

Дата 14.9.2011, 17:43 (ссылка)

(нет голосов)

Загрузка ...

Новичок

Профиль
Группа: Участник
Сообщений: 29
Регистрация: 9.11.2007

Репутация: нет
Всего: нет

ну это очевидно... Самое главное - начать.

gcc

Дата 17.9.2011, 00:21 (ссылка)

(нет голосов)

Загрузка ...

Агент алкомафии

Профиль
Группа: Участник
Сообщений: 2691
Регистрация: 25.4.2008
Где: %&й

Репутация: нет
Всего: 17

бинарный поиск ?

Добавлено через 10 минут и 2 секунды

Цитата(Fabio @ 12.9.2011, 22:40)

UPD
Формат привожу с форума биллинга

Код


# 1-4 Device ID        
# 5-8 Src IP            
# 9-12 Dst IP          
# 13-20 Next Hop IP    
# 17-18 In interface ID 
# 19-20 Out interface ID 
# 21-24 Packets        
# 25-28 Bytes          
# 29-32 Start Time      
# 33-36 End Time        
# 37-38 Src Port        
# 39-40 Dest Port      
# 41 Pad                
# 42 TCP Flag ID        
# 43 Protocol ID        
# 44 ToS                
# 45-46 Src AS          
# 47-48 Dest AS        
# 49 Src Mask Bits      
# 50 Dest Mask Bits    
# 51-52 Pad            
# 53-56 ???            
# 57-60 UTM account_id 
# 61-64 ???            
# 65-68 UTM tclass      
# 69-72 UTM timestamp  
# 73-76 ???

Цифры - смещения в байтах, гдето у меня была уже оформленная структура на C, но не смог найти. Меня будут интересовать в плане поиска данные Start Time, End Time и account_id.
Как будет быстрее работать? - сначала выбрать в память все структуры с нужным account_id и уже в них отбирать по времени или учитывать сразу все условия при обходе спроецированного участка?

http://search.cpan.org/~jfreeman/File-Sort...e/SortedSeek.pm
File::SortedSeek

--------------------

Perl FAQ
freelance
perl, jquery, js, php
perl, jquery

1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| C/C++: Программирование под Unix/Linux \| Следующая тема »