mutex, 
немного расширю твою идею
держать один файл с логом
и еще один файл индексов. например с номером строки в логе и темже хешем сторки
соответствено сразу можно после открытия файла лога перейти на нужную строку

Poseidon, зато не кушаю память ,
на текущий момент средняя скорость чтения с винта 20-30 мб/с
а если файл еще записан одним куском (не дефрагментирован) то скорости должно хватить

ЗЫ: например Kerio держит в файле индексов абсолютное смещение от начала файла, соответственно нет фиксированной длины строки.
делаем seek & readln. кстати для лога 30мб файл индесков всего 800к

Это сообщение отредактировал(а) greenpc - 19.2.2008, 08:54

Ребята!
Да не лог это. Это своеобразный индекс-файл: строка HTTP-адреса (текст, рисунок - всё что только может запросить браузер), а следующие строки - HTTP-заголовки этого адреса; потом опять строка HTTP-адреса, заголовки и так по кругу. Он может и выглядит из-за этого как лог, но им он не является.
Еще заметил, что когда я вызываю
где indx - TStringList, то функция Pos зажирает примерно столько, сколько весит индекс файл. И не освободит память до тех пор, пока программа не выйдет из функции в которой и была вызвана эта Pos!!
Определил это на глаз с помощью sleep(7000).
Может я чего-то не понимаю? Почему Pos не освободил память, которую он для себя занял?

Все он освободил, просто системе значит эта память пока не нужна. Как понадобиться она ее заберет.

Мдя... 

1) Качаешь этот архив: http://www.torry.net/vcl/internet/html/Alc...cmp_3_52_15.zip
2) Находишь там юнит alFcnString
3) Используешь в своей программе аналоги функций, Pos -> ALPos, таким образом увеличишь скорость работы и не придется бороться с форматом
4) Внимательно посмотри состав архива, может еще что-нить интересное для себя найдешь.

5) Дополнительно, для освобождения памяти попробуй почаще вызывать такую функцию:


ЗЫ Я конечно бы рекомендовал использовать базу данных. Ну раз хочется - то попробуй мой совет. В противном случае тебе здесь никто больше помочь ничем не сможет. 

Это сообщение отредактировал(а) ASGDeveloper - 19.2.2008, 13:58

Тогда объясни нам зачем эти данные пользователям? Зачем они ими обмениваются?

Каждый их использует по-своему.

возьми модуль QStrings, работа со строками, для сравнения я проверял аналогичная функция Q_PosStr работает ровно в 4 раза быстрее чем стандартная функция Pos, что уж говорить о других аналогичных функциях в этом модуле... Из всего что я перепробовал, этот модуль самый быстрый при работе со строками (например тот же AcedUtils и FastStrings работает медленнее QStrings), а вообще еще раз повторюсь, используй массив вместо tstringlist, по крайней мере поиск будет в раз десять быстрее....

Я и так использую модуль FastCode (а также FastMove) в своих компонентах.

Это сообщение отредактировал(а) Stern87 - 19.2.2008, 21:53

И там есть такая функция? 

а де  QString   скачать? Нашел правда последнее изменение в 2000 году были может и не то... Но я провел эксперемен взял текстовый файл размером 50000 строк (2.6 мб) 
Делал я слудующие искал в каждои строке символ "=" и все что боло до него писал в БД.
Попробовал 3 способа:

1. Символ искал с помощью Copy если не "=" то прибовлял к строке текущий символ (тоесть проверял каждый символ пока не встречал "=") затрачено времяни 1 минута 27 секунд.

2. Символ искал с помощью Pos затем результат делал с помощью Copy () затрачено времяни 1 минута 32 секунд.

3. Символ искал с помощью Q_PosStr затем результат делал с помощью Q_Copyleft () затрачено времяни 1 минута 48 секунд.
Отсюда вывод что QString нехрена не быстрее... Либо я что то не так делаю...


Это сообщение отредактировал(а) WaReZMEN - 20.2.2008, 04:03

А где пункт 4 с ALPos?

ASGDeveloper, а это где взять?

WaReZMEN, внимательно перечитай ветку. или хотя бы последние 15 постов.
QStrings можешь скачать на TORRY.net - просто введи в поиск "QStrings" и всё.

P.S. Q_PosStr хрена и быстрее. просто ты что-то не так делаешь.

Это сообщение отредактировал(а) Stern87 - 20.2.2008, 11:40

WaReZMEN, 

Где нибудь вставь эти 2 процедуры, и сравни что быстрее.... как говориться всю работу со строками я испытал на своей крове, и ни один из FastStrings, AcedUtils не дает больше скорости чем QString, просто нужно смотреть, какие функции там работают быстрее чем обычно, например замена Delete (Q_Delete), тоже работает там намного быстрее чем обычно...