у тебя есть сервер, там есть логи, заморачиваться с базами данных на стороне сервера ты не хочешь, но хочешь делать выборку по некоторым параметрам. Тогда оптимальный вариант, как тут сказали, скачивай логи на локальную машину и используй простенькую базу данных, по времени это займет не больше, чем ответ в данный топик

Vex я нето чтобы нехочу заморачиваться с БД на сервере, я просто боюсь скрипты переписывать т.к. сайт уже вовсю работает, а я со своими переделками его как грохну на недельку блин, меня же по швам пустят а в текущих скриптах все очень похоже на Apache log, тока данных напорядок побольше.
Ну вроде как все вопросы выяснены. всем еще раз спасибо.
Думаю тему можно закрывать...

Кучу логов можно интерпретировать как базу данных, необходимо только, как сказал Vex, организовать выборки из них. Все эти функции оформляешь в веб-серверное приложение и по хттп получаешь сгенеренную страничку с нужной инфой. Преимущества очевидны...

Приемущества?! ты о чем?! самый оптимальный вариант - ежедневно (еженедельно) скачивать логи,
ты только представь себе если мне надо будет поучить детальный отчет по просмотрам определенной страницы за год... сколько данных с сервака ко мне пойдет ? и еще для этого нужно быть он-лайн, а если мне эти данные надо будет где-то показать где нет инета?!

Цитата

если мне эти данные надо будет где-то показать где нет инета?!

Прости, но разве тебя до сих пор не научили сохранять страницы в броузере? А по поводу размера ты, пожалу, прав. Но если по-умному написать серверную чать, то можно получать только нужные данные. Я вот что-то сомневаюсь, что тебе понадабится инфа о каждом клике на сайте за весь год.

А ты сам представь себе, что у тебя нет инета и нужно показать данные за последние 5-минут? Или представь, что у тебя винт крякнул, и срочно нужно посмотреть данные за тот же год? Можно еще представить, что бен ладен захватил вашу серверную и требует стереть все твои логи. Если ты предполагаешь подобные вещи, то скорее всего прогу ты не закончишь никогда (против лома нет приема). А при правильной организации фильтров и при наличии нет-а или доступа к вашей локальной сети моя схема будет работать на ура хоть за год хоть за два на любой машине и, возможно, даже быстрее чем локальная обработка логов. Кроме того, как сказл Cheba, что тебе мешает кэшировать свои страницы?

Была аналогичная проблема (WinGate анализатор лог'ов).
И только SQL нас спасет.
Периодически делать импорт из лог'ов в БД (текущие лог'и обрабатывать налету).
Сервер БД - MySQL, время работы - 2 года, юзверов >= 200.
Выборка все про всех около 10 сек.

P.S. БДЕ при кол-ве записей > 100000 безбожно тормозит.

я нехочу делать по принципу запрос_на_сервер->генерация_на_сервере->вывод_результата_клиентом по двум причинам:
1. На сервере отсутсвует поддержка MySQL
2. Время работы скрипта ограничено 0,3 сек, а как написал _vova_ обработка около 10 сек. это уже непрокатит.
Всвязи с этим я решил логи записывать в таком виде:

Серверная Часть
1.файл visitors.log:

Цитата

|08.06.04 |19:07:18 |SID=505e42de39c3c623513dc68f191afee1 |IP=195.19.14.78 |FROM=http://www.yandex.ru/yandpage?.... BROWSER=Mozilla/5.0 (Windows; U; WinNT4.0; en-US; rv:1.4) Gecko/20030624 Netscape/7.1 (ax)|

в него записываются все данные о каждом посетителе
2. файл pages.log:

Цитата

|09.06.04|20:47:09|SID=505e42de39c3c623513dc68f191afee1|PAGE=QUERY|FILE=1086799628|

здесь хранится данные о просмотре каждым посетителем страниц (привязка по SID)
3. файлы типа some_product.log:

Цитата

|10.06.04|11:10:59|SID=1d83d4cf1d8a500b254c063f3c9f1928|2_13|

таких файлов несколько видов, в них хранится информация о том какой товар просматривал посетитель (привязка по SID) собсвтенно код товара здесь (2_13)

Клиентская Часть
использовал запись (ее приводил в первом посте)
работает таким способом:
при открытии лога указываются период выборки, и считываются из логов удовлетворяющие данным условиям, и все это выводится так:
1. данные о посетителях (TTreeView)
UserID
-> IP
-> (данные из pages.log)
-> (данные из some_products.log)
-> номер заказа(если есть)
2. графики (TDecisionGraph) по каждому вида товара
3. график (TDecisionGraph) переходов с сайтов
4. список слов из поисковиков

Это конечно далеко не самый лучший вариант, но времени думать особо небыло, поэтому пришлось делать так, но я уже понял что мне надо будет переделвыать все это чудо.
Пока мысли такие:
1. Не использовать запись вообще, а считывая из логов сразу сторить дерево посетителей и графики.
2. Выбирать что надо просмотреть, (напрмер график только по одному виду товара, или вобще только по одному товару).

Конечно-же все это будет на порядок больше тормозить, зато проблемм с нехваткой памяти быть недолжно.

ЗЫ я согласен с большинством, что надо логи в БД так еще проще, но в как раз в этой сфере я "0"

Цитата

Время работы скрипта ограничено 0,3 сек

Странное какое-то ограничение...

Cheba
неповеришь, щас сунулся в документацию хостера, и ... ничего не нашел по ограничению работы скрипта, но блин незря же я на localhost устанавливал на 0,3 (хотя скорее всего у провайдера 3 секунды я брал с запасом

Не знаю как на IIS, но в PHP дефолтовое значение таймаута выполнения скрипта 30 сек. И вряд ли кто-то его сильно урежет. Максимум до 20 сек могут уменьшить, но это делают только жадные хостеры.

про IIS я сам ниче не знаю на Apache+PHP живу, а вот у моего "жадного" хостера стоит ограничение в 3 секунды, кроме того у них SAFE_MODE, и много чего еще хорошего

Беги ты от такого хостера.