Бот не висит в памяти, но при загрузке он достаточно активно использует канал в интернет и mysql базу.



Ох не рассказывай мне про идеал...   В общем-то это все верно, но нужно еще добавить, что бота нужно писать на Ц, иметь несколько серверов в собственном датацентре и т.п... 
Были бы инвестиции миллиона в 3 - все было бы!

ВCЕ В ПРОЦЕССЕ!

СКИПОД - форэва! Все транснациональные IT корпорации - будут убиты.

Ну не знаю... Можно в принципе и одним обойтись, но тогда бот должен запускаться только по ночам, раз он ресурсы жрет... Тогда на первый план выходит оптимизация работы бота + оптимизация базы.



Ну-ну... Себя не убейте   

Ну у нас так: где-то ночь а где-то день ))   незнаю как у вас..
Например я живу на дальнем востоке и когда в москве ночь у нас день.   Тогда надо смотреть из какого часового пояса людей пользуется меньше вот в то время и выпускать бота.

P.S  обычно люди пользуются интернетом вечером,но никак не утром

Теперь по программе... Второй запуск - отношение не поменялось =( к сожалению. На запрос audi 80 получил кое-какие результаты, но...

1. Очень не хорошо, что на страницы с результатом поиска вставляете рекламу гугла... Очень не приятно. Плюс дополнительный трафф...
2. Поиск у Вас веселый =)))) По моему запросу - 16 результатов. Открываю за последний день (18 августа) - три результата: Tayota MR2, Audi A3, Audi A3... Вообще- то я немного другое искал   Дальше не стал результаты смотреть.
3. Над результатами, как я понял, кнопки переключения страниц. У меня открыта первая. Нажимаю на нее же - страница грузиться снова   И снова перегружаются блоки google... Не должно быть такого!
4. Снова по поиску... Смотрю результат - Tayota MR2. Источник - http://www.ibaza.ru Захожу туда - таких автомобиля два, один от 18-го, второй от 19-го августа. Сегодня 20-е. Почему нету за 19-е???
5. При выходе из программы - "Неопознанная ошибка". Посмотрите...

Пока хватит. Но работы еще очень много. Рано Вы продавать начали - можете клиентов потерять.

Добавлено через 1 минуту и 10 секунд


Это я и имел в виду =))) Только не из какого часового пояса, а время, когда нагрузка минимальная...

Ну так что??? Где реакция?   

Ну что-же... Надеюсь, ты все-же читаешь тут хоть изредка...

1. В некоторых объявления проблемы с кодировками - русский текст выводиться вопросами. Например на http://www.obninsk.name
2. Нажимаю кнопка "Поддержка". Появляется форма, все хорошо. Но если тыкнуть мышкой за пределы формы, то форма "Поддержка" уходит на задний план и, если главная форма раскрыта на весь экран, форма поддержки больше не появляется... Сделайте или модальной или, при деактивации формы поддержки, закрывайте ее.
3. В файл помощи не верная кодировка - прочесть вообще не возможно ничего.

Все это относится к версии 2.1B

Приношу извинения за позднюю реакцию. 

aktuba, большое спасибо за здравую критику...
Буду отвечать по порядку:

1. Рекламу гугла мы уберем, в настоящее время пользы в ней никакой нет, так как доход программа приносит по-другому. Так как к выходу мы анонсируем выход бесплатной версии СКИПОД:СТАРТ (всего будет три версии СКИПОД:СТАРТ, СКИПОД:ПРОФИ и СКИПОД:КОРПОРАЦИЯ), говорю сразу, что в бесплатной версии реклама СКОРЕЕ ВСЕГО будет.  Хотя мы еще не решили.
2. Поиск веселый, это точно.  Над ним нам тоже еще работать и работать. В настоящий момент поиск происходит так: если в запросе есть два или более слов разделенные пробелом - происходит поиск объявления в котором присутствуют ОБА слова. Причем слома могут находится на большом расстоянии друг от друга и иметь разный контекст. Так же поискови НЕ учитывает морфологию. (будет учитывать как только мы разберемся с сервером для СКИПОД)3. Перегрузки страниц при нажатии на ту же кнопку страницы не будет.  Пофиксим.
4. Некоторые объявления МОГУТ не попадать в результаты поиска СКИПОД. Тут есть очень много причин, почему так происходит. Первая из них - загруженность хостинга. Каджые полчаса СКИПОД индексирует несколько сотен страниц, каждая из которых имеет свое время отклика. Если время отклика почему-то велико (к примеру индексируемый сайт в этот момент загружен какой-то работой) процесс индексации этого сайта убивается по таймауту. :-(
5.   Ошибка при выходе из программы - это самая злая проблема. Но мы ее пофиксим в версии 2.11 B, которая ождается в конце этой недели.
6. Проблемы с кодировками некоторых страниц стараемся решать оперативно, но не всегда успеваем. 
Обнинск.наме - пофиксим.
7. Сделаем форму поддержки always top. (Кстати сами мы этого не заметили и никто нам про это не писал) )
8. Файл помощи нормальный сделаем к середине месяца... Это наш большой косяк, но на исправление времени нет...




Поясняю алгоритм работы бота СКИПОД - каждые 30 минут бот обходит все имеющиеся в базе ресурсы (при этом, конечно, нагрузка на сервер распределяется на следующие 30 минут как можно равномернее) и соответствующим образом их парсит. Алгоритм работы бота не зависит (и не может зависеть) от времени суток, т.к. Россия большая и в ней много часовых поясов. Как правильно заметил Zhenek, время у всех разное. Вторая причина - АКТУАЛЬНОСТЬ информации. Одним из основных плюсов СКИПОД является быстрое предоставление АКТУАЛЬНОЙ информации. Если это будут данные пятичасовой давности - в ряде случаев они никому не будут нужны.

Еще раз спасибо aktuba и Zhenek за критику и замечания! Нам это реально помогает.
Будем благодарны еще за критику наших открытых  стандартов для досок объявлений и тест бесплатного скрипта доски объявлений (как только выйдет). 

Добавлено через 7 минут и 44 секунды


Здравое замечание!

Я согласен, но тут много ньюансов... В данный момент мы не проводим никакой специальной рекламной компании, самое главное для нас получить реакцию от людей и адаптировать СКИПОД соответственно этому. В нем еще много недочетов и багов, но мы не можем ждать и обрабатывать СКИПОД до состояния совершенства. Как известно лучшее - враг хорошего.  Мы хотим быть первыми в том, чем занимаемся, но ресурсы наши не безграничны, поэтому мы идем на этот риск сознательно.

Это сообщение отредактировал(а) dsnake - 3.9.2007, 09:59

Да дело не в этом!!! Я ввожу слово "bmw", он программа мне тайоту выдает!!!



Ай-ай-ай... Того, кто писал серверную часть - сильно ударить по голове =) Если это был ты - с разбегу =)))). Шутка. Если серьезно - так нельзя!!! Лучше пусть индексация будет реже, но качественнее и с расчетом на текущую нагрузку обоих сторон...



Странно... Мне казалось, что самая злая проблема - поиск. А AV пофиксить точно за день можно...



Лучше все-таки модально...



Вот здесь и кроется Ваша самая большая ошибка... Смотри. Счас у Вас 30 сайтов для парсинга. Через месяц будет 300, еще через месяц - 1000 (все это примерно). Если у Вас бот не справляется с 30, что Вы будете делать с 1000??? И алгоритм бота должен зависеть от времени!!! Как? Очень просто - есть сайт, который надо парсить. Определяем его IP, потом примерное месторасположение (дата-центр), потом часовой пояс. Все, задача решена =))) Это даже не обязательно в автоматическом режиме делать, можно и в ручную...

Насчет актуальности - это вопрос насущный конечно, но не стоит делать на него упор пока, ты же сам сказал:

Значит актуальностью тут и не пахнет... А значит, на данный момент, надо делать упор на качество поиска, а не на скорость... 

P.S.: жду новую версию, чтобы потестить...

Это сообщение отредактировал(а) aktuba - 3.9.2007, 10:17

По первой части - с сайтами не справляется НЕ БОТ, а хостинг!! Акцинтирую на этом твое внимание. 
ТЕХНИЧЕСКИ невозможно сделать такого бота, который достает информацию с ресурса, который отрубается демоном хостинга по таймауту. Все сложности связаны именно с хостингом. С 1000 ресурсов виртуальный ХОСТИНГ (не бот) не справится ОДНОЗНАЧНО, поэтому мы ищем сервер.

А теперь подумай, какой смысл определять географическое местоположение сервера с доской, если неизвестна статистика его загруженности от времени? Даже если знать статистику загруженности КОНКРЕТНОГО САЙТА (даже не сервера, ибо на одном сервере может находиться 100 разных сайтов, имеющих РАЗНЫЕ квоты и РАЗНУЮ географическую аудиторию) в течении суток - ну не стоит овчинка выделки! Тем более, что как я уже писал выше - все упирается в ХОСТИНГ, который все равно будет заменен на выделенный сервер.



Даже если бот будет парсить ресурсы с периодичностью 1 раз в день - качество поиска от этого лучше не станет.  Ты пойми, что проблема таймаута НЕ РЕШАЕТСЯ изменением периодичности парсинга ресурсов. Да, кстати, таймаут это довольно редкое явление.

Еще раз поясню непонятные моменты. 

Определять загруженность сайта исходя из географического расположения сервера НЕПРАВИЛЬНО!
Периодичность посещения ботом ресурсов не влияет на качество поиска - только на актуальность.
Все, что касается ошибок в самой программе - да, это наши косяки и мы будем их исправлять. 

Спасибо за критику!

Нет, ты неверно понял мою мысль... Среди SEO-шников есть определенные графики посещаемости. Для России (а именно для нее родимой Вы и делаете сервер) этот графи практически одинаков для всех сайтов, т.к. большинство дата-центров находится в Москве, Питере и т.д. Отсюда вывод - нагрузка практически для любого сайта измеряется отношением данного часа к общей посещаемости сайта в сутки. По моим наблюдениям - с 2 до 6 утра нагрузка минимальна и, по моему скромному мнению, именно в это время и должны парситься сайты... Но, это так, скромное мнение...



Верно. Тут большее значение имеет парсер и система поиска... Ну и структура базы конечно.

P.S.: а может стоит отказаться от каких-то досок объявлений, пока не будет нормального поиска? Потому что толку от дополнительных досок нету, если поиск по ним дает не верный результат...

Хммм... Ну это другой разговор! Ты точнее сформулировал мысль.
А можно взглянуть на тайные графики сеошнегов? 

Тут еще один факт мешает... мы просто НЕ МОЖЕМ перенести парсинг сайтов на одно время. Наша концепция состоит именно в актуальном и точном поиске структурированной информации... Мы не можем выбросить ни одного слова. :-( Ибо ориентируем систему на бизнес, хоть и малый. 

Я согласен, что ни одно из трех определений "актуальность, точность, структурированность" пока не работает в СКИПОД как надо.   Но мы все равно добьемся поставленных целей. 



Да, мы сейчас не делаем акцент на новых досках... Мы занимаемся только тестированием и доработкой, но назад мы все равно не можем идти и доски не уберем   Пусть результат неверный, но чем больше досок, тем больше у нас понимания как их лучше проиндексировать и как улучшить СКИПОД.

А графиками ты сильно заинтересовал!

Добавлено через 6 минут и 54 секунды
Я уверен, что оптимизация алгоритма посещений бота НУЖНА, это очевидно! В том числе и по загруженности серверов и т.п... много можно чего реализовать.
Но я пытаюсь сказать, что те проблемы, которые сейчас есть не связаны с этим.

Ну у меня под рукой нет сейчас, я же не SEO-шник...

Ладно, сам пороюсь на этот предмет.
Спасибо, что навел на мысль!

Так-с... Смотрю кодировки поправили, а как с остальными багами?

Вот и кончился мой  бан на Винграде и опять вливаюсь в жизнь и тестирование Скипода....
P.S я пас от сайта опять потерял((((  как вернуть