Суть заключается в следующем: Надо написать бодяжку которая бы шерстила новости и пихала в базу данных, а с какого конца подойти не представляю.... Может кто сталкивался? Посоветуйте..

Если эти новости доступны через RSS, то надо написать аггрегатор, который будет обрабатывать этот RSS и пихать в базу новости. Для дополнительной информации ищи по след. ключевым фразам:
1. RSS aggregator PHP
2. XML, XSLT, PHP

Спасибо попробую

Anytime.

А ещё советую стать постоянным участником форума. Здесь много чего интересного происходит

Еще на тему ATOM поискать можно.

А разве поисковые роботы пишутся на PHP?

Цитата(kometa_triatlon @ 30.5.2005, 21:23)

А разве поисковые роботы пишутся на PHP?

понимаю, что вопрос глупый, но кто мне может объяснить почему на пхп нельзя написать поисковый робот? скольких людей не спрашивал, никто мне внятно не смог объяснить ..

Цитата(kometa_triatlon @ 30.5.2005, 23:23)

А разве поисковые роботы пишутся на PHP?

Если для какого-нибудь сайта или электронной библиотеки, то почему бы и нет? Хотя, не встречал

Цитата

Наверняка, на сях получится лучше... и по памяти, и по быстродействию... несмотря на то, что либы придется доставлять, чтоб чувствовать себя так же свободно, как в PHP. На перле не пробовала. Но php хуже уже тем, что в нем довольно много скрыто от самого кодера... Да и не уверена, что он до конца избавлен от утечек памяти...

Цитата

реально, но так никто не делает. Это всё равно, что на комбайне, который пшеницу убирает, возить муку в город на базар. Теоретически можно, но на практике односельчане будут на тебя смотреть, как на идиота.

Цитата

Я знаю только один поисковик написанный на PHP, правда итальянский. http://www.outseek.net - бррр жуткий сайт

Я так понял, PHP не для этих целей создан, поэтому скорость и производительность программ не годятся.
Короче, если система маленькая, то еще куда ни шло, а вот если серьезно, то надо писать на С. Хотя я так понял на С++ с использованием STL.

Сами поисковые роботы пишуться на PHP и PERL, например: всеми известный яндекс, представляет собой смесь двух языков: php and perl.

А вот роботы, которые индексируют сайт, действительно поставленны под более мощные интерпритаторы, например Си.... Если индексацию производить методами php - То на эт о уйдёт немеренное колличество временни, даже трудно представить как какая-то php функция индексирует 6 миллионов сайтов, читает контектн с каждой страницы сайта и всё это "запихивает" в базу.

Цитата(Tolik @ 8.6.2005, 13:17)

яндекс, представляет собой смесь двух языков: php and perl

Хм...

Цитата(Tolik @ 8.6.2005, 13:17)

более мощные интерпритаторы, например Си.

Еще более начал сомневаться

Цитата(Tolik @ 8.6.2005, 13:17)

индексацию производить методами php - То на эт о уйдёт немеренное колличество временни

Все, окончательно добили, Tolik

Теперь про первое:
Яндекс работает на C++ (распределенные вычисления, алгоритм нечеткого поиска по кворуму, учет морфологии русского и английского) и Perl (для запросов к движку и вывода информации)
и про второе:
С++ -- не интерпретатор
а так же про третее:
средства PHP -- есть средства C++ и написанного на нем движка Zend, если использовать Zend Optimizer никакого немеренного колличества временни не понадобиться.

А я уж думал, что про Яндекс на PHP все просто посмеются и промолчат

Цитата(xolod @ 11.6.2005, 20:58)

средства PHP -- есть средства C++ и написанного на нем движка Zend, если использовать Zend Optimizer никакого немеренного колличества временни не понадобиться.

Добавлю, что при правильном проектировании и реализации поиск по среднему сайту может успешно быть создан и без оптимизаторов PHP.

Цитата(xolod @ 11.6.2005, 18:58)

средства PHP -- есть средства C++

если не ошибаюсь, то php на чистом c написан, а не на с++..

Цитата(Tolik @ 8.6.2005, 14:17)

яндекс, представляет собой смесь двух языков: php and perl.

Я вот почему думаю, что у них используется свой Лебедевский Parser + XML + Perl...

Цитата(Mal @ 11.6.2005, 21:34)

Я вот почему думаю, что у них используется свой Лебедевский Parser + XML + Perl...

Даже сами Лебедевщики для более менее крупных проектов Parser не используют. Про Perl знаю, что используют, а для чего - не знаю. А XML + XSLT у них для вывода информации, если судить по их службам (Яндекс.Игры и т.д.)

Цитата(simanyay @ 11.6.2005, 20:38)

Даже сами Лебедевщики для более менее крупных проектов Parser не используют.

А тогда смысл существования этог Parser'a?

Цитата(Mal @ 11.6.2005, 21:45)

А тогда смысл существования этог Parser'a?

А фиг его знает. Можно Лебедеву письмецо накатать, авось месяца через 2-3 ответит.

P.S. А на чём написана Imprimatur?

Цитата(Mal @ 11.6.2005, 19:45)

А тогда смысл существования этог Parser'a?

свой язык для создания сайтов

Irokez
Судя по исходному коду, расположенному на http://www.php.net/downloads.php на С++, да и с реализацией на просто С, если логически поразмыслить, возникли бы проблемы.

Цитата(Mal @ 11.6.2005, 19:45)

А тогда смысл существования этог Parser'a?

Продвижение студии, как бренда. Желание быстрого и удобного создания сайтов практически без заморочек. Язык то прост до безобразия, а возможностей довольно много.

Цитата(simanyay @ 11.6.2005, 19:53)

А на чём написана Imprimatur?

Кто ж ее знает. Она же закрыта для простых смертных...

А насчет C++/Perl -- друг работает на ООО "Яндекс", то есть сведения вполне достоверные.

Цитата(xolod @ 11.6.2005, 23:39)

А насчет C++/Perl -- друг работает на ООО "Яндекс", то есть сведения вполне достоверные.

Познакомь

Что, на работу тудЫ захотелось?
Без проблем, в кафешке "Пластилин" (Москва) 14 будем. По твоему профилю проблематично определить город, но если ты в столице -- милости прошу. Познакомимся.
Конкретно договориться можно по электропочте pavel-skripkin[@]yandex.ru или xolod[@]fryazino.net.

Это сообщение отредактировал(а) xolod - 11.6.2005, 22:26

Цитата(xolod @ 12.6.2005, 00:25)

Что, на работу тудЫ захотелось? smile Без проблем, в кафешке "Пластилин" (Москва) 14 будем. По твоему профилю проблематично определить город, но если ты в столице -- милости прошу. Познакомимся. Конкретно договориться можно по электропочте pavel-skripkin[@]yandex.ru или xolod[@]fryazino.net.

С Трантора в Москву далёко лететь Ладно, будем с Гугловцами будем знакомиться. Хотя тоже далеко.
Добавлено @ 22:32

Цитата(simanyay @ 12.6.2005, 00:31)

Без проблем, в кафешке "Пластилин" (Москва) 14 будем.

Это вы на "100 дудликов" пойдёте? Эх жаль, что я не в Москве

Ладно, хватит флудить.

ну яндекс конечно написан не на парсере
но например на http://www.parser.ru/powered_by_parser/ мона поглядеть что есть крупные проекты написаные на парсере, хотя мне он показался неудобным... я ещё тока с появления его 3 версии его поюзал пол годика и с ужасом перебрался обратно к родному ПхП

Почитал вашу писанину. Вроде люди вы не глупые. Можете скооперироваться и написать свой поиск, только не хуже Яндекса? Выслушаю ваши мнения на этот счет, в том числе конкретные предложения.

Мы флеймели флеймели , так и никто не предложил конкретного ответа .Типа я написал, оцените .

Цитата(KLez @ 22.9.2005, 13:43)

оцените

Что именно?