Суть заключается в следующем: Надо написать бодяжку которая бы шерстила новости и пихала в базу данных, а с какого конца подойти не представляю.... Может кто сталкивался? Посоветуйте..

Если эти новости доступны через RSS, то надо написать аггрегатор, который будет обрабатывать этот RSS и пихать в базу новости. Для дополнительной информации ищи по след. ключевым фразам:
1. RSS aggregator PHP
2. XML, XSLT, PHP

Спасибо попробую

Anytime.

А ещё советую стать постоянным участником форума. Здесь много чего интересного происходит

Еще на тему ATOM поискать можно.

А разве поисковые роботы пишутся на PHP?

Цитата(kometa_triatlon @ 30.5.2005, 21:23)

А разве поисковые роботы пишутся на PHP?

понимаю, что вопрос глупый, но кто мне может объяснить почему на пхп нельзя написать поисковый робот? скольких людей не спрашивал, никто мне внятно не смог объяснить ..

Цитата(kometa_triatlon @ 30.5.2005, 23:23)

А разве поисковые роботы пишутся на PHP?

Если для какого-нибудь сайта или электронной библиотеки, то почему бы и нет? Хотя, не встречал

Цитата

Наверняка, на сях получится лучше... и по памяти, и по быстродействию... несмотря на то, что либы придется доставлять, чтоб чувствовать себя так же свободно, как в PHP. На перле не пробовала. Но php хуже уже тем, что в нем довольно много скрыто от самого кодера... Да и не уверена, что он до конца избавлен от утечек памяти...

Цитата

реально, но так никто не делает. Это всё равно, что на комбайне, который пшеницу убирает, возить муку в город на базар. Теоретически можно, но на практике односельчане будут на тебя смотреть, как на идиота.

Цитата

Я знаю только один поисковик написанный на PHP, правда итальянский. http://www.outseek.net - бррр жуткий сайт

Я так понял, PHP не для этих целей создан, поэтому скорость и производительность программ не годятся.
Короче, если система маленькая, то еще куда ни шло, а вот если серьезно, то надо писать на С. Хотя я так понял на С++ с использованием STL.

Сами поисковые роботы пишуться на PHP и PERL, например: всеми известный яндекс, представляет собой смесь двух языков: php and perl.

А вот роботы, которые индексируют сайт, действительно поставленны под более мощные интерпритаторы, например Си.... Если индексацию производить методами php - То на эт о уйдёт немеренное колличество временни, даже трудно представить как какая-то php функция индексирует 6 миллионов сайтов, читает контектн с каждой страницы сайта и всё это "запихивает" в базу.

Цитата(Tolik @ 8.6.2005, 13:17)

яндекс, представляет собой смесь двух языков: php and perl

Хм...

Цитата(Tolik @ 8.6.2005, 13:17)

более мощные интерпритаторы, например Си.

Еще более начал сомневаться

Цитата(Tolik @ 8.6.2005, 13:17)

индексацию производить методами php - То на эт о уйдёт немеренное колличество временни

Все, окончательно добили, Tolik

Теперь про первое:
Яндекс работает на C++ (распределенные вычисления, алгоритм нечеткого поиска по кворуму, учет морфологии русского и английского) и Perl (для запросов к движку и вывода информации)
и про второе:
С++ -- не интерпретатор
а так же про третее:
средства PHP -- есть средства C++ и написанного на нем движка Zend, если использовать Zend Optimizer никакого немеренного колличества временни не понадобиться.

А я уж думал, что про Яндекс на PHP все просто посмеются и промолчат

Цитата(xolod @ 11.6.2005, 20:58)

средства PHP -- есть средства C++ и написанного на нем движка Zend, если использовать Zend Optimizer никакого немеренного колличества временни не понадобиться.

Добавлю, что при правильном проектировании и реализации поиск по среднему сайту может успешно быть создан и без оптимизаторов PHP.

Цитата(xolod @ 11.6.2005, 18:58)

средства PHP -- есть средства C++

если не ошибаюсь, то php на чистом c написан, а не на с++..

Цитата(Tolik @ 8.6.2005, 14:17)

яндекс, представляет собой смесь двух языков: php and perl.

Я вот почему думаю, что у них используется свой Лебедевский Parser + XML + Perl...

Цитата(Mal @ 11.6.2005, 21:34)

Я вот почему думаю, что у них используется свой Лебедевский Parser + XML + Perl...

Даже сами Лебедевщики для более менее крупных проектов Parser не используют. Про Perl знаю, что используют, а для чего - не знаю. А XML + XSLT у них для вывода информации, если судить по их службам (Яндекс.Игры и т.д.)