А ещё советую стать постоянным участником форума. Здесь много чего интересного происходит
| Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате |
| Форум программистов > PHP: Для профи > Поисковый робот |
| Автор: Grizzly 19.5.2005, 09:07 |
| Суть заключается в следующем: Надо написать бодяжку которая бы шерстила новости и пихала в базу данных, а с какого конца подойти не представляю.... Может кто сталкивался? Посоветуйте.. |
| Автор: simanyay 19.5.2005, 09:23 |
| Если эти новости доступны через RSS, то надо написать аггрегатор, который будет обрабатывать этот RSS и пихать в базу новости. Для дополнительной информации ищи по след. ключевым фразам: 1. RSS aggregator PHP 2. XML, XSLT, PHP |
| Автор: Grizzly 19.5.2005, 09:28 |
| Спасибо попробую |
| Автор: simanyay 19.5.2005, 09:49 |
| Anytime. А ещё советую стать постоянным участником форума. Здесь много чего интересного происходит |
| Автор: MuToGeN 30.5.2005, 15:55 |
| Еще на тему ATOM поискать можно. |
| Автор: kometa_triatlon 30.5.2005, 21:23 |
| А разве поисковые роботы пишутся на PHP? |
| Автор: Irokez 30.5.2005, 21:30 | ||
понимаю, что вопрос глупый, но кто мне может объяснить почему на пхп нельзя написать поисковый робот? скольких людей не спрашивал, никто мне внятно не смог объяснить .. |
| Автор: simanyay 30.5.2005, 21:31 | ||
Если для какого-нибудь сайта или электронной библиотеки, то почему бы и нет? Хотя, не встречал |
| Автор: kometa_triatlon 31.5.2005, 00:27 | ||||||
Я так понял, PHP не для этих целей создан, поэтому скорость и производительность программ не годятся. Короче, если система маленькая, то еще куда ни шло, а вот если серьезно, то надо писать на С. Хотя я так понял на С++ с использованием STL. |
| Автор: Tolik 8.6.2005, 13:17 |
| Сами поисковые роботы пишуться на PHP и PERL, например: всеми известный яндекс, представляет собой смесь двух языков: php and perl. А вот роботы, которые индексируют сайт, действительно поставленны под более мощные интерпритаторы, например Си.... Если индексацию производить методами php - То на эт о уйдёт немеренное колличество временни, даже трудно представить как какая-то php функция индексирует 6 миллионов сайтов, читает контектн с каждой страницы сайта и всё это "запихивает" в базу. |
| Автор: xolod 11.6.2005, 18:58 | ||||||
Хм...
Еще более начал сомневаться
Все, окончательно добили, Tolik Теперь про первое: Яндекс работает на C++ (распределенные вычисления, алгоритм нечеткого поиска по кворуму, учет морфологии русского и английского) и Perl (для запросов к движку и вывода информации) и про второе: С++ -- не интерпретатор а так же про третее: средства PHP -- есть средства C++ и написанного на нем движка Zend, если использовать Zend Optimizer никакого немеренного колличества временни не понадобиться. |
| Автор: simanyay 11.6.2005, 19:11 | ||
А я уж думал, что про Яндекс на PHP все просто посмеются и промолчат
Добавлю, что при правильном проектировании и реализации поиск по среднему сайту может успешно быть создан и без оптимизаторов PHP. |
| Автор: Irokez 11.6.2005, 19:23 | ||
если не ошибаюсь, то php на чистом c написан, а не на с++.. |
| Автор: Mal Hack 11.6.2005, 19:34 | ||
Я вот почему думаю, что у них используется свой Лебедевский Parser + XML + Perl... |
| Автор: simanyay 11.6.2005, 19:38 | ||
Даже сами Лебедевщики для более менее крупных проектов Parser не используют. Про Perl знаю, что используют, а для чего - не знаю. А XML + XSLT у них для вывода информации, если судить по их службам (Яндекс.Игры и т.д.) |
| Автор: Mal Hack 11.6.2005, 19:45 | ||
А тогда смысл существования этог Parser'a? |
| Автор: simanyay 11.6.2005, 19:53 | ||
А фиг его знает. Можно Лебедеву письмецо накатать, авось месяца через 2-3 ответит. P.S. А на чём написана Imprimatur? |
| Автор: Irokez 11.6.2005, 19:56 | ||
свой язык для создания сайтов |
| Автор: xolod 11.6.2005, 21:39 | ||||
| Irokez Судя по исходному коду, расположенному на http://www.php.net/downloads.php на С++, да и с реализацией на просто С, если логически поразмыслить, возникли бы проблемы.
Продвижение студии, как бренда. Желание быстрого и удобного создания сайтов практически без заморочек. Язык то прост до безобразия, а возможностей довольно много.
Кто ж ее знает. Она же закрыта для простых смертных... А насчет C++/Perl -- друг работает на ООО "Яндекс", то есть сведения вполне достоверные. |
| Автор: simanyay 11.6.2005, 21:48 | ||
Познакомь  |
| Автор: xolod 11.6.2005, 22:25 |
| Что, на работу тудЫ захотелось? Без проблем, в кафешке "Пластилин" (Москва) 14 будем. По твоему профилю проблематично определить город, но если ты в столице -- милости прошу. Познакомимся. Конкретно договориться можно по электропочте pavel-skripkin[@]yandex.ru или xolod[@]fryazino.net. |
| Автор: simanyay 11.6.2005, 22:31 | ||||
С Трантора в Москву далёко лететь Ладно, будем с Гугловцами будем знакомиться. Хотя тоже далеко. Добавлено @ 22:32
Это вы на "100 дудликов" пойдёте? Эх жаль, что я не в Москве  Ладно, хватит флудить. |
| Автор: Master 16.6.2005, 10:40 |
| ну яндекс конечно написан не на парсере но например на http://www.parser.ru/powered_by_parser/ мона поглядеть что есть крупные проекты написаные на парсере, хотя мне он показался неудобным... я ещё тока с появления его 3 версии его поюзал пол годика и с ужасом перебрался обратно к родному ПхП  |
| Автор: ИНВЕСТ 22.9.2005, 13:07 |
| Почитал вашу писанину. Вроде люди вы не глупые. Можете скооперироваться и написать свой поиск, только не хуже Яндекса? Выслушаю ваши мнения на этот счет, в том числе конкретные предложения. |
| Автор: KLez 22.9.2005, 13:43 |
| Мы флеймели флеймели , так и никто не предложил конкретного ответа .Типа я написал, оцените . |
| Автор: MuToGeN 22.9.2005, 17:55 | ||
|