VPF::паук поисковик на php+mysql+C - Форум программистов

cas63

Дата 11.8.2006, 18:14 (ссылка)

(нет голосов)

Загрузка ...

Новичок

Профиль
Группа: Участник
Сообщений: 2
Регистрация: 11.8.2006

Репутация: нет
Всего: нет

Всем Здрасте! подскажите пожалуйста, как должен работать паук поисковик, какие принципы его работы. нашел много разного кода по роботам поисковикам. но как они должны работать smile

sergejzr

Дата 11.8.2006, 18:32 (ссылка)

(нет голосов)

Загрузка ...

Un salsero
Group Icon

Профиль
Группа: Админ
Сообщений: 13285
Регистрация: 10.2.2004
Где: Германия г .Ганновер

Репутация: нет
Всего: 360

Всмысле, как?

Код


функция Паук(страничка_х)
{
берёшь страницу страничка_х , вычитываешь все ссылки

  Для каждой вычитанной ссылки
  {
   Если в таблице ссылки нет, добавь её туда
   Паук(ссылка);
}

}

--------------------

Me.
FB.
LinkedIn.
ORCID.
YT.

rMaveric

Дата 12.8.2006, 20:04 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 375
Регистрация: 18.7.2003

Репутация: нет
Всего: 6

Посмею не согласится с уважаемым sergej.z и предложить свой вариант

Я бы предложил так.

функция Паук()
{
   достать первую страницу из списа ФИФО;
   создать индекс страницы;
   Для всех найденых ссылок
      {
       добавить страницу в список ФИФО;
      }
   Паук();
}

--------------------

Моя благодарность не будет иметь границ. в определенных рамках конечно ;)
---
Веду IT блог

cas63

Дата 12.8.2006, 20:12 (ссылка)

(нет голосов)

Загрузка ...

Новичок

Профиль
Группа: Участник
Сообщений: 2
Регистрация: 11.8.2006

Репутация: нет
Всего: нет

Думаю 2-ой вариант будет более продвинутым. СПасибо Вам обоим! буду что-нить писать и пробовать. С Php можно вызывать программы С и что бы они обрабатывали страницу и заносили ее в БД?

rMaveric

Дата 17.8.2006, 19:03 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 375
Регистрация: 18.7.2003

Репутация: нет
Всего: 6

Да можно.
Но тут могу тебе сказать следующее. Пиши изначально все на C. Т.к. ПХП тебе в этом деле будет плохим помощьником.

--------------------

Моя благодарность не будет иметь границ. в определенных рамках конечно ;)
---
Веду IT блог

ewolf

Дата 17.8.2006, 22:20 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 389
Регистрация: 15.8.2006
Где: г. Москва

Репутация: 1
Всего: 18

На C стоит писать только индексатор, а сам frontend лучше на php - гораздо быстрее и удобнее.

Кстати, если поисковик ограничивается небольшой областью поиска, то можно попробовать все реализовать на perl

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| PHP: Для профи \| Следующая тема »

Внимание: данный раздел предназначен для решения сложных, нестандартных задач.