Пройтись по всем URL’ам и сохранить все страницы в базу =)
| Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате |
| Форум программистов > PHP: Общие вопросы > Поисковик |
| Автор: Ful 9.5.2009, 17:17 |
| Привет! У меня такой вот вопрос: насколько реально можно реализовать такую технологию поиска по фразам, если имеется база веб-адресов по узкой тематике... Для уточнения : то есть в базе имеются ссылки прямые на сайты, а не на отдельные страницы.. То есть www.1domen.ru или www.2domen.ru/link/3 и т.д. И мне надо найти такое решение, чтобы могли поискать это непосредственно на своей странице... То есть с формы берется значение поиска - и по базе ищем все имеющейся адресов и ищет там и выводится у себя с кратким описанием и сылками на ссылающую страницу ( прямо на сайт где нашли ) для чтения более подробного содержания текста..... ----------------------- может быть имеются готовые решения в этом плане? Спасибо. |
| Автор: gta4kv 9.5.2009, 17:51 |
| Пройтись по всем URL’ам и сохранить все страницы в базу =) |
| Автор: VladMazday 9.5.2009, 20:08 |
| Ну по сути да Пропарсить сайты, сохранить в базу. Через какоето время пропарсить ещё раз и обновить данные. Так поисковики и работают  (не вдоваясь в подробности) |
| Автор: Ful 10.5.2009, 03:05 |
| А как реализация идет? Есть ли какой нить пример? |
| Автор: enof 10.5.2009, 03:22 | ||
| Есть сайт http://example.com 1. Скачиваем страницу. 2. Анализируем контент, сохраняем данные в бд. 3. Собираем внутренние линки. 4. Скачиваем страницы по найденным урл. 5. снова п2. Потом периодически обновляете базу. Воспользуйтесь поиском, эта тема встречалась много раз. Обсуждать это бесмысленно, к тому же судя по вашим постам, на эту тему конструктивной беседы с вами не получится. Добавлено через 45 секунд
чем гугль не устраивает? |
| Автор: Ful 10.5.2009, 03:47 |
| Гугль не устраивает, так как по нужной тематике находит совсем мало, но много не по тематике, то есть, если поискать в гугле - то очень долго ищешь нужную информацию, так как комбинацию слов там подобрать достаточно сложно - чтобы была достаточно ближе по тематике. Например ищешь "автоклуб" - он выдаст все по этой текматике достаточно много правильных страниц, но если будешь искать например "глухой" - то тут уже облом, может быть рассказ, может быть фамилия, может быть реферат и в конце концов об организации, где работают глухие.. в общем каша получается. И я хочу упростить в этом плане не только для себя, но для своих посетителей... База ссылок у меня на это имеется. Но пока не совсем представляю как осуществлять такой поиск медотом парсирования, как Вы сказали и чтения с возможностью записи в базу в случае обнаружения фиксированного набора символов... Ну а насчет статуса, я был тут под ником XClan(если администратор или модератор поймет меня правильно, то я был бы рад вернуть свой ник и статус) и тусовался достаточно долго в этом форуме. Просто из-за внезапного сокращения на работе перед Новым годом я потерял одновременно и эл.почту. Т.к. получать теперь по рабочей почте письма для востановления пороля мне не предоставляется возможным. И вот я сново тут с новым ником и с новым статусом.. Прошу меня строго не судить, если я не так спросил или искал информацию не правильно. R.S. а зачем страницы скачивать в базу ? или под этим понятием понимается так: кусок текста(например:150 символов)+линк на страницу? |
| Автор: enof 10.5.2009, 04:04 | ||
Это совершенно не важно, будь вы под тем ником, мой ответ был таким же. Я имел ввиду то, что у вас не хватит знаний реализовать поисковик, даже простенький. На коленке за пять минут не напишешь такое. Можете смело забыть про поисковик до поры до времени(если конечно захотите учиться). Отвечать подробно бесмысленно, так как чтобы понять ответ, все равно нужно немного познаний. А рассказывать основы php вам никто не будет. Учите язык, регулярные выражения, бд, смотрите на работу существующих поисковиков. Со временем сами все поймете. |
