Пожалуйста, пишите свои идеи, рассуждения, замечания по теме.

Итак:
Имеется P2P поисковая системя. Это гибрид гугля и осла. Поиск больше не производится централизованно (как в гугле). Ранкинг нельзя купить Индексы разбиты на части и распределены по сервер/клиентам (пирам).
Одной из слабостей поисковиков является то, что они на могут индексировать защищённые страницы. У них просто нет доступа.
Теперь представим себе рабочую группу. Им надо обмениваться информацией. Логичным была бы локальная поисковая система, но люди работают в разных концах планеты - означает, что эта система должна быть распределена. таких групп множество...

Моя идея такова... Поисковик, вы задаёте слова, а он ищет в инете, а так же во всех "закрытых" ресурсах в которые вы имеете доступ.
Преимущества P2P системы здесь в том, что она может индексировать контент пряио на своём сервере, где стоит.

Пока всё
Жду ваших комментов.

Сергей, по-моему ты тему не туда закинул. Куда ее?

А я раздела подходящего не нашёл
Вижу, что здесь ответов нет....

Давай попробуем в web - технологии
http://forum.vingrad.ru/index.php?showforum=18

Спасибо

Что то не ясно в чём новинка если честно... Создали аккаунтовую систему, ввели дополнительный обязательный параметр в поиске...

Кстати в Azureus(BT клиент) есть распределённая база данных файлов...

Я бы хотел в гугль задать слова поиска и чтобы он искал не только в публичном интернете, на всех серверах, куда у меня есть доступ. Например на форуме даже в разделах требующих авторизации.

Я схему уже продумал. На сервере можно декларировать "working space", запароленную. Можно делать их несколько штук. Каждой определить папки и файлы, куда им можно смотреть.
На клиенте вместе с опцией "искать в интернете" будет добавочно "искать в защищённых разделах". Каждый клиент сможет таких разделов создать множество, указывая ID и логин.
Так как в P2P каждый peer является и сервером и клиентом, можно сделать довольно комплексную сеть.

Я вот только не знаю, распределять ли индексы по всей P2P сети или ограничится теме peer'ами, которые принадлежат к "working area"....

Ну и ещё идеи

Цитата(Sardar @ 10.8.2005, 00:38)

Azureus(BT клиент)

Если честно в первый раз слышу. Можно кинуть ссылочкой?

Тогда такой вопрос: а зачем это нужно?
Если есть некое защённое пространство, то я не пущу туда гугль, какие бы он "защищённые воркспейсы" не предлагал...

Цитата(sergej @ 10.8.2005, 00:50)

Если честно в первый раз слышу. Можно кинуть ссылочкой?

[offtop]
http://azureus.sourceforge.net/
BitTorrent - самая быстрая сеть. В осле только доку хорошо искать, музыка и фильмы не для него.
[/offtop]

Цитата(Sardar @ 10.8.2005, 00:55)

Тогда такой вопрос: а зачем это нужно? smile Если есть некое защённое пространство, то я не пущу туда гугль, какие бы он "защищённые воркспейсы" не предлагал...

Естественно, но в этом варианте "гугль" уже находится у тебя на сервере, он опенсорс и не отдаёт твои данные никому, а всего лишь публикует индекс. Естественно скачивание самих рессурсов происходит без участия самого "гугля". Стандартным путём.


Ага, гляну

Цитата(sergej @ 7.8.2005, 19:03)

Теперь представим себе рабочую группу. Им надо обмениваться информацией. Логичным была бы локальная поисковая система, но люди работают в разных концах планеты - означает, что эта система должна быть распределена. таких групп множество...

Если это все, что тебе нужно, то для этой цели подойдет любой готовый индексатор, к которому есть внешний программный интерфес. Например, жабный Lucene. Только к нему нужно будет приделать систему идентификации, контроля доступа и, если речь идет о щепетильных материях, то еще и криптования потоков данных.

Только я не понимаю, при чем здесь p2p и в чем смысл делать индекс распределенным?

И заодно определись, тебе нужно, чтобы система занималась еще и crawling'ом, то есть сама выискивала новые материалы, или тебя устроит модель Publisher? То есть когда ты сам засылаешь документы на индексацию. Если последнее, то тебе есть смысл посмотреть в сторону document management systems.

Цитата(sergej @ 10.8.2005, 00:58)

Естественно, но в этом варианте "гугль" уже находится у тебя на сервере, он опенсорс и не отдаёт твои данные никому, а всего лишь публикует индекс.

У гугля есть бесплатный поисковик по твоему десктопу, только он н публикует твою инфу. Скорее всего по единственной причине: очень мало кому потребуеться выворачивать содержимое компа всему миру

Цитата(Stampede @ 10.8.2005, 01:34)

Только я не понимаю, при чем здесь p2p

Скорее всего речь идёт о некой независимой сети индексных серверов, выпад одного не нарушает всей сети в целом, хотя может временно потеряться часть инфы.

Либо что бы у каждого пользователя был свой индексатор, все пользователи обьеденяються в общую P2P сеть и передают инфу друг другу. Затем по продвинутым сетям типа BT перекачивають данные. Другое дело что мало кто захочет так публицковать своё, к тому же задолбает лишний трафик по сети, если будут коннектиться к тебе со всего миру

Цитата(Stampede @ 10.8.2005, 01:34)

и в чем смысл делать индекс распределенным?

Почти все поисковые машины(серьёзные, что по и-нету рыщут), построенны на несколькиц компах обьединённых в кластеры. При чём эти машины находяться по всему миру(если расматриваем гугл), индекс распределяееться между всеми. Это эффективно, хотя требует большой теории, как их обьеденить вместе

Цитата(Sardar @ 10.8.2005, 03:06)

Почти все поисковые машины(серьёзные, что по и-нету рыщут), построенны на несколькиц компах обьединённых в кластеры

Причина, по которой гугл хранит индекс в распределенном виде - это то, что ему приходится индексировать миллиарды документов. Для них оказывается проще написать математику, которая позволяет хранить все это хозяйство (и эффективно копаться в нем) на нескольких компах. У sergej.z, как я сильно подозреваю, задача несколько другого масштаба - такого, что с индексацией всей проектной документации (ведь речь идет именно о проектной документации - я правильно понимаю?) запросто может справиться один-единственный сервер.

Далее, почему я затронул вопрос модели публикации. В случае веб-кролера все ясно: он лазит по всем веб страницам, на которые где-либо имеются ссылки, пытается их скачать и проиндексировать. При этом в неявном виде предполагается, что все индексируемые ресурсы так или иначе доступны по HTTP - то есть любому человеку, вооруженному браузером.

Однако в случае коллективной удаленной работы над проектом ситуация мвленько отличается, потому что здесь далеко не все материалы доступны по веб протоколам: это и исходники, и скрипты, и файлы конфигурации, и документация, и графика, и еще куча всякой ерунды. Причем все это находится в состоянии непрерывного изменения разными участниками.

Я считаю (если я правильно понял задачу sergej.z, судя по его скудному описанию), что ему гораздо больше подойдет либо система контроля версий типа CVS, либо какая-то система управления документами.

А раскиданный по миру распределенный кластер p2p индексирующих машин, да с приемлемой степенью безопасности - это как бы более из области фантачтики. То есть это осуществимо, но и мотивация для такого проекта должна быть где-то на уровне заказа пентагона. А у людей, как я понимаю, задача совсем в другом, и подобная система им нужна как средство, а не как самоцель.

Вот это я и имел в виду в своем посте.

Цитата(Stampede @ 10.8.2005, 09:02)

У sergej.z, как я сильно подозреваю, задача несколько другого масштаба - такого, что с индексацией всей проектной документации (ведь речь идет именно о проектной документации - я правильно понимаю?) запросто может справиться один-единственный сервер.

Почти Хотя можно и так сказать. Проблема одного сервера в том, что для индексации ему придётся тянуть документы в открытом виде, чего совсем не хочется делатью Шифровать их - тоже заморочка, как вы понимаете. Поэтому P2P система очень подходит для этого.

Цитата(Stampede @ 10.8.2005, 09:02)

Далее, почему я затронул вопрос модели публикации. В случае веб-кролера все ясно: он лазит по всем веб страницам, на которые где-либо имеются ссылки, пытается их скачать и проиндексировать. При этом в неявном виде предполагается, что все индексируемые ресурсы так или иначе доступны по HTTP - то есть любому человеку, вооруженному браузером.

Да. Это ещё одна причина.

Цитата(Stampede @ 10.8.2005, 09:02)

Я считаю (если я правильно понял задачу sergej.z, судя по его скудному описанию), что ему гораздо больше подойдет либо система контроля версий типа CVS, либо какая-то система управления документами.

Нет. Речь идёт не только о документах. Как я уже сообщал, даже индексация разделов на форуме, требующая авторизации желательно происходит. То есть всего того, что сейчас скрыто от поисковиков, но куда у меня есть право входа. При интерфейсе на сложнее гугльского.

Цитата(Stampede @ 10.8.2005, 09:02)

А раскиданный по миру распределенный кластер p2p индексирующих машин, да с приемлемой степенью безопасности - это как бы более из области фантачтики. То есть это осуществимо, но и мотивация для такого проекта должна быть где-то на уровне заказа пентагона. А у людей, как я понимаю, задача совсем в другом, и подобная система им нужна как средство, а не как самоцель.

Ну в принципе это будет системой обьединения немецких Phys-Net и Math-Net. У них много разрозненных роектов, которые то и дело пересекаются. Эдесь нормально одному челу работать в 4-5 проектах одновременно. Случается, что делают то, что уже сделал кто либо из организации. Мы ещё RDF с SPARQL и будет отлично.
PS:
А насчёт скудного описания. Так попробуй чето нить описать здесь. У меня вся готовая дока ми все мысли по англицки записаны. Да и описывать я в принципе много не собирался. Больше думал места для фантазии оставить. Как кстати правильно перевести "peer" и "working space"?

Цитата(sergej @ 10.8.2005, 10:48)

Шифровать их - тоже заморочка, как вы понимаете.

А в чём проблема? Есть открытые средства, надёжные.

Цитата(sergej @ 10.8.2005, 10:48)

Поэтому P2P система очень подходит для этого.

А в чём заключаеться подход? Я вижу только зашифрованный/не зашифрованный канал, по которому "течёт" инфа...

Цитата(sergej @ 10.8.2005, 10:48)

У меня вся готовая дока ми все мысли по англицки записаны.

Выкладывай, здесь все на инглише читать умеют

Цитата(sergej @ 10.8.2005, 10:48)

Как кстати правильно перевести "peer" и "working space"?

Peer- равный член группы Серьёзно можно сказать как "одноранговый узел сети".

Цитата(Sardar @ 10.8.2005, 14:33)

А в чём проблема? Есть открытые средства, надёжные.

Это надо чтобы шифровальщик сидел на каждом сервере и шифровал по запросу.
Причём поисковик специальный для этого так и так будет нужен.
Такое нереально осуществить. То есть реально но через peer намного проще.
Тем более, что сам поисковик уже существует. осталось только плагин для приватного спейса поставить.
www.yacy.de

А доку я ещё пишу Вернее только начал. Готовое есть, но мало.
Сейчас инфу собираю и продвигаюсь потихоньку.
Там обьяснения начальные конечно есть, но и воды много
Короче как читабельное будет что нибудь, опубликую.

"одноранговый узел сети"?
Ой, я с вашего позволения лучше peer буду писать