Страничка сверстана:

logos.yanfo.ru

К сожалению нет скрипта регистрации пользователей,
поэтому продолжаю агитировать принять участие в проекте.

На повестке две задачи:

1) PHP - скрипт регистрации
2) Любой язык верхнего уровня (DELPHI, C) – программа-клиент пользователя
Модуль связи с базой через Интернет: прочитать данные из базы и показать в окне программы клиента.

Как обещал, выкладываю листинг структуры базы.
Извините, что практически нет комментария, сейчас как раз над этим работаю
Будет более-менее законченный вариант – обязательно выложу.


Присоединённый файл ( Кол-во скачиваний: 24 )
 Structure_DBMS___Logos.txt 2,40 Kb

Обсуждая задачу написания программы-клиента с одним из программистов, встал вопрос о полной функциональности "клиента".

Я сделал небольшое описание основных функций клиента, где постарался описать механизм работы с базой,
формирование знаний и тегов этих знаний.

И поскольку здесь уже писали о том, что, все-таки, неплохо было бы предоставить более подробное описание алгоритма работы, я решил выложить его на всеобщее оброзрение, так как считаю, что этот документ мог бы отчасти пояснить что и как работает.





Это сообщение отредактировал(а) CandleMan - 25.8.2006, 13:44

Присоединённый файл ( Кол-во скачиваний: 12 )
 Functions_Of_Client.rar 7,05 Kb

Преамбула (очень коротко):
Информации вокруг нас много, она не структурирована (об этом все говорят), поэтому создают новый «Интернет 2.0». Поисковые системы каким-то образом решают проблему поиска, но не решают главной проблемы: они не находят того, что мне нужно, они находят то, что похоже на мой запрос. Однако, есть механизмы (мозг человека), которые однозначно понимают сказанное (прочитанное, увиденное) и однозначно выдают результат обработки запроса.

уфф.... 
1. Ум - это способность искать/находить желаемое.
2. Поисковые системы на данной момент пытаются повторить ум.
3. Интернет на данный момент евляестя идеальным хранилищем для информации.Это как информационные поле,толко о4ень приметивное подобие.
4. Тебе надо написать не хранилище,а принцып работы ума.
5. И вообще забей на это. Мир это программа(но на очень высоком уровне). Если ты поймёшь хотябы 4асти4ку как устроен мир ,то забёшь на свой уклад жизни.

То что я написал не надо воспинимать как хи-хи.Вообще кто ищет себя suda


Это сообщение отредактировал(а) Tony - 26.8.2006, 21:40

Проект не умер, продолжает развиваться

Обновил несколько страниц на сайте

на закладке "о проекте" есть краткая функциональность все системы.
Написана в настоящем времени, но естественно все в будущем.

Сейчас идет работа над клиентом.
Задача: прочитать данные с сервера (из БД MySQL)

Когда клиент читает напрямую, получается все ОК,
Но есть компьютеры которые работают через прокси.
В этом случае, конечно, все зависает, прокси не пропускает.

На этой проблеме уже споткнулись несколько человек.
Если кто знает, может поможет?

Один из них организовал топик на форуме
http://forum.vingrad.ru/index.php?showtopi...&hl=zeosdbo
Предложения и рекомендации можно писать там

Также остались задачки по серверным скриптам на PHP

Так что, если кто хочет попробовать себя, милости просим.

Информация о проекте.

Сайт проекта, принял более-менее законченные формы.
процентов 60-70%

Программа-клиент, также немного продвинулась.
Через некоторое время с сайта можно будет скачать исходники клиента.

На очереди следующий этап:

есть набор данных - это записи БД, надо показать связи между записями.
(Что-то по аналогии с технологией отображения графов социальных сетей).

С сайта проекта можно скачать дистрибутив клиента.
и исходники.

Дистрибутив программы-клиента (размер - 11 МБт):

Адрес исходников - в случае Вашего интереса.

Что делает программа (пока):

устанавливает связь, с двумя базами: удаленной и локальной.
Можно добавлять и удалять записи в БД.

Это пока все.

Следующий шаг: разработка интерфейса.

Интерфейс в общих чертах (т.е. теоретически) разработан.

Необходима реализация.

Программа написана на DELPHI, но некоторые товарищи утверждают, что то, что реализовано можно сделать на С(С++) буквально за одну неделю. 

Я буду совершенно непротив, если кто-то (по каким-то причинам не пишущий на DELPHI) напишет то же самое на С(С++).

Предлагаю присоединиться к проекту!

ЧТО ОЧЕНЬ ВАЖНО:
Хотел бы добавить, что программы такой направленности весьма актуальны,
особенно в связи с развитием и дальнейшим переходом интернета на семантические позиции.

До сих пор эта ниша (программы на основе онтологий) практически пустая, 
т.е. есть шанс занять в ней достойное место.

Управление знаниями - это не сиюминутное развлечение, а парадигма жизни.
Я думаю, это заслуживает внимания.

-------

P.S.: Во время установки программы, Надо будет ввести логин и пароль. Используйте
логин: test
пароль: 12345678

P.P.S.: Во время установки на Ваш компьютер будет установлена база MySQL, которую затем можно легко удалить.
для этого из группы выберите пункт: "остановка MySQL", а потом удалите весь каталог (по умолчанию {ProgramFiles}\Logos).




Это сообщение отредактировал(а) CandleMan - 29.1.2007, 11:05

Да уж, упорный ты человек CandleMan. Посмотрел статью про онтологии, по-моему, у тебя немного не то. Или если точнее выразится, то, что уже есть, и от того, что появится вновь, не станет лучше. Вот же пример из Wiki:


Я же говорил про форматы, но был проигнорирован. И что же из этого следует? То, что ты думаешь над интерфейсом, но не над реализацией надеясь не понятно на что. В целом проект хороший, но мне кажется, ты сам не понимаешь, как его реализовывать, уходя в застой.

В целом у меня тоже кое-какая идейка есть на эту тему, но она отличается хотя бы тем, что собирает и создаёт связи сама, не принуждая к этому пользователя, но это уже другая история.

Открой новый тред, опиши, обмозгуем.

Так просто не напишешь, ну давай сейчас попробуем, хотя мне жутко сомнительно это отправлять в «Совместные проекты». Так как для меня это пока «мороженка», в общем, проект будущего.

Нет, всё же так просто не описать, нужно, рисовать графики, схемы, и составлять сопутствующую документацию. Я же не CandleMan и в целом не намерен скрывать идеи и проекты. Но это время, и, причём не малое. Общая же мысль очень проста. За основу формата берётся текст. Дальше работа происходит с ним. Текст если это не случайный набор символов пишется на каком-либо языке. Далее нужно составить ядро системы, которое бы умело.

1.    Собирать тексты в себя, самостоятельно или по приказу пользователя. (с локального диска, например, диск с десятками тысяч книг, из Интернета и так далее).
2.    Создавать правила обработки текста, но уж не без участия пользователя, хотя основная работа идёт или в полуавтоматическом или автоматическом режиме. Это так сказать составитель шаблонов языков, причём повторяю, основная работа уйдёт на программу. Принцип прост, сравни, создай шаблон структуры, в случае конфликтов с ранее созданными правилами действие обработки по умолчанию или спросить у пользователя.
3.    Собственно говоря, и всё.

А конкретной реализации нужно говорить уже серьёзно, и для этого необходима новая тема, но факт в том, что я пока не хочу создавать эту систему по нескольким причинам, потому и раздел форума «совместные проекты» не совсем подходит.

unicuum, открой новую ветку, но не в проектах, а в Научных дискуссиях. Там тусуется народ, удручённый тягой подумать 

Вот с правилами поподробней. Что с чем сравниваем и как? К примеру есть текст, вот этот самый пост, что мы с него получим?

Вообще лучше начать с определения системы знаний (knowledge system). В идеале это программа, принимающая запрос на некотором, возможно естественном, языке и дающая ответ из базы знаний по смыслу. Шаг чуть дальше это умение не только сопоставлять инфу, но и находить корреляцию (возможно для человека совершенно не очевидную) между разной инфой, на основе этого делать выводы (читай размышлять). Возможны различные "частичные" решения, например современные поисковики стемят слова (совпадение по разным словоформам) и создают иллюзию поиска по смыслу. 



Немного мыслей.

Поиск по смыслу можно представить как "приближение кривых". Пусть есть отрезки кривых в некотором многомерном пространстве. Похожие смыслы будут иметь отрезки близко друг к другу, собираясь в области, граница области не явная, скорее переливание из одной в другую, как естественный ход мышления человека. Кривая имеет плотность, от бесконечно малой, до некоторой явно определённой величины. Плотность кривой отображает совпадение по смыслу с кривыми рядом (с областью), т.е. кривая как бы пронзает массу разных областей отмечая "силу" совпадения по смыслу. Кривую можно представить как массу отрезков, чем их больше, тем плотнее кривая. Каждый такой отрезок представляет собой некий термин "общего смысла" и сам может состоять из других, более мелких отрезков. Естественно кривые пересекаются если имеют в некоторых областях эквивалентный смысл (общие отрезки терминов).

Любой текст (позже всё что угодно, несущее "смысл") может иметь только одну кривую, по которой "задаём смысл". Конечно смысл любого не формального текста зависит от контекста. Потому проходит через процедуру нормализации, после которой получаем множество разных формальных текстов для каждого известного системе контекста. Контекстов конечно много, пока не будем думать об оптимизациях, а представим что реально для почти каждого текста генерим туеву хучу вариаций, которая со временем ещё и растёт по мере "узнавания" новых контекстов. Каждый формальный текст состоит из набора терминов, формально (т.е. не двояко) описывающих смысл для конкретного контекста. Из терминов собираются отрезки, упомянутые выше.

Процедура нормализации не обязательно обратима, из формального текста "генерится" текст на естественном для человека языке. Конечно можно создать некую функцию, обращающую формальный (однозначныйй) текст в не формальный (более удобоваримый для человека) согласно контексту, использованному при формализации. Тогда у человека может даже сложится впечатление, что он говорит с "нечто живым", а не машиной 

Вопрос к системе тоже нормализуется, где контекст используется для генерации "смыслового образа" в формальных терминах. Такой образ скорее всего "не будет иметь смысла" если его прочтёт человек, но для машины он обозначает примерную кривую, которой должны соответствовать требуемые текста. Этот процесс достаточно сложен, здесь во всю понимаем смысл утверждения "правильно заданный вопрос это >50% ответа".

Поиск ответа это нахождение текстов с кривыми, наиболее близкими к кривой запроса. В то же время "размышление" можно представить как взятие частей кривых, соответствующих кривой запроса. Конечно нельзя так просто вырвать несколько терминов, всё равно ответ поставить не удастся (иначе мы бы знали ответ из кривой вопроса). Термины связаны в отрезки кривой и берутся сразу группой. Затем из этих "бóльших" отрезков выкладывается (гораздо более плотная) кривая, похожая на кривую смыслового образа вопроса. При обращении обратно в текст в принципе сложно получить полную чушь, если многомерное пространство с кривыми действительно многомерно, т.е. способно вместить массу "похожих" терминов, при этом явно разделяя их смысл.

Процесс "размышления" системы это может быть ещё и генерация новых кривых, исходя из существующих. Например если "лягушки прыгают" и "зайчики прыгают", то система может сгенерить "прыгающие" отвечая "лягушки и зайчики". Это тривиальный пример (идеально для Prolog), в реале система может придумывать огромную массу умозаключений. При чём многое возможно не будет иметь смысла в глазах человека, но может привести к совершенно поразительным умозаключениям, дающим ответ на "не решаемые" сегодня задачи. Человек думает очень ограниченно, но круто 

Вот примерно так можно представить систему знаний, это гипотеза, т.е. нужно доказать массу деталей (реализовать ещё сложней). Ожидал примерно похожего описания твоей системы, ибо так как оно сейчас, но он не сказало вообще ничего 

Да уж, мыслей то может и немного, но о тексте такого не скажешь. 
Ну, ты мастер абстракций, вот что я на твои предположения скажу, уж больно загнул. Графики, какие-то, приближения, пересечения, а под конец разговорный модуль, который отвечает на вопросы.


Я же объяснил, пока делать эту систему не собираюсь, потому вроде, как и обсуждать то её странно, только если поболтать. Ладно все равно ничего не делаю, пару задумок сейчас напишу, некоторые кстати были уже запрограммированы, но так давно, что я сам не помню что творил. 

Начнём с названия - «Вавилон». На самом деле программа немного похожа на то, что делает CandleMan, впрочем, и кошка в некотором роде похожа на тигра, однако никто не станет утверждать, что это одно и тоже. Проект «Вавилон» должен объединить в себе языки, причём не важно какие это языки, разговорные, программистские, да какие угодно. Единственное условие, они должны быть текстом, потому что для «Вавилона» это тот самый формат в онтологии, который компьютер сможет легко обработать. Между прочим, это CandleMan ищет всякие определения, мне же не нужно знать, онтология это, не онтология.

«Вавилон» - текстовый процессор, но не такой, каким представляется Microsoft Word или другие подобные системы. На мой взгляд, они почти, что обычные редакторы, не видел ни одно функции, которая бы помогала мне строить предложения, программировать, переводить на приемлемом уровне и так далее. Кое-что в этих системах заложено, но до процессора они не доросли.

А теперь пару слов о логических и физических структурах, на которые можно разделить текст. Для тех, кто не понял, это я так вывожу термины, чтобы потом легче было понять, о чём собственно пишу.

Физические структуры:
 Когда текст разбивается на физические структуры, это значит ни больше, ни меньше, чем прямой его разбор по некоему алгоритму с разбиванием на строки, подстроки и так далее, с последующей записью получаемого материала в базу данных.

Логические структуры:
 Логические структуры связывают полученные физические структуры по смыслу. В какой-то мере это надстройка над физическими структурами. Но лучше говорить по порядку.

Итак, предположим у нас есть DVD диск и на нём тысячи книг. Возможно это нечто другое, к примеру, спайдер бот, позволяющий ходить по html страничкам и скакать по ссылкам. Суть не в том, главное, что неким образом программа должна уметь забирать огромные массивы текстовой информации. От того, из какого источника получены данные, зависит способ её обработки, причём назначаться он будет динамически, то есть в самой программе. Если точнее, алгоритмы получения текста придётся внедрить в программу, а вот способ её обработки останется на откуп автоматически или полуавтоматически создаваемым правилам. Причём сейчас имеются в виду правила для физических структур, так как именно по ним в первую очередь идёт обработка данных.

Стоит ли опускать до банальных примеров физической структуры? Не знаю, давайте опустимся…


Пример из русского разговорного языка. Можно разобрать текст по предложениям, можно, по словам или слогам. В целом же видно, что это отрывок стихотворения. Соответственно для этого отрывка будут применяться правила русского языка, и даже если каким то образом эта строка окажется в языке программирования или ещё где, от этого правила русского языка не перестанут действовать.

Или вот:


Что общего у этих двух языков? Да ничего, но и то и другое является текстом, а значит «Вавилон» сможет работать и с тем и другим. Так вот, когда программа проходит по всем этим текстам, возможно с настройкой на уже созданные правила, возможно, в режиме ожидания любого языка (язык это правило, но правила бывают разными как по типу, так и по содержанию), она разделяет текст на строки, строки на подстроки и так далее.

Опять же частный пример, если предложение делится на слова, то нельзя порезать их на середине. Если же слово делится на слоги, то уже не поделится ни на что другое, хотя тут то, как раз на слоги делить нельзя, нужно делить на частицы, из которых состоит слово (приставка(префикс)), корень, суффикс, окончание). В общем, то если возникнет вопрос, почему деление идёт так, а не иначе, на него довольно легко ответить, но для начало нужно понять что такое правило в физических стуркутурах.

Кстати, чтобы легче было понимать, в итоге получается древовидный список, где родительские элементы пусты, а остальные имеют строки, собрав которые получится исходный текст. Между прочим, такой подход совместим с XML. Ну, так вот, к каждому элементу такого списочка прилагается правило. То есть если у вас есть реальный текст, то по нему получаем правило, а если есть правило, то по нему создаём новый текст методом выбора. Чем больше инфы получит «Вавилон», тем больше вы сможете в итоге сотворить. Он как бы это выразится, позволяет создавать модули, которые в себя интегрирует сливая в один, хотя это уже проблема взаимодействия разных поставщиков таких модулей, к тому же можно и без них обойтись, если хорошо «кормить» программу.

О физических структурах уже достаточно сказано. Да и вообще, механизм получения правил не так уж и сложен. С логической же структурой дело обстоит сложнее, но лучше перейду к частностям и расскажу о функциях преобразования текста, тем, что стоит на стыке физической и логической составляющих.

Предположим у нас есть тот же «Гари Поттер» на русском языке, и на английском, хотя вообще то может быть на любом другом и чем их больше, тем «Вавилону» полезнее. Так вот, изначально программа не умеет переводить. В ней нет заполненной базы данных. Но назначив две книжки и указав, что одна перевод другой, причём не обязательно абсолютное соответствие. Ну, так вот, указав их как одно и то же, но на разных языках, мы формируем механизм перевода, опять же в полуавтоматическом режиме. Это значит, что почти всё сделают алгоритмы «Вавилона», хотя и самим придётся расставить некие якоря так сказать, для решения спорных ситуаций. Впоследствии же «Вавилон» сможет переводить по этим словарям, как говорят художественно и даже «догадываться» о том, что нечто перевод другого самостоятельно. Но если это были не художественные книги, а языки программирования, то проблем тоже не возникнет. Основное правило таково, если используется правило Z, то перевод с языка A=R, а потом с R=A даст нам исходный текст. Это кстати следует из алгоритмов «Вавилона.

По идее, я должен бы сейчас выдать кучу схем описывающие таблицы и запросы релятивной базы данных, описать функции, алгоритмы, принципы действия, но…

Но это вообще то раздел CandleMan, так что не буду его больше засорять. Просто удовлетворял любопытство Sardar. На самом деле проект «Вавилон» можно сказать банальная программа, а возникающие в ней огромные возможности, в основном лишь следствие уже существующих текстовых данных.

Интересно было прочитать "некоторые мысли", но к сожалению, 
имеет место быть полная утопия в Ваших рассуждениях.

И в том и в другом случае, необходимо иметь правила, по которым потом можно было бы, как в первом случае, строить отрезки, так и во втором "распознавать" текст, выделять блоки (логические структуры), которые затем можно было компоновать или строить из отрезков графики, кривые, поверхности и т.д.
Если существуют правила, значит их должен кто-то сформировать, и думать что это возможно в полуавтоматическом режиме - это глубоко ошибочное рассуждение. С другой стороны, если есть правила или шаблоны, всегда найдется что-то что выйдет за пределы этих шаблонов.

-----

Есть сообщество  в LiveJournal,  где регулярно появляются ссылки на статьи, посвященные проблеме "Управления знаниями". Там собраны ссылки как на чисто теоретические рассуждения, так и на системы, которые уже реализованы на практике. Очень рекомендую.

Там же есть моя заметка о проекте, который я предлагаю создать

-----

Вы ошибочно думаете, что я не знаю как реализовать свой проект.
Наоборот, у меня есть действующая система, только выполнена она в самом упрощенном варианте.
Я могу представить, свои выкладки и алгоритмы реализации. 
Для этого необходимо единственное условие - действительное желание принять участие в проекте, 
а не рассуждения: реально-нереально.

Knowledge system это вроде как хранение данных и "размышление", разве не так? По твоему описанию вижу что это переводчик, просто переводчик 

Получается разбиваем текст на слова (возможно через стеммер для словоформ), но я так и не понял как система "понимает смысл" этих слов. Есть "логические структуры", которые не известно как создаются и они по сути реализуют отображение из слов одного "языка" в другой. По любому для создания подобной логики нужно обучить программу понимать смысл слов, для этого их по любому нужно нормализовать в в некие формальные термины (или есть другой метод?). Сами термины по любому должны связываться в классы "существительные(что)", "прилагательные(какой)", что бы программа могла оперировать и "понимать" их смысл. Или хочешь просто некой магией сопоставлять одни слова/конструкции другим из разных языков, но тогда программа будет выдавать полную чушь и главное не сможет восстановить текст из внутреннего формата. Впрочем современные переводчики тоже генерят чушь, так что об этом можно задуматься 

unicuum, твой пост годиться для рекламы (мы можем! но никому не скажем как!), но никак не для описания идеи. Держи свои идеи в секрете на здоровье ;)



Вообще-то нет, вводимая инфа проходит через "нормализатор", который действительно собирается руками. Это парсер (вероятно на контекстно зависимых грамматиках), который из текста генерит цепочки формальных терминов, именно в нём идёт распознавание класса термина (что, какой, делать и т.п.). С этим не плохо справляется "проверка грамматики" в Word 

Сами формальные термины и есть отрезки, система пытается понять текст и расположить отрезки правильно в многомерном пространстве. Расположение отрезков отображает отношение его к другим, рядом стоящим отрезкам, так что бы "идти" и "передвигатся" стояли где то рядом (семантика). Отрезки как бусины связанны "ниткой" с другими терминами оригинального текста, которые в свою очередь могут находиться где угодно. Действительно должна быть некая функция, понимающая "смысл" терминов и распознающая правильное положение отрезка в пространстве. На первых порах для этого подойдёт словарь синонимов, затем (в идеале) система сама должна "размышлять" об эквивалентности/следствии между разными терминами.



Ты бы демку показал, да с описанием возможностей. Ну и конечно точное определение "системы знаний", потому как в разных кругах это можно видеть как от переводчика, до искусственного интеллекта.

Это в чьих же у Sardar или в моих?


Для физических структур правила сформированы, мною уже говорилось, что я делал программу, хотя она была несколько специфична. А что до правил логических структур, то тут дело сложнее, впрочем, над этим подумаю потом, я же ещё не приступал к этому проекту. И никаких графиков мой будущий проект по любому строить не будет, основная единица для него символ. Пусть даже и в различных кодировках символ всегда останется символом.


Полуавтомат для текста работает хорошо, просто ты сам ни разу не пытался его реализовать, но факт, он работает. Работает даже полностью автоматический режим, я делал подобную прогу много лет назад, алгоритмы довольно таки простые.


Может когда-нибудь и посмотрю. Просто пока нет желания читать теории, да и даже практические изыскания. Пока предпочитаю наблюдать за уже работающими системами, на вроде переводчиков, баз знаний и так далее.


Прочитал. Что тут сказать, как тебе уже сказали – это обычный поисковик.


Кто так сказал? Я думаю, знаешь, и мне не нравится то, как ты собрался воплощать идею в жизнь. Потому и не горю желанием присоединится.


Не знаю, я ни разу не сказал, что это не реально. Наоборот реально, то, что ты хочешь сварганить мало того, что реально, но и банально.

Вот они, четыре таблицы:



Из того, что я вижу можно сварганить лишь самый обычный граф, где всё может быть связано со всем, а у элементов есть атрибуты. Почему же в таком случае у связей нет атрибутов? Не нужны? Ну не нужны, так не нужны, однако сути это не меняет.

Смотрим вырезку из твоего описания базы знаний.

А хрен тебе, уж простите за грубость. Ты же сам тыкал статью из Wiki про онтологии. Смотрим цитату:


Тебе разъяснили, что такое экземпляр, но вот беда статья оказалась не законченной и об остальных трёх составляющих ни слова. Так вот СЛОВО это экземпляр и оно вовсе не определяет то, о чём идёт речь. Более того, даже комбинация слов этого не говорит. Смысл определяет понятие, понятие это то, что все понимают одинаково, или по крайне мере должны понимать одинаково. У одного слова может быть много понятий, как и одного понятия много слов, и не только слов, это может быть фраза, предложение, книга, да что угодно. Но мы то не можем оперировать чем угодно, для этого и вводятся форматы. Для упрощения скажу, что когда я говорил физическая структура, я имел в виду экземпляры, а когда логическая – понятия. Причём под структурой подразумевался способ работы с ними.

Да что тут говорить то, прыгать надо... Делай, кто тебе мешает то. Пока что у тебя создан класс Nodes, слышал о таком? Он в базе данных, но в остальном то же самое, более того, то, что у тебя в базе можно перевести в него и наоборот. Узлы как известно хранятся в куче. Что это даёт? А что хочешь, то и даёт, класс то универсальный, тот же древовидный список на нём строится. Вот ты говоришь, у меня есть опыт, у меня есть опыт, но твой опыт это просто древовидный список. Сейчас же два способа используют, или древовидный список с абсолютными путями, или категории, и то и другое можно сочетать.

В общем, к тебе не хотят присоединяться те, которые ничего не понимают, потому что ничего не поняли, и те, кто поняли и потому не хотят присоединяться. Я отношусь ко второй группе.