Граждане джентельмены и леди,
Имею задать вопрос,
или прозьбу.

Дело такое. Есть желание написать программу-собеседника, но из знаний языков только делфи и Си, проблема в том что не знаю их на должном уровне ()классы, указатели, функции и процедуры() не знаю их ()
Идея такова.

Нейронная Сеть (по слухам 30 на 20 на 20 нейронов трёхмерная). Разговаривает в текстовом режиме. 
Ума не приложу как это сделать. Но надо самообучающуюся программу. Для души и для мозда, так сказать.

Ищу помощи, Заранее спасибо за предоставленную информацию,
и заранее извиняюсь за то что вдруг чтото не туда написал.
Если нужен буду пишите

Test66(собака)mail(точка)РУ

Тогда рекомендую с С/С++ и не связываться, т.к. изучение тонкостей указаного языка заберет времени больше, чем изучение основ AI 


 
Помоему это ультра-мега нейронная сеть (далее НС) получиться, сколько ж она обучаться то будет?  И чем?



Могу ошибаться, но суть не в том в каком режиме она "разговаривает" (это как бы тонкости реализации), а в том на что (какие типы и сколько градаций) входных сигналов она должна реагировать...



Есть специализировыный софт по построению НС, среди прочего MatLab, Ne*ro Pro (вместо звездочки не помню букву). Ну и как бы google никто не отменял 



Я здесь сам недавно, но мне кажется, что пока стоит вопрос о реализации средствами С/С++ - значит написано туда... 

Спец софт пытался рассмотреть, большенство рисует только общую схему, а не саму нейронную сеть.
Поэтому я и пришёл суда (на форум).

Смысл в том что 30 на 20 на 20 - входных потоков не так много - в верхний слой, а он 30 на 20, и не такой уж большой,
вот и пытаюсь сообразить - как реализовать. в гугле нашёл только библиотеки и некоторые кривые реализации, которые после всех исправлений выдают ошибки линковки, которые нереально исправить. если что, вечером могу скинуть вариант. Только в нём нет блока "общения".
А это важно.

  

Это сообщение отредактировал(а) Lazin - 19.9.2008, 08:29

Во-первых, обязан отметить, что повторное изобретение изобретённого - путь тернистый и обильно усеяный граблями (это из личного опыта). Т.е. я глубоко убежден, что подобная проблема уже решена, просто нужно повнимательней поискать...

Во-вторых, поскольку сообщение написано на форум по С++ позволю себе подискутировать (пока не подтянулись ребята со звёздочками  ).

Язык С++ поддерживает объектно-ориентированую парадигму программирования и в нём есть реализована поддержка пользовательских типов данных - классов. Объекты класса (объединённый одним именем набор данных и функций (очень отдалённое и неточное определение (прим. авт.)) как нельзя лучше подходять для реализации нейронов. Т.е. весьма несложно описать на С++ класс, объекты которого хранили бы в себе данные о "весе" о переходах и имели в своём составе функцию по обработке входного сигнала. Более того язык С++ позволяет создать контейнерный класс, в объект которго можно поместить все нейроны (т.е. собстенно НС) и что сделает абстракцию более естественной.

Вопрос в следующем, кто это всё будет делать?  Вы? Я пытаюсь учить С++ вот уже три года и я уже знаю, что такое классы, указатели и функции, но к сожалению данный язык открывает новые горизонты  такие как указатели на функции, функторы, шаблоны, виртуальные функции, перегрузка (причем это ещё не самое страшное) и многое многое другое... Чего только стоят конструкторы с деструкторами  . Безусловно мои "достижения" это не показатель, но тем не менее рекомендую принять этот факт во внимание.

И в заключении. Глубоко убежден, что Вы изобретаете велосипед... Не в смысле, что зря хотите создать такую программу, а том смысле, что пытаетесь её создавать "с нуля". Ещё раз хочу обратить Ваше внимание на более углублённые поиск информации по данному вопросу, а так же использование проблемно-ориентировыных инструментальных средств.

а кто мешал поискать?  
http://sourceforge.net/projects/nnetlib/

Спасибо, поковыряем

Поковырял.
Жентельмены, продолжаем обсуждение.

Хотелось бы так кроме библиотеки понять что к чему в проблеме написания программы-собеседника, способной  к самообучению

Начинаю изучать нейроные сети. До сих пор не сталкивался. Спасибо автору темы.

используя нейронные сети на С++ я написал программку, которая способна распознавать и классифицировать графическую информацию, так же её можно использовать для классификации текстов по смыслу (тоесть физика, худ.литература, философия и т.д.). также её можно использовать для прогнозирования событий на основе имеющихся знаний.

собсно вопрос к автору топика, Вы имеете хоть какое то представление о том как можно использовать аппарат нейросетей чтобы получать от программы осмысленый ответ на конкретный вопрос (т.е. сделать собеседника). я порядка двух лет изучал нейросети и не имею ни малейшего представления как это можно сделать.. если таковые мысли есть то было бы неплохо их здесь услышать хотя бы в общих чертах   

Это сообщение отредактировал(а) shara - 19.9.2008, 19:40

shara, Привет! Просьба - Могли бы вы выставить код вашей программы для ознакомительных целей.
Я выше писал, что хочу изучить это направление.
Спасибо  

Представление очень приблизительное, но такие варианты имеются,
Ведь Нейронная сеть способна к обучению, а следовательно и она может "понимать" текст, таким образом мы имеем цель и некоторые средства, например Библиотечка, приведённая выше.
Плюс в гугле есть некоторые примеры с библиотеками под Дос.
Цель - программа-собеседник, естесственно с исходным кодом, ибо необходима возможность её редактировать и управлять работой сети.

Позволю себе не согласиться. Обучение нейронной сети это не обучение не в смысле "обучение" искуственного интелекта или "обучение" человека, а формирование таких связей и таких весов, что бы при срабатываниии функции активации при заданом пороговом значении мы получали бы заданый выходной сигнал. Для этого  существуют обучающие множества, состоящие из заведомо истинных продукций. Т.е. НС не сможет на "Будь здоров" отвечать "Спасибо". Задача НС отвечать "Будь здоров" на "Пудь здроров", "Будс здоров" и т.д.  Думаю идея ясна. Это всё чистейший оффтоп!

По сути:
1. На библиотеки и с исходным кодом Вам любезно указал Lazin.
2. На вопрос о возможности реализации НС средствами С++ я Вам дал утвердительный ответ. 
3. Для дальнейшего продолжения дисскусии shara весьма обосновано требует уточнить постановку задачу.

По многочисленным (в колличестве двух) просьбам,
уточняю постановку задачи.

имеем нейронную сеть (имеем - в смысле примеров очень много по её реализации)
порядка нескольких тысяч нейронов.

Как всем присутствующим известно есть сети способные распознавать образы.
Необходимо чтобы сеть распознавала не образы а текст с последующим ответом на него, ответ выстраивается сам сетью,

Проще говоря сеть с нуля учит язык - как ребёнок, не умеющий говорить.
Как объяснить это подругому - слабо себе представляю

Рекомендую обратиться к ДобренькомуПапаше.
Судя по тому какие он темы подымает, я думаю, ему будет чем с Вами поделиться...

http://forum.vingrad.ru/forum/topic-228465.html

Премного Благодарен

То
andrew_121, 
с выдачей исходников существует одна проблема, программу писал на MS VC++2005,   и сам проект занимает около 50 мегабайт. отдельно реализованнго класса у меня нет (я тогда только вникал в суть ООП и изяшного решения не получилось) весь алгоритм работы программы довольно таки тесно переплетается с рисованием окон под Windows. могу прислать весь проект целиком на мейл или только основный Сишные файлы с хедерами

То
Gluttton, 
алгоритм обучения о котором Вы писали называется алгоритм обучения с учителем, позволю себе заметить что существуют алгоритмы обучения НС без учителя - тоесть без заранее подготовленых примеров.  


То
XpideX, 
саму идею я понял еще с самого начала... я хотел спросить о более конкретном алгоритме, о том как Вы хотите "учить" нейронную сеть "говорить по русски"
хотя тема меня интересует и я с удовольствием прийму участие в реализации такового продукта (говрилки) если появятся стоящие идеи
а пока рекомендую вам ознакомится вот с этой статейкой: http://mechanoid.narod.ru/nns/classifier-text/index.html более лучшего описания идеи работы НС я не встречал

To shara



Полностью с Вами согласен, но т.к. с алгоритмом без учителя мне сталкиваться не приходилось , то и сказать я о нём ничего не могу.

To XpideX



А я вот так и не понял . Опишите своими словами, что Вы хотите получить вообще? Какие(ую) задачи(у) должна решать проектируемая программа. Хотя бы в первом приближении. (Ответ "не знаю" существенно затруднит возможность помочь Вам  ).

И опять-таки класификатор реализованый по ссылке предоставленной shara не "разговаривает", а скорее предсказывает... Иными словами, "своего" текста он не "генерирует". Если ошибаюсь - поправте.

Gluttton, 

все правильно, только я бы сказал не предсказует, ее, сеть, ДРЕСИРУЮТ реагировать определённым образом на заданное воздействие. и определено есть проблема: как конкретно дрессировать НС на осмысленый текст. я над этим одно время думал но так ни к чему и не пришел. 




определено нужен алгоритм или хотябы общие идеи как сие можно сделать

Это думаю тут все в курсе. Просто обучение без учителя не подходит. Думаю объяснять не надо почему.
Нам надо чтобы программа образовывалась в процессе подачи ей текста. в виде короткого предложения.
Шаманство    не правда ли?

Это сообщение отредактировал(а) XpideX - 20.9.2008, 21:47

Настаиваю!



Ну в самом деле, сколько можно людей за нос водить?!



Побойтесь Бога, "программа образовывалась"!   

Сколько ребенок учится говорить? По идее у Вас займет столько же время на обучение при условии, что Вы правильно выберете модель...

Программа, вероятно, обучается намного логичнее чем человек. И быстрее идёт обработка данных, отсюда же, по идее научить программу осмысленно отвечать на вопросы простые может уйти около дня, не больше.

Добавлено через 7 минут и 10 секунд

Опечатался, бывает
*Программа обучалась в процессе подачи ей текста*

мне кажется или это сродни "Как всем присутствующим известно есть молотки способные забивать гвозди.
Необходимо чтобы молоток  не забивал гвозди а плавил их на металл а потом из него отливал космический челнок".

Добавлено @ 07:59
Топик стартер, сколько чат ботов ты уже изучил? Я имею в виду их внутреннее устройство.

Это сообщение отредактировал(а) Mayk - 21.9.2008, 07:59

что-то тема топа все дальше и дальше уходит от сути вопроса... 
а реально мы имеем алгоритм роботы нейронных сетей который можно использовать для создания обучающихся (замечу что на РЕАЛЬНЫХ примерах) программ. Тоесть алгоритм обучения и весьма эффективный есть, проблема только в том как подавать программе информацию для обучения тоесть что мы имеем на входе и что хотим получить на выходе

Я помню, когда проходил курс по нейронным сетям, то препод говорил, что да методика использования нейронных сетей решает очень широкий круг задач и практически универсальна, если вам удастся ее обучить, вся проблема, что на обучение у вас может уйти огромное количество времени. Судя по сроку который вы установили выходит что либо Вы ее собираетесь мало обучать либо явно переоценили возможности современной компьютерной техники. (Хотя может вы собираетесь объединять компьютеры в кластеры для решения этой задачи) Вам же посоветовали для начала поставить MatLab, там уже все реализовано.

Скажем так, МатЛаб качается, шатается и трясётся с торрента.

Попробуем что за зверь.
Может пойдёт, а если пойдёт - поделюсь.

Если кому интересно, вот ссылочку нашёл по теме

http://www.orc.ru/~stasson/neurox.html

это как?

To 
Lazin,
под алгоритмом работы нейро сети следует понимать процесс изначального обучения с дальнейшим ее использованием в качестве одного из элементов для принятия решения. выше я давал ссылку - там все расписано более детально и на понятном уровне

Прошу прощения, отсутствовал на форуме и не смог отвечать на интересную мне тему оперативно. Итак... 

MatLAB - кал. Дорогостоящий программный комплекс(50 000 у.е. - н...я себе цена, "венда" курит в сторонке) цель которого подавить математическую грамотность подменив ее готовыми шаблонами. Нифига там хорошего нет, включая пакет для нейросетей (и для вейвлетов, кстати, тоже). Сложность изучения ~ Basic. Толку - "0". Запусал, смотрел - выбросил как аку после разговора с коллегой который нифига не понимал в работе qPSK детектора, но все время ссылался на MatLAB....  Если нужно прост запускать .m скрипты, то есть много GNU инструментов.


круто...


А Вы себе представляете порядок этой сети???

Круто. А Вы имели удовольствие посещения ВУЗа? Об диалектическом материализме наслышаны???

значит далее по-теме. 
Ребята - вы знаете что такое коррелятор??? Если не знаете то прошу вас, не стоит и соваться в AI. Во-первых осознать работу такого нехитрого прибора(или мат операции, как угодно) не представляет трудности, но если не получается то до AI еще рано. Во-вторых это основа математической формализации операции "распознавания" - отсюда "растут ноги" всех теорий в этой области. В-третьих - простейший нейрон, персептрон - недалекий родственник коррелятора и FIR-фильтра.

потом... думаю ни для кого не секрет, что вся математика проистекает из теории множеств. ИИ и ИР ни, что иное как взаимосвязь этих множеств через определенные правила взаимодействия - операторы. Так вот нейронные сети это "узкое" подмножество такого множества (  завернул, да). И абсолютно не оптимальное для сегодняшнего "мейн стрима" архитектур ЭВМ. По-сути нейросети - это модели, как, например, можно смоделировать аналоговый детекторный приемник на компьютере. И подавая семплы со звуковой карты(а сейчас они могут принимать частоты порядка сотен килогерц) мы даже можем получить "адекватный" выход такой модели - например мелодию передаваемую по радио. Но... Но это полюс не оптимальности. На практике так не поступают, никто не моделирует диодный детектор, и RC цепочку (составляющие аналогового детекторного АМ приемника) а выделяет математические абстракции как можно более близкие к теории информации, и подгоняет их под реализацию удобную на той или иной платформе(для АМ, например, квадратура, и sqrt(I*I+Q*Q) с помощью полинома, если кто сведущ в ЦОС). Потому нейронные сети имеющие огромное значение для биологии и бионики(как объективная реальность - предмет изучения, для тех наук) занимают все-таки очень скромное место в перспективах ИИ и ИР, и более подходят для геймерских контор, где нет ни ресурсов, ни времени прыгать в пучину теории, а максимальная отдача от железа требуется разве что на уровне графики. Иными словами НС - это формализация решения определенного круга задач при помощи определенного вида машин (нейрон - абстрактная машина, как например стековая Java на х86 процессоре, а нейросеть, сет таких ЭВМ). Оптимальный результат(но не факт, что максимальный) от этой концепции может быть реализован только в случае аппаратной поддержки(спецпроцессоры или ПЛИС). Но для современного мейнстрима (x86, ARM... etc) это тупиковый путь.

 Для тех кто видел толстые(Хайкин), или хотя бы достаточно глубокие(Осовский, очень рекомендую) труды по нейросетям скажу - глубокие книги это это не показатель актуальности или перспективности. Если пороетесь в библиотеке то обнаружите труды по паровым двигателям изложенные на очень высоком уровне требующем десятилетней акадэмической подготовки в области математики. Но это не значит, что нужно повернуть прогресс вспять, и выбросить ДВС из грузовиков и электромотор из бритв заменив, хорошо описанным паровиком.


я не знаю, кто Вам это сказал, о 30x20x20, но это бред. Противоречит, самому понятию теории информации проистекающему из банальной комбинаторики(даже сели тип данных будет float, Вы все-равно вынужденны будете ограничится конечным (малым по сравнению с float) числом состояний автомата. Я о-о-о-очень сомневаюсь, что множество состояний сети покроет множество конструкций русской(украинской, английской, японской ... etc. речи). А мистики от математики ожидать не стОит  .

Всем удачи. С удовольствием поспорю на тему АИ...  

а аналог пакету Simulink существует, в gnu варианте? не докапываюсь просто интересно %)

Добавлено через 10 секунд
зы
работающий

DRUID3,
если я правильно помню теорию, то коррелятор, такой девайс способный математическим путем уменьшать избыточность человеческой речи. затем полученная информация передается по каналу связи а на приемном конце восстанавливается таким-же коррелятором. выиграш в скорости и по пропускной способности в таких каналах, использующих корреляторы весьма значителен но при этом голос говорящего становится "металическим" теряет свою индивидуальность и невозможно распознать говорящего. но суть не в этом, задача  не речь распознавать, всмысле не человеческий голос, а напечатанный текст. 

shara, по-моему, ты говоришь о свертке сигналов   

2Lazin
sciLab - очень рекомендую - мульиплатформенность, множество функций, несколько pdf учебников на русском языке, конвертация .m скриптов с свой формат, есть аналог Simulink но не совместимый - последние 2-а пункта потому как некоторые умники будут юзать пиратский matLAB, а говорить, что использовался sciLab. В будущем ожидается поддержка конвертации скриптов в C и наоборот(!). 

2shara
Вы ее не то, что не помните, Вы ее и не знаете  . Без обид, всегда нужно с чего-то начинать. То, что Вы описали есть поверхностное словестное описание вокодера(состав которого может входить и коррелятор в виде там FIR-фильтра, например). Но это совсем разные и не связанные вещи - как "жигули" и аптечка   . Про корреляторы (и светкти   ) я немного писАл, но рекомендую Юкио Сато. ЭТо просто бестселер по вводному курсу в маттеорию ЦОС. Я когда-то тоже сидел на теорвере(приечем это понятие ине из теорвера, просто в институтах ее "подают" именно тогда) и как макака выписывал формулу корреляции в интегральном виде. И думал, что за урод понапридумывал такой галиматьи. Но оказалось все просто, доступно даже школьнику. Вобщем всем рекомендую.

2Cycle
И Вам...  Ибо хоть коррелятор это почти свертка, но уж никак не вокодер)))

То DRUID3, 
точно, вокодер... вспомнил   
но вот что никак не пойму, причем тут ИИ и корреляция сигналов?

Не читал, но осуждаю?    

Кхе Кхе. Граждане Жонтальмены, мы ж это самое, звук обсуждаем или набор текста в строке с последующим нажатием на Энтер???
чёт я не врубилсо

XpideX, во во

DRUID3 уж будьте так добры объяснить свою точку зрения

Это сообщение отредактировал(а) shara - 26.9.2008, 17:49

Интересная тема...  

Сам только читал теорию по НС, куда применить реальных задумок не придумал... Все реализовано до нас... А теперь работа - дома на компьютер смотреть противно , особенно программировать .

Из того, что мне известно предложенный вариант (см. цитату) реализовать практически невозможно, по крайней мере одному и в приемлемые сроки. 



Могу предложить следующий алгоритм:
1. Есть словарь содержащий слова, например русского языка. А также содержащий наиболее часто встречаемые словосочетания и предложения. Возможно несколько словарей: слов, предлогов, терминов, смайликов, словосочетаний, предложений и т.п.
2. При приеме сообщения текст анализируется, выделяются объекты из словаря.
3. На вход НС подаются не набот букв, а набор объектов словаря.
4. На выходе получаем опять же набор объектов словаря, которые компануются в текст.

Удачи...

Добавлено через 11 минут и 10 секунд
P.S.Если хотябы это будет реализовано, AI обучен, можно идти дальше: при обнаружении неизвестных слов, устойчивых выражений, подавать их в сеть не как объект "неизвестное слово", а добавлять в специальный словарь если оно часто повторяется добавить в какой либо из основных словарей. Учиться перенимать стиль составления предложений собеседника, обучаться на его основе.

P.P.S. Учти, что при анализе текста понадобится проверка правописания...

Gwendolen,
неплохая идея..
допустим даже можно убрать из текста зараниее не информативный слова такие как А, И, ИЛИ, ПЕРЕД ТЕМ КАК и тому подобные... также можно все слова привести в начальную форму например: стулья -> стул.

но этого мало, нужны идеи по обработке текста(получения смысла, знаний) называйте это как угодно, непосредственно самой сетью

Это сообщение отредактировал(а) shara - 30.9.2008, 19:41

Вашими устами глаголит истина. Вы единственный помоему кто понял задумку

Во многом согласен, но суть вопроса не в оптимальности, актуальности или перспективности. И потом, вы не предлагаете альтернативного решения, т.е. по сути предлагаете закрыть тему(?). Могу предложить куда более короткие формулировки, прекрасно подходящие для этой цели. Зачем зря топтать клавиатуру?

По теме - считаю правильным преобразовывать вводимый текст в последовательность звуков. В частности это позволит привести слова "привет", "превед" и "privet" к достаточно близкой для отождествления форме и хранить их в одном словаре, если хочется их использовать.

Неинформативные слова - это как? На мой взгляд не нужно ничего исключать и приводить.
Знания сети - это веса связей, а смысл иллюзорен  Выдаваемые сетью ответы будут реакцией на входные данные, и все.

Граждане, МОжет есть у кого ещё какие идеи?

XpideX, 
у тебя то у самого есть что-то? 

ТЕМА РЕАНИМИРОВАНА  

  Разговор на тему загнулся. Я так понимаю решения никто не нашел.   Что слабо?   
Ладно, шучу. Без обид.
Написать нейросеть для распознавания изображения, голоса, тематики текста или что-то такое - это все из области изобретения велосипеда.  Получить нормальный разговорник в полном понимании этого слова - это пока из области фантастики. Это еще никому не удалось. Проблема не в объеме нейросети, хотя это тоже проблема. Вот у человека в мозгу 10^11 нейрон, каждый имеет от 10 до 1000 связей. Если провести аналог биологического и программного нейрона, то получится, что для их соответствия вес программного нейрона должен быть наверное пару мегабайт. Это из-за разнообразия в органике. В нейроне образуются различные соединения, к тому же из количество может быть различным. Прикиньте, по 16 байта на адрес нейрона - 10^11 * 16, по 16 байт на связь - 500 * 16, по 2Мб на вес. Итого 10^11*16 * 500*16 * 1024*1024*2 = 26 843 545 600 000 000 000 000 Байт.    Да тут 128-битная система нужна (у нас пока максимум 64-битная).
Но программируя нейросеть мы, во-первых, решаем конкретную узкую задачу, а во-вторых, можем упростить работу сети, подавая ей слова уже в виде символов текста или номера из базы (как предлагал Gwendolen). Это значительно, на много-много порядков уменьшит размер сети. Но главная проблема таится в другом. Сразу приведу пример. Допустим вы написали сеть и обучили ее на умение давать "правильный" ответ на разные вопросы. Я сяду работать с вашей программой и через минуту введу ее в ступор:

Я: Привет, ты кто?
ИИ: Здравствуйте, я X#$^% - программа для имитации разговора.
Я: Что ты делаешь?
ИИ: Я разговариваю с вами.
Я: А зачем?
ИИ:      
         Теперь курить можно и здесь   
И дело не в том, что сеть не сможет найти ответ на вопрос: Зачем она со мной разговаривает. Дело в том, что она не поймет вопрос. Ведь если бы я спросил: А зачем ты со мной разговариваешь? Уверен, она нашла бы что мне ответить. Но спросил я именно: А зачем? Что вы ответите человеку, который подойдет к вам на улице и спросит: А зачем? В данном случае само понимание вопроса (интерпретация входных данных) зависит от прошлого опыта.
Вообще проблема решаема. Просто ее решение слишком требовательно к ресурсам. По сути, формируя и усложняя сеть, мы опять же придем к подобию мозга, где каждый раздел сети решает свою подзадачу. Для организации реалистичного разговорника, думаю, понадобятся компов 300-600, хороших современных компов объединенных в высокоскоростную сеть.
Более добавить по теме ничего дельного (если считать, что то, что я сказал, дельное) не могу. Сам еще до конца не разобрался. Да и топикстартеру это не нужно. Советовал бы начать изучение ООП с чего попроще. Опять же, без обид. Но учиться ездить сразу на гоночном каре F1 – плохая идея.

Это сообщение отредактировал(а) sibedir - 5.12.2008, 23:33

sibedir, 
не согласен с Вами, 
само понятие обучения сети подразумевает то что она может задавать вопросы для получения новых знаний или уточнения предыдущей фразы. и в дальнейшем использовать полученный, так сказать новоприобретенный опыт. 
короче говоря на вопрос "А зачем?" никто не мешает задать вопрос "Что "А зачем?" ?" или подобный. Может быть поведение сети будет не совсем автентичным с поведением человека в такойже ситуации, но согласитесь - это вполне реальный выход из положения. 
ИМХО, проблема не в том что сеть можно загнать в ступор вопросами(это можно сделать и с реальным человеком), более насущная проблема это найти приемлемый метод обучения - который при определенной машинной базе будет гарантировать определенные результаты ... повторюсь ИМХО

в общем чем больше мнений тем больше шансы того что придем к общему знаменателю 

"Не совсем" - это мягко сказано. Представляю эту беседу:
Ч: Привет, ты кто?
ИИ: Здравствуйте, я X#$^% - программа для имитации разговора.
Ч: Что ты делаешь?
ИИ: Я разговариваю с вами.
Ч: А зачем?
ИИ: Что значит "зачем?". Поясните вопрос.
Ч: Ну зачем ты разговариваешь?
ИИ: Для осуществления беседы. Это моё основное назначение.
Ч: Ну и как?
ИИ: Что значит "Ну и как?". Поясните вопрос.
Ч: Тебе удается разговаривать?
ИИ: Вас интересует как мне это удается или наличие самого факта разговора.
Ч: И то и другое.
ИИ: Что "И то и другое". Поясните вопрос.
...
Вообще, если честно. Даже такого разговора не может продемонстрировать ни одна из существующих программ, конечно если он не заложен в нее алгоритмично. Мощностей не хватает. Хотя, прошу заметить, это полноценным разговором назвать нельзя.


Соглашусь. Но только с тем, что полностью уподоблять ИИ человеку не стоит.

Вообще, я имел виду, что заниматься этим сложнейшим вопросом вот так, не имея никаких идей, по меньшей мере бессмысленно.

Не знаю, что вы имели в виду под ИМХО. 

Метод обучения зависит не от задачи напрямую. Он зависит от структуры связей, от модели нейрона, от формата входных и выходных данных, в общем, от структуры сети в целом, которая в свою очередь напрямую зависит от задачи. Так что метод обучения искать не нужно, он производная от структуры. А вот организовать саму структуру – вот это я понимаю проблема. Если для вас это не так, то попробуйте меня переубедить. Или, может, вы знаете кого-то, кто сумел это сделать на том железе, что имеется сегодня.

Вот вам моё ИМХО. На современном оборудовании (даже самом современном), пользуясь имеющимися алгоритмами нейросетей НЕВОЗМОЖНО создать полноценную программу-собеседника. То, что можно на сегодня сделать, это убожество достойное только места в цирке, развлекать посетителей. ИИ, в том понимании, в котором он встречается в наших фантазиях, там и останется, пока не появятся принципиально новые взгляды на создание нейросетей и принципиально новое оборудование.

Ну как, есть желание продолжить увеличивать наши шансы? 
Или может новую темку заведем?

Это сообщение отредактировал(а) sibedir - 6.12.2008, 14:03

Как то около гда назад была мысль ради интереса попробовать реализовать говорилку,
вот только вместо нейросети думал создать базу вопрос-ответ (или несколько ответов),
а программа при встрече с незнакомым вопросом/фразой запоминала бы его, а потом
говорила бы сама и смотрела реакцию, но дальше мыслей дело не зашло. 

последнее больших проблем не представляет к реализации главное время на нее,
а вот насчет собеседника ,надо имхо создавать полностью самообучающуюсю систему а не ее имитацию имхо

ну давайте попробуем, сформулируем требования к системе, например:
1. запоминать реакцию на фразы
2. как быть с БД
3.....
давайте сформируем требования сначала! какой она должна быть! каждый свое мнение высказывает! можно фантазировать)))

не читал тему с начала, но как я помню нейросети умеют только определить к какой области пространства входных данных принадлежит точка входных данных. При чем тут мозг человека?

2 GoldFinch
Можешь не читать тему с начала, но вот, если хочешь разобраться с нейросетями, литературку почитать придется или хотя бы вот это
http://ru.wikipedia.org/wiki/Нейросети

На счет собеседника
Создать собеседника на нейросети у нас с вами не получится. Средствов не хватит.
Имитатор разговорника ч/з БД - отстой. Даже браться не хочется. Слишком просто в исполнении, никакого интереса, и слишком тупо в применении, никакого полезного результата.

Если действительно хочется попрактиковатся в нейросетях, то решать лучше простейшие задачи. Скажем так, однолинейные. Т. е. те задачи, где не пришлось бы создавать группу взаимосвязанных сетей (супермегасеть) к коим относится "собеседник". Для начала можно создать сеть по распознаванию образов: символов, фигур. Или сеть классифицирующую содержимое картинок. Если очень постараться, то можно создать сеть распознающую наборы циферок, кторые иногда требуется ввести при регистрации или скачивании файлов.

sibedir, я читал литературку и как я понял, нейросеть задает разбиение пространства входных данных плоскостями на области, и на каждую точку входных данных выдает в двоичном коде область к которой эта точка принадлежит, разве не так?)

sibedir, 

читаем внимательнее
  --->> это уже все есть

а вот  Dmi3ev, дело говорит. для того чтобы что-то начать делать нужно сформулировать общие принципы


самое первое это формалицазция задачи которую мы хотим поставить сети. не в виде "анука ответь как мне на вопрос..." а конкртно: что будет подаваться на вход сети и что должно быть на выходе.
для этого:

•  придумать способ подачи текста на вход сети.
  тоесть слово или целове предложение целиком нужно представить в виде виде сигнала(или сигналов) в диапазоне [1..0]. насколько я знаю нейронные  сети(во всяком случае известные мне) работают только с такой входной информацией
  
  ...надеюсь мысль понятна
  
•  какова будет реакция сети на определенное входное воздействие (входной сигнал)
  
•  сеть нужно как-то обучать. но об этом позже. думаю решив первые два вопроса этот решится сам собой  

если у кого есть другие идеи - излагаем, делимся мнениями

Добавлено через 2 минуты и 59 секунд
GoldFinch, 
именно так. и ее способность к обобщению данных является весьма и весьма интересной, которую можно применять во многих сферах - от предсказания погоды до использования в системах диагностики человеческих заболеваний 

Нет, не так. Нейросеть занимается тем, чем занимается той мозг. А точнее искуственная нейронная сеть - это имитация реальной биологической нейросети. Нейросети распознают номера машин с видеокамер не дорогах, прогнозируют погоду, предсказывют курсы валют.  Короче, можно сказать так, нейросеть с определенной долей вероятности подбирает правельный вектор выходных данных (Y1, Y2...Ym), для определенного вектора входных данных (X1, X2...Xn).

Добавлено через 3 минуты и 58 секунд

Сори. Я просто подумал, что Dmi3ev говорит про разговорник на основе БД "Вопрос-ответ". 

sibedir, вы верно перечитали псевдонаучных статей или вы биолог по образованию?
я вам о математическом описании нейросети, а вы мне про мозг)

"нейросеть с определенной долей вероятности подбирает правельный вектор выходных данных (Y1, Y2...Ym), для определенного вектора входных данных (X1, X2...Xn)" 
да что вы говорите?) что оно получает входные данные и выдает выходные? да еще и с некоторой ошибкой?
а при чем тут нейросеть? про что угодно можно сказать что оно принимает входные даные и выдает выходные %)
а внутри-то у нее что происходит?

если вы говорите что я дал неправильное описание принципов работы нейросети - дайте правильное, объясните в чем ошибка, мне самому интересно

GoldFinch, http://mechanoid.narod.ru/nns/classifier-text/index.html 

и вообще настоятельно рекомендую ознакомиться всем кому сия тема является интересной. не полениться потратить пол часа на изучения сейго небольшого материала

кстати вообще предлагаю сей материал взять за основу....

shara, прочитал по диагонали. Никаких противоречий с тем что я говорил незаметил.

по статье
размер входного вектора по размеру словаря это чтото страшное...
использование частоты вхождения слов в словарь - не самый лучший подход, т.к. не учитывается корреляция слов в словаре и в тексте
да и вообще, сама постановка задачи сомнительна, тут больше подошло бы нечеткое распознавание, типа на выходе 
''спорт'' 35%, ''здоровье'' 55%, ''политика'' 1%, ''техника'' 3%, ''культура" 6%

Но это же описание нейросети классифицирующей входные данные. Этот материал ни в коей мере не сможет служить основой для решения нашей задачи.
 

Не факт. Четкого понятия о типе входных сигналов не существует, как в принципе не существует и каких либо других ограничений в нейросетях. В структуру нейросети могут внедрятся нейроны работающие как с 0 и 1, так и с целыми и вещественными типами чисел. Нейроны могут получать и выдавать даже структурированные типы данных такие как массивы или классы. Все зависит от фантазии разработчика. Именно от фантазии, потому что четких правил по созданию основного элемента сети, нейрона, как я уже говорил, не существует. Здесь можно опираться только на личный опыт и интуицию (которые тоже есть ни что иное, как результат работы нейросети    ).

Рассуждения на тему
Традиционные нейросети предполагают строго определенный диапазон входных данных. Тоесть, если сеть создана с окном входных данных длинной 100 ячеек, то каждый раз формируя входной вектор, мы будем должны определить все 100 входных значений. Допустим, входными данными будут символы. Каждый символ - 1 байт. Сложно представить себе предложение длинней 256 символов, которое при этом нельзя было бы разбить на несколько более коротких предложений. Создаем входной слой из 256 нейронов. Но предложения длиннее 100 символов на практике встречаются довольно редко. Что же делать с оставшимися 150 нейронами. Отправим им 0. Да хоть что, это не важно, главное каждый раз заполнять остаток одними и теми же значениями, чтобы сеть быстрее научилась интерпретировать их как лишнюю информацию. В итоге, нейроны оказавшиеся в конце входного вектора мало чем повлияют на ход работы всей сети.
Для решения этой проблемы можно организовать структуру сети так, чтобы каждый нейрон входного слоя сообщался с каждым нейроном следующего по порядку слоя (первый внутренний). Так мы получим распределение информации? Нет, так мы получим ее распыление. Поясню. Биологические нейросети построены таким образом, что если из них физически удалить часть нейронов, то они останутся вполне трудоспособными. Я называю это явление образом мышления. В отличии от программных алгоритмов, извлечение из которых даже незначительной части кода, приведет к полной потере их трудоспособности, нейросети обладают свойством голограммы, когда каждый элемент системы знает все ни о чем и ничего обо всем. Для достижения этого эффекта входную информацию нужно распределить по всей нейросети. Эту задачу следует поручить, как мне кажется, специальному участку сети – сети распределения образа. Главное условие – каждый входной нейрон, должен быть связан с каждым выходным нейроном сети распределения, но при этом количество связей одного нейрона с нейронами следующего уровня свести к достаточному минимуму. Только так мы сможем получить распределение информации без потерь. Если же распределить информацию слишком быстро, то мы потеряем ее информативность. На языке математики это звучит примерно так. Пусть вектор X – вектор входных данных, а Y – вектор выходных данных. В идеале нужно получить такую зависимость f(X) = Y, что при изменении любого Xi менялись бы все значения вектора Y, но при этом не существовало бы ни одной пары векторов X, при которых бы f(X1) = f(X2).

И учтите, что подобная проблема встретится не только на этапе ввода данных, но и при их получении. Ведь предложение-ответ, тоже должно быть ограничено конечных числом символов (ну или слов).

Теперь представьте, что сеть создана, и вы приступили к ее обучению. Она не знает слов, она оперирует лишь с символами. Я на 100% уверен, что в процессе обучения сеть еще очень-очень-очень-очень и очень долго будет выдавать вам белиберду вроде:
"ьВG3f4!фsa№dв Рf5?gх№ъhПёъr!@3e*п@Fаe:ыл?*оy а/zр............
Ведь, что бы научить нейросеть словам, нужна очень-очень-очень и очень большая сеть, а большую сеть долго и обучать.
Что ж, можно создать словарь и забить в него все слова (Как уже предлагалось). Нужно будет также занести в базу знаки препинания. Можно даже представить слово в виде набора индексов 1-015-365248-00-011, где первый индекс указывает на его тип (знак препинание или собственно слово), а  каждый следующий индекс – это часть слова: приставка, корень, суффикс, окончание и т.д. или номер знака препинания. Словарь при этом нужно сделать с запасом, для добавления данных, а все входные слова проверять на их наличие в базе, и если слово отсутствует предлагать исправить ошибку или добавить слово в словарь (как в Word'е).

З.Ы.: Приношу свои извинения за использование собственных терминов и непонятных определений. Я, как и вы, не являюсь специалистом нейронных сетей, и как тот чукча, что вижу, то и пою. Если что переспрашивайте.

Добавлено через 10 минут и 7 секунд


Гы-гы. Ну эт я видимо не понял, что сказал GoldFinch, но это, наверно, потому, что GoldFinch сам не понял, что сказал.   

### у вас фантазия

Как я помню, нейросеть состоит из нейронов. Каждый нейрон это пороговый сумматор, который вычисляет взвешенную сумму чисел на входе, сравнивает ее с порогом и выдает 0 или 1. Какие массивы? какие классы? У вас на входе N чисел - на выходе M бит двоичных разрядов (M бит там практически никогда не будет)

Это сообщение отредактировал(а) GoldFinch - 24.12.2008, 16:16

насчет того чтобы подавать на сеть 256 символов и получать от нее слова о_О
впринципе идея хорошая, только с такой низкой энтропией входных\выходных данных и большой размерностью входных данных ,у вас сеть будет наверное терабайты занимать, в лучшем случае
опять же обратной связи нету

это через чур жесткая мат модель , можно на выходе иметь не только 0 или 1 но и промеж. значения 0.5 0.7 и т.п.

Romikgy, как??? он же сравнивает с порогом - либо больше порога "0", либо меньше "1"
как там получить промежуточные значения? 

можно конечно просто вычитать порог и допустим както нормировать, но я хз есть ли в этом какой-то смысл %)

На счет входных-выходных данных

А где вы видели в биологии 0 и 1. Процесс сообщения м/у нейронами в реальности - это процесс образования сложных химических элементов под воздействием электрических импульсов, которые в свою очередь приводят к выработке новых импульсов. Химический элемент - ни что иное как структура, а электрический импульс - вещественное число. А то, о чем говорите вы - это упрощенная имитация описанного процесса, придуманая, кстати, еще в 50-е годы, когда о современных ЭВМ и объектно-ориентированном программировании понятия не имели. Я не говорю о том, что 0 и 1 ушли в небытие. Просто предлагаю свой вариант.
Вся штука в том, что любой нейрон, работающий даже со сложными структурированными данными, можно имитировать блоком нейронов, работающими с битами. Это упрощение не всегда положительно скажется на работе нейросети в целом. Построить из кирпича можно здание любой формы, но панельное строительство еще никто не отменял.

Я ж и говорю. С символами ничего не получится, надо сразу со словами работать. Хотя и со словами вряд ли что-то дельное получится. Я думаю она и будет весить около того, да еще к тому же в процессе обучения застопорится. Извиняюсь за такое жесткое сравнение, но вы попробуйте слепого ребенка лишонного осязания научить разговаривать. Сами слова по себе не несут никакой смысловой нагрузки без некого фона. Если вы говорите ребенку "Привет", когда появляетесь откуда-то, то ребенок поймет, что слово "Привет" - это слово, которое говорят при встрече. Так что программу придется снабдить механизмами осязания, ощущения реальности, пусть и виртуальной реальности. И при этом в разговоре оперировать исключительно доступными ей понятиями.
Кстати, хорошая идея. Можно вообще свой язык придумать простенький. Создать виртуальную среду, поместить туда сеть. Создать механизмы влияния сети на среду и наоборот. Короче, сделать виртуальный аквариум. Туда "таракана" говорящего. Во развликуха будет.     
А парить мозги создавая собеседника я вас всетаки отговариваю. Ничего не выйдет. Не для ПК задачка.

Про связь не понял, поясни.

А не обязательно их с порогом сравнивать. Можно тупо складывать, умножать, делить. Да мало ли еще операций, логических только с десяток наберется: НЕ, И, ИЛИ, НЕ ИЛИ, ЛИБО-ЛИБО, ЕСЛИ-ТО и т.п.

Это сообщение отредактировал(а) sibedir - 24.12.2008, 20:11

sibedir, обратная связь это я имел ввиду что при диалоге надо учитывать не только реплики собеседника, но и свои прошлые реплики и "мысли" (состояния)
т.е. подавать сигналы с выхода на вход

Ну да. Этим наверно и будет заниматься механизм восприятия. Имитация слуха.

http://ru.wikipedia.org/wiki/%D0%98%D1%81%...%80%D0%BE%D0%BD

Romikgy, спасибо, это я подзабыл

GoldFinch, олвейс велкаме 

Это сообщение отредактировал(а) Romikgy - 24.12.2008, 20:47

Я думаю, не сможет нейронная сеть разговаривать.

Суть нейронной сети -- в аппроксимации функции или нескольких функций. То есть, нейронной сети даётся N штук входных параметров (входов), она "думает" и выдаёт на выходе M штук выходных параметров (выходов). 

Чтобы обучить сеть, готовится обучающая выборка, то есть таблица, в которой множество наборов по N входов сопоставлены наборы по M правильных выходов. После чего, сеть прогоняется по этой выборке (есть различные алгоритмы обучения). В идеале сеть не просто запоминает соответствие между входами и выходами, но и ухватывает суть, то есть, научается правильно отвечать выходами и на те входы, которые не были упомянуты в обучающей выборке.

Чтобы сеть разговаривала, нужно "оцифровать" беседу, то есть, придумать, как математически представить реплики, обращённые к сети и реплики, которые сеть отвечает. Кроме того, нужно придумать, как сеть будет помнить контекст, если мы хотим получить связную беседу. 

Входные параметры сети должны быть плавными. Мы не можем просто закодировать каждое слово своим числом. Например, мы не можем присвоить слову "мир" значение 1000, а слову "война" значение 1001, потому что значения получатся близкие, а смысл слов, наоборот, далёкий. То есть, при такой кодировке сеть будет путать противоположные значения между собой. Поэтому, нужно учесть синонимию, а это само по себе нетривиальная задача. Скажем, представить каждое слово через набор чисел, обозначающий его близость к группе заранее выбранных synset-ов.

Далее, непонятно, как учесть порядок слов и их взаимосвязь.

В общем, мне кажется, нейронная сеть может использоваться как какой-то один блок в программе, ведущей беседу, но нельзя на неё взвалить всю работу.

Время может и не помочь: в какой-то момент сеть просто перестанет улучшать характеристики, и всё. Сколько её ни обучай потом, лучше уже не будет никогда.

Фактически, любой алгоритм обучения -- это поиск максимума многомерной функции. Представьте, что вы искали самую высокую точку на гористой местности. Шли всё время вверх и поднялись на холм. Но откуда вам знать, что именно этот холм самый высокий? Может быть, в ста километрах к юго-востоку есть высоченный пик, но ничего вокруг об этом не говорит. Вы так и застрянете на своём холме.

То же самое происходит и с нейросетью. 

ну допустим убедили, нейронные сети не самый лучший выбор. но суть вопроса остается... до осмысленного разговора с компьютером(читай с программой) нам очень далеко - тогда давайте хотя бы имитировать его, и не обязательно использовать НС для этого

Dims правильно  подметил про "войну" и "мир" - тяжело, практически нереально, описать всю многогранность человеческого языка. по этому нужно чтобы программа "училась" на разговоре с собеседником...  я видел пару скриптовых говорилок -  меня поразило то насколько связным и полным может быть диалог если программа имеет достаточную базу по теме разговора, причем эту базу можно было легко вручную дополнить самому... а если это будет каким-то образом делать сама же программа - я думаю что это будет очень прилично  смотреться


Это сообщение отредактировал(а) shara - 9.2.2009, 00:49

         Здраствуйте,
    
     Простите меня за правопис.Я иностранец.
     Идея XpideX - покрить тест Тюринга.
     Последние 25 лет я гуляю по горам и думаю как ето можно сделать.
     Вот мое определение "Что такое жизнь" :
            Каждая нейронная сеть с гистерезиснъим ввод.

    Нейронная сеть-ето мозг.Надо снабдить его с телом.Например шахматъи.Тогда емоции игръи связъивается с лингвистичнъие отметки (играюшего) и произходить процес обучения.Потом ети асоциации можно анализировать и рекомбинировать по сходству и контрасть.

Это сообщение отредактировал(а) mihend - 4.3.2009, 13:36

А кто сказал что нейросеть будет думать или тем более - разговаривать. Для думанья нужно осмысление. А "нейросеть" в сегодняшнем представлении - это хитро закрученная комбинация связного графа, суть которого - перемножать и суммировать непонятно по каким правилам (в зависимости от произвольной топологии и функций перехода, опять таки - произвольных).

Все что такая сеть может - подстроится под какие то значения. Но этого можно добиться и более детерминированными алгоритмами а не таким сумбуром, под названием "нейронная сеть".

Я думаю, что самоя большая ошибка здесь - это обучение нейросети разным словам, или символам на ТЕХ ЖЕ нейронах. Правильнее было бы для каждого символа, слова, или образа использовать отдельную нейронную сеть, на входе каждой сети к примеру подавать фотографию, на выходе получать имя человека, которая сеть распознала. Небольшие искажения фотографии сеть будет способна игнорировать. 
И провести скажем обучение на 100 разных сетях, на каждой обучать фотографиям одного и того же человека, но с некоторыми искажениями.

А потом, давая какую то фотографию уже на распознавание, прогнать через все 100 сетей, и узнать, есть ли в базе эта фотка или нет.