Я хочу, чтобы программист мне написал программу по следующему принципу.
Берутся из базы любые случайные слова и составляются предложения, когда предложение будет иметь смысл, оно выводится. 
Я знаю, что программа Alice свободно это определяет, но подключение к ней довольно дорогое удовольствие и это для английского языка.
Мне также предложили воспользоваться методом n-gram
http://ru.wikipedia.org/wiki/N-%D0%B3%D1%8...%B0%D0%BC%D0%BC
, но пока я не уверен, что это интересно.
Какие бы вы могли предложить ещё методы решения проблемы?
Речь идёт об определении смысла и бессмысленности фраз.

Это сообщение отредактировал(а) Lois - 19.5.2013, 20:36

Lois, мне кажется, что написание подобной программы будет удовольтвием гораздо более дорогим, чем подключение к уже готовой. Проблема здесь в определении критерия осмысленности. Как программа узнает осмысленная фраза или нет? По сути, программа должна делать то же, что человеческий мозг, когда оценивает осмысленность фразы. А это, мягко говоря, отнюдь не просто.

В принципе, можно поискать обходные пути. Например, я когда-то предлагал здесь такую жульническую идею. Программа берет фразу и ищет ее в Гугле (или в каком другом поисковике). Если количество найденных ссылок превысило некий заданный порог, фраза считается осмысленной. Естественно, такой подход будет давать определенное количество ложноотрицательных результатов. Но зато программу такую написать несложно-недорого.

Да, это очень здравая идея, надо подумать. В принципе это очень подобно методу н-грам, о котором я говорил, но здесь больше смысла. Тогда вопрос- какова будет скорость при использовании гугла?
Ведь каждую случайную бессмысленную фразу придётся проверять... . Вы можете себе представить какое количество бессмысленных фраз по отношению к осмысленным?


Это сообщение отредактировал(а) Lois - 20.5.2013, 07:01

Помоему любая фраза является осмысленной при наличии существильного + глагола + прилогателного?

Вот к примеру: "Мефисто пришпандорил Чебурашку об чебурашкнутую шваньку"

Если же я прав, то достаточно создать симантическую связь между словами на основе морфологического разбора слов.
Ссылки на тему:
1. http://www.aot.ru/download.php
2. Блин вторую потерял, там Дистанционное обучение по разбору фраз, правда для буржуев.

вы сначала бы сами определили что считается осмысленной фразой.

Ну Вам видней.

так я не вам, а топикстартеру.

а что надо всё определять ? Мне кажется это то же самое, что давать определение красивая картина или нет.

Надо иначе это не научно.  Если что есть метрика для определения качественная картинка.  Для красоты не в курсе.
Классический подход обучения с учителем. 

Делается это легко. Ловишь 30-100 студентов и даешь им задание сделать оценку для 100 картинок. Работа на 15 минут. (С вероятностью 97% что в Стэнфорде такую работу проделали и имеют такую базу) Далее уже программно пробуешь описать результат при помощи эмпирике и смотришь насколько это близко.
Гугл такой же подход использует для оценки качества своего поиска. 

Можно и без учителя. Берёшь книги и тексты. Откидываешь недостоверные. Разбиваешь на предложения в предложениях выделяешь существительное(объект) и сказуемое(действие) и прилагательное(качество, свойство объекта). 
Далее смысл можешь проверить по базе данных. Если в базе есть такая конструкция то во фразе есть смысл. 

Конечно это первое приближение. 

ну тогда разговор ни о чем, либо задача должна быть data driven, т.е. обучаемая на примерах.

можно взять за положительные примеры книги/тексты и поделить их каким либо образом на фразы (опять же не знаю что считается фразой в общем случае любой последовательный набор слов?)
как отрицательный пример рэндомную перестановку положительного примера.

А как программа Alice определяет смысл фраз вы в курсе?
Кстати, интересный пример осмысленности фраз.

https://www.youtube.com/watch?v=uXxu6M0SRIc

Скорость будет определяться скоростью общения Вашего компьютера с Гуглом. Думаю, если если программа рассчитана на человеческий и не на на очень уж многопользовательский режим работы, то весьма скромного домашнего интеренета хватит. А вот если Вы хотите фразы генерировать компьютерно или поставить эту программу на сервер с рассчетом на большое количество пользователей, то тогда нужно что-то особенное.

ясно. В общем надо ставить опыты. А возможно сделать прогу во флеше, поставить на сервер, и чтобы она с сервера вводила запросы в поисковик?

тут и время и трафик.

+запросы должны быть вида "запрос" , т.е. полное вхождение, а чем длиннее фраза тем меньше вероятность что вы её получите целиком, т.е. наверно тогда надо предложение бить на короткие фразы с перекрытием(но это тоже костыль).

что за программа Alice, дайте ссылку?

имхо надо смотреть в сторону ботов генераторов таких "осмысленных" фраз.

Это сообщение отредактировал(а) mrgloom - 21.5.2013, 10:24

блин, я и не думал, что про Элис кто-то из близких к компу не слышал
http://www.pandorabots.com/pandora/talk?bo...5d922d97e345aa1
Можете с ней поговорить на английском.