 |
|
|
 
|
|
Более быстрая альтернатива перебору, и сравнению (удаление дублей) 
| Sergey912 |
|
|||
|
Бывалый  Профиль Группа: Участник Сообщений: 174 Регистрация: 3.1.2007 Репутация: нет Всего: нет |
Подскажите, есть какие теоремы\алгоритмы для перебора массива слов на предмет повторов? Точнее не массива слов а текстов?
Нужно убить повторы, объем здоровый и получается уж очень долго.... Пока работает как вложенный цикл и перебор поочереди и сравнение всего со всем, повторов сколько неизвестно, поэтому "до первого" не получится  |
|||
|
||||
Загрузка ...
| Akina |
|
|||
|
Советчик Профиль Группа: Модератор Сообщений: 20581 Регистрация: 8.4.2004 Где: Зеленоград Репутация: 20 Всего: 454 |
В один проход - хэширование и сортировка подсчетом. Например... А здоровый объем - это сколько?
-------------------- О(б)суждение моих действий - в соответствующей теме, пожалуйста. Или в РМ. И высшая инстанция - Администрация форума. |
|||
|
||||
| esperant0 |
|
|||
 Опытный Профиль Группа: Участник Сообщений: 714 Регистрация: 20.5.2005 Репутация: 4 Всего: 14 |
Вероятностный алгоритм
-------------------- Student->Teacher Assistant ->Research assistant->Microsoft Software Development Engineer Пользователь получил наказание за то, что проигнорировал замечание которое было написано модератором а затем стерто и которое он - пользователь не мог видеть. |
|||
|
||||
| Sergey912 |
|
|||
|
Бывалый Профиль Группа: Участник Сообщений: 174 Регистрация: 3.1.2007 Репутация: нет Всего: нет |
Объем примерно 200к, они могут быть немного разными т.е. похожими, но разными в пару слов, может тройку. Я выделял все слова. Но хэш составлять видимо лучше по буквам, хотя хрен его знает ведь я все выборку немогу изучить точно... А что за сортировка подсчетом, как они избавит от дублей в массиве? Пока делал по словам и смотрел расхождение в масс Это сообщение отредактировал(а) Sergey912 - 30.3.2007, 10:30 |
|||
|
||||
| Akina |
|
||||||||
|
Советчик Профиль Группа: Модератор Сообщений: 20581 Регистрация: 8.4.2004 Где: Зеленоград Репутация: 20 Всего: 454 |
Это - большой??? я думал - сотни мегабайт...
algolist.manual.ru
ни хрена не понял -------------------- О(б)суждение моих действий - в соответствующей теме, пожалуйста. Или в РМ. И высшая инстанция - Администрация форума. |
||||||||
|
|||||||||
| Sergey912 |
|
|||
|
Бывалый Профиль Группа: Участник Сообщений: 174 Регистрация: 3.1.2007 Репутация: нет Всего: нет |
Akina,
А по чем еще по длинне думал, 2 текста одинакового размера, опять же примерно с разницей в 10-20 символов = удаление не дубля а просто похожего и т.п...
Те одинаковые на самом деле тексты, могут быть немного разными. В одном есть точка в конце - в другом нет или в одном есть пара слов еще, а в другом нет и т.п. |
|||
|
||||
| Akina |
|
|||
|
Советчик Профиль Группа: Модератор Сообщений: 20581 Регистрация: 8.4.2004 Где: Зеленоград Репутация: 20 Всего: 454 |
Sergey912, в двух разных постнгах ты поставил две радикально различные задачи.
Так речь идет о куче текстов размером приблизительно по 200 кб каждый? PS. Такая система реализована в цензоре рефератов... полюбопытствуй. -------------------- О(б)суждение моих действий - в соответствующей теме, пожалуйста. Или в РМ. И высшая инстанция - Администрация форума. |
|||
|
||||
| Sergey912 |
|
||||
|
Бывалый Профиль Группа: Участник Сообщений: 174 Регистрация: 3.1.2007 Репутация: нет Всего: нет |
Akina,
200k разных текстов, разного размера. Среди них есть повторы, но с условием, что повтор может быть немного други. Нужно повторы вычислить. Что неясно?
Да уж прям, радикальней некуда 
Как она называется? |
||||
|
|||||
| MBo |
|
|||
|
Бывалый Профиль Группа: Участник Сообщений: 234 Регистрация: 10.6.2002 Репутация: 5 Всего: 18 |
можно ли задачу свести к получению самой длинной общей подстроки двух строк? (или набора общих подстрок с длиной больше некоторого порога)
|
|||
|
||||
| Sergey912 |
|
|||
|
Бывалый Профиль Группа: Участник Сообщений: 174 Регистрация: 3.1.2007 Репутация: нет Всего: нет |
MBo,
Гм, попробую, спасибо. Т.е. работать с подстроками а не с целыми текстами? Еще пробовал разные количественные методы - фуфло выходит, на такой выборке они совпадают для абсолютно разных текстов. Хотя работает быстро, пробовал усложнять - все равно зараза совпадают, нету однако таких глубокий знаний русского, но сдается мне что будут совпадать т.к. при таких выборках что ни считай - где-то да пересекутся т.к. качественных факторов они не отражают. Тем более приходится их подгонять к более менее сравниваемым числам Это сообщение отредактировал(а) Sergey912 - 30.3.2007, 14:56 |
|||
|
||||
|
|
| Правила форума "Алгоритмы" | |
|
|
Форум "Алгоритмы" предназначен для обсуждения вопросов, связанных только с алгоритмами и структурами данных, без привязки к конкретному языку программирования и/или программному продукту.
Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, maxim1000. |
| 0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей) | |
| 0 Пользователей: | |
| « Предыдущая тема | Алгоритмы | Следующая тема » |
[ Время генерации скрипта: 0.0610 ] [ Использовано запросов: 21 ] [ GZIP включён ]
Реклама на сайте Информационное спонсорство
|
|
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности Powered by Invision Power Board(R) 1.3 © 2003 IPS, Inc. |