подскажите плз код скрипта который мог бы очистить список строк в textarea от очевидных но неявных дубликатов (регистр букв и знаки препинания не важны)
- которые отличаются порядком слов
- в которых присутствуют короткие слова < N знаков (например предлоги длиной < 3 знаков)

например


скрипт должен вернуть

что курим рустик Rostik Ultra



должно вернуть
солнечное утро

вариант такой
var str='солнечное утро утро солнечное на утро, солнечное';
var ar=new Array();
ar=str.split(' ').sort();//вносим в массив, считая что пробел это разделитель и сортируем

затем проводим сравнение на i го и i+1 го элементов
если они одинаковы то i+1 или i элемент удаляем из массива, ищем с правочнике как это сделать

а затем, тут уже играет ваша фантазия, ибо не могу предположить как в руссом языке надо расставлять слова правильно

dstorm81, ему надо строки сравнивать и дубликаты удалять, а не слова во всём тексте.

т.е
1) Нормализация текста: Из каждой строки удаляются предлоги, знаки препинания. Весь техт проводится к нижнему регистру (как альтернатива, производится стемминг - отделение и удаление приставок и окончаний)
2) Нормализация строк:  как написал dstorm81, сортировка того что получилось, но построково
3) Тупое сравнение строк: (лучше Хеш таблица) для нахождения дубликатов