допустим есть вектор линий.
я хочу отбросить линии с нехарактерными длиной и наклоном.
я делаю это как отсечение по порогу и просто путем сортировки вектора по длине линий и отбрасывание какой то части в % от всех элементов.
вопрос может это делается как то более умно? используя матожидание и дисперсию и т.д.

Любой учебник по статистике. Наверное, не стОит заморачиваться с теорией. Что-нибудь предельно простое. Что-то типа вот этого - раздел Определение и исключение грубых погрешностей. Вот здесь еще довольно просто-кратко. А здесь путаннее, зато с примером для желающих.

В общем - гуглить на "исключение грубых погрешностей".

Все эти простейшие подходы предназначены для отброса по одному параметру. У Вас же длина и наклон (два, если я правильно суммировал  ). Но в Вашем конкретном случае, как понимаю, надо просто отбросить по каждому параметру по отдельности.

Необязательно... например, у него может стоять задача минимизации области попадания концов векторов...

mrgloom, 

Можно. Это типичная задача классификации.  Ну тут море методов. Нейронные сети. K-means. Классификация через скользящее среднее. 

Во 2 параметра в общем случае могут не быть линейно разделимы и можно применять алгоритмы усиления слабых классификаторов.


Но вот вопрос зачем делать сложно, когда можно делать просто?

От многой мудрости много печали  

Конечно, если нужно делать очень уж научно и доказательно, то надо подходить к проблеме с многопараметрическими решениями. Но исходя из моего понимания поставленного вопроса "что-то немного более научное, чем тупой трешхолд", я бы сначала смотрел в сторону простых решений:

• Описанный мной отсев по каждому параметру отдельно.
• Или, как вариант, отсев если оба параметра "вне закона".
• Отсев, комбинируя два параметра с весовыми коэффициентами (ненаучный, но распространенный подход). Коэффициенты, естествнно, берутся исходя из физического смысла процесса.

А уж если не годятся столь простые решения - тогда с шашкой наголо на штурм вершин статистических теорий  

Анекдот в тему. Может я его уже и рассказывал.
Стоит задача выключить комп, используя только мышку.
Программист-системщик мышью, копи-пестя, пишет утилитку выключения, кликает-запускает. Работа сделана.
Инженер берет мышку и нажимает ее краем на кнопку питания. 


Это сообщение отредактировал(а) _Y_ - 11.1.2012, 18:35

я только не понял это подходит для любых данных? для любых выборок и т.д. или надо знать что то определенное о данных?

я знаю что у отрезков есть некий теоретический угол наклона(в основном это горизонтальные и вертикальные линии с небольшим отклонением), большинство длинных отрезков болтается вокруг него и посчитав среднее их углов наклонов я хочу определить этот теоретический угол, но есть отрезки малой длины которые повернуты на нехарактерный угол их учитывать не следует так как это шумы.  
пока фильтрую по порогу или отбрасывая процентную часть от сортированной выборки с конца, не знаю стоит ли тут использовать матстат или нет.

1) Универсальных методов не бывает. 
2) Математика всегда работает с оговоренными аксиомами. Но практика и инженерное дело вещь такая нестрого математическое обоснование может быть пригодно.  Ты же используешь интернет не задумываешься о теории массового обслуживания?

А да вспомнился анекдот. Про математика, и инженера-программиста и голую женщину.



Простое отсечение по порогу не годится.  Возьмем отрезок длиною 1 пиксель и повернём его на произвольный угол. И на рисуем на изображении. Если посмотреть на наш рисунок то линия может пройти только по 4 вариантам горизонтально вертикально главная диагональ побочная диагональ.
Когда вы будете распознавать угол  вы сможете его получить только с шагом 45 градусов. Ошибка будет +-45/2 градусов.

Это значит что ошибка зависит от длины линии. И определяется как atan(1/len)/2      здесь 1 это 1 пиксель, а len длина линии в пикселях.
Если отрезок маленький, то ошибка при отбрасывании будет большая.
Тут картинки бы надо нарисовать не мне лень. График будет не линейный. Можете сами попробовать берёте линию в векторном представлении поворачиваете на определённый угол, выводите её в битпам. А потом пробуйте определить её угол. 

Отсекать можно по порогу, порог выбирать в зависимости от длины отрезка.  

И где же анекдот? Без него проблему не решим

Математик и инженер-программист принимают участие в психологическом эксперименте.
 Их посадили в с одной стороны комнаты и они ждут, не подозревая, что случится потом.
 Дверь открывается и в комнату входит обнажённая женщина и встаёт вдали от них. Испытуемых предупреждают, что каждый раз, когда они слышат сигнал — они могут пересечь половину расстояния, оставшегося до женщины.
 Тут же они слышат сигнал, инженер одним прыжком преодолевает половину расстояния, а математик, со скучающим видом остаётся сидеть. Когда и после второго сигнала математик не шевельнулся, инженер поинтересовался, почему он не бежит.
 — Это от того, что я знаю, что никогда не достигну женщину.
 Инженер на тот же вопрос ответил так:
 — Потому что я знаю, что уже очень скоро я буду достаточно близок для любого практического применения!
-------------------------------------------------------------------------------------------------------------------------------------------
Загадка в догонку Шерлок Хомс и Доктер Ватсен угодили в яму. Шерлок Хомс встал на плечи доктору, но не дотянулся до верха. Не хватала каких-то 10 сантиметров. Спустя 5 минут Шерлок нашел решения и они с Ватсеном выбрались из ямы. Как им это удалось?

Шерлок Хомс встал на голову доктору  

думаю, всё-таки лучше не удаляться от темы ;)