Я недавно занимаюсь обработкой видео (алгоритмы на Матлабе), и в качестве упражнения я решила написать алгоритм, который убирает дрожание камеры/следит за каким-то движущимся объектом.

Я написала функцию, которая получает последовательность кадров и координаты "неподвижной" области, а потом распознаёт её в каждом кадре (регистрация) и сдвигает всё на нужное расстояние. Это работает, но есть существенные недостатки:

•  Справляется только с движением вправо-влево и вверх-вниз, но не в глубину (зум)
•  Не справляется с поворотами
•  "Неподвижные" координаты надо указывать вручную
•  Тяжёлый - нужно обходить всю картинку с регистрацией

Кроме того, мне сказали, что есть быстрый и полностью автоматический алгоритм, указывающий вектор движения для каждого блока, скажем, 8 на 8. Я могу придумать только такую реализацию: разделить на блоки и отслеживать каждый из них, как я сделала в своеё функции, но это о-очень медленно... Полагаю, что надо вычесть n-ный кадр из n+1-го, а потом сделать что-то умное, но мне самой не догадаться...    

Это сообщение отредактировал(а) MoebiusCat - 14.6.2011, 22:07

>"Неподвижные" координаты надо указывать вручную

Если мне не изменяет память (всё же по текущему проекту обработки видео найдено-прочитано полторы сотни статей), от этого не избавиться никак. Комп не может сам отделить фон от объекта интереса и может вместо отслеживания объекта отслеживать фон, вернее, изменение границ фоновой области при движении объекта.

>в глубину (зум)
>с поворотами

Дофига подобных работ (алгоритмов). Из известных уже десяток лет см., например, статью Comaniciu, Ramesh, Meer "Real-time tracking of non-rigid objects using mean shift". Из недавних - статьи by Zdenek Kalal (у него и проги были как раз на матлабе, см. тут).

Большое спасибо, читаю. Да, я знаю, что дофига, но я пока не нашла правильные места в интернете, где надо искать статьи.



Мне на днях рассказали про один метод, который называется optical flow. Он позволяет увидеть направление движения для каждого блока. Я слышада об этом методе раньше, но только понаслышке (только то, что он делает, но не как он это делает) , кроме того, я не знала, как он называется. 

Этот метод работает так: просто-напросто вычисляем производные "трёхмерной функции" право-лево - верх-низ - время. И всё! Как я не догадалась! Я думала о чём-то подобном, правда, относительно другого вопроса: я хотела интерполировать отсутствующие кадры, но не очень знала, как это сделать.

Кстати, если подумать, этот метод также может дать ответ на вопрос, что фон и что объект: можно посмотреть на множества блоков, "едущих" в одинаковых направлениях, а потом в каждом из таких множеств выделить компоненты связности, они и будут объектами (я беру очень упрощённую модель: двухмерные объекты, нет поворотов, объекты не "шевелятся", то есть все точки каждого объекта едут в одном направлении). Точнее, это, конечно, не сможет указать, какой именно из "объектов" есть фон (например, кто является фоном в фильме, где камера следит за едущим автомобилем, занимающим почти весь кадр?), но в некоторых случаях, по моему, это можно понять (с помощь всяких дополнительных признаков). 

возможно будет полезно:
Компенсация движения
Обзор методов компенсации движения

Ну, простые задачи решаются без проблем. Вернее, можно ставить решать задачу выделения из картинки фона и объектов на нём без предварительной съемки собственно эталонного фона. Если камера неподвижна и с постоянным фокусом, и если скорость изменения собственно фона (из-за изменения освещенности и т.д.) гораздо меньше, чем скорость движения объектов по нему - то фон можно поймать без проблем на всём кадре (естественно, требуется время, за которое объекты сдвинутся на новые позиции, т.е. "раскроют" ранее закрытые области фона). 
См, например, статьи Mickael Pic, Luc Berthouze and Takio Kurita "Adaptive background estimation", Fatih Porikli "Multiplicative Background-Foreground Estimation Under Uncontrolled Illumination using Intrinsic Images".

А вот если камера поворотная/зумирующая и картинка сложная (как пример - слежение за игроком в амерофутбол в указанной статье Comaniciu, Ramesh, Meer "Real-time tracking of non-rigid objects..." - то тут без явного указания координат куска, за которым надо следить, не обойтись. Ведь силуэт игрока может быть первоначально "склеен" с силуэтом другого - и как делить этот суммарный силуэт при "разбегании" игроков? Размножать отслеживаемые объекты? А если ещё и фон существенно переменный во времени и/или пространстве (а не однородный, как зелёное футбольное поле) - то вообще швах с автоделением на объекты и фон.