Подскажите как запрограммировать распознавание жестов с веб камеры используя OpenCV? Кто нибудь с этим сталкивался? С чего начать?

Я бы поискал и почитал буржуинские научные статьи - их довольно много, в них есть сравнение результатов разных методов (ну а если в статье методы не сравниваются - то обычно описывается и некоторая среднестатистическая точность распознавания предлагаемого в статье метода, и указываются его ограничения).
После того, как найден приемлемый для Ваших требований (не сферические же жесты в вакууме Вам надо распознавать) набор алгоритмов - смотрите, реализованы ли эти алгоритмы-методы в ОпенЦВ (или можно ли их реализовать на ОпенЦВшной "базе"). Если "да" - то хорошо, если "нет" - многое придётся писать самому.

PS. В качестве саморекламы. Я знаю, где и как искать буржуинские статьи, с обработкой и распознаванием видео дело имел (правда, распознавания жестов не делал). Поэтому если кто-то готов заказывать подобный программистский проект на хай-эндовом уровне сложности (и/или с хай-эндовым уровнем качества распознавания) - я готов взяться. Адаптация под меняющееся освещение и меняющийся фон, самоообучение - всё без проблем (только денежки платите).

PPS. В тему вряд ли вернусь (поэтому если кому нужно - стучите в личку или в мыло)

Abbath1349,  у  друга по этой теме была защита, вот ловите сам текст диплома  (украинский) http://dl.dropbox.com/u/32082774/%D0%A8%D0...BE%D0%BC111.doc
если нужны исходники пишите в личку мыло