Как можно точнее как нужно распознавать жесты. Мне нужно определить был ли жест горизонтального перемежения, т.е. как будто листнул книгу.
Хотел сделать так: При начале манипуляции запомнить начальный Point, а поле  окончания манипуляции сравнить с конечным Point, но так по моемому не правильно.

Буду рад любой помаши!

правельно, только не полно.
надо это делать на канвасе. при нажатии кнопки мыши запомнить стартовую точку (поинт) и в обработчике событий (моуземове) отслеживать куда движится мышь.