есть полигон лежащий в объеме и я знаю что  этот полигон плоский, как мне преобразовать эту плоскоть в координаты x, y. т.е. мне надо точки полигона 3D (x, y, z) преобразовать в точки (x, y). и потом востановить обратно.
  

зы. это я хочу сделать для триангуляции полигона.

ну, коль полигон реально плоский - по трем любым его точкам(главное, чтоб все три точки не лежали на одной прямой) определяем плоскость(коэффициенты). по этим коэффициентам делаем аффинное преобразование "поворот" и получаем полигон на плоскости x0y. обратно - делаем поворот с теми же значениями коэффициентов, но с противоположным знаком.

Добавлено через 4 минуты и 30 секунд
по аффиным преобразованиям
матрицы транфсормации для частных случаев аффинного преобразования
правда, комментарии на английском, а примеры - для двумерного пространства(на бумаге трехмерную матрицу не отобразишь :(), но, думаю, по формулам хотя бы поймешь: что к чему.
вообще, можно и не уходить в сторону обработки матриц, но, если у тебя сложный полигон с координатами, хранящимися в матрице, то для обработки лучше использовать уже готовый алгоритм поворота, чем писать свою функцию 

Добавлено через 5 минут и 42 секунды
зы Вообще, при использовании аффинных преобразований размерность матриц не меняется: технически, твой полигон после поворота/переноса будет трехмерным, просто у него z-координата будет == 0.

что-то я не понял про аффинные преобразования? оно к чему здесь?

плиз може кто-то по подробней напишет как это сделать, а то я в этих делах новенький и в инете поискал литературу и чего-то не вьехал как это делается?

афинные преобразования - алгоритм, который позволяет проивзодить преобразования координат(поворот вокруг точки, перенос, отображение, преобразования подобия - масштабирование) "пакетно" - в виде операций над матрицами, что есть "самое оно" в случае, если реализовать это надо не на бумаге, а на компьютере. И координаты уже и так загнаны в массив.

Именно. Требуемая операция называется "проецирование на плоскость". Если проецирование ортогональное (параллельными прямыми) и поверхность, на которую выполняется проецирование, параллельна одной из координатных плоскостей, то "лишнюю" координату можно просто отбросить.

Да, я бы тоже отбросил Z, но в задаче надо восстановить. Поэтому надо использовать поворот/сдвиг полигона.

Может, пригодится: http://www.wolf-ware.ru/software/id/8/

Всем спасибо, теперь понял. вот нашел замечательную литературу там у все реализовано
http://www.prografix.narod.ru/rus_geom.html
http://www.prografix.narod.ru/rus_trans.html

Не надо никуда ничего поворачивать. Вводим СК в плоскости этого полигона, триангулируем, а потом пересчитываем назад в коорджинаты 3D сцены.