Нашел вот такую формулу:

Эта штука работает, но освещает поверхность с двух сторон одинаково. Как сделать так что бы учитывались стороны? Что бы расматривая поверхность с разных сторон освещение было разное?
 Нужно как-то проверять лицевую сторону? (та которая повёрнута к источнику)

Как я понял нужно определить нахожусь ли я вместе с одной стороны с источником или с разных. А как?

Тут все есть...
http://graphics.cs.uni-sb.de/Courses/ws0607/cg/Termine.html

cardinal, что это?  Я не совсем понял где там то что мне нужно? 

Ну посмотри тут
CG05-Lighttransport.pdf
CG06-Brdf.pdf
может в других коспектах тоже чего найдешь нужного. А в архивах в принципе все реализации есть...

cardinal, посмотрел  у меня в книжке лучше написано (Ф.Хилл 'OpenGL. Программирование компьютерной графики') Там то всё понятно, а вот как это прикрутить к своему движку - не очень понимаю. Такое ощущение что упущены какие-то моменты, так как всё очень просто или я не правильно понимаю то что там пишут 

Я тоже долго вникал, но на самом деле модель очень похожа на реальную ситуацию. Описано там конечно не ах, но вообще попробуй запустить те проекты, что там можно скачать, если результаты понравятся, то копай в этом направлении, если нет, то конечно можно сделать чисто исходя из угла нормали поверхности к направлению света. Там в одно случае получится минус по идее, а в другом плюс (если рассматривать противоположные стороны). А вообще можно же определить (помоему просто перемножив вектор нормали поверхности на вектор к источнику света от поверхности) попадает свет на поверхность или нет, если нет, то она соответственно просто черная...

Но это больше мысли вслух.  

судя по всему, здесь уже учтён этот случай, так что надо, чтобы нормаль (у которой есть два возможных противоположных направления)была направлена к пользователю

n* вектор от точки к пользователю > 0 то тогда поверхность видна, нет так нет... Может выглядеть немного подругому - это так на скорую руку...

maxim1000, а вот да, я же незнаю как у меня нормали ориентированы? Или нужно все нормали переориентировать к камере?
cardinal, 

угу, что-то вот такое и пытаюсь реализовать, не очень сложное 

нужно смотреть знак координаты, соответствующей оси, перпендикулярной плоскости экрана
ну или

более общий случай, когда система координат не связана с экраном...

maxim1000, не совсем понял  Все точки у меня находятся в координатах камеры

а... ну тогда, по идее одна из осей должна быть вдоль линии зрения, вот знак соответствующей координаты и надо смотреть...

maxim1000,   

Не, не совсем это правильно поворачивать нормаль таким вот способом. Нужно определить лицевую сторону, а это вот так вот не получается, иногда нормаль и вектор камеры со направлены и является лицевой стороной.