Как грамотно определить на каком расстоянии объект превратится в точку с радиусом N, если удалятся от него, учитывая что он вписан в сферу, радиусом M?

  ИМХО тут несколько факторов. Параметры перспективного преобразования, геометрические размеры + разрешения экрана. Наверное нужно вычислить физические размеры пикселя на плоскости отображения, дальше по формулам пропорции.

Примерно так и думалось, но это слишком затратный метод думаю. Будем думать над приближёнными к нему.