Tobuk, того кто это сказал больше не слушай, он в общем не прав. Хотя он прав с точки зрения производительности. Поэтому, в каждом конкретном случае стоит использовать свои методы. Например, можно использовать паттерн PIMPL, можно использовать технологию, про которую написали выше GoldFinch и baldina. А вот кучу #ifdef/#endif лучше не использовать.
Как вариант, я для себя возможным представляю только небольшие вставки на пару строчек, если их очень мало.