Подскажите толковое how to по конфигурации и запуску хостинга на VDS/VPS. Интересует все: установка ОС, Apache и/или nginx, БД, организация безопастности и т.д.

Определенный опыт администрирования Линукс есть. Но делать полноценный сервер, в частности хост-сервер не приходилось.

Самый простой вариант,- решать проблемы по мере поступления.
Нужен апач - ставите. Проблема что-то не работает - ищете описание. Что-то надо и не найти/не выходит - спрашиваете.
Апач не справляется сам,- ставите nginx, настраиваете дальше так же как с апачем.
Так же и со всем. Описание как что ставить - в доках к софту. А решить проблемы, которых нет - мало кто может.

ОК! Может кто знает, как проверить на сколько защищен сервер. Есть сервисы для имитации различного рода атак? Можно ими как ни будь воспользоваться? 

Сумасшедший, в целом прав, но единственное, что могу добавить - неплохо бы заранее определить что и как именно будет работать на этом сервере.

Вот даже с апачем: нужен апач - ставите. Но! Надо ли, чтобы виртуальные хосты апача работали с разными правами в системе? Нужен ли будет mod_php? Нужен ли Zend? И так далее...

Простой пример из жизи: поставил апач, прикрутил php 5.3 (последний стабильный на тот момент) и всё было хорошо примерно месяц. И тут (внезапно!)
понадобился Zend (который на тот момент не работал с php 5.3). Даунгрейд php, даунгрейд апача, даунгрейд его модулей...

Чтобы этого не делать - лучше предусмотреть всё это заранее 

первым дело iptables освой.