Насколько я понял из описания программа Валерия Ковтуна Telephone VOX recorder умет включать запись автоматически при появлении звукового сигнала (разговора) на входе звуковой карты (система VOX) с последующим автоматическим отключением после завершения разговора. Предусмотрена также регулировка порога срабатывания VOX и задержка отключения.
Поясните пожалуйста, что из себя представляет система VOX и
как удалось добиться программной реализации всех этих возможностей?

Как это сделано у Валерия Ковтуна не знаю, спрашивайте у него.
А вообще такие вещи делаются при помощи алгоритмов VAD - voice activity detection. Их много и разных, начиная от книжки Голда и Рабинера на dsp-book.narod.ru, ITU-T 729, ... и заканчивая достаточно интересными статьями, которых кучи в интернете (по аббревиатуре VAD получите много ссылок на любом поисковике).