Можно ли создать внепроцессный сервер автоматизации использовать, который можно только на компьютере, где он установлен, т.е. без возможности использовать DCOM? Запрет не через настройки Windows или DCOM.

Можно через Registry - значение LaunchPermission(HKEY_LOCAL_MACHINE\SOFTWARE\Classes\AppID\{AppID_GUID}\LaunchPermission) в ключе APPID (HKEY_LOCAL_MACHINE\SOFTWARE\Classes\CLSID\{CLSID}\AppID)
(Собственно DCOMCNFG это и делает)
Из самого сервера можно смотреть в сторону CoInitializeSecurity (тут правда не уверен - она все таки предназначена немного для другого   )