Появилась задача написать систему HIPS (типа Sandboxie), идея в том что надо исполнять бинарные файлы в песочнице, изолировав от системы и ring 0, и после работы программы проанализировать её вывод. Система должна быть полностью управляемой, и хочется сделать это на си/C++...   А вот в какую сторону капать я даже не подозреваю, и возможно ли сделать это на си?

Читал про написание Sandbox`а в хакере, но там они все через Framework  С# делали, а мне не надо такой роскоши

Переделать какой нибудь виртуализатор? Xen или QEmu

Да я думал над этим, но нужна конкретно не виртуализация а просто изоляция.

Изоляция от 'системы и ring 0' гораздо больше похожа на виртуализацию. По крайней мере Xen приблизительно это и делает 

 забыл упомянуть что прект должен быть под Windows

jhonyxakep, С таким уровнем знаний, а сужу исключительно по вопросам, тебе еще рано за подобный проект браться! HIPS это не есть Sandbox ,но эта технология может юзать Sandbox! Чтобы написать полноценную HIPS-тулзу, тебе надо :
1) Выполнять бинари
2) По ходу выполнения получать лог
3) По полученному логу смотреть в базу своих правил
4) На основании правил выдать какой-либо результат, к примеру "Обнаружен трояно-подобный функционал: имя.платформа.семейство.модификация"
5) Правило нужно задавать и лучше это делать на каком либо языке, пусть не таком шикарном как си и все же он должен быть!!!

Бинари можно по разному выполнять, с польной изоляцией - пишешь эмулятор требуемой платформы или с частичной, тут ты просто перехватываешь чуть ли не все важные функции системы.

Мой совет, почитать и повникать как можно больше по этой теме!

ЗЫ:
Даже опытный системный программист, не всегда решается браться за разроботку подобного рода проекта!

Отличие от не берется, и хотелось бы...
Может есть другие способы изолировать систему от программ?

Добавлено через 2 минуты и 29 секунд
И конечно опыт для программиста очень важен...

Добавлено через 5 минут и 7 секунд
Значит все таки я аща

jhonyxakep, 
посмотрел твой сайт в добавлении сигнатуры:
>>Возможные расширения файла:   .dll  .exe  .com  .ocx  .sys  .EXE  .DLL  .COM  .SYS  .OCX  .inf  .INF  .ini  .INI  .cmd  .CMD  .bat  .BAT  
а где расширение скринсейвера ? где PDF ? где Java-Script ? еще VBS

А не надо детектить объект исключительно по расширению файла! Надо глянуть на внутреннее содержание!

  Ужас народ, что вы привязались к еще не готовому сайту, а? тут все скрипты пока на отладке,   а главное то из чего приходилось это писать ваще ужас, + никак пока не удается перенести код с С++ на PHP вместе с сигнатурами.

Добавлено через 59 секунд
ЗЫ Сканер для юзеров только вчера нормально и полностью заработал, еще очень много работы...

jhonyxakep, 
Почему привязался ?

Потому что ты считаешь себя программистом или я ошибся ?

А программист учится сразу на конкретной,  реальной и нужной задаче. Антивирусный продукт, это та задача, которая удовлетворяет этим требованиям, но! Помимо того что программер берется за толковую задачу, он еще берется решать ее достойными способами, хотя и предполагает, что может не додуматься до хороших технологий или методов или еще чего-нить )

Поясняю твой минус:
Если ты не задетектишь тип, на основании содержимого файла, а заложишься исключительно на расширение файла, то можешь пропустить зловреда! Возьму к примеру ситуацию 2005 года MZ hack bytes. Когда файл содержит MZ и другие признаки DOS exe-шника, но после признаков имеет html-теги. В этом случае сис.загрузчик его может не загрузить на выполнение, т.е. не запустит эмулятор доса, а сразе же подать на вход браузера по умолчанию!!! Подробней тут

Поэтому этап анализа вредоносности:
1) построение признаков формата
2) Построение эврестической информации - упакован или нет, на delphi \ c++(каком) и т.д и т.п.
3) Получение всей информации после детекта конкретного формата
4) Запуск статических статистических сигнатур
5) Запуск эвристики
и т.д. и т.п.

Зная что это PDF , ты не будешь обрабатывать его как EXE . А зная что конкретный зловред написан на дельфи, то встретив другой компиллер ты быстрее примешь решение чего делать дальше! Об этом всем давно уже написано на wasm.ru и на securelist.com, про упаковку на cracklab.ru\tuts4you.com\etc

Привязка по расширениям файла тут временна, и существует только из за непрочности алгоритма сигнатурных баз, сейчас пока вся команда работает над антивирусом для пользователей, а не его веб интерфейсом... Потом будет код перенесен на веб, возможно даже обзаведемся своими серверами...  

Кстати сам алгоритм обнаружения вирусов позволяет распозновать даже немного модифицированные вирусы

Могу помочь в проекте, вашем, ревизией кода,реверсингом и в случае брайншторма при обсуждении, той или иной технологии планирующейся к реализации