Где можно найти описание и/или реализацию алгоритма вычитанию одного объекта из другого?
Объекты задаются набором треугольников. 

если под вычитанием понимается полечение некоторой результирующей фигуры то я вижу этот процесс так: А - Б = В
  1. находим точки пересечения (перебераем все ребра фигуры Б и проверяем каждое на предмет пересечения ими одной из плоскостей фигуры А) и полученные точки пересечения добавляем к фигуре А
  2. Проверяем все вершины фигуры А на предмет нахождения их внутри фигуры Б (не на поверхности, а именно внутри). Те что удовлетворяют условию удаляем.
  3. Перестраиваем таблицу треугольников (с реализацией затрудняюсь).

 

Можешь попытать счастье и на форуме по компьютерной графике. Например, при работе с трафаретом OpenGL позволяет делать логические операции над объектами (вычитание, объединение и т.п.) довольно гибко. Возможно, там люди знают, где и сами алгоритмы лежат...