Есть ли возможность написания триггера, который бы при определенных условиях откатывал транзакцию? То есть был бы instead of.

Хм... вряд ли...
Хотя это можно организовать записью не в боевую, а в промежуточную таблицу, а триггер при НЕвыполнении этих самых условий кпирует данные в основную. 
А промежуточную периодически чистить... правда, здесь выползут другие проблемы.

Akina, 
Какую-то логику включить можно в before и в большинстве случаев это сработает, но в Microsoft SQL Server был триггер "вместо", хотя сейчас вроде и у них этого не стало. В ряде случаев был очень удобный инструмент. Почему от него отказываются?  

почему? есть у них такое по сей день.
но не в MySQL. 
как-то озвучивалась идея для предотвращения дальнейшей обработки возбуждать ошибку/исключение в триггере. но уверенности в своих словах не имею.

skyboy, 
Ну да, вроде у них это осталось.