Да, но в конце концов мне нужен автомат, а не регексп.
Думаю решение лежит где-то в области lookeahead-а, причем отрицательного. Т.е. когда я хочу найти токен, в котором нет "*/" (как в регекспе выше), то мне нужно матчить все у чего есть отрицательный lookahead "*/". Прикол еще ведь в том, что когда я сожрал "*/" и понял, что нужно вернуть токен до "*/", то я делаю как-бы откат назад. Как раз lookahead тут должен разрешить ситуацию.

Добавлено через 4 минуты и 54 секунды
rudvil, Не понятно к чему такой пост. Здесь мы разбираем теорию, а не занимаемся поиском наиболее точного регекспа. И если уж вы идете в этом направлении, то гораздо проще использовать т.н. lazy quantification, частности non-greedy quantifier.