Как должен изменится алгоритм обратного распространения для гетерогенных сетей ?
Вообще он будет работать для таких сетей и насколько быстрее будет сходимость ?

Никак не должен изменяться, вообщето.
Работать должен. Быстрота сходимости - к телепатам  Никому не известно, что за сетки Вы держите в уме ;)
Сходимость - это результат действия трех независимых вещей:
1. Скорость сходимости конкретного градиентного (а бэкпроп - именно градиентный) алгоритма в терминах отвязанной от всяких нейросеток классической математической теории градиентной оптимизации - бывают линейная, сверхлинейная, квадратичная скорости.
2. "Рельеф" целевой функции в пространстве параметров сети - влияют как целевая функция (критерий обучения), так и структура и свойства сети.
3. Качество начальной инициализации сети - чтобы набор весов синапсов оказался "вблизи" точки глоб. минимума или допускал спуск именно в глоб, а не в лок.минимум.
Так что либо давайте текст на страницу про все особенности Ваших сеток и задач - либо к телепатам, однозначно ;)