Кто бы мог подумать... Это действительно оно, регистрация в смысле. Но метод более старый, по-моему. Я тут смутно вспоминаю, что содрала его в свое время у киевских ребят (т.е. они мне просто код дали); и было это как раз про регистрацию растра по точкам в системе координат. И давно, в самом начале 90-х. И, помнится, на книжку какую-то еще советскую кивали. Я тогда была еще не ленивая, и вывод повторила. Сейчас помню только, что выводится оно из обычных средних квадратов (ну та самая минимизация суммы ошибок) через подстановки, используя формулы моментов. Ну, наверное, это не единственный способ, как это часто бывает.

вот тут фигурируют некие полные наименьшие квадраты и матрица моментов.
http://courses.graphicon.ru/files/courses/..._06_fitting.pdf