Обычно иерархия наследования не большая, так что в таблицу можно занести все классы, и для каждого указать какой метод вызывать. Хотя это все конечно зависит от реализации.

Так вопрос немного прояснился

Вот документация проясняющая ситуацию в целом.
Думаю, что там есть ответы на все вопросы.

Спецификация Виртуальной Машины языка Ява
http://www.uni-vologda.ac.ru/java/jvm/outline.htm

Спецификация языка Ява
http://www.uni-vologda.ac.ru/java/jls/index.html

У неё есть исходные данные:
- сигнатура метода(вобщем точное его описание)
- конкретный объект
- исходя из второго - класс объекта. Неважно на объект какого класса ссылка - JVM умеет точно определить конечный класс - то есть тот, который отвечает реальному объекту. То есть, если мы передадим ссылку на Object, она всё равно может вычислить что у нас там лежит String или производное от String'a
- исходя из третьего - список родителей этого класса.
В таблице будут лежать методы нашего класса, его родителя, дальнейших родителей и прабабушек.
Поищет метод для нашего класса. Если нету - для родителя. Если и у него нету - тогда ещё выше. Пока не найдёт где мы перестали переопределять сей метод.
Такого, чтоб метода не было вообще - быть не может - ибо компилятор ругнётся ещё при создании такого кода. Если мы допишем новый - ноу проблем. но хоть что-то должно быть, когда вызываем.
Например, есть класс Animal. У него метод born().
Наследуем в Cat и переопределяем born(). Компилим. Вызываем для Cat born(). Выполнится кошачий а не животный born().
Создаём Dog, унаследовав от Animal.
Компилим.
Вызываем у Dog born(). Вызовется Animal'ский
Дописываем Догу свой born(). КОМПИЛИМ ТОЛЬКО Dog! Animal и Cat лежат скомпиленые с прошлого раза неизменно!!!
Запускаем. Вызовется born() из Dog (потому что нашло раньше чем аналог в Animal). Раньше не было - добиралось до Animal.
Суть в том, что Animal не пришлось перекомпилить. Он не знал что у Dog есть(может быть такой метод). Он обнаружил его и связался с ним во время выполнения. При раннем связывании, пришлось бы животное тоже компилить.
(принимаем что в примере мы обращались к объекту Dog по ссылке типа Animal).

Т.е. я так понял, что в Java все очень динамически сделано.

Остается только выразить восторг архитекторам JVM, поскольку при такой реализации вызов метода у
java класса порядком опережает (судя по вот этой статье http://www.codenet.ru/webmast/java/javavscpp.php) вызоав виртуального метода в С++.

АХА.
Можно final добавлять - тогда компилер МОЖЕТ РЕШИТЬ вписать намертво(всё равно не переопределят). Но не рекомендуют такое для ускорения производительности - только для запрета переопределения. Хотя и запрет надо с оглядкой юзать. Дядька Эккель попинывает создателей стандартного класса Vector за финалы в его реализации. Так что... "всю власть - гибкости!" ))