Задача - соединить TTcpClient и TTcpServer.

Добавляю TTcpClient и TTcpServer на форму, задаю Host="127.0.0.1" (то есть - локальный хост) и Port в обоих компонентах, запускаю - все работает.

Далее заменяю в обоих компонентах локальный IP адрес 127.0.0.1 на IP адрес, который показывается в окошке "Подключения по локальной сети". После этого клиент и сервер перестают соединяться.

По всей видимости, проблема в том, что мой компьютер не имеет выделенного IP адреса, т.е. IP адрес, который я вижу, либо является IP адресом внутри локальной сети, либо является IP адресом всей локальной сети, через которую мой компьютер подключен к интернету (я не очень в этих тонкостях разбираюсь). 

Вопрос - как соединить две программы не компьютерах, которые подключены к интернету через локальную сеть?

У сервера Listen
У клиента Connect к адресу сервера.

Если не идет, то проверь Firewall. Если есть пропиши routes в рутер.

Если все еще не идет, то значит что-то не не сделал.

А можно про последний пункт ("Если есть пропиши routes в рутер") поподробнее? Рутер - это компонета или устройство? О чем идет речь? Предыдущие пункты я проверял. На локальном ip все работает.

рутер, это хаб с элементами маршрутизации.

Если в сети есть сервер, то может он блокирует сообщение меж программами. может у него есть таблица маршрутов.
например в Windows 2003 есть Routing and Remote Access. там надо провисать твой маршрут.

в XP на сервере надо прописать что сервис по порту *** используется на машине ***. чтобы сервер туда перенаправлял пакеты по этому порту.