Видел эту статью, но ничего кардинально отличающегося не заметил, кроме initialization и finalization, но внутри выполняется по сути тоже самое что и у меня.
Извиняюсь за отсустствие исходников, почему-то был уверен что приложил их. https://cloud.mail.ru/public/863e86e27a6e%2FApplication.zip

Могу посоветовать следующее:
1) function CreateHD(App: TApplication): TForm;
2) procedure CloseHD(Form: TForm);

Скорее всего проблема возникает еще при инициализации формы. 
И очень может быть ввиду "неполноценного" Application в DLL.
Поэтому логичнее привязывать форму к Application приложения.

Пробовал создавать на Application приложения, результата нет. Возвращение и передача объекта формы тоже думаю ничего не поправит, особенно учитывая что в библиотеке FMX форма, а в приложении VCL и скрещивать их нельзя.

Я не увидел у вас в коде соблюдение вот этого пункта.

Добавлено через 16 секунд
Или уже слишком поздно и я не внимателен...

Пробовал добавлять вчера Winapi.GDIPOBJ в список модулей приложения, результата нет.

а как Вы мыслите работу формы без инициализации объекта Application?
Если в VCL там не производилось никаких критичных действий, то это не значит что в FM этого нет.


как пробовали? какой код не сработал?

DLL библиотека

Приложение VCL

Использовать внутреннюю глобальную переменную в длл не правильно. 
Вы не в состоянии контролировать ее значение.
Как минимум можно дважды вызвать CloseHD (или CreateHD) 

Теперь по существу вопроса:
Как удалось выяснить идет взаимная блокировка потоков. Основной поток ждет завершения некоторого вторичного.
И если с основным потоком все понятно... он ждет завершения дочерних, то чего ждет этот дочерний не совсем понятно.

Есть подозрение, что перед выгрузкой нужно выполнить некоторое дополнительное действие.

Если не выполнять выгрузку библиотеки, то при выходе вылетаем на 216, следовательно лезем в чужую память.
Возможно FM не заточен под данный механизм, в следствии чего Application в Dll не в состоянии нормально завершиться.

Добавлено через 1 минуту и 34 секунды
К стати, без вызова функций библиотека нормально выгружается.
Значит "необратимые" изменения происходят при создании формы.

После ряда экспериментов ситуация следующая:
Логика работы FM кардинально отличается от VCL. Синтаксическое сходство всего лишь маскарад.
Большинство (если не все) действия производятся асинхронно посредством конвейеров.
Инициализация последних в Dll происходит крайне криво. Причина в том, что запуск конвейеров производится в Application.Run, который просто не вызывается в библиотеке.
Причиной падения (при вызове Form1.Free) связано с отсутствием интерфейса:

Если вызвать 

Падаем на обращении по адресу nil. 
Причем это разные потоки.

Так что использовать формы FM в dll использовать в чистом виде не получится. Теоретически возможно написать хелпер с функцией RunDll которая будет дублировать Run за исключением чего-то там... Так что задача далеко не тривиальна...

PS: из личностей заявивших о решении данной проблемы ни одна реализация не лишена выше изложенных проблем. Самые "хитрые" просто не удаляют форму... то-есть лезут утечки...

Добавлено через 11 минут и 9 секунд
Вот более менее работающий пример.
Главная проблема освобождение памяти не происходит (на мой взгляд).
Но лучше не получилось... Во всяком случае не вылазят исключения...

Нормальное освобождение памяти можно получить только при компиляции с пакетами.


Присоединённый файл ( Кол-во скачиваний: 7 )
 FMTest.rar 29,81 Kb

Исключения не вылазят, но приложение при выгрузке падает, да и приложение на FMX форме, а нужно на VCL.
У меня была идея - создать две библиотеки. Т.е. приложение динамически подключает первую библиотеку, а она в свою очередь вторую, тоже динамически, которая непосредственно содержит форму. И т.к. приложение зависало при выгрузке библиотеки, просто не производим выгрузку второй библиотеки в первой. А саму первую библиотеку приложение будет выгружать без проблем. Костыль ужасный, но зато никаких зависаний и исключений, правда утечка тоже будет.
Похоже либо придётся отказаться от FMX в библиотеке, либо смириться с утечкой.

мне послышалось вы сказали спасибо?


без разницы 

думаю Вы ошибаетесь

дело не в утечке... дело в том, что Ваш Ёж спариваться с Ужем не будет и думаю понимаете что получится.

мне показалось то не падает...

Разумеется спасибо огромное.


Я так понимаю даже если закрыть глаза на проблемы выгрузки, сама работа формы и её компонентов будет нестабильна в dll?

Сама форма то будет судя по всему работать стабильно, если уж открылась, а вот при попытке корректного завершения(судя по проведённым исследованиям drkot) будете получать неприятности различного рода.

гарантировать нельзя, пустая форма работает, но это не значит что при ее наполнении не вылезут баги... например динамические обновления компонентов глючить будут...
в Dll объект Application не инициализирован, почти все структуры nil... Собственно это при выгрузке dll и приводит к сбоям. Зависание вызывается ожиданием не инициализированного конвейера и так далее...

Добавлено через 3 минуты и 12 секунд
MaximusVRN, если нужна dx канва, то проще ее подцепить к VCL форме, чем бодаться с FM

Нет, к сожалению, нужен именно контейнер под динамически создаваемые компоненты FMX.