Вопрос касается правельности организации кода. Есть JFrame как основной класс и есть JDialog (модальное окно) со своим GUI. так вот как првельно или луче зделать что б класс модального окна был вложеным классом моего главного класса (JFrame) или необходимо его вынести как отдельный класс? Как более верно зделать?

А в данном случае без разницы

а если у меня есть функции или переменные которые нужны в JDialog то что тогда. В Java же вроде нет множественного наследования? 

Я предпочитаю делать отдельные классы. В таком случае диалог потом можно использовать в других приложениях без особых извращений.

Вопрос не понял :(

Я имею в виду то что если в моём главном классе  есть функция которая тоже нужна и в JDialog что тогда делать если JDialog будет отдельным классом?

Не путайте кислое с пресным. Вынесите логику в отдельный класс.

А ещё есть ли смысл создания меню отдельным классом ? или самого GUI для моего конкретного окна? Я просто начинающий и меня сильно волнует этот вопрос. 

Если описание меню получается большим, то отдельные пункты меню можно вынести в отдельные классы. Можно все пункты, но я предпочитаю выносить только те, что имеют сложные обработчики. Правда, в этом случае начинаются пляски с тем, что обработчику зачастую требуется некоторая информация от диалога, но это решаемо.
А вот весь гуи я выношу в отдельный класс куда чаще. Во-первых, расположение элементов, их количество и сложность обработки приводят к тому, что код становится довольно обширным. А во-вторых, эту панель потом проще встраивать куда-нибудь, если такое потребуется. У меня требуется достаточно часто, чтобы я привык выносить главную панель окна в свой класс. Да и не только главную.

Думаю выносить само меню в отдельный клас не стоит. Если в 2х классах есть одна и таже функция которую ты используешь то вынеси эту функцию в обработчик и назначь его слушателем этим 2м объектам, попробуй сделать так, чтоб не было разницы с какого объекта происходит ее вызов, а если нет, то можешь передавать в функцию идентификатор вызывающего ее объекта.
А вообще тяжело сказать, не понятно что за функция и что за объекты

я тоже начинающий.
когда НЕ делаешь отдельные классы такое уродство получается, что через пару недель и сам разобраться не можешь. а в принципе разницы нет, так как тебе и говорят. хочешь без классов, хочешь вложенными классами, хочешь отдельными классами...

Люди, здесь не совсем тему, но в всё же.. 
надо было сделать:
   Фрэйм, кнопка, диалог.
Сделал: 
   Фрэйм, кнопка, новый фрейм.
Да именно так, замес-то диалога новый фреим(как диалог).
Теперь вопрос:
Что прописать, что бы тыкаю на кнопку, прога проверяла создан ли новый диалог (у нас это новое окно) и если создан ,больше не создавать.
Ставить в  по моему ошибочно. Ибо как окно всё равно создается(опять же расходуется память) но его просто не видно?

Singleton?

Хватит просто сделать переменную и проверять её значение. Если нулл, то создавать. Если нет - просто видимость ставить.
А синглтон тут, имхо, незачем.