есть скрипт на php, к примеру X.php, нужно, чтобы при нажатии на ссылку открывалось новое окно(Y), в нем пользователь выбирал бы параметры разные, нажимал типа кнопочку готово и все эти параметры бы передавались обратно в X.php и окно Y закрывалось. Как это можно реализовать? и можно ли вообще?

можно.
на http://parser.ru/forum/ добавляется новое сообщение в форум именно таким способом.
и к PHP данная Новая тема не имеет отношения.