Собстно поверхностно знаком с синтаксисом Java. Появилась мысль начать изучать эту технологию, попутно разрабатывая собственый текстовый редактор, но браузерный. Чтобы я в любом месте земли мог открыть в нем какой-либо файл на своем сервере, отредактировать его. В идеале, хотелось бы, превратить этот редактор в хороший редактор PHP кода, чтобы можно было писать скрипты удаленно, и выполнять на том же сервере.
Мне посоветовали для этого дела использовать JSP+AJAX. Ни с тем ни с другим я не знаком.

Посоветуйте какое серверное ПО лучше поставить для этого? (под linux)
Какие-нибудь рекомендации? Советы? Какая-то литература?

lagab, это задча только Javascript  - т.к. приложение больше клиентсоке, чем серверное! 
Серверную Java  тут можно применить только как достать файли из базы, потом сохранить
Но вопрос вы поставили не этот. 
Вам нужен editor вот примерно такой


Tomcat
jdk


много чего можно сказать 
Учи  JavaScript Java AJAX J2EE   
Будут конкретные вопросы, прибегай обязательно сюда !  С радостью поможем