Каким путем реализовать сабж?
Т.е нужен некий формат типа RTF или HTML c поддержкой форматирования и графики + мат формулы. 
Более-менее сносный редактор этого формата и библа или компонент для отрисовки в своем приложении.

Мне в голову приходит только LateX, но я не знаю как его можно отрисовать у себя или расширение HTML для формул, но опять неясно как его потом отобразить с помощью компонента Browser.

html или rtf вполне подойдут.
В качестве редактора, могу порекомендовать Open Office - он умеет делать нормальный экспорт.
Только формулы, превратит в картинки. Поэтому нужно сохранять в своём формате, а для программы делать экспорт в ртф или хтмл.

У меня OpenOffice 2.1 - там при экспорте в rtf заместо формул одни квадраты остаются. А в хтмле он к сожалению веб-архив делать не умеет в результате получаю файл хтмл и куча файлов с картинками - тоже не гуд :(
И редактор там фактически текстовой и голимый до нельзя. Там до WYSIWYG как до Китая...
ЗЫ А как лучше открыть rtf с картинками? RichEditom?

Вебархив откроется далеко не везде. Крайне не рекомендую его применять.
Если мешает куча файликов - можно вшить их в ресурсы программы.

rtf - да. Можно открывать обычным RichEdit'ом, либо какой-нить альтернативой, типа TRichView
Но размер получится много больше.

Что касается качества редактора. Это в условии задачи не стояло.
Написано - более-менее сносный. OO вполне сносный.

есть очень мощное средство HTML + мозги... и google... 

довольно все просто, с HTML можно изобразить все что хочешь и картинки, а на счет формул, в нете на delphikingdom.com есть хорошая библиотека для отрисофки мат. формул любой сложности (с интегралами, лимитами и т.д.)... вот а здесь нужно подумать... я делал просто... брал эту библиотеку и перед загрузкой HTML текста искал теги <math>...</math> ... и все что было внутри них рисовал в формулы с помощью той библиотеки... а затем заменял картинкой... и все получалось....