Ваш покорный слуга опубликовал на хабре результат своего графоманства на тему «LLVM, что это такое и с чем его едят». Основной упор на описание промежуточного кода. Статья для тех, кому в целом интересна тема компиляторов, JIT, link-time оптимизации и всего такого, но про LLVM по каким-то причинам не знают или слышали краем уха.
Прошу винградовцев обсуждать, критиковать и умеренно холиварить 

http://habrahabr.ru/blogs/programming/47878/

Спасибо, любопытно и познавательно.

Правильно ли я понимаю, что LLVM претендует на отдельный, оптимизирующий слой между JVM/CLR/etc и OS?

Это один из вариантов. В принципе, LLVM применима практически в любых задачах, связанных с генерацией машинного кода.
Насколько я могу судить, основное препятствие к реализации managed платформ на LLVM — это неотточенность интеграции GC. Думаю, в процессе работы над VMKit эти проблемы решат или докажут, что они уже решены.
LLVM хорошо подходит для экспериментальных компиляторов, в которых часто прибегают к генерации кода на Си. При сравнимой трудоёмкости мы получаем гораздо большую гибкость, ну и серьёзный backend, подходящий не только для прототипа.

Ещё пару слов: мощь LLVM ещё и в том, что это не просто жёсткая система — загнал на вход IR, получил на выходе маш. код — а очень расширяемая и настраиваемая: на каждом этапе компиляции, как при преобразовании IR, так и генерации машинного кода, можно подключить свой обработчик.