Надо взять некое сообщение, вычислить его хэш и подписать этот хэш.
Алгоритм хэша - SHA1; алгоритм подписи - RSA.

Хэш легко вычислить, вопрос по подписи этого самого хэша.
Есть шифрование с помощью RSA, но это не то.
Есть команда dgst для создания подписи. Но подписи - SHA1, MD2, MD3 и т.п. RSA среди них нет.

Сам вопрос: как, используя openssl, подписать хэш (находящийся в файле) с помощью алгоритма RSA?

http://www.openssl.org/docs/apps/rsautl.html