Столкнулся со следующей проблемой:
При использовании компонента TIdPOP3, когда происходит ошибка после вызова метода Connect() (например, неправильно указан пароль или логин), то после этого невозможно вызвать ни метод Disconnect(), ни метод Connect() снова. 
При вызове Disconnect() возникает ошибка с сообщением "Connection Close Gracefully", а при вызове метода Connect пишет, что "Already connected".

То есть получается, что если возникает ошибка(исключение) при работе с TIdPOP3, то пользоваться эти компонентом в дальнейшем просто невозможно -- не закрыть соединение нельзя и открыть снова тоже нельзя.   

Если у кого была подобная проблема, подскажите что делать?

посмотри примеры работы с "индейскими" компонентами. читай до просветления F1 про try/catch