Не могу понять поведение метода Contains. Почему после добавления элемента в ХэшСет и выплнения метода Contains первый раз, возвращает True (вызывается и GetHashCode и Equals). После того как я меняю имя  fi.Name = "AA"; Contains уже возвращает False. (вызывается только GetHashCode)Что не так? 

Ps Добавление второго параметра типа IEqualityComparer в метод Contains не предлагать. Можно ли придумать более гибкое решение посредством изменения самого типа?

Ну дак всё правильно, сначала сравниваются хеши, если равны  - то сравниваются сами объекты

При добавлении в коллекцию хэш-код объекта запоминается и сохраняется для дальнейшего использования.
В результате объект у тебя знает, что изменился (GetHashCode учитывает Name), а HashSet - не в курсе, он ждёт именно объекта со свойствами {1, "A"}.
И странно ожидать другого - ты, заоверрайдив GetHashCode, сказал, что тебя интересуют не инстансы, а их конкретные свойства.
Обойти такое поведение можно разными способами разной степени корявости, но проблема тут в том, что тебе стоит разобраться сперва, нужно ли тебе сравнивать инстансы или их свойства.