у List<T> есть RemoveAll, принимающий предикат, также есть Linq-расширение All, тоже с предикатом
но лучше и правда ещё перед добавлением постараться понять, что добавлять не стоит, чем просеивать после добавления

стоит также учесть, что как List, так и HashSet и Dictionary, т.е. те коллекции, которые умеют автоматически расширяться, делают это следуюущим образом (в общих чертах, не придирайтесь к деталям:)):
- создаётся внутреннее хранилище  некого размера
- если при добавлении нового элемента оказывается, что класть его некуда, внутрення коллекция удваивается
это при бесконтрольных вставках радикально увеличивает требования к памяти, чтобы избежать - стоит заранее выставлять ожидаемый Capacity с некоторым запасом (есть нет твёрдой уверенности в конретном количестве элементов)

контроль над коллекциями позволит сократить требуемую память, но не особо значительно - элементы коллекции "про запас" сами по себе будут занимать только размер ссылки на будущий контент (4 байта, поправьте, если не прав)