А вдруг кой чего может делаться аппаратно? Ведь x86 это не единственная платформа. При работе с графикой блоки могут быть больше мегабайта. Например контроллер DMA может кой чего делать и без процессора. Пока DMA будет выполнять операции с памятью, процессор может заняться вычислениями соседнего потока. Вот как стереть кадр не зануляя? Или же инициализировать массив POD типа большой длинны? Я видел реализации копирования памяти при помощи mmx регистров которые быстрее стандартных, аналогично можно себе представить здоровенный регистр SSE на 256 бит, который за один такт зануляет сразу 8 двойных слов. Это может получиться в разы быстрее. ОС знает архитектуру процессора, она может такие операции сделать гораздо быстрее и с меньшей нагрузкой на железо.

Теоретически компилятор знает целевую архитектуру  На практике - memset везде всё равно достаточно тупой.