Если есть желание изучить все видеоформаты, особенности работы всех видеокарт, научиться писать драйверы - пожалуйста. Просто у библиотек типа DirectDraw, OGL есть встроенная поддержка аппаратного ускорения, есть анализ возможностей оборудования, и есть куча подручных средств.
Единственное место, имхо, где можно расширить возможности своей графики засчет работы с видеокартами, так это писать шейдеры для ускорителей. Это те, что на борту карты исполняются.
Хорошо кто-то сказал: "Жизнь слишком коротка, чтоб писать на ассемблере"..