Для записи N вариантов (цветов в вашем случае) M символами полуается, что каждый символ должен нести количество информации равное корню M-ной степени из N (дробный результат округлять к большему). То есть, чтобы закодировать 3 миллиона комбинаций двумя символами нужно, чтобы каждый символ имел 1733 вариантов. Для трех-символьной кодировки надо уже только 145 комбинаций на символ.
Поскольку интересует именно двоичное представление, то в первом случае придется использовать по 2 байтa на символ, а во втором по 1 байту (что, собствено и делается обычно).
Поскльку двухбайтная запись позволяет записать 65536 вариантов, избыточность здесь уж слишком велика. Поэтому можно, конечно, ограничиться меньшим количеством бит на символ. Достаточно 11 бит (2048 вариантов). Но в этом случае придется писать вестьма комберзонный код записи файла - каждый байт придется обрабатывать по-разному в зависимости от его номера в файле.
Поэтому удобрее всего будет 12 битная кодировака (4096 вариантов на символ). В этом случае на экране у Вас будут двусимвольные обозначения, а в файле обычные трехсимвольные.
ЗЫ: По-любому значков для разных цветов придется изобретать немеряно (рекомендую китайские иероглифы
), но Вам виднее зачем это надо.