не могу детектировать ошибку или хотя бы понять откуда она идет.

Иногда приложение ведет себя странно, при наведении на кнопки панели управления они пропадают, все что на экране затирается и не перерисовывается.
иногда при выводе например красных линий они вдруг почему то становятся черными.

с чем могут быть связаны ошибки такого рода? как это можно отлаживать? делать дамп памяти вариант? 

Может, GDI-ресурсы утекают? Других мыслей нет, только некорректная работа с ресурсами при перерисовке. Должно наблюдаться через некоторое время работы программы. Посмотреть можно через Диспетчер задач. На закладке с процессами включи столбец Объекты GDI и последи за его изменением у своего процесса. Нормальное поведение - сначала нарастает до какого уровня, затем колеблется туда-сюда (при прорисовках, например). Если все время растет - ищи ошибки некорректного освобождения GDI-ресурсов.

да, действительно посмотрел, копится, доходит до 10к и потом все начинает неправильно работать.


как то точнее можно отследить где происходит утечка?

похоже я не удалял пены.


HPEN yellowPen=CreatePen(PS_SOLID, 1, RGB(255,255,0)); 
HGDIOBJ oldPen=SelectObject(dc,yellowPen);
DeleteObject(yellowPen);



не очень понятно зачем старый объект возвращать обратно?

Чтобы вернуть его на родину вместо удаляемого, причем все еще выбранного в текущий контекст, иначе будет плохо:


или:

Другими словами, объект, выбранный в контекст, на самом деле не удаляется. Это одна из самых больших засад GDI, которые нужно иметь в виду при написании кода. "Развыбрать" объект можно одним способом - заменить другим такого же типа. Не обязательно старым, для этих целей подходят также stock-объекты.