Есть мысль написать программу, которая позволит удобно записывать действия пользователя
и потом повторять их сколько угодно раз.

Т.е. если хотите, написать программу для записи макросов для какой-угодно программы.

Требуется работа с winAPI

В Java есть класс Robot




Я писал бот для онлайн покера. Распознавал скриншоты игры и соответственно их позиционировал робота. 
Но мне в карты не везет 

Вся загвоздка в определении координат. Представьте также возню с разрешениями различных компов.

Итак задачка:

Записать действия пользователя: 
Определить координаты, записать их, записать координаты главного окна программы.
Затем проиграть успешно полученный скрипт

Важный момент: координаты могут быть не только точкой х,у но и областью, например кнопкой.

Вобщем задачка неслабая. 

А профит: "Позабыты хлопоты, остановлен бег, вкалывают роботы, а не человек" ;)

>Вся загвоздка в определении координат. Представьте также возню с разрешениями различных компов.
Почему бы не использовать локальные координаты окна и не обращать внимание на разрешение дисплея? Окна складывать в гармошку

Задача описана очень неясно и абы как. Суть вроде понятна, а вроде и ничерта непонятно. Нужна ясность - где, какие, чьи координаты, полученный скрипт. Реальную задачу опишите, не темните)

Запись макросов - дело ненадёжное и сложнореализуемое. Лучше использовать простой скриптинг - писать всё руками, но чтобы при этом всё было до глупости просто.

у меня есть такой проект. Даже распознавание сам писал. Путаются 5 и 6. Проблема решаема, но меня тогда это уже утомило. Писал зачем-то на mfc и VC++. Теперь жалею об этом)

кстати, что там с OCR?)