Вычитал в учебнике, что main возвращает только int или void, но
 
компилится,  и прога запускается, это ошибка?

1. исполняющая среда всегда ожидает что main возвращает int
поэтому отличное от int main() есть потенциальная ошибка, о чем компилятор должен предупредить
2. язык не запрещает переопределять функции, так что можно main объявить по-разному

Добавлено через 5 минут и 23 секунды
переопределять - плохое слово. main не библиотечная функция, ее можно объявить произвольным образом. главное чтобы линкер скушал, но он в данном случае скушает любое (вроде бы у main связывание в стиле С, параметры не проверяются)
так что ты просто нарушаешь соглашение с операционкой, не более и не менее. это значит, что если кого-то интересует возвращаемое программой значение, он может получить совсем не то, что программист пытается вернуть. ожидается int, любое значение отличное от 0 означает что программа завершилась с ошибкой

Спасибо за разъяснение

return 'c'; возвращает ASCII-код символа 'c', преобразованный в int. Это можно понять, посмотрев описание таких функций, как, например, fgetc():
int fgetc(FILE *stream);
либо strchr():
char *strchr(const char *s, int c);