Перечитал книги о нейронных сетях, но возможно не совсем понял, что такое эпоха. Для задачи распознавания рукописных цифр MNIST есть тренировочный набор из 60000 примеров. Правильно ли, что обучение сети на этих 60000 примерах называется эпохой? После одной эпохи проверяем сеть на тестовом наборе из 10000 образцов. Если ошибка слишком велика, то начинаем снова сеть обучать на этом тренировочном наборе из 60000 примеров. Если я не прав, то подправьте. Буду очень благодарен.

Да. Всё правильно, повторяю чуть подробнее и немного другими словами (вдруг потом другим читателям это поможет разобраться - не поймут один текст, так поймут другой).

Эпоха обучения - это один просмотр всех примеров обучающей выборки с одновременной коррекцией весов сети (на этих примерах, в зависимости от правильности их решения сетью). Чтобы сеть обучилась, может потребоваться несколько (и даже несколько десятков, и даже несколько сотен,...) эпох. В течении эпохи не на каждом обучающем примере может происходить коррекция весов сети: т.к. если сеть уже обучилась правильно решать данный конкретный пример, то можно перестать требовать постоянных "улучшений" качества решения этого примера (поскольку эти улучшения уже будут несущественными) и позволить сети направить её внимание на другие примеры, которые пока ещё решаются с недостаточной точностью.

Просмотр тестовой выборки после каждой эпохи необязателен. Зависит от целей и задач.

Почему идёт измерение по эпохам? Потому, что существуют (и могут использоваться) такие индикаторы обученности нейросети, как средняя или суммарная ошибка на обучающей выборке. И потому, что существуют алгоритмы обучения сети по полной выборке (так называемое batch-обучение). Но можно выводить на экран или на график и ошибку для одного отдельного примера, и ошибку по некоторой подвыборке. Я, например, при баловстве с задачей MNIST выводил график ошибки обучения по подвыборкам из 1000 примеров (т.е. суммарная ошибка по очередной тысяче примеров формировала новую точку на графике).