Я программист-самоучка. Решил изучить нейронные сети. Математика  у меня на уровне 9-го класса средней школы.
Посоветуйте, пожалуйста, литературу и в каком порядке изучать, т.е пошагово, что за чем.

Зачем? Сейчас нейроблок есть почти в каждом статистическом или математическом пакете (Матлаб, Математика, Статистика,...) - можно просто нажимать там кнопки (т.е. надо будет просто прочитать мануал и понять, для каких задач какие танцы с бубном = ритуалы нажимания кнопок подходят).
А если всё-таки хочется изучать для цели программирования... Ну, метод обратного распространения ошибки (основной алгоритм обучения многослойных персептронов) есть метод градиентной оптимизации. Методы оптимизации в ВУЗах дают на третьем курсе. Т.е. изучать-то Вы может и начнете, но поймете-ли и напишите-ли ПРАВИЛЬНЫЕ тесты для проверки работоспособности проги?
Если желания еще не отбил - С.Осовский, "Нейронные сети для обработки информации" как учебник средней толщины, но хорошей адекватности. Каллан, Круглов+Борисов идут в топку, Хайкина лучше оставить на второй заход, либо даже читать после Назарова+Лоскутова (в их книге больше разных неабстрактных примеров - научитесь видеть постановки задач).

Спасибо. Но хотелось бы узнать какие разделы метематики нужно знать перед изучением нейросетей.

Для разных нейросетей - разные.
Для многослойного персептрона - статистика (разнообразная - зависит от решаемой сетью задачи, а возможных задач - куча: классификация с учителем, регрессия, авторегрессия, автоассоциация,...) и методы оптимизации.
Для рекуррентных сетей - ну, вплоть до детерминированного хаоса (всякие там странные аттракторы, показатель Ляпунова,...)
Для сетей Хопфилда - параллель, скорее, будет с физикой (спиновые стёкла).
Хотя... нигде ничего сложнее дифференцирования или интергирования не возникает - т.е. смысл "идейной" математики можно и не понимать, но для программирования при этом может хватить и школьного курса (например, частные производные, формирующие вектор градиента, посчитать можно будет и без знания методов оптимизации, применить эти производные - во многих случаях тоже).

Сначала стоит почитать что-нибудь про область применения и цели, для которых практически используются НС. Возможно, остальное уже не понадобится, как было в моем случае.