Сетка - это просто функция или вектор-функция Y=f(X,W), где Y - выходные сигналы, X - текущий вектор входов, W - набор весов сети. Т.е. при заданных весах и структуре сети и вектору Х выходы сети находятся влёт. Производных здесь нет вообще! Т.е. сетка - это просто набор выражений, в которые надо подставить вектор X или его отдельные компоненты и получить в итоге Y.
Производные возникают только при обучении сети. Традиционный способ решения - продифференцировать целевой критерий по весам синапсов сети, приравнять полученные производные к нулю и решить систему уравнений - неудобен, т.к. надо заново аналитически выписывать все производные при смене размеров/структуры сети и решать уравнения в аналитическом же виде, что долго и неудобно. Поэтому берется следующий способ - вычисляются значения производных и делается шаг вдоль антиградиента (вектора производных, взятого с противоположным знаком) либо привлекаются более гибкие способы из теории градиентной оптимизации. Несмотря на то, что таких производных приходится вычислять много (столько же, сколько весов в сети), ВСЕ их значения, т.е. весь вектор градиента, можно вычислить на нейросетке в режиме обратного распространения за время, пропорциональное времени вычисления самого Y=f(X,W). Если же считать значения производных по-одной через конечные разности, то общее время расчета градиента увеличится во столько раз, сколько весов синапсов в сети. А если выписывать алгебраические выражения для производных и потом уравнения на их базе решать в символьной арифметике - то вообще швах.