Существует четыре источника погрешностей результата численного метода:
1)погрешность математической модели,
2) погрешность исходных данных,
3) погрешность метода (в литературе ее также называют
  погрешностью обрыва),
4) погрешность округления (машинная погрешность).

Погрешность математической модели связана с физическими допущениями и здесь рассматриваться не будет. Те погрешности, которые содержатся в исходной информации, определяют точность результата вычислений независимо от того, каким методом эти вычисления проводятся. Два других типа погрешностей – погрешности приближенного метода (метода аппроксимации) и погрешности округления – определяются теми численными методами, которые используются для решения задачи.

Исследование погрешности является сложной проблемой. Если мы рассматриваем отдельный вычислительный шаг вида   в котором выходная величина должна быть вычислена по определенному правилу, при том, что число исходных данных N, то истинную погрешность   можно разложить на следующие три составляющие:

1) Погрешность метода является мерой отклонения вычислительной модели от точной и может появляться даже в том случае, если исходные данные точны. Иногда ее называют погрешность аппроксимации.
2) Погрешность, обусловленная вводом.
Эта погрешность является оценкой распространения погрешности ввода при вычислении.
3) Дополнительная погрешность (случайная погрешность):
Является мерой погрешностей, присоединяющихся от машинной реализации действий.

  Максимально точная оценка погрешности метода является составной частью каждого вычислительного метода. Оценка погрешности не зависит от того, как этот метод реализуется. Погрешность, обусловленную входными данными, можно заметить и оценить только в том случае, если алгоритм относительно прост и удовлетворяет некоторым дополнительным условиям. Для сложных задач простые и непосредственные методы исследования распространения погрешности применять нельзя. Следует еще раз отметить, что эта часть погрешности не зависит от реализации вычислений. Особые операции, выполненные с двойной точностью, число разрядов арифметики, кодирование, фиксированная или плавающая запятая и т.п. имеют непосредственное влияние на распространение погрешности. Величина дополнительной погрешности зависит от функционирования вычислительной техники.

Главные причины больших случайных погрешностей:
- метод обрыва и округления, принятый в машине;
- потеря значащих разрядов при вычитании;
- техническое состояние машины;
- потеря разрядов при превышении допустимой разрядности  представления чисел (например, при делении на маленькие  числа).

При выполнении вычислительных алгоритмов часто встречаются итерационные вычисления (отдельные операции, которые циклически повторяются снова и снова). В таких случаях погрешности выхода каждого шага оказываются входными погрешностями следующей операции, а точный анализ погрешностей становится далее все более трудным (часто ограничиваются только приблизительными оценками).

Краткий перечень рекомендаций для практической организации вычислений:
1. Если необходимо произвести сложение-вычитание длинной последовательности чисел, работайте сначала с наименьшими числами.
2. Избегайте вычитания двух почти равных чисел. Формулы, содержащие такое вычитание, часто можно преобразовать так, чтобы избежать подобной операции.
3. Производите вычитания до умножения или деления, если числа в разности почти равны друг другу.
4. При умножении нескольких чисел рекомендуется умножать самый больший множитель на самый малый. Это предотвращает попадание в область машинного нуля или бесконечности в процессе вычислений.
5. Избегать деления на разность близких по порядку чисел, преобразуя формулу вычислений.
6. Сводить к минимуму число необходимых операций.
7. Выбирать, по возможности, численный метод, устойчивый к погрешностям округлений.