VPF::Проблемы с точностью Double - Форум программистов

FiMa1

Дата 12.10.2009, 22:06 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 408
Регистрация: 23.9.2006

Репутация: нет
Всего: 6

Ребята, привет всем!

Столкнулся со следующей проблемой в VBA: результат разницы 0,01 - 0,01 = 8,67361737988404E-18
user posted image

Единственное, что нашел по этой теме в сети - цитата, приведенная ниже, но мне как-то не очень помогло.

Цитата

This is a natural consequence of finite precision arithmetic. Excel is
behaving exactly according to the IEEE standard, as most computers and
software in the world do.

If you had a calculator that only carried 4 decimal figures of accuracy,
then you would only expect
(1+x)-1-x
to be zero if x could be represented in 3 decimal figures. For instance, if
x=1/3, then you would have
1.333-1-0.3333
which should not produce zero.

The only potential surprise here is that 0.01 cannot be exactly represented.
But computers work in binary where most terminating decimal fractions are
non-terminating binary fractions. IEEE double precision uses 53 bits to
approximate numbers, so the decimal equivalents of the binary approximations
to 1.01 and 0.01 are
1.0100000000000000088817841970012523233890533447265625
0.01000000000000000020816681711721685132943093776702880859375
so that your calculation correctly results in
8.67361737988403547205962240695953369140625E-18
which Excel reports to its documented display limit of 15 digits as
8.67361737988404E-18

You get 0 from =1.01-1-0.01 (removing the parentheses) because Excel is
trying to be "helpful" and assumes that a final difference between 2 numbers
that are equal to 15 digits is not meaningful. With the parentheses, the
parentheses rather than the subtraction is the final operation, so the fuzz
factor does not kick in to avoid introducing possibly unwanted inaccuracies
into the math.

У кого-нибудь есть соображения как побороть данную проблему в VBA?
Заранее спасибо!

Добавлено:
Пока не придумал ничего умнее, чем добавить следующую строчку:

Код


totalPages = IIf(totalPages > 0.01, totalPages, 0)

Добавлено:
Решил, что вот так все-таки будет правильнее:

Код


totalPages = IIf(totalPages > 0.1, Round(totalPages, 1), Round(totalPages, 2))

Это сообщение отредактировал(а) FiMa1 - 12.10.2009, 22:41

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| Программирование, связанное с MS Office \| Следующая тема »