6
ответов
Корректируя десятичную точность, .NET
Эти строки в десятичном числе C# = 2 м; десятичное число b = 2.0 м; десятичное число c = 2.00000000 м; десятичное число d = 2.000000000000000000000000000 м; Консоль. WriteLine (a); Консоль. WriteLine (b); Консоль. WriteLine (c); Консоль....
вопрос задан: 15 July 2009 17:24
5
ответов
PI и точность числа с плавающей запятой
Единственная/двойная/расширенная точность представление с плавающей точкой Pi точно до сколько десятичных разрядов?
вопрос задан: 19 May 2019 00:16
5
ответов
Насколько точен грех numpy (x)? Как я узнаю? [нужно, чтобы численно решить x = a * sin (x)]
Я пытаюсь численно решить уравнение x = a * sin (x), где a - некоторая константа, в python. Я уже пытался сначала решить уравнение символически, но, похоже, это особая форма выражения ...
вопрос задан: 16 January 2019 10:28
5
ответов
Ограничение числа с плавающей запятой до двух десятичных знаков
Я хочу округлить до 13,95. > > > 13,949999999999999 > > > round (a, 2) 13.949999999999999 Функция округления работает не так, как я ожидал.
вопрос задан: 29 September 2017 04:42
5
ответов
Точность плавающей точки C++ [дубликат]
Возможный Дубликат: примеры погрешности С плавающей точкой удваиваются = 0.3; станд.:: cout.precision (20); станд.:: суд <<<<станд.:: endl; результат: 0,2999999999999999889 двойных a, b; = 0.3; b =...
вопрос задан: 23 May 2017 11:51
5
ответов
Как использовать “%f” для заполнения двойного значения в строку с правильной точностью
Я пытаюсь заполнить строку с двойным значением с помощью sprintf как это: sprintf (S, "%f", val); Но точность отключается к шести десятичным разрядам. Мне нужны приблизительно 10 десятичных разрядов для...
вопрос задан: 22 May 2017 19:34
5
ответов
Представление целых чисел в удваивается
Может двойное (данного числа байтов, с разумным балансом мантиссы/экспоненты) всегда полностью точно содержат диапазон целого числа без знака половины того числа байтов? Например, могут восемь...
вопрос задан: 21 October 2016 22:04
5
ответов
Почему 24.0000 не равно 24,0000 в MATLAB?
Я пишу программу, где я должен удалить дублирующиеся точки, сохраненные в матрице. Проблема состоит в том, что когда дело доходит до проверки, являются ли те точки в матрице, MATLAB не может распознать их в...
вопрос задан: 18 August 2016 07:21
5
ответов
C# DateTime. Теперь точность
Я просто столкнулся с некоторым неожиданным поведением с DateTime. UtcNow при выполнении некоторых модульных тестов. Кажется это при вызове DateTime. Now/UtcNow в быстрой последовательности, это, кажется, дает Вам, поддерживают то же...
вопрос задан: 3 June 2015 15:13
5
ответов
Каков стандарт (или лучше всего поддерживаемый) большое количество (произвольная точность) библиотека для Lua?
Я работаю с большими количествами, которые я не мог округлить. При пользовании стандартной математической библиотекой Lua там, кажись, не быть никаким удобным способом сохранить точность, прошлую некоторый внутренний предел. Я также вижу там...
вопрос задан: 21 December 2014 10:02
5
ответов
“новый BigDecimal (13.3D)” приводит к неточному “13.3000000000000007105..”?
Как получается, что BigDecimal Java может быть этим болезненным? Удвойте d = 13.3D; BigDecimal bd1 = новый BigDecimal (d); BigDecimal bd2 = новый BigDecimal (String.valueOf (d)); System.out.println ("ЗАКАНЧИВАЮТСЯ 1": +bd1....
вопрос задан: 15 May 2012 15:19
5
ответов
MS проблема точности даты и времени SQL
У меня есть ситуация, где два человека могли бы работать над тем же порядком (сохраненный в базе данных SQL MS) от двух различных компьютеров. Предотвратить потерю данных в случае, где можно было бы сохранить его копию...
вопрос задан: 12 April 2010 08:10
5
ответов
Почему там различие между тем же значением, сохраненным как плавание и двойным в Java?
Я ожидал, что следующий код произведет: "Оба равны", но я добрался, "Оба не равны": плавание a=1.3f; двойной b=1.3; если (== b) {System.out.println ("Оба равны");} еще {System.out.println ("...
вопрос задан: 1 October 2009 17:03
5
ответов
Как записать прототип для Number.toFixed в JavaScript?
Мне нужно к круглым десятичным числам к шести местам с помощью JavaScript, но я должен рассмотреть браузеры прежней версии, таким образом, я не могу полагаться на Number.toFixed большая выгода с toExponential, toFixed, и toPrecision...
вопрос задан: 3 December 2008 13:33
4
ответа
Является ли жесткое кодирование наименее значимого байта двойника хорошей стратегией округления?
У меня есть функция, выполняющая некоторые математические вычисления и возвращающая двойное число. Это приводит к разным результатам в Windows и Android из-за различий в реализации std :: exp (Почему я получаю ...
вопрос задан: 18 January 2019 20:37
4
ответа
JavaScript числовая точность на 64 бита
Существует ли способ представить число с выше, чем 53-разрядная точность в JavaScript? Другими словами, существует ли способ представить 64-разрядное число точности? Я пытаюсь реализовать некоторую логику в который...
вопрос задан: 24 December 2012 12:44
4
ответа
Лучший алгоритм для предотвращения потери точности?
Недавнее присвоение домашней работы, которое я получил, просит, чтобы мы взяли выражения, которые могли создать потерю точности при выполнении в компьютере, и измените их так, чтобы этой потери избежали...
вопрос задан: 28 September 2012 08:08
4
ответа
Как вычислить число e для произвольной точности в python3? [Дубликат]
Привет, я хочу оценить число e на произвольную точность, используя python3. Я пытаюсь встроенную функцию numpy следующим образом импортировать numpy как np print (np.exp (1)), которая возвращает 2 ....
вопрос задан: 4 February 2012 22:13
4
ответа
Точность подразделения десятичного числа T-SQL
Делает любой знает, почему, с помощью SQLServer ИЗБРАННОЕ ПРЕОБРАЗОВАНИЕ 2005 года (ДЕСЯТИЧНОЕ ЧИСЛО (30,15), 146804871.212533) / ПРЕОБРАЗОВЫВАЮТ (ДЕСЯТИЧНОЕ ЧИСЛО (38,9), 12499999.9999) дает мне 11.74438969709659, но когда я увеличиваю десятичные разряды
вопрос задан: 4 July 2011 16:54
4
ответа
Запуская события в разрешение микросекунды для секвенсера midi
Существует ли способ запустить события в C# в разрешении нескольких микросекунд? Я создаю секвенсер MIDI, и он требует, чтобы событие было запущено каждая галочка MIDI, которая будет затем играть любое примечание...
вопрос задан: 3 June 2011 18:34
4
ответа
Как калькуляторы работают с точностью?
Интересно, как калькуляторы работают с точностью. Например, значение sin(M_PI), не является точно нулевым при вычислениях в двойной точности: #include <math.h> #include <stdio.h> международное основное () {...
вопрос задан: 26 April 2010 13:12
4
ответа
Java: Выполнение собственного типа данных? (например, долго длинный дважды?)
Я просто обдумываю о том, возможно ли создать собственный тип данных? Таким образом, если Вам нужно больше точности, это не поддерживается одним из основных типов, Вы могли просто "создать" свое собственное...
вопрос задан: 10 March 2010 14:02
4
ответа
Почему Math.sqrt(i*i) .floor == я?
Я задаюсь вопросом, верно ли это: Когда я пущу квадратный корень целого числа в квадрате, как в f = Math.sqrt (123*123), я получу число с плавающей точкой очень близко к 123. Из-за плавающей точки...
вопрос задан: 14 January 2010 06:55
4
ответа
Какова максимальная точность Таймера в.NET?
Я задаюсь вопросом, что точность класса Таймера находится в Системе. Таймеры, потому что это - двойное (который, казалось бы, указал бы, что у Вас могут быть части миллисекунд). Что это?
вопрос задан: 2 October 2009 23:36
4
ответа
Какой класс использовать для денежного представления?
Какой класс я должен использовать для представления денег для предотвращения большинства погрешностей округления? Я должен использовать Десятичное число или простое встроенное число? Есть ли любой существующий Денежный класс с поддержкой валюты...
вопрос задан: 18 September 2009 17:24
4
ответа
математика высокой точности на GPU
Я интересуюсь реализацией алгоритма на GPU с помощью HLSL, но одна из моих основных проблем - то, что я хотел бы переменный уровень точности. Есть ли методы там для эмуляции 64 битов...
вопрос задан: 18 September 2009 16:42
4
ответа
Как лучше всего подвести итог большого количества чисел с плавающей точкой?
Предположите, что у Вас есть большой массив чисел с плавающей точкой всех видов размеров. Что самый корректный путь состоит в том, чтобы вычислить сумму с наименьшим количеством ошибки? Например, когда массив похож на это: [...
вопрос задан: 29 December 2008 21:31
3
ответа
определяющая проблема точности matlab
У меня есть следующий компактный формат программы; формат короткий g;ясно; clc; L = 140; J = 77; Jm = 10540; G = 0.8*10^8; d = L/3; для i=1:500000 omegan=1. + 0.0001*i; (1,1) = ((omegan^2) * (Jm / (G*J))...
вопрос задан: 8 August 2017 04:26
3
ответа
Направляющие: не Может добавить: точность или: опции масштаба с change_column в миграции?
Это, кажется, спросили прежде: точность десятичного числа направляющих и масштаб, Но при выполнении change_column миграции для: точность или: масштаб они на самом деле не влияют на схему или базу данных, но db:...
вопрос задан: 23 May 2017 12:34
3
ответа
Арифметика с плавающей точкой - оператор по модулю на двойном типе
Таким образом, я пытаюсь выяснить, почему оператор по модулю возвращает такое большое необычное значение. Если у меня есть код: удвойте результат = 1.0d % 0.1d; это даст результат 0,09999999999999995. Я был бы...
вопрос задан: 23 May 2017 11:48