0
ответов
SQL Server усекает десятичные точки во вновь созданном поле в представлении
У меня есть представление на SQL-сервере, примерно так: выберите 6,71 / 3,41 в качестве NewNumber Результат 1.967741 (обратите внимание на 6 десятичных знаков) -> decimal (38,6) Я пробую то же самое на калькуляторе, но результат ...
вопрос задан: 8 April 2011 13:25
0
ответов
Почему моя Entity Framework превращает «2,87» в просто «2» (десятичное поле)?
Я проверил, что в службу поступает правильное значение «2,87» .. и согласно диаграмме EF тип поля «Оценка» - «Десятичный» ... Но в базе данных это говорит просто «2» [...
вопрос задан: 5 April 2011 12:51
0
ответов
Может ли C # хранить более точные данные, чем double?
double в C # не обеспечивает достаточной точности для моих нужд . Я пишу фрактальную программу, и после нескольких масштабов у меня теряется точность. У меня есть тип данных, который может содержать более точные данные ...
вопрос задан: 29 March 2011 13:23
0
ответов
NHibernate 3.0 округляет десятичную дробь до 5 знаков после запятой - почему?
Все, Мы использовали NHibernate 2.1, где мы храним десятичные значения (курсы валют), например 123.1234567 до 7 знаков после запятой Мы отображаем тип, используя стиль отображения по умолчанию:
nhibernate decimal precision
вопрос задан: 9 March 2011 09:10
0
ответов
Уменьшение точности чисел - регулярное выражение vim
Мое регулярное выражение - довольно ржавый. Как можно использовать vim для изменения точности десятичного числа. Например: изменение 30.2223221 8188.2121213212
to 30.22 8188.21
вопрос задан: 4 March 2011 21:11
0
ответов
Что определяет точность с плавающей запятой в python?
Я узнал об операторе «точно равно» в Erlang, который сравнивает не только значения , но также и типы данных чисел, и мне было любопытно, как все работает в Python и его единственном "равно" ...
вопрос задан: 2 March 2011 08:05
0
ответов
Точность с плавающей запятой в массиве Python
I извиняюсь за действительно простой и глупый вопрос; однако, почему разница в точности отображается для этих двух случаев? 1) >> test = numpy.array ([0.22])
>> test2 = test [0] * ...
вопрос задан: 1 March 2011 21:21
0
ответов
Округление четвертого десятичного знака в швейцарских и аргентинских валютах
При округлении сумм валюты с использованием алгоритма для швейцарских франков учитываются вторые и третьи десятичные цифры. Если меньше 26, они округляются до 0; иначе, если меньше 76, округлено ...
вопрос задан: 27 February 2011 16:09
0
ответов
Альтернатива gnuplot с более высокой точностью времени
В настоящее время я использую gnuplot для построения графика данных по временной шкале. Однако точность временной шкалы находится в миллисекундах, но gnuplot, похоже, может обрабатывать только секунды. Я посмотрел на пару ...
вопрос задан: 26 January 2011 02:50
0
ответов
Какая самая лучшая (по скорости) библиотека произвольной точности для C ++? [дубликат]
Мне нужна самая быстрая библиотека, доступная для C ++. Моя платформа будет x86 и x86-64, которая поддерживает числа с плавающей запятой.
вопрос задан: 20 December 2010 17:26
0
ответов
Детерминанты огромных матрицы в MATLAB
из задачи моделирования, я хочу вычислить комплексные квадратные матрицы порядка 1000x1000 в MATLAB. Поскольку значения относятся к функциям Бесселя, матрицы вовсе не являются разреженными. ...
вопрос задан: 10 December 2010 22:08
0
ответов
C # int хранится с двойной точностью «==». Проблема точности
Вот упрощенный код: int i = 1;
двойной a = i;
двойной b = i; Гарантировано ли, что a == b истинно?
вопрос задан: 27 November 2010 08:31
0
ответов
Можно ли уменьшить точность SQL Server 2008 TIME до часов и минут?
В SQL Server 2008 тип данных времени имеет необязательный аргумент точности (по умолчанию 7). С его помощью вы можете контролировать, сколько десятичных знаков после запятой сохраняется и отображается. ОБЪЯВИТЬ @time time (3) ...
вопрос задан: 22 November 2010 15:57
0
ответов
Сумасшедшая точность SQL-сервера
У меня проблема с точностью SQL-сервера. У меня есть следующие запросы: DECLARE @A numeric (30,10)
DECLARE @B numeric (30,10)
SET @A = 20.225
SET @B = 53.3875 { {1}} SELECT @A * @B DECLARE @ A1 numeric (...
вопрос задан: 16 November 2010 22:04
0
ответов
AS3 Точность свойств x и y
В ActionScript 3 (и IIRC 2) свойства x и y экранного объекта всегда сохраняются как кратные 0,05. поэтому что-то вроде obj.x = 66.6666 совпадает с obj.x = 66. 65 В большинстве случаев ...
вопрос задан: 31 October 2010 17:28
0
ответов
Точность C ++ и Python
Попытка найти первые k цифр числа ^ num Я написал ту же программу на C ++ и Python C ++ long double intpart, num, f_digit, k;
cin >> num >> k;
f_digit = pow (10.0, modf (num * ...
вопрос задан: 2 October 2010 17:15
0
ответов
C# double precision problem
Imagine that a - b < c (a, b, c are C# doubles). Is it guaranteed that a < b + c? Thanks! EDIT
Let's say that the arithmetical overflow doesn't occur unlike the following example: double a = ...
вопрос задан: 3 September 2010 09:38
0
ответов
Проблемы с проверкой равенства два удваиваются в.NET — что случилось с этим методом?
Таким образом, я просто собираюсь погрузиться в эту проблему... У меня есть в большой степени используемое веб-приложение, которое, впервые за 2 года, отказавшее выполнение равенства проверяет два, удваивает использование функции равенства...
вопрос задан: 5 August 2010 18:03
0
ответов
Двойная точность типа метода set Symfony 1.4
Я хочу сохранить число с 14 десятичными разрядами, но симфония только сохраняет 6. Как может я управлять этим: $loc-> setSinRadLon (0.73946213661883); В схеме столбец похож: sin_rad_lon: {введите:...
вопрос задан: 4 June 2010 00:17