jjzjj

mysql decimal 和 tinyint 乘法精度

coder 2023-10-19 原文

在 mysql 5.1 中，我有一个包含两列的表

create table t1 {
  price decimal(6,2),
  quantity tinyint(4),
  ...
}

在我正在做的选择查询中

select sum(price * quantity)
from t1
group by ...

这个计算是精确计算吗(使用定点运算)？还是我需要担心舍入/精度损失等问题？

最佳答案

我相信小数乘以整数没有精确的损失。参见 Precision Math Examples .我还做了一个小实验来了解 float 和小数之间的区别:

SELECT .1E0 * .1E0, 
       .1 * .1, 
       (.1E0 * .1E0) * 10, 
       (.1 * .1) * 10

输出是

0.010000000000000002          << .1E0 * .1E0
0.01                          << .1 * .1
0.10000000000000002           << (.1E0 * .1E0) * 10
0.10                          << (.1 * .1) * 10

关于mysql decimal 和 tinyint 乘法精度，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/17635584/

decimaltinyintsectioncodepremysql

有关mysql decimal 和 tinyint 乘法精度的更多相关文章

  1. [工业相机] 分辨率、精度和公差之间的关系 - 2

    📢博客主页：https://blog.csdn.net/weixin_43197380📢欢迎点赞👍收藏⭐留言📝如有错误敬请指正！📢本文由Loewen丶原创，首发于CSDN，转载注明出处🙉📢现在的付出，都会是一种沉淀，只为让你成为更好的人✨文章预览：一.分辨率（Resolution）1、工业相机的分辨率是如何定义的？2、工业相机的分辨率是如何选择的？二.精度（Accuracy）1、像素精度（PixelAccuracy）2、定位精度和重复定位精度（RepeatPrecision）三.公差（Tolerance）四.课后作业（Post-ClassExercises）视觉行业的初学者，甚至是做了1~2年

  2. ruby - ruby 乘法语句中星号中断语法前的空格 - 2

    在添加一些空格以使代码更具可读性时(与上面的代码对齐)，我遇到了这个:classCdefx42endendm=C.new现在这将给出“错误数量的参数”:m.x*m.x这将给出“语法错误，意外的tSTAR，期待$end”:2/m.x*m.x这里的解析器到底发生了什么？我使用Ruby1.9.2和2.1.5进行了测试。 最佳答案 *用于运算符(42*42)和参数解包(myfun*[42,42])。当你这样做时:m.x*m.x2/m.x*m.xRuby将此解释为参数解包，而不是*运算符(即乘法)。如果您不熟悉它，参数解包(有时也称为“spl

  3. ruby-on-rails - ruby on rails 模型验证中的浮点精度 - 2

    我正在尝试使用正则表达式验证美元金额:^[0-9]+\.[0-9]{2}$这工作正常，但每当用户提交表单并且美元金额以0(零)结尾时，ruby(或rails？)将0砍掉。所以500.00变成500.0，因此正则表达式验证失败。有没有办法让ruby​​/rails保持用户输入的格式，而不管尾随零？ 最佳答案 我假设您的美元金额是小数类型。因此，用户在字段中输入的任何值在保存到数据库之前都会从字符串转换为适当的类型。验证适用于已转换为数字类型的值，因此在您的情况下，正则表达式并不是真正合适的验证过滤器。不过，您有几种可能性可以解决这个问

  4. ruby-on-rails - 浮点乘法的 Ruby 奇怪问题 - 2

    有没有人用ruby​​解决这个问题:假设我们有:a=8.1999999我们想将它四舍五入为2位小数，即8.20，然后乘以1,000,000得到8,200,000我们是这样做的；(a.round(2)*1000000).to_i但是我们得到的是8199999，为什么？奇怪的是，如果我们乘以1000、100000或10000000而不是1000000，我们会得到正确的结果。有人知道为什么吗？我们正在使用ruby​​1.9.2并尝试使用1.9.3。谢谢! 最佳答案 每当你在计算中得到时髦的数字时使用bigdecimalrequire'bi

  5. ruby - Ruby 的任意精度算术 - 2

    Ruby到底是怎么做到的？Jörg或其他人是否知道幕后发生的事情？不幸的是，我不太了解C，所以bignum.c对我帮助不大。我只是有点好奇有人可以解释(用简单的英语)它使用的任何神奇算法背后的理论。irb(main):001:0>999**99936806348825922326789470084006052186583833823203735320465595962143702560930047223153010387361450517521869134525758989639113039318944796977164583238219236607653663113200177617

  6. ruby-on-rails - Rails 2.3.11 DateTime BigDecimal 精度 - 2

    我目前有一个运行Ruby1.8.7和Rails2.3.2的RubyonRails项目我有一些从数据库中读取数据的单元测试，特别是两个连续项目的日期时间列，这两个项目应该相隔24小时。在一项测试中，我将项目2的日期时间设置为与项目1的日期时间相同。当我执行断言以确保两个值相等时，测试在rails2.3.2下工作正常。当我升级到rails2.3.11时，测试失败显示两次之间的差异将关闭并出现以下错误:expectedbutwas.这两个版本的rails中似乎存在浮点转换问题。如何解决float问题？ 最佳答案 这也发生在我身上，我最终这

  7. ruby-on-rails - Ruby float 学 - Sum Calc 中的精度问题 - 2

    大家早上好我在float学方面遇到了一些问题，完全迷失在“.to_f”、“*100”和“.0”中!我希望有人能帮助我解决我的具体问题，并准确解释他们的解决方案为何有效，以便我下次理解这一点。我的程序需要做两件事:对一组小数求和，确定它们的和是否正好为1.0确定1.0与数字总和之间的差值-将变量的值设置为使总和等于1.0的精确差值。例如:[0.28,0.55,0.17]->总和应为1.0，但我一直得到1.xxxxxx。我正在以下列方式实现总和:sum=array.inject(0.0){|sum,x|sum+(x*100)}/100我需要此功能的原因是我正在读取一组来自excel的小数。

  8. Ruby 浮点精度 - 2

    据我了解，Ruby(1.9.2)float的精度为15位十进制数字。因此，我希望将floatx舍入到小数点后15位将等于x。对于此计算，情况并非如此。x=(0.33*10)x==x.round(15)#=>false顺便说一句，四舍五入到16位返回true。你能给我解释一下吗？ 最佳答案 部分问题是0.33在底层格式中没有精确的表示，因为它不能用一系列1/2n项来表示。因此，当它乘以10时，乘以的数字与0.33略有不同。就此而言，3.3也没有精确表示。第一部分当数字没有精确的10进制表示时，在转换尾数中有信息的最低有效位时会有余数。

  9. ruby - 简化字符串乘法连接 - 2

    s是一个字符串，这看起来很啰嗦——我该如何简化呢？:ifx===2z=selsifx===3z=s+selsifx===4z=s+s+selsifx===5z=s+s+s+selsifx===6z=s+s+s+s+s谢谢 最佳答案 像这样的东西是最简单且有效的(asseenonideone.com):puts'Hello'*3#HelloHelloHellos='Go'x=4z=s*(x-1)putsz#GoGoGoAPI链接ruby-doc.org-String:str*integer=>new_strCopy—Returnsan

  10. ruby - 如何以两位数的精度显示输出 - 2

    这是我的代码classAtmattr_accessor:amount,:rem,:balanceTAX=0.50deftransaction@rem=@balance=2000.00@amount=gets.chomp.to_fif@amount%5!=0||@balance我的输出是Enteramountfortransaction100#userentersthisvalueSuccessfulTransactionYourbalanceis1899.5如您所见，“您的余额为1899.5”的输出仅显示一位精度。我需要帮助来理解和解决问题。我希望输出有两位数的精度。还有我该如何改进这

随机推荐