jjzjj

向量化计算的 Java 最佳实践

coder 2024-03-31 原文

我正在研究在 Java 中计算昂贵的 vector 运算的方法，例如大矩阵之间的点积或乘法。这里有一些关于这个主题的好话题，比如 this和 this .

似乎没有可靠的方法让 JIT 编译代码使用 CPU vector 指令(SSE2、AVX、MMX...)。此外，高性能线性代数库(ND4J、jblas 等)实际上确实会为核心例程对 BLAS/LAPACK 库进行 JNI 调用。我知道 BLAS/LAPACK 包是本地线性代数计算的事实上标准选择。
另一方面，其他人(JAMA，...)在没有 native 调用的情况下用纯 Java 实现算法。

我的问题是:

  • 此处的最佳做法是什么？
  • 对 BLAS/LAPACK 进行 native 调用实际上是推荐的选择吗？还有其他值得考虑的图书馆吗？
  • 与性能提升相比，JNI 调用的开销可以忽略不计吗？有没有人知道阈值在哪里(例如，输入应该多小才能使 JNI 调用比纯 Java 例程更昂贵？)
  • 可移植性权衡有多大？



我希望这个问题对那些开发自己的计算例程的人以及那些只想在不同实现之间做出有根据的选择的人都有帮助。

不胜感激!

最佳答案

没有针对每种情况的明确最佳做法。您是否可以/应该通过 JNI 使用纯 Java 解决方案(不使用 SIMD 指令)或(使用 SIMD 优化) native 代码取决于您的特定应用程序，特别是数组的大小以及对目标系统的可能限制。

  1. 可能会要求您不允许在目标系统中安装特定的 native 库，并且尚未安装 BLAS。在这种情况下，您只需使用 Java 库即可。
  2. 对于长度远小于 100 的数组，纯 Java 库往往会表现得更好，并且在此之后的某个时候，您可以通过 JNI 使用 native 库获得更好的性能。一如既往，您的里程可能会有所不同。

已执行相关基准测试(按随机顺序):

这些基准可能会造成混淆，因为它们提供的信息量很大。一个库对于某些操作可能更快，而对于其他操作可能更慢。另请记住，可能有不止一种 BLAS 实现可用于您的系统。我目前在我的系统上安装了 3 个 blas、atlas 和 openblas。除了选择包装 BLAS 实现的 Java 库之外，您还必须选择底层 BLAS 实现。

This answer有一个相当最新的列表，除了它没有提到相当新的 nd4j。请记住，jeigen 依赖于 eigen 而不是 BLAS。

关于向量化计算的 Java 最佳实践，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41349224/

Java向量化noreferrersectionstackoverflowblasnd4j

有关向量化计算的 Java 最佳实践的更多相关文章

  1. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  2. ruby-on-rails - Ruby on Rails : . 常量化 : wrong constant name error? - 2

    我正在使用这个:4.times{|i|assert_not_equal("content#{i+2}".constantize,object.first_content)}我之前声明过局部变量content1content2content3content4content5我得到的错误NameError:wrongconstantnamecontent2这个错误是什么意思？我很确定我想要content2=\ 最佳答案 你必须用一个大字母来调用ruby​​常量:Content2而不是content2。Aconstantnamestart

  3. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  4. ruby-on-rails - 使用一系列等级计算字母等级 - 2

    这里是Ruby新手。完成一些练习后碰壁了。练习:计算一系列成绩的字母等级创建一个方法get_grade来接受测试分数数组。数组中的每个分数应介于0和100之间，其中100是最大分数。计算平均分并将字母等级作为字符串返回，即“A”、“B”、“C”、“D”、“E”或“F”。我一直返回错误:avg.rb:1:syntaxerror,unexpectedtLBRACK,expecting')'defget_grade([100,90,80])^avg.rb:1:syntaxerror,unexpected')',expecting$end这是我目前所拥有的。我想坚持使用下面的方法或.join，

  5. java - 等价于 Java 中的 Ruby Hash - 2

    我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么？ 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设？ 关于java-等价于Java中的RubyHash，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/22737685/

  6. java - 从 JRuby 调用 Java 类的问题 - 2

    我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java，并成功地将它与另一个Java包一起使用，但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www

  7. java - 我的模型类或其他类中应该有逻辑吗 - 2

    我只想对我一直在思考的这个问题有其他意见，例如我有classuser_controller和classuserclassUserattr_accessor:name,:usernameendclassUserController//dosomethingaboutanythingaboutusersend问题是我的User类中是否应该有逻辑user=User.newuser.do_something(user1)oritshouldbeuser_controller=UserController.newuser_controller.do_something(user1,user2)我

  8. java - 什么相当于 ruby​​ 的 rack 或 python 的 Java wsgi？ - 2

    什么是ruby​​的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht

  9. 叮咚买菜基于 Apache Doris 统一 OLAP 引擎的应用实践 - 2

    导读：随着叮咚买菜业务的发展，不同的业务场景对数据分析提出了不同的需求，他们希望引入一款实时OLAP数据库，构建一个灵活的多维实时查询和分析的平台，统一数据的接入和查询方案，解决各业务线对数据高效实时查询和精细化运营的需求。经过调研选型，最终引入ApacheDoris作为最终的OLAP分析引擎，Doris作为核心的OLAP引擎支持复杂地分析操作、提供多维的数据视图，在叮咚买菜数十个业务场景中广泛应用。作者｜叮咚买菜资深数据工程师韩青叮咚买菜创立于2017年5月，是一家专注美好食物的创业公司。叮咚买菜专注吃的事业，为满足更多人“想吃什么”而努力，通过美好食材的供应、美好滋味的开发以及美食品牌的孵

  10. Observability：从零开始创建 Java 微服务并监控它 （二） - 2

    这篇文章是继上一篇文章“Observability：从零开始创建Java微服务并监控它（一）”的续篇。在上一篇文章中，我们讲述了如何创建一个Javaweb应用，并使用Filebeat来收集应用所生成的日志。在今天的文章中，我来详述如何收集应用的指标，使用APM来监控应用并监督web服务的在线情况。源码可以在地址 https://github.com/liu-xiao-guo/java_observability 进行下载。摄入指标指标被视为可以随时更改的时间点值。当前请求的数量可以改变任何毫秒。你可能有1000个请求的峰值，然后一切都回到一个请求。这也意味着这些指标可能不准确，你还想提取最小/

随机推荐