jjzjj

android - 在移动设备上运行递归神经网络(推理)的最快方法

coder 2023-09-25 原文

我所拥有的:在 Tensorflow 中经过训练的递归神经网络。

我想要的:一个可以尽可能快地运行这个网络的移动应用程序(只有推理模式，没有训练)。

我相信有多种方法可以实现我的目标，但我希望您能提供反馈/更正和补充，因为我以前从未这样做过。

  1. Tensorflow 精简版。专业版:简单明了，适用于 Android 和 iOS。 Contra:可能不是最快的方法，对吧？
  2. TensorRT。优点:非常快 + 我可以编写自定义 C 代码以使其更快。 Contra:用于 Nvidia 设备，因此在 Android 和 iOS 上运行起来并不容易，对吧？
  3. 自定义代码 + openBLAS 等库。优点:可能非常快，并且有可能在 iOS 上的 Android 上链接到它(如果我没记错的话)。 Contra:递归神经网络有很多用处吗？它真的适用于 Android + iOS 吗？
  4. 重新实现一切。我还可以用 C/C++ 重写整个计算，这对于循环神经网络来说应该不会太难。优点:可能是最快的方法，因为我可以优化所有内容。相反:将花费很长时间，如果网络发生变化，我也必须更新我的代码(尽管如果它真的是最快的，我愿意这样做)。另外，在 Android 上调用库 (C/C++) 的速度有多快？我是否受到 Java 接口(interface)的限制？

有关移动应用程序的一些详细信息。该应用程序将记录用户的声音，进行一些处理(如 Speech2Text)并输出文本。我不想找到一个“足够快”的解决方案，而是最快的选择，因为这会在非常大的声音文件上发生。所以几乎每一次速度改进都很重要。您有什么建议，我应该如何解决这个问题？

最后一个问题:如果我想雇人帮我，我应该找 Android/iOS、嵌入式还是 Tensorflow 类型的人？

最佳答案

<强>1。 TensorflowLite

Pro:它在 Android 上使用 GPU 优化；很容易融入 Swift/Objective-C app , 和 very easy into Java/Android (只需在 gradle.build 中添加一行)；您可以将 TF 模型转换为 CoreML

缺点:如果您使用 C++ 库 - 将 TFLite 作为库添加到您的 Android/Java-JNI 时会遇到一些问题(没有 JNI 就无法构建此类库)； iOS 上不支持 GPU(社区致力于 MPS 集成)

此处还引用了 TFLite 语音转文本 demo app ，它可能会有用。

<强>2。张量RT

它使用 TensorRT 使用 cuDNN，后者使用 CUDA 库。有 CUDA for Android ，不确定它是否支持全部功能。

<强>3。自定义代码 + 库

我建议您使用 Android NNet library和 CoreML ;如果你需要更深入 - 你可以使用 Eigen线性代数库。但是，从长远来看，编写您自己的自定义代码并无益处，您需要支持/测试/改进它 - 这是一件大事，比性能更重要。

重新实现一切

此选项与前一个选项非常相似，实现您自己的 RNN(LSTM) 应该没问题，一旦您知道自己在做什么，只需使用一个线性代数库(例如 Eigen)即可。

总体建议是:**

  • 尝试在服务器端做:使用一些有损压缩和服务器端 语音文本；
  • 尝试使用 Tensorflow Lite；衡量性能，发现瓶颈，尝试优化
  • 如果 TFLite 的某些部分太慢 - 在 custom operations 中重新实现它们; (并向 Tensorflow 进行 PR)
  • 如果瓶颈在硬件层面 - 转到第一个建议

关于android - 在移动设备上运行递归神经网络(推理)的最快方法，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/49193985/

神经最快tensorflownoreferrernoopenerandroidiosperformancetensorflow-litetensorrt

有关android - 在移动设备上运行递归神经网络(推理)的最快方法的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. ruby - Facter::Util::Uptime:Module 的未定义方法 get_uptime (NoMethodError) - 2

    我正在尝试设置一个puppet节点，但ruby​​gems似乎不正常。如果我通过它自己的二进制文件(/usr/lib/ruby/gems/1.8/gems/facter-1.5.8/bin/facter)在cli上运行facter，它工作正常，但如果我通过由ruby​​gems(/usr/bin/facter)安装的二进制文件，它抛出:/usr/lib/ruby/1.8/facter/uptime.rb:11:undefinedmethod`get_uptime'forFacter::Util::Uptime:Module(NoMethodError)from/usr/lib/ruby

  5. Ruby 方法() 方法 - 2

    我想了解Ruby方法methods()是如何工作的。我尝试使用“ruby方法”在Google上搜索，但这不是我需要的。我也看过ruby​​-doc.org，但我没有找到这种方法。你能详细解释一下它是如何工作的或者给我一个链接吗？更新我用methods()方法做了实验，得到了这样的结果:'labrat'代码classFirstdeffirst_instance_mymethodenddefself.first_class_mymethodendendclassSecond使用类#returnsavailablemethodslistforclassandancestorsputsSeco

  6. ruby - 多次弹出/移动 ruby​​ 数组 - 2

    我的代码目前看起来像这样numbers=[1,2,3,4,5]defpop_threepop=[]3.times{pop有没有办法在一行中完成pop_three方法中的内容？我基本上想做类似numbers.slice(0,3)的事情，但要删除切片中的数组项。嗯...嗯，我想我刚刚意识到我可以试试slice! 最佳答案 是numbers.pop(3)或者numbers.shift(3)如果你想要另一边。 关于ruby-多次弹出/移动ruby​​数组，我们在StackOverflow上找到一

  7. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

  8. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他，以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时，出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

  9. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe？ - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗？我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何ruby​​gems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  10. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

随机推荐