jjzjj

ios - iOS 上的数字音频工作站架构

coder 2024-01-16 原文

我正在开发一种适用于 iOS 的数字音频工作站架构(主要是，但也试图支持 OS X)。我正在慢慢浏览 Apple 的数英里文档及其框架引用。

我有使用 DSP 的经验，但 iOS 对我来说更陌生，有很多对象、教程(甚至适用于旧版本的 iOS)和具有不同 API 的不同框架。 我只是想确保我在开始时选择了正确的一个，或者这些的组合。

架构的目标是:

  • 音轨样本访问(访问文件中的样本)
    • iPod 音乐库歌曲
    • 本地文件歌曲
    • 远程服务器上的歌曲
    • 广播电台(无限长度的歌曲)
  • 效果链(多个均衡器，或同时改变音高和速度)
  • 多声道和混音(均匀环绕)
  • 便携性
    • 至少是 Mac OS X
    • iOS 6+ 支持(不需要 iOS 5 或更低版本)
    • 32 位 float (而非有符号整数)的示例访问。
  • 简单的 Objective-C API(当然是用 C++ 完成的 DSP 和处理)
  • 录音、播放
    • 记录到文件(选择编解码器)，或通过网络发送 (VoIP)
    • 在不同的输出(在 Mac 上)或在 iOS 上的扬声器/耳机上播放
    • 改变音量/静音
    • 背景音频支持
  • 实时样本处理
    • 当前播放的任何歌曲的均衡器
    • 实时样本操作
  • 多线程

我希望我没有错过任何东西，但那些是最重要的目标。

我的研究

我浏览了大部分框架(虽然不是很详细)，下面是我的发现。 Apple 列出了以下在 iOS 上使用音频的框架:

  • 媒体播放器框架
  • AV 基础框架
  • 音频工具箱框架
  • 音频单元框架
  • OpenAL 框架

Media Player 和 AV Foundation 的 API 级别太高，不允许直接访问示例。另一端的 OpenAL 无法录制音频。这样就剩下 Audio Toolbox 和 Audio Unit 框架了。此处解释了许多差异:What's the difference between all these audio frameworks?

据我所知，Audio Toolbox 是最佳选择，因为目前不需要 MIDI。但是关于 Audio Toolbox 的信息和教程很少，可用于更专业的控制，例如录音、播放等。但是关于 Audio Units 的信息和教程更多。

我的第一个问题: Audio Queue Services 到底是什么，它们属于什么框架？

然后是最后一个问题:

应该使用哪个框架才能实现大部分预期目标？

您甚至可以建议框架、类的混合搭配，但我恳请您详细解释您的答案以及您将使用哪些类来实现目标。我鼓励尽可能使用最高级别的 API，但尽可能低级别以实现目标。也欢迎示例代码链接。

非常感谢您的帮助。

最佳答案

音频单元是最低级别的 iOS 音频 API，也是构建音频队列的 API。音频单元将提供具有最低延迟的应用程序，因此最接近实时处理。虽然它是一个 C API，因此应用程序可能必须执行一些它自己的音频内存管理。

AVFoundation 框架可以让应用程序更轻松地访问音乐库 Assets 。

应用程序只能处理来自明确发布其音频数据的其他应用程序的声音，其中不包括音乐播放器应用程序，但包括一些使用 Apple 的应用程序间音频 API 和第 3 方音频总线 API 的应用程序。

关于ios - iOS 上的数字音频工作站架构，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/17174447/

iosstronglisectionaudiosignal-processingcore-audioaudiotoolbox

有关ios - iOS 上的数字音频工作站架构的更多相关文章

  1. ruby-on-rails - 由于 "wkhtmltopdf"，PDFKIT 显然无法正常工作 - 2

    我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中，我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

  2. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  3. ruby - 无法让 RSpec 工作—— 'require' : cannot load such file - 2

    我花了三天的时间用头撞墙，试图弄清楚为什么简单的“rake”不能通过我的规范文件。如果您遇到这种情况:任何文件夹路径中都不要有空格!。严重地。事实上，从现在开始，您命名的任何内容都没有空格。这是我的控制台输出:(在/Users/*****/Desktop/LearningRuby/learn_ruby)$rake/Users/*******/Desktop/LearningRuby/learn_ruby/00_hello/hello_spec.rb:116:in`require':cannotloadsuchfile--hello(LoadError) 最佳

  4. ruby-on-rails - rspec should have_select ('cars' , :options => ['volvo' , 'saab' ] 不工作 - 2

    关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗？通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion在首页我有:汽车:VolvoSaabMercedesAudistatic_pages_spec.rb中的测试代码:it"shouldhavetherightselect"dovisithome_pathit{shouldhave_select('cars',:options=>['volvo','saab','mercedes','audi'])}end响应是rspec./spec/request

  5. ruby-on-rails - date_field_tag，如何设置默认日期？ [ rails 上的 ruby ] - 2

    我想设置一个默认日期，例如实际日期，我该如何设置？还有如何在组合框中设置默认值顺便问一下，date_field_tag和date_field之间有什么区别？ 最佳答案 试试这个:将默认日期作为第二个参数传递。youcorrectlysetthedefaultvalueofcomboboxasshowninyourquestion. 关于ruby-on-rails-date_field_tag，如何设置默认日期？[rails上的ruby]，我们在StackOverflow上找到一个类似的问

  6. ruby-on-rails - s3_direct_upload 在生产服务器中不工作 - 2

    在Rails4.0.2中，我使用s3_direct_upload和aws-sdkgems直接为s3存储桶上传文件。在开发环境中它工作正常，但在生产环境中它会抛出如下错误，ActionView::Template::Error(noimplicitconversionofnilintoString)在View中，create_cv_url,:id=>"s3_uploader",:key=>"cv_uploads/{unique_id}/${filename}",:key_starts_with=>"cv_uploads/",:callback_param=>"cv[direct_uplo

  7. ruby-on-rails - openshift 上的 rails 控制台 - 2

    我将我的Rails应用程序部署到OpenShift，它运行良好，但我无法在生产服务器上运行“Rails控制台”。它给了我这个错误。我该如何解决这个问题？我尝试更新ruby​​gems，但它也给出了权限被拒绝的错误，我也无法做到。railsc错误:Warning:You'reusingRubygems1.8.24withSpring.UpgradetoatleastRubygems2.1.0andrun`gempristine--all`forbetterstartupperformance./opt/rh/ruby193/root/usr/share/rubygems/rubygems

  8. ruby-on-rails - 相关表上的范围为 "WHERE ... LIKE" - 2

    我正在尝试从Postgresql表(table1)中获取数据，该表由另一个相关表(property)的字段(table2)过滤。在纯SQL中，我会这样编写查询:SELECT*FROMtable1JOINtable2USING(table2_id)WHEREtable2.propertyLIKE'query%'这工作正常:scope:my_scope,->(query){includes(:table2).where("table2.property":query)}但我真正需要的是使用LIKE运算符进行过滤，而不是严格相等。然而，这是行不通的:scope:my_scope,->(que

  9. ruby - 如何验证 IO.copy_stream 是否成功 - 2

    这里有一个很好的答案解释了如何在Ruby中下载文件而不将其加载到内存中:https://stackoverflow.com/a/29743394/4852737require'open-uri'download=open('http://example.com/image.png')IO.copy_stream(download,'~/image.png')我如何验证下载文件的IO.copy_stream调用是否真的成功——这意味着下载的文件与我打算下载的文件完全相同，而不是下载一半的损坏文件？documentation说IO.copy_stream返回它复制的字节数，但是当我还没有下

  10. ruby - 查找字符串中的内容类型(数字、日期、时间、字符串等) - 2

    我正在尝试解析一个CSV文件并使用SQL命令自动为其创建一个表。CSV中的第一行给出了列标题。但我需要推断每个列的类型。Ruby中是否有任何函数可以找到每个字段中内容的类型。例如，CSV行:"12012","Test","1233.22","12:21:22","10/10/2009"应该产生像这样的类型['integer','string','float','time','date']谢谢! 最佳答案 require'time'defto_something(str)if(num=Integer(str)rescueFloat(s

随机推荐