在我要创建的应用程序中，我遇到了一些技术障碍。我在应用程序中有两个音乐轨道。例如，用户导入音乐背景作为第一轨道。第二条路径是用户根据扬声器设备(或耳机)播放的第一首轨道的节奏录制的语音。此时我们面临延迟。在应用中录制和播放后，用户会听到音轨之间失去同步，这是由于麦克风和扬声器延迟造成的。
首先，我尝试通过过滤输入声音来检测延迟。我使用 android 的 AudioRecord 类和方法 read()。此方法用音频数据填充我的短数组。
我发现这个数组的初始值为零，所以我决定在开始将它们写入输出流之前将它们剪掉。
所以我将这些零视为麦克风的“预热”延迟。这种方法正确吗？这个操作给出了一些结果，但并没有解决问题，在这个阶段，我离那个还很远。
但更糟糕的情况是启动扬声器和播放音乐之间的延迟。我无法过滤或检测到这种延迟。我试图创建一些计算延迟的校准功能。我通过扬声器播放“哔”的声音，当我开始播放时，我也开始计算时间。然后，我开始录音并聆听麦克风检测到的声音。当我在应用程序中识别出这个声音时，我会停止测量时间。我重复这个过程几次，最终值是这些结果的平均值。这就是我尝试测量设备延迟的方式。现在，当我有这个值时，我可以简单地将第二条轨道向后移动以实现两个记录的同步(我会丢失一些最初的录音毫秒数，但我跳过这种情况，目前，有一些可能性可以修复它) . 本来以为这样就可以解决问题了，结果发现并没有想象的那么简单。我在这里发现了两个问题: 1.同时播放两个轨道时延迟 2. 设备音频延迟随机。
第一个:我使用 AudioTrack 类播放两个轨道，然后像这样运行方法 play():
val firstTrack = //creating a track
val secondTrack = //creating a track
firstTrack.play()
secondTrack.play()
此代码会导致播放轨道的阶段出现延迟。现在，我什至不必考虑录制时的延迟问题；我无法无延迟地同时播放两首轨道。我用一些外部音频文件(未记录在我的应用程序中)对此进行了测试 - 我正在使用上面的代码启动相同的音频文件，我可以看到延迟。我也用 MediaPlayer 类尝试过，结果相同。在这种情况下，我什至尝试在调用回调 OnPreparedListener 时播放轨道:
val firstTrack = //AudioPlayer
val secondTrack = //AudioPlayer
second.setOnPreparedListener {
first.start()
second.start()
}
这并没有帮助。 我知道Android 还提供了一个类SoundPool。根据文档，同时播放轨道会更好，但我不能使用它，因为它只支持小音频文件，这不能限制我。 我该如何解决这个问题？如何同时精确地开始播放两条轨道？
第二:音频延迟不是确定性的 - 有时它更小，有时它很大，而且它不在我的控制范围内。因此，测量设备延迟可以提供帮助，但同样无法解决问题。
总结一下:是否有任何解决方案可以为我提供每个设备(或应用程序 session ？)的准确延迟或检测实际延迟的其他触发器，以便在同时播放两个轨道时提供最佳同步？
提前致谢!
最佳答案
为卡拉 OK 应用同步音频很困难。您似乎面临的主要问题是输出流中的可变延迟。
这几乎可以肯定是由“预热”延迟引起的:从在背景音轨上点击“播放”到音频设备(例如耳机)呈现第一帧音频数据所花费的时间。这可能有很大的差异并且难以测量。
要尝试的第一个(也是最简单的)事情是在构造您的 AudioTrack 时使用 MODE_STREAM 并在开始之前用 bufferSizeInBytes 数据对其进行填充调用播放 ( more here )。这应该会导致更低、更一致的“预热”延迟。
更好的方法是使用 Android NDK有一个连续运行的音频流，它只是输出静音，直到你点击播放的那一刻，然后立即开始发送音频帧。这里唯一的延迟是连续输出延迟。
如果您决定走这条路，我建议您查看 Oboe library (完全披露:我是作者之一)。
回答您的一个具体问题...
有没有办法以编程方式计算音频输出流的延迟？
是的。解释这一点的最简单方法是使用 code sample (这是用于 AAudio API 的 C++，但使用 Java AudioTrack 的原理是相同的):
// Get the index and time that a known audio frame was presented for playing
int64_t existingFrameIndex;
int64_t existingFramePresentationTime;
AAudioStream_getTimestamp(stream, CLOCK_MONOTONIC, &existingFrameIndex, &existingFramePresentationTime);
// Get the write index for the next audio frame
int64_t writeIndex = AAudioStream_getFramesWritten(stream);
// Calculate the number of frames between our known frame and the write index
int64_t frameIndexDelta = writeIndex - existingFrameIndex;
// Calculate the time which the next frame will be presented
int64_t frameTimeDelta = (frameIndexDelta * NANOS_PER_SECOND) / sampleRate_;
int64_t nextFramePresentationTime = existingFramePresentationTime + frameTimeDelta;
// Assume that the next frame will be written into the stream at the current time
int64_t nextFrameWriteTime = get_time_nanoseconds(CLOCK_MONOTONIC);
// Calculate the latency
*latencyMillis = (double) (nextFramePresentationTime - nextFrameWriteTime) / NANOS_PER_MILLISECOND;
注意事项:此方法依赖于音频硬件报告的准确时间戳。我知道这适用于 Google Pixel 设备，但听说它在其他设备上不太准确，所以 YMMV。
关于android - 音频延迟问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/48687470/
我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po
尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub
我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search
由于fast-stemmer的问题，我很难安装我想要的任何rubygem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=
当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub
我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java，并成功地将它与另一个Java包一起使用，但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www
我意识到这可能是一个非常基本的问题，但我现在已经花了几天时间回过头来解决这个问题，但出于某种原因，Google就是没有帮助我。(我认为部分问题在于我是一个初学者，我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI，但我仍然停留在这个问题上.我找到了一些关于多态关系的信息，但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。
首先回顾一下拉格朗日定理的内容：函数f(x)是在闭区间[a,b]上连续、开区间(a,b)上可导的函数，那么至少存在一个，使得:通过这个表达式我们可以知道，f(x)是函数的主体，a和b可以看作是主体函数f(x)中所取的两个值。那么可以有， 也就意味着我们可以用来替换 这种替换可以用在求某些多项式差的极限中。方法： 外层函数f(x)是一致的，并且h(x)和g(x)是等价无穷小。此时，利用拉格朗日定理，将原式替换为 ，再进行求解，往往会省去复合函数求极限的很多麻烦。使用要注意：1.要先找到主体函数f(x)，即外层函数必须相同。2.f(x)找到后，复合部分是等价无穷小。3.要满足作差的形式。如果是加
SPI接收数据左移一位问题目录SPI接收数据左移一位问题一、问题描述二、问题分析三、探究原理四、经验总结最近在工作在学习调试SPI的过程中遇到一个问题——接收数据整体向左移了一位（1bit）。SPI数据收发是数据交换，因此接收数据时从第二个字节开始才是有效数据，也就是数据整体向右移一个字节（1byte）。请教前辈之后也没有得到解决，通过在网上查阅前人经验终于解决问题，所以写一个避坑经验总结。实际背景：MCU与一款芯片使用spi通信，MCU作为主机，芯片作为从机。这款芯片采用的是它规定的六线SPI，多了两根线：RDY和INT，这样从机就可以主动请求主机给主机发送数据了。一、问题描述根据从机芯片手
文章目录git常用命令（简介，详细参数往下看）Git提交代码步骤gitpullgitstatusgitaddgitcommitgitpushgit代码冲突合并问题方法一：放弃本地代码方法二：合并代码常用命令以及详细参数gitadd将文件添加到仓库：gitdiff比较文件异同gitlog查看历史记录gitreset代码回滚版本库相关操作远程仓库相关操作分支相关操作创建分支查看分支：gitbranch合并分支：gitmerge删除分支：gitbranch-ddev查看分支合并图：gitlog–graph–pretty=oneline–abbrev-commit撤消某次提交git用户名密码相关配置g