jjzjj

javascript - 我可以使用 nodejs 将麦克风音频从客户端流式传输到客户端吗？

coder 2024-07-24 原文

我正在尝试创建实时语音聊天。一旦客户端按下按钮并开始通话，我希望通过套接字将声音发送到 nodejs 后端，然后我想将此数据流式传输到另一个客户端。

这里是发件人客户端代码:

socket.on('connect', function() {
      var session = {
          audio: true,
          video: false
      };

      navigator.getUserMedia(session, function(stream){
          var audioInput = context.createMediaStreamSource(stream);
          var bufferSize = 2048;

          recorder = context.createScriptProcessor(bufferSize, 1, 1);

          recorder.onaudioprocess = onAudio;

          audioInput.connect(recorder);

          recorder.connect(context.destination);

      },function(e){

      });

      function onAudio(e) {

          if(!broadcast) return;

          var mic = e.inputBuffer.getChannelData(0);

          var converted = convertFloat32ToInt16(mic);

          socket.emit('broadcast', converted);
      }

    });

服务器然后获取此缓冲区并将其流式传输到另一个客户端(在本例中为同一客户端)

服务器代码

socket.on('broadcast', function(buffer) {
    socket.emit('broadcast', new Int16Array(buffer));
});

然后，为了在另一端(接收器)播放声音，客户端代码如下:

socket.on('broadcast', function(raw) {

      var buffer = convertInt16ToFloat32(raw);

      var src = context.createBufferSource();
      var audioBuffer = context.createBuffer(1, buffer.byteLength, context.sampleRate);

      audioBuffer.getChannelData(0).set(buffer);

      src.buffer = audioBuffer;

      src.connect(context.destination);

      src.start(0);
    });

我的预期结果是客户端 A 的声音会在客户端 B 中听到，我可以看到服务器上的缓冲区，我可以在客户端看到缓冲区，但我什么也听不见。

我知道 socket.io 1.x 支持二进制数据，但我找不到任何进行语音聊天的示例，我也尝试使用 BinaryJS 但结果是一样的，而且，我知道使用 WebRTC 这是一个简单的任务，但我不想使用 WebRTC，任何人都可以指点我一个好的资源或告诉我我错过了什么吗？

最佳答案

几周前我自己构建了这样的东西。我遇到的问题(你会在某个时候遇到的):

  • 在不降低比特率和采样率的情况下获取大量数据(通过互联网)
  • 没有插值或更好的音频压缩的音频质量差
  • 即使没有向您展示，您也会从不同的计算机声卡(我的 PC = 48kHz，我的笔记本电脑 = 32Khz)获得不同的采样率，这意味着您必须编写一个重采样器
  • 在 WebRTC 中，如果检测到互联网连接不良，它们会降低音频质量。你不能这样做，因为这是低级的东西!
  • 你必须以快速的方式实现它，因为如果不使用 webworkers，JS 会阻塞你的前端
  • 翻译成 JS 的音频编解码器非常慢，您会得到意想不到的结果(请参阅我的一个音频编解码器问题:here)我试过 Opus也一样，但还没有好的结果。

我目前不参与这个项目，但您可以在以下位置获取代码:https://github.com/cracker0dks/nodeJsVoip

和工作示例:(链接已删除)用于多用户 voip 音频。 (不再工作了!Websocketserver 挂了!) 如果您进入设置 > 音频(在页面上)，您可以选择更高的位和采样率以获得更好的音频质量。

编辑:你能告诉我为什么你不想使用 WebRTC 吗？

关于javascript - 我可以使用 nodejs 将麦克风音频从客户端流式传输到客户端吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30957587/

流式麦克风sectioncontextfunctionjavascriptnode.jssocket.ioweb-audio-apisocket.io-1.0

有关javascript - 我可以使用 nodejs 将麦克风音频从客户端流式传输到客户端吗？的更多相关文章

  1. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  2. ruby - 我可以使用 Ruby 从 CSV 中删除列吗？ - 2

    查看Ruby的CSV库的文档，我非常确定这是可能且简单的。我只需要使用Ruby删除CSV文件的前三列，但我没有成功运行它。 最佳答案 csv_table=CSV.read(file_path_in,:headers=>true)csv_table.delete("header_name")csv_table.to_csv#=>ThenewCSVinstringformat检查CSV::Table文档:http://ruby-doc.org/stdlib-1.9.2/libdoc/csv/rdoc/CSV/Table.html

  3. ruby - 我可以使用 aws-sdk-ruby 在 AWS S3 上使用事务性文件删除/上传吗？ - 2

    我发现ActiveRecord::Base.transaction在复杂方法中非常有效。我想知道是否可以在如下事务中从AWSS3上传/删除文件:S3Object.transactiondo#writeintofiles#raiseanexceptionend引发异常后，每个操作都应在S3上回滚。S3Object这可能吗？？ 最佳答案 虽然S3API具有批量删除功能，但它不支持事务，因为每个删除操作都可以独立于其他操作成功/失败。该API不提供任何批量上传功能(通过PUT或POST)，因此每个上传操作都是通过一个独立的API调用完成的

  4. ruby - 我可以将我的 README.textile 以正确的格式放入我的 RDoc 中吗？ - 2

    我喜欢使用Textile或Markdown为我的项目编写自述文件，但是当我生成RDoc时，自述文件被解释为RDoc并且看起来非常糟糕。有没有办法让RDoc通过RedCloth或BlueCloth而不是它自己的格式化程序运行文件？它可以配置为自动检测文件后缀的格式吗？(例如README.textile通过RedCloth运行，但README.mdown通过BlueCloth运行) 最佳答案 使用YARD直接代替RDoc将允许您包含Textile或Markdown文件，只要它们的文件后缀是合理的。我经常使用类似于以下Rake任务的东西:

  5. ruby-on-rails - 使用 javascript 更改数据方法不会更改 ajax 调用用户的什么方法？ - 2

    我遇到了一个非常奇怪的问题，我很难解决。在我看来，我有一个与data-remote="true"和data-method="delete"的链接。当我单击该链接时，我可以看到对我的Rails服务器的DELETE请求。返回的JS代码会更改此链接的属性，其中包括href和data-method。再次单击此链接后，我的服务器收到了对新href的请求，但使用的是旧的data-method，即使我已将其从DELETE到POST(它仍然发送一个DELETE请求)。但是，如果我刷新页面，HTML与"new"HTML相同(随返回的JS发生变化)，但它实际上发送了正确的请求类型。这就是这个问题令我困惑的

  6. ruby - 我可以删除 Ruby 中的方法别名吗？ - 2

    假设我有一段Ruby代码，我想在其中为一个方法设置别名(我不知道为什么；让我们假设我有一个很好的理由)。classStringalias_method:contains?,:include?end我可以在本节之后删除这个别名吗？ 最佳答案 remove_method在大多数情况下应该有效。但是，如果您的alias_method覆盖了现有方法，您可能需要通过单独的alias_method调用来保存原始方法。#assuming:contains?isalreadyamethodalias_method:original_contains

  7. ruby - 我可以使用 RVM 为所有用户维护单一版本的 Ruby 吗？ - 2

    我喜欢RVM。我意识到它的主要用例是让不同的用户在不同版本的Ruby之间切换。但是假设我正在将Rails应用程序部署到服务器，并且我只想运行单个版本的Ruby。特别是，我想要1.9.2，用RVM安装它很容易，但没有它就很痛苦。有没有一种方法可以让我说“我希望这是所有用户的规范Ruby安装”(连同它的所有gem)，而不必手动创建一堆符号链接(symboliclink)并在每次更新到更新时更改它们Ruby版本？ 最佳答案 以root身份安装RVM并执行sudorvmuse1.9.2--default。任何采购/usr/local/rvm

  8. ruby - 在 TCPServer (Ruby) 中，我如何从客户端获取 IP/MAC？ - 2

    我想在Ruby的TCPServer中获取客户端的IP地址。以及(如果可能的话)MAC地址。例如，Ruby中的时间服务器，请参阅评论。tcpserver=TCPServer.new("",80)iftcpserverputs"Listening"loopdosocket=tcpserver.acceptifsocketThread.newdoputs"Connectedfrom"+#HERE!HowcanigettheIPAddressfromtheclient?socket.write(Time.now.to_s)socket.closeendendendend非常感谢!

  9. ruby - Rails 3 - 我可以将开始日期设置为 date_select 方法吗？ - 2

    date_select方法只能设置:start_year，但我想设置开始日期(例如3个月前的日期)(但没有这样的选项)。那么，我可以将开始日期设置为date_select方法吗？或者，要制作这样的选择框，我应该使用select_tag和options_for_select吗？或者，有什么解决办法吗？谢谢， 最佳答案 有可能……例如:start_year–设置年份选择的开始年份。默认为Time.now.year-5参见thisresource. 关于ruby-Rails3-我可以将开始日期

  10. ruby - 我可以在 Ruby 1.9.x 中使用无参数函数吗？ - 2

    所以我正在研究RubyKoans，而且我遇到了一个我认为是ruby1.9.x特有的问题。deftest_calling_global_methods_without_parenthesesresult=my_global_method2,3assert_equal5,resultend我明白了:james@tristan:~/code/ruby_projects/ruby_koans$rake(in/home/james/code/ruby_projects/ruby_koans)cdkoans/home/james/.rvm/rubies/ruby-1.9.2-p180/bin/ru

随机推荐