jjzjj

Golang 非阻塞缓冲区

coder 2023-06-29 原文

同步示例:

type job struct {
    Id int
    Message string
}

for {
    // getJob() blocks until job is received
    job := getJob()
    doSomethingWithJob(job)
}

我希望使用 doSomethingWithJob 处理来自 getJob 的作业。例如getJob 可以是从 RabbitMQ/Beanstalkd 等 MessagingQueue 接收的负载或处理 HTTP 请求。

我不想在我正在执行 doSomethingWithJob 时阻止 getJob，反之亦然。但是，我确实想控制/缓冲作业数量，以免系统重载。例如最大并发数为 5。

go routines 的概念目前让我感到困惑，因此非常感谢任何指向正确方向的指针来帮助我学习。

更新:感谢@JimB 的帮助。为什么 worker 5 总是接手工作？

jobCh := make(chan *job)

// Max 5 Workers
for i := 0; i < 5; i++ {

    go func() {

        for job := range jobCh {
            time.Sleep(time.Second * time.Duration(rand.Intn(3)))
            log.Println(i, string(job.Message))
        }
    }()
}

for {
    job, err := getJob()
    if err != nil {
        log.Println("Closing Channel")
        close(jobCh)
        break
    }

    jobCh <- job
}

log.Println("Complete")

示例输出

2016/06/09 22:19:57 5 {"id":10692,"name":"Test Message"}
2016/06/09 22:19:57 5 {"id":10687,"name":"Test Message"}
2016/06/09 22:19:57 5 {"id":10699,"name":"Test Message"}
2016/06/09 22:19:57 5 {"id":10701,"name":"Test Message"}
2016/06/09 22:19:57 5 {"id":10703,"name":"Test Message"}
2016/06/09 22:19:57 5 {"id":10704,"name":"Test Message"}

最佳答案

您可以启动 5 个 goroutines 从一个 channel 读取数据以调用 doSomethingWithJob。这样，并发处理的作业不会超过 5 个。 

jobCh := make(chan *job)

// start 5 workers to process jobs
for i := 0; i < 5; i++ {
    go func() {
        for job := range jobCh {
            doSomethingWithJob(job)
        }
    }()
}

// send jobs to workers as fast as we can
for {
    jobCh <- getJob()
}

关于Golang 非阻塞缓冲区，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37735232/

Golang非阻塞34codesectiongoconcurrencynonblocking

有关Golang 非阻塞缓冲区的更多相关文章

  1. ruby - IO::EAGAINWaitReadable:资源暂时不可用 - 读取会阻塞 - 2

    当我尝试使用“套接字”库中的方法“read_nonblock”时出现以下错误IO::EAGAINWaitReadable:Resourcetemporarilyunavailable-readwouldblock但是当我通过终端上的IRB尝试时它工作正常如何让它读取缓冲区？ 最佳答案 IgetthefollowingerrorwhenItrytousethemethod"read_nonblock"fromthe"socket"library当缓冲区中的数据未准备好时，这是预期的行为。由于异常IO::EAGAINWaitReadab

  2. ruby - 如何使用 ruby​​ fibers 避免阻塞 IO - 2

    我需要将目录中的一堆文件上传到S3。由于上传所需的90%以上的时间都花在了等待http请求完成上，所以我想以某种方式同时执行其中的几个。Fibers能帮我解决这个问题吗？它们被描述为解决此类问题的一种方法，但我想不出在http调用阻塞时我可以做任何工作的任何方法。有什么方法可以在没有线程的情况下解决这个问题？ 最佳答案 我没有使用1.9中的纤程，但是1.8.6中的常规线程可以解决这个问题。尝试使用队列http://ruby-doc.org/stdlib/libdoc/thread/rdoc/classes/Queue.html查看文

  3. Unity 血条及“掉血”缓冲效果 - 2

     视频教程：https://www.bilibili.com/video/BV1WJ411778C/?spm_id_from=333.999.0.0&vd_source=4a4c35da6aef7094d5990c213c39aa09使用素材（推荐使用GitZipforgithub下载）：https://github.com/zheyuanzhou/Youtube-Unity-Tutorial/tree/master/EP45_Health%20Bar/Sprites效果如下图所示：首先在场景中创建一个新的Canvas，并命名为HeathBar，并创建三个Image作为前者的子物体，分别命名为

  4. ruby - 如何创建与帧缓冲区通信的 Ruby 应用程序？ - 2

    我有一个RaspberryPiTFT7"触摸屏显示器，我想创建一个简单的应用程序来显示和输出系统数据(即CPU使用率、温度等)。我注意到目前常见的实现方法是使用pygame库输出到显示器连接到的帧缓冲区/dev/fb1。我想执行相同的操作，但使用Ruby，因为我更熟悉这门语言。有人可以为我指明正确的方向，让我知道如何开始吗？我查看了ruby​​game和gosu库，它们似乎能够做我想做的事情，即绘制屏幕，​​但我找不到任何关于如何将输出定向到的信息帧缓冲区本身。 最佳答案 rubycorelib有一个IO您应该能够使用该类将输出定向

  5. ruby 非阻塞行读取 - 2

    我正在尝试以非阻塞方式从io中读取一行。不幸的是readlineblock。我想我可以用read_nonblock解决这个问题，并在其中存储部分结果的附加缓冲区，检查缓冲区中是否有多行等。但是对于像这样的简单任务来说似乎有点复杂.有更好的方法吗？注意:我正在使用事件多路分解(select)并且我对此很满意，我不想创建线程，使用EventMachine等... 最佳答案 我认为read_nonblock解决方案可能是可行的方法。简单但不是最高效的猴子补丁版本:classIOdefreadline_nonblockrlnb_buffer

  6. ruby-on-rails - 了解为什么 ruby​​ 进程在 100% CPU 时阻塞的方法 - 2

    我们有一个大型Rails应用程序，几天后，我们的ruby​​进程似乎陷入循环并占用100%的CPU，直到乘客服务器死机并引发502错误。您知道找出原因的最佳方法吗？我已经尝试过NewRelic，但它只是性能方面的东西，而且我们的错误太多了，无法猜测问题出在哪里。(我们每天有很多请求和很多UTF-8BSON错误，因为我们使用的是UTF-8url)使用:Rails3.2.6和Ruby1.9.2p290乘客3.0.13MongoDB2.0.1和Mongoid2.4.11NginxFreeBSD8.2 最佳答案 找出ruby卡住位置的简便方

  7. ruby - 在 Ruby 中执行非阻塞 I/O 的首选方式是什么？ - 2

    如果说我想检索一个网页进行解析，但在I/O发生时不阻塞CPU。是否有与Python的Eventlet库等效的东西？ 最佳答案 Ruby的最佳HTTP客户端库是Typhoeus，它可用于以非阻塞方式并行执行多个HTTP请求。有阻塞和非阻塞接口(interface):#blockingresponse=Typhoeus::Request.get("http://stackoverflow.com/")putsresponse.body#non-blockingrequest1=Typhoeus::Request.new("http://

  8. ruby - 从 emacs 缓冲区运行 ruby - 2

    如何从缓冲区运行一段ruby​​代码，而不实际将缓冲区保存在文件中？一个场景是a)切换到暂存缓冲区b)M-xruby模式c)输入ruby代码d)“编译”缓冲区并在另一个缓冲区中打印结果。我不想将缓冲区内容保存在文件中，然后“编译”该文件2011年1月9日更新哪些是ruby​​-mode和inf-ruby的最新版本，我可以从哪里获得它们？我用的是ubuntunatty版的ruby模式和elpa版的emacs23.2的inf-ruby。在干净的emacs配置上，以下配置(见下文)失败:can'tconvertnilintoStringfrom(irb):1:in`eval'from(irb

  9. ruby-on-rails - 阻塞 IO/Ruby on Rails - 2

    我正在考虑使用Rails编写Web应用程序。用户发出的每个请求都取决于调用的外部API。这个外部API可能随机地非常慢(2-3秒)，因此显然这会影响单个请求。在代码等待外部API返回的这段时间里，是否会阻塞进一步的用户请求？只是为了进一步澄清，因为似乎有些困惑，这是我期待的模型:Alice向我的网络应用程序发出请求。为此，调用API服务器A。API服务器A很慢，需要3秒才能完成。在Rails应用程序调用API服务器A的这段等待时间内，Bob发出了一个请求，该请求必须向API服务器B发出请求。Ruby(1.9.3)解释器(或Rails3.x框架中的某些东西)是否会阻止Bob的请求，要求他

  10. ruby - 如何使用 File#flock 对独占锁发出非阻塞请求？ - 2

    我应该如何请求非阻塞锁？为什么Ruby没有File#flock单独尝试锁定文件时是否按预期工作？将文件锁定在一个block中并不是此问题的正确解决方案，因为重点是显示锁定持久锁的行为。在block内使用File#flock会在block退出时释放锁，因此它无法正确显示问题。File#flock以多种方式失败，尤其是在请求非阻塞锁时。下面是一些示例。File#flock的失败示例使用多个独占锁时无限等待，因为#flock不提供使锁请求超时的方法。#Firstlocksucceeds.f1=File.open('foo',File::RDWR|File::CREAT,0644)f1.flo

随机推荐