jjzjj

go - channel 和并行混淆

coder 2024-07-05 原文

我正在自学 Golang，我对并行性及其在 Golang 中的实现方式有些困惑。

给定以下示例:

package main

import (
    "fmt"
    "sync"
    "math/rand"
    "time"
)


const (
    workers = 1
    rand_count = 5000000
)


func start_rand(ch chan int) {
    defer close(ch)
    var wg sync.WaitGroup
    wg.Add(workers)
    rand_routine := func(counter int) {
        defer wg.Done()
        for i:=0;i<counter;i++ {
            seed := time.Now().UnixNano()
            rand.Seed(seed)
            ch<-rand.Intn(5000)

        }
    }
    for i:=0; i<workers; i++ {
        go rand_routine(rand_count/workers)
    }
    wg.Wait()
}

func main() {
    start_time := time.Now()
    mychan := make(chan int, workers)
    go start_rand(mychan)
    var wg sync.WaitGroup
    wg.Add(workers)

    work_handler := func() {
        defer wg.Done()
        for {
            v, isOpen := <-mychan
            if !isOpen { break }
            fmt.Println(v)
        }
    }
    for i:=0;i<workers;i++ {
        go work_handler()
    }
    wg.Wait()
    elapsed_time := time.Since(start_time)
    fmt.Println("Done",elapsed_time)
}

这段代码在我的 Macbook 上运行大约需要一分钟。我假设增加“workers”常量会启动额外的 go 例程，并且由于我的笔记本电脑有多个内核，会缩短执行时间。

然而事实并非如此。增加工作人员不会减少执行时间。

我在想，将 workers 设置为 1，将创建 1 个 goroutine 来生成随机数，将其设置为 4，将创建 4 个 goroutine。考虑到我的笔记本电脑的多核特性，我预计 4 个工作人员会在不同的内核上运行，从而提高性能。 但是，我发现我所有核心的负载都增加了，即使将 workers 设置为 1 也是如此。我在这里缺少什么？

最佳答案

您的代码存在一些问题，导致它本身就很慢:

  • 您正在循环中播种。这只需要做一次
  • 您使用相同的随机数来源。此源是线程安全的，但会带走并发工作人员的任何性能提升。您可以使用 rand.New
    • 为每个工作人员创建一个源
  • 你打印了很多。打印也是线程安全的。因此，这会带走并发工作人员的任何速度提升。
  • 正如 Zak 已经指出的那样:go 例程中的并发工作成本非常低，而通信成本很高。

你可以像那样重写你的程序。然后，当您更改 worker 数量时，您会看到一些速度提升:

package main

import (
    "fmt"
    "math/rand"
    "time"
)

const (
    workers   = 1
    randCount = 5000000
)

var results = [randCount]int{}

func randRoutine(start, counter int, c chan bool) {
    r := rand.New(rand.NewSource(time.Now().UnixNano()))
    for i := 0; i < counter; i++ {
        results[start+i] = r.Intn(5000)
    }
    c <- true
}

func main() {
    startTime := time.Now()
    c := make(chan bool)

    start := 0
    for w := 0; w < workers; w++ {
        go randRoutine(start, randCount/workers, c)
        start += randCount / workers
    }

    for i := 0; i < workers; i++ {
        <-c
    }

    elapsedTime := time.Since(startTime)
    for _, i := range results {
        fmt.Println(i)
    }
    fmt.Println("Time calulating", elapsedTime)

    elapsedTime = time.Since(startTime)
    fmt.Println("Toal time", elapsedTime)
}

这个程序在一个 go 例程中做了很多工作并且通信最少。每个 go 例程还使用不同的随机源。

关于go - channel 和并行混淆，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/48944491/

混淆channelworkerstimerandgo

有关go - channel 和并行混淆的更多相关文章

  1. ruby - 带括号和 splat 运算符的并行赋值 - 2

    我明白了:x,(y,z)=1,*[2,3]x#=>1y#=>2z#=>nil我想知道为什么z的值为nil。 最佳答案 x,(y,z)=1,*[2,3]右侧的splat*是内联扩展的，所以它等同于:x,(y,z)=1,2,3左边带括号的列表被视为嵌套赋值，所以它等价于:x=1y,z=23被丢弃，而z被分配给nil。 关于ruby-带括号和splat运算符的并行赋值，我们在StackOverflow上找到一个类似的问题： https://stackoverflow

  2. ruby - 使对象的行为类似于 ruby​​ 中并行分配的数组 - 2

    假设您在Ruby中执行此操作:ar=[1,2]x,y=ar然后，x==1和y==2。是否有一种方法可以在我自己的类中定义，从而产生相同的效果？例如rb=AllYourCode.newx,y=rb到目前为止，对于这样的赋值，我所能做的就是使x==rb和y=nil。Python有这样一个特性:>>>classFoo:...def__iter__(self):...returniter([1,2])...>>>x,y=Foo()>>>x1>>>y2 最佳答案 是的。定义#to_ary。这将使您的对象被视为要分配的数组。irb>o=Obje

  3. ruby - 关于 Ruby 中 Dir[] 和 File.join() 的混淆 - 2

    我在Ruby中遇到了一个关于Dir[]和File.join()的简单程序，blobs_dir='/path/to/dir'Dir[File.join(blobs_dir,"**","*")].eachdo|file|FileUtils.rm_rf(file)ifFile.symlink?(file)我有两个困惑:首先，File.join(@blobs_dir,"**","*")中的第二个和第三个参数是什么意思？其次，Dir[]在Ruby中有什么用？我只知道它等价于Dir.glob()，但是，我对Dir.glob()确实不是很清楚。 最佳答案

  4. ruby-on-rails - Textmate 'Go to symbol' 相当于 Vim - 2

    在Railcasts上，我注意到一个非常有趣的功能“转到符号”窗口。它像Command-T一样工作，但显示当前文件中可用的类和方法。如何在vim中获取它？ 最佳答案 尝试:helptags有各种程序和脚本可以生成标记文件。此外，标记文件格式非常简单，因此很容易将sed(1)或类似的脚本组合在一起，无论您使用何种语言，它们都可以生成标记文件。轻松获取标记文件(除了下载生成器之外)的关键在于格式化样式而不是实际解析语法。 关于ruby-on-rails-Textmate'Gotosymbol

  5. Ruby 并行赋值 - 2

    我想测试一个并行赋值的返回值，我写了puts(x,y=1,2)，但是不行，打印错误信息:SyntaxError:(irb):74:syntaxerror,unexpected',',expecting')'puts(x,y=1,2)^(irb):74:syntaxerror,unexpected')',expectingend-of-input有什么问题吗？ 最佳答案 你有两个问题。puts和(之间的空格防止括号列表被解释为参数列表。一旦你在方法名后放置一个空格，任何argumentlisthastobeoutsidethepare

  6. ruby - 使用 Ruby 测试单元在一个脚本中并行运行多个测试 - 2

    我在一个ruby​​脚本中有4个测试，我使用命令运行它们rubytest.rb输出看起来像LoadedsuitetestStarted....Finishedin50.326546seconds.4tests,5assertions,0failures,0errors,0pendings,0omissions,0notifications100%passed我想要实现的是，并行运行所有4个测试，而不是按顺序运行。大约4个线程，每个线程运行一个测试，有效地将执行时间减少到4个测试中最慢的一个+并行执行的时间很短。我遇到了this，但这似乎并行运行多个ruby​​测试文件-假设我有test

  7. Ruby 并行每个循环 - 2

    我有以下代码:FTP...do|ftp|files.eachdo|file|...ftp.put(file)sleep1endend我想在单独的线程或某种并行方式中运行每个文件。执行此操作的正确方法是什么？这是对的吗？这是我对parallelgem的尝试FTP...do|ftp|Parallel.map(files)do|file|...ftp.put(file)sleep1endend并行的问题是puts/outputs可以像这样同时发生:as=[1,2,3,4,5,6,7,8]results=Parallel.map(as)do|a|putsaend我怎样才能强制执行看跌期权，就像

  8. ruby-on-rails - RSpec:如何测试使用并行的方法(PG::ConnectionBad 错误) - 2

    在我的应用程序中，我有几个生成器类，它们负责获取从外部API请求接收的数据，并将资源构建/保存到数据库中。我正在处理大量数据，并已实现并行gem以通过使用多个进程来加快处理速度。但是，我发现对使用Parallel的方法的任何测试都会失败并出现相同的错误:ActiveRecord::StatementInvalid:PG::ConnectionBad:PQconsumeInput()serverclosedtheconnectionunexpectedlyThisprobablymeanstheserverterminatedabnormallybeforeorwhileprocessi

  9. ruby - RVM Gemsets 和 Ruby Gemfile 混淆 - 2

    请有人帮助我了解ruby​​应用程序如何管理应用程序的gemfile和rvmgemsets。如果我当前使用的是Gemset，安装了一堆gem，并且我的gemfile中也有gems，那么Ruby应用程序是使用gemfile中的gem还是应用程序的gemset中的gem？ 最佳答案 要理解这一点，您需要退后一步，了解ruby​​gems的一般工作原理。让我们从一个没有rvm或Gemfile的系统开始。当您通过“geminstall”安装gem时，它会进入系统gem位置。每当您编写ruby​​脚本并需要gem时，它就会从那里获取。现在假设

  10. Ruby 并行/多线程编程来读取巨大的数据库 - 2

    我有一个ruby​​脚本读取一个巨大的表(约2000万行)，进行一些处理并将其提供给Solr用于索引目的。这一直是我们流程中的一大瓶颈。我打算在这里加快速度，我想实现某种并行性。我对Ruby的多线程特性感到困惑。我们的服务器有ruby1.8.7(2009-06-12补丁级别174)[x86_64-linux]。来自thisblogpost和thisquestionatStackOverflow可见Ruby没有“真正的”多线程方法。我们的服务器有多个核心，所以使用parallelgem对我来说似乎是另一种方法。我应该采用什么方法？此外，我们将非常感谢您对并行数据库读取馈送系统的任何投入。

随机推荐