jjzjj

worker-thread

全部标签

go - 确定所有 worker 都完成

正在关注Marcio'sthreadpoolimplementation是否可以确定所有工作何时完成?等待JobQueue清空是微不足道的://Waitforthejobqueuetoclearforlen(JobQueue)>0{//Justwait}然而在那之后可能还有goroutines在等待workers,或者workers还没有完成所有的任务:func(d*Dispatcher)dispatch(){for{select{casejob:=最好的方法是什么?在dispatcher中添加一个WaitGroup,以及查询WaitGroup状态的方法?对此的任何指示将不胜感激。

multithreading - 如何在go中转换以下Thread语句

我正在尝试在go中转换以下线程的java语句;intnum=5;Thread[]threads=newThread[5];for(inti=0;i我想知道,如何将其转换为go?谢谢 最佳答案 Golang使用了一个叫做"goroutines"的概念(灵感来自"coroutines")而不是许多其他语言使用的“线程”。您的具体示例看起来像是sync.WaitGroup的常见用法输入:wg:=sync.WaitGroup{}fori:=0;i请注意,示例中的SomeFunction(...)可以是任何类型的工作,并将与所有其他调用同时执

go - 如何从 worker 那里订购结果,就好像没有使用 worker 一样?

假设我有以下代码来读取行并将每行乘以2,然后逐行打印出每一行。我想使用N个worker。每个worker每次取M行并处理它们。更重要的是,我希望输出的打印顺序与输入的顺序相同。但是这里的示例并不能保证输出的打印顺序与输入的顺序相同。https://gobyexample.com/worker-pools以下URL还显示了一些示例。但我认为它们不符合我的要求。问题是输入可以任意长。在打印之前无法将所有内容保存在内存中。必须有一种方法可以从worker那里获得一些输出,可以确定worker的输出是否准备好打印然后打印。听起来应该有一个mastergoroutine来做这件事。但我不确定如何

google-app-engine - 如何在 App Engine/Heroku 中以 worker 身份运行非 Web Go 应用程序

我有一个由golang编写的网络应用程序。还有一个独立的数据提取器作为独立应用程序单独运行,以收集数据并将其存储在数据库/数据存储中。如何在托管环境中以工作人员的身份运行此数据getter,例如应用引擎/Heroku 最佳答案 在应用引擎中,您可以将加载器重构为一个或多个任务。例如https://github.com/mjibson/goread/blob/master/tasks.go和https://github.com/mjibson/goread/blob/master/app/queue.yaml使用任务从RSS提要更新数

戈朗 : calculate how many goroutines are started by worker itself?

这是我的问题:调用者将创建多个goroutines来运行我的代码doWork,gofunc(){fordata:=rangedataSet{doWork(data)}}()现在,我想统计有多少goroutines开始做这项工作,尽管我不能修改或读取来自调用者的数据。我怎样才能做到这一点?[update]doWork传递给调用者,例如:doWork:=func(iint){testArray[i]++...}Parallelize(workerNumber,doWork)所以我打算使用一个全局变量作为计数器。 最佳答案 runtime

go - 同步 worker 以进行递归抓取

我想用n个worker实现一个“爬虫”,每个worker都可以添加额外的工作。当没有剩下的工作并且所有worker都完成了工作时,程序应该停止。我有以下代码(您可以在https://play.golang.org/p/_j22p_OfYv中使用它):packagemainimport("fmt""sync")funcmain(){pathChan:=make(chanstring)fileChan:=make(chanstring)workers:=3varwgsync.WaitGrouppaths:=map[string][]string{"/":{"/test","/foo","a

amazon-web-services - AWS Step Functions Activity Worker 在工作人员停止时看不到执行

适用于Go的AWSSDK版本?v2.0.0-preview.3Go的版本(goversion)?go1.9.3darwin/amd64您看到了什么问题?我正在为Go中的StepFunctions编写一个ActivityWorker。时间:事件worker正在运行,然后,我们从SFN控制台开始执行工作流一切似乎都运行良好。但是,当:事件worker停止,然后,我们从SFN控制台开始执行工作流,然后worker重新启动,工作人员似乎在轮询SFN,但它不执行在其停止期间启动的任务。如果我们在此时开始新的工作流执行(当worker正在运行时),则worker会成功执行新任务。工作人员停止期间执

go - 实现 worker 功能的管道

我正在实现一个由多个通过channel连接的工作函数组成的管道。它们都得到(in,outchaninterface{})作为输入(每个函数接收前一个函数的out作为in)我不能保证out会在每个函数结束时关闭,所以我想知道我应该如何检查前一个函数是否完成了它工作。我从这样的事情开始:funcExecutePipeline(jobs...job){out:=make(chaninterface{},10)for_,val:=rangejobs{in:=outout:=make(chaninterface{})goval(in,out)}}我正在考虑以某种方式使用WaitGroup来使用函

go - 在 go worker/event 系统中,worker 是否应该访问相同的结构(通过指针)来工作?

我是初学者gopher,我为我正在从事的项目编写了一个事件监听器工作队列。我已将其部署在临时服务器上。在触发大约100个事件后,监听器将在事件发布时停止调用。服务器也没有崩溃。这是我的实现://EventstructtypeEventstruct{NamestringDatainterface{}}//Streamtopublisheventstovarstream=make(chan*Event,100)//PublishsendsneweventdatatothestreambytheeventnamefuncPublish(namestring,datainterface{}){

logging - Golang go-workers自定义日志记录中间件?

我正在构建一个Golang实现Sidekiq的应用程序-兼容jrallison/go-workers工作队列和围绕Sirupsen/logrus的自定义日志记录包装器用于编码的JSON日志。现在,我的所有应用程序(除了go-workers到目前为止)都在中心位置使用我的记录器包装器,以确保其输出的100%与JSON兼容。请注意,第1行和第2行是来自中央记录器的正确JSON,但是当go-workers初始化时,我们看到第3行来自错误的纯文本记录器。{"db":{"Mapper":{}},"instance_id":"1","level":"info","msg":"Db:Connecte