jjzjj

pathChan

全部标签

go - 同步 worker 以进行递归抓取

我想用n个worker实现一个“爬虫”,每个worker都可以添加额外的工作。当没有剩下的工作并且所有worker都完成了工作时,程序应该停止。我有以下代码(您可以在https://play.golang.org/p/_j22p_OfYv中使用它):packagemainimport("fmt""sync")funcmain(){pathChan:=make(chanstring)fileChan:=make(chanstring)workers:=3varwgsync.WaitGrouppaths:=map[string][]string{"/":{"/test","/foo","a