一、scrapyd的介绍scrapyd是一个用于部署和运行scrapy爬虫的程序，它允许你通过JSONAPI(也即是webapi)来部署爬虫项目和控制爬虫运行，scrapyd是一个守护进程，监听爬虫的运行和请求，然后启动进程来执行它们scrapyd的安装scrapyd服务端:pipinstallscrapydscrapyd客户端:pipinstallscrapyd-client启动scrapyd服务在scrapy项目路径下启动scrapyd的命令：sudoscrapyd或scrapyd。启动之后就可以打开本地运行的scrapyd，浏览器中访问本地6800端口可以查看scrapyd的监控界面点击

环境：Ubuntu20.04.4LTS(GNU/Linux5.4.0-100-genericx86_64)一、安装docker1.卸载旧版本ubuntu下自带了docker的库，不需要添加新的源。但是ubuntu自带的docker版本太低，需要先卸载旧的再安装新的sudoapt-getremovedockerdocker-enginedocker.iocontainerdrunc 2.获取软件最新源sudoapt-getupdate3.安装apt依赖包用于通过HTTPS来获取仓库sudoapt-get-yinstallapt-transport-httpsca-certificatescurl