jjzjj

scrapinghub

全部标签

mongodb - 在 scrapinghub spider 中添加设置

我正在尝试在scrapinghub平台的蜘蛛中启用mongodb。为此,我必须通过UI中的“EXTENSIONS”设置启用扩展。但是,在运行蜘蛛时,出现以下错误:ValueError:Somepathsin"{'scrapy.contrib.feedexport.FeedExporter':None}"converttothesameobject,pleaseupdateyoursettings我的设置如下:EXTENSIONS={'scrapy.contrib.feedexport.FeedExporter':None}如果我删除此设置,则会出现以下错误:exceptions.Val

python - 在 Scrapinghub 上运行蜘蛛时如何保存下载的文件?

stockInfo.py包含:importscrapyimportreimportpkgutilclassQuotesSpider(scrapy.Spider):name="stockInfo"data=pkgutil.get_data("tutorial","resources/urls.txt")data=data.decode()start_urls=data.split("\r\n")defparse(self,response):company=re.findall("[0-9]{6}",response.url)[0]filename='%s_info.html'%comp