jjzjj

scrapyjs

全部标签

javascript - 如何将scrapyjs功能集成到Scrapy项目中

我使用ScrapyFramework制作了一个网络爬虫,从thiswebsite获取音乐会门票数据.我已经能够成功地从页面上每张票的内部元素中抓取数据,除了只能通过单击“门票”按钮转到门票页面并从门票中抓取票价才能访问的价格在页面上。经过广泛的谷歌搜索,我发现Scrapy.js(基于Splash)可以在Scrapy中使用来与页面上的JavaScript进行交互(例如需要点击的按钮)。我看过一些关于如何使用Splash与JavaScript交互的基本示例,但没有一个示例介绍了Splash与Scrapy的集成(甚至在文档中也没有)。我一直遵循这样的格式,即使用项目加载器将抓取的元素存储在解

javascript - Scrapyjs + Splash 点击 Controller 按钮

你好,我已经安装了Scrapyjs+Splash,我使用下面的代码importjsonimportscrapyfromscrapy.linkextractorsimportLinkExtractorfromscrapy.spiderimportSpiderfromscrapy.selectorimportSelectorimporturlparse,randomclassDmozSpider(scrapy.Spider):name="dmoz"allowed_domains=["whoscored.com"]start_urls=['http://www.whoscored.com/R