selenium并不支持获取响应的数据，我们可以使用selenium-wire库，selenium-wire扩展了Selenium的Python绑定，可以访问浏览器发出的底层请求。编写的代码与Selenium的方式相同。1.先安装seleniumwire的插件pipinstallselenium-wire-ihttp://pypi.douban.com/simple/--trusted-hostpypi.douban.com注意：seleniumwire只兼容Selenium4.0.0+，所以如果版本不兼容，请升级selenium2.在初始化浏览器的时候，引用的包由selenium改为sele

SeleniumWire快速爬取数据一、安装所需的库在终端使用pip进行安装pipinstallxxximporttkinterfromseleniumwireimportwebdriverfromselenium.webdriver.common.byimportByfromselenium.webdriver.chrome.serviceimportService二、设置浏览器启动选项这里我使用的是Chrome，其中列举了几个常用的option，供大家学习使用option=webdriver.ChromeOptions()：设置Chrome启动选项option.add_argument(‘

文章目录前言一、安装二、简易使用三、加入参数1.隐藏浏览器窗口2.添加cookies四、使用代理五、获取cookies等参数总结前言在进行数据爬取时，有时候遇到一些比较复杂的js逆向。在不考虑访问效率的情况下，使用selenium模拟浏览器的方法可以大大减少反反爬逆向工作量。但普通的selenium库是无法获取到类似set-cookie等参数的，这时候需要用到selenium-wire库。其用法类似selenium一、安装首先安装selenium-wire库pipinstallselenium-wire然后下载指定的chromedriver，根据电脑上的chrome版本进行下载chromedr

目录前言seleniumwire安装创建webdriver设置代理反屏蔽修改window.navigator.webdriver关键字返回结果options追加参数pyppeteerpuppeteer安装快速入门参数配置隐藏浏览器特征拦截请求更多文档&博客Playwright安装快速入门新概念：Context页面基本操作选择器表达式复用Cookies等认证信息监听事件拦截更改网络请求灵活设置代理杀手级功能：录制操作直接生成代码前言书接上文，selenium添加代理：romseleniumimportwebdriverfromselenium.webdriver.common.keysimpor

之前我在《使用MitmProxy离线缓存360度全景网页》一文中演示了如何搭建python代理服务器MitmProxy。但之前是纯手工访问网页缓存数据，如果我们希望能够自动访问网页并对接代理下载数据，可以通过selenium控制游览器实现自动访问。对接selenium的代理服务器，有种用法是使用browsermobproxy，它基于Java开发，需要在https://chromedevtools.github.io/devtools-protocol/tot/Network/下载对应文件。参考：https://blog.csdn.net/u010741112/article/details/1

之前我在《使用MitmProxy离线缓存360度全景网页》一文中演示了如何搭建python代理服务器MitmProxy。但之前是纯手工访问网页缓存数据，如果我们希望能够自动访问网页并对接代理下载数据，可以通过selenium控制游览器实现自动访问。对接selenium的代理服务器，有种用法是使用browsermobproxy，它基于Java开发，需要在https://chromedevtools.github.io/devtools-protocol/tot/Network/下载对应文件。参考：https://blog.csdn.net/u010741112/article/details/1