前言

嗨喽，大家好呀~这里是爱看美女的茜茜呐

一周工作，忙忙碌碌，身心疲惫，一到周末，倒头大睡，懒得做饭，点个外卖。

今天我们要采集的网站呢，是国内知名的网上订餐平台~

我做的是采集商家商品数据信息，你也可以采集另外数据哦~

---

准备工作

下面的尽量跟我保持一致哦~不然有可能会发生报错 ?

环境使用:

• Python 3.8

• Pycharm

---

模块使用:

• requests >>> pip install requests

• csv

---

如果安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

2. 在pycharm中点击Terminal(终端) 输入安装命令

---

如何配置pycharm里面的python解释器?

1. 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)

2. 点击齿轮, 选择add

3. 添加python安装路径

---

pycharm如何安装插件?

1. 选择file(文件) >>> setting(设置) >>> Plugins(插件)

2. 点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese

3. 选择相应的插件点击 install(安装) 即可

4. 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效

---

基本流程: <通用的>

一. 数据来源分析

分析清楚自己想要数据内容, 是请求那个数据包<url>地址可以得到的

通过开发者工具进行抓包分析...

I. 鼠标右键点击检查（或按F12）弹出开发者工具， 选择network 点击第二页数据 第一个数据包就是我们想要数据内容

二. 代码实现步骤过程:

1. 发送请求, 对于模拟浏览器对于url地址发送请求

2. 获取数据, 获取服务器返回响应数据 ---> 开发者工具里面response

3. 解析数据, 提取我们想要数据内容

4. 保存数据, 保存表格

额外 翻页多页数据采集

---

代码展示

因审核因素，我把代码里的网址删去啦~你们可以自行添加一下呐。

一共改了五处网址，采集的网站我会在评论区打出，方便你们添加网址哦~

发送请求

对于模拟浏览器对于url地址发送请求

#     - 如何批量替换内容
#         选中替换内容, 按ctrl + R 输入正则表达式命令
#         (.*?): (.*)
#         '$1': '$2',
#     - <Response [403]> 返回响应对象 403 状态码
#         大多数请求, 加防盗链即可解决

for page in range(0, 320, 32):
    time.sleep(1)

确定请求url地址

    url = 'https://apimobile..com/group/v4/poi/pcsearch/70'

请求参数

字典数据类型, 构建完整键值对

    data = {
        'uuid': '4b9d79d54b524ab5a319.1656309336.1.0.0',
        'userid': '266252179',
        'limit': '32',
        'offset': page,
        'cateId': '-1',
        'q': '会所',
    }
    # 请求头:  伪装, 把python代码伪装(模拟)成浏览器发送请求
    headers = {
        # Referer 防盗链 告诉服务器我们请求url地址从哪里跳转过来的
        'Referer': 'https://chs..com/',
        # 　User-Agent　用户代理　表示浏览器基本身份标识
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
    }

发送请求

<Response [403]> 返回响应对象 403 状态码 表示请求你没有访问权限 <说明没请求成功> 200 表示请求成功

    response = requests.get(url=url, params=data, headers=headers)
    print(response)

获取数据

获取响应对象json字典数据

    # print(response.json())
    # pprint.pprint(response.json())

解析数据

---> 根据得到数据, 选择最佳解析方法 直接通过键值对取值方式(根据冒号左边的内容[键], 提取冒号右边的内容[值])

    # 把列表里的数据一个一个提取出来, 怎么操作用什么方法  ---> for循环遍历
    for index in response.json()['data']['searchResult']:
        href = f'https://www..com/xiuxianyule/{index["id"]}/'
        # 如果我不炒股, 他说要股票数据, 给我钱 让我给她采集
        dit = {
            '标题': index['title'],
            '商圈': index['areaname'],
            '店铺类型': index['backCateName'],
            '评分': index['avgscore'],
            '人均消费': index['avgprice'],
            '评论量': index['comments'],
            '经度': index['longitude'],
            '维度': index['latitude'],
            '详情页': href,
        }
        csv_writer.writerow(dit)
        print(dit)

import requests
import re
url = 'https://www..com/xiuxianyule/1718272961/'
headers = {
    'Host': 'www..com',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36',
}
response = requests.get(url=url, headers=headers)
# print(response.text)
shop_info = re.findall('"cityName":"(.*?)","cityPy":"chs","brandName":"","shopName":"(.*?)","score":(.*?),"avgPrice":(.*?),"address":"(.*?)","phone":"(.*?)","openTime":"(.*?)"', response.text)
print(shop_info)

多页列表数据采集:

# 导入数据请求模块 ---> 第三方模块 需要 在cmd里面 pip install requests
import time
import requests
# 导入格式化输出模块  ---> 内置模块...
import pprint
# 导入csv模块
import csv

# 创建文件
f = open('1.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '标题',
    '商圈',
    '店铺类型',
    '评分',
    '人均消费',
    '评论量',
    '经度',
    '维度',
    '详情页',
])
csv_writer.writeheader()

尾语 ?

感谢你观看我的文章呐~本次航班到这里就结束啦 ?

希望本篇文章有对你带来帮助 ?，有学习到一点知识~

躲起来的星星?也在努力发光，你也要努力加油（让我们一起努力叭）。

最后，博主要一下你们的三连呀（点赞、评论、收藏），不要钱的还是可以搞一搞的嘛~

不知道评论啥的，即使扣个6666也是对博主的鼓舞吖 ? 感谢 ?