python实战——使用代理IP批量获取手机类电商数据

简介: 本文介绍了如何使用代理IP批量获取华为荣耀Magic7 Pro手机在电商网站的商品数据,包括名称、价格、销量和用户评价等。通过Python实现自动化采集,并存储到本地文件中。使用青果网络的代理IP服务,可以提高数据采集的安全性和效率,确保数据的多样性和准确性。文中详细描述了准备工作、API鉴权、代理授权及获取接口的过程,并提供了代码示例,帮助读者快速上手。手机数据来源为京东(item.jd.com),代理IP资源来自青果网络(qg.net)。

在2024年,各大厂商又出了不少新款手机,功能和外观一个比一个炫酷,很多人对各大厂商对于这一品类的市场竞争力也很好奇,但是困于这类产品平台,品类真的太多了,收集对比起来繁琐复杂,但是,只要我们通过代理IP来批量获取这一数据,可以说就简单很多了。所以,今天我们将一起来看看,如何从各大电商网站收集手机这一品类的数据。



一、爬取目标

我们爬取的目标以华为荣耀Magic7 Pro手机的电商网站的商品数据为主,包括商品名称、价格、销量和用户评价等。通过代理IP,我们可以快速获得大量数据,例如商品价格、销量、用户评价等,用于我们后续市场分析和研究。



二、实现效果

利用python实现自动化批量获取华为荣耀Magic7 Pro手机的电商数据,并存储到本地文件中。

三、准备工作

在开始编写爬虫之前,我们需要确保我们的开发环境已经准备好:

  • Python:3.10
  • 编辑器:PyCharm
  • 第三方模块,自行安装requests库,安装方法为pip install requests
def get html(self):
    res =requests.get(self.url,headers=self.headers)
    html = res.text
    return html  #返回的源代码

四、代理IP

4.1 使用代理的好处

使用代理IP可以让我们数据采集更安全性、效率,数据也更加多样性。代理IP以保护我们的网络活动不被监控;我们在使用的时候通过分散请求压力提高爬取速度;同时,从不同地理位置获取数据,数据也能更加准确、全面。

4.2 获取代理IP

青果网络提供的代理IP服务可以帮助我们提高爬取的成功率。他们家的代理IP使用下来会比同类厂商提供的业务成功率高,服务器稳定,还是在这一行业做了将近10年的老大哥,产品使用的数据采集应用场景也多,售后什么的也很有保障。



五、代理实战

5.1 导入模块

在Python中,我们有一系列的模块可以帮助我们完成爬虫的任务。这些模块包括requests用于发送网络请求,lxml用于解析HTML和XML文档,time用于控制请求的频率,以及os用于文件和目录操作。

# 导入模块
import requests
from lxml import etree
import time

5.2 设置翻页

为了获取尽可能多的数据,我们需要处理一下网站的翻页机制。也就是要我们能够根据页码构造出不同的URL,并能够循环地访问每一页。

if __name__ == '__main__':
    page_number = 1
    for i in range(1, page_number + 1):
        url = f'https://search.jd.com/s_new.php?keyword=华为荣耀Magic7 Pro&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&offset=3&wq=华为荣耀Magic7 Pro&page={0}&s=26&scrolling=y&pos=30&show_items={1}'

5.3 获取商品数据

获取商品数据是爬虫的核心任务,我们还需要得到异步加载的url中的参数show_items:

def get_pids(self):
    html = self.get_html()
    soup = Beautifulsoup(html,'lxml')  #创建Beautifulsoup对象
    lis = soup.find_all("li",class_='gl-item')  #查找1i标签
    for li in lis:
        data pid.li.get("data-pid") #得到1i标签下的data-pid
        if(data_pid): #这里的self.pids是一个集合,用于过滤重复的
          self.pids.add(data_pid)

接着,我们直接用多线程直接每一页开启一个线程,可以加快采集的速度。

def get_extend_imgs_data(self):
    # self.search urls=self.search_urls+','.join(self.pids)
    self.search_urls =self.search_urls.format(str(self.search_page),','.join(self.pids)) #拼凑ur1,将获得的单数拼成ur1,其中show_items中的id是用',隔开的,因此要对集合中的每一个id分割,page就是偶数,这里直接用主网页的page加一就可以了
    print self.search_urls
    html = requests.get(self.search urls, headers=self.headers).text  #请求
    soup = Beautifulsoup(html,'lxml')
    div_search = soup.find_all("div",class ='p-img')  #解析
    for div in div_search:
        img_3 = div.find("img").get('data-lazy-img') #这里可以看到分开查找img属性
        img_4 = div.find("img").get("src") 
        if img_3:  #如果是data-lazy-img
            print img_3
            self.sql.save img(img_3)  #存储到数据库
            self.img_urls.add(img_3)  #用集合去重
        if img_4:  #如果是src属性
            print img_4
            self.sql.save_img(img_4)
            self.img urls.add(img_4)


以上,就是我们这次利用青果网络代理IP做华为荣耀Magic7 Pro手机的电商数据采集的完整流程,如果有其他的需要,可以联系我。

手机数据来源:item.jd.com

代理IP资源:qg.net

相关文章
|
26天前
|
测试技术 数据库 Python
Python装饰器实战:打造高效性能计时工具
在数据分析中,处理大规模数据时,分析代码性能至关重要。本文介绍如何使用Python装饰器实现性能计时工具,在不改变现有代码的基础上,方便快速地测试函数执行时间。该方法具有侵入性小、复用性强、灵活度高等优点,有助于快速发现性能瓶颈并优化代码。通过设置循环次数参数,可以更准确地评估函数的平均执行时间,提升开发效率。
101 61
Python装饰器实战:打造高效性能计时工具
|
22天前
|
测试技术 Python
【03】做一个精美的打飞机小游戏,规划游戏项目目录-分门别类所有的资源-库-类-逻辑-打包为可玩的exe-练习python打包为可执行exe-优雅草卓伊凡-持续更新-分享源代码和游戏包供游玩-1.0.2版本
【03】做一个精美的打飞机小游戏,规划游戏项目目录-分门别类所有的资源-库-类-逻辑-打包为可玩的exe-练习python打包为可执行exe-优雅草卓伊凡-持续更新-分享源代码和游戏包供游玩-1.0.2版本
86 31
【03】做一个精美的打飞机小游戏,规划游戏项目目录-分门别类所有的资源-库-类-逻辑-打包为可玩的exe-练习python打包为可执行exe-优雅草卓伊凡-持续更新-分享源代码和游戏包供游玩-1.0.2版本
|
22天前
|
运维 Shell 数据库
Python执行Shell命令并获取结果:深入解析与实战
通过以上内容,开发者可以在实际项目中灵活应用Python执行Shell命令,实现各种自动化任务,提高开发和运维效率。
50 20
|
27天前
|
数据采集 Web App开发 数据可视化
Python用代理IP获取抖音电商达人主播数据
在当今数字化时代,电商直播成为重要的销售模式,抖音电商汇聚了众多达人主播。了解这些主播的数据对于品牌和商家至关重要。然而,直接从平台获取数据并非易事。本文介绍如何使用Python和代理IP高效抓取抖音电商达人主播的关键数据,包括主播昵称、ID、直播间链接、观看人数、点赞数和商品列表等。通过环境准备、代码实战及数据处理与可视化,最终实现定时任务自动化抓取,为企业决策提供有力支持。
|
2月前
|
数据采集 Web App开发 监控
Python爬虫:爱奇艺榜单数据的实时监控
Python爬虫:爱奇艺榜单数据的实时监控
|
8月前
|
网络协议 Android开发 数据安全/隐私保护
Android手机上使用Socks5全局代理-教程+软件
Android手机上使用Socks5全局代理-教程+软件
5462 2
|
9月前
|
监控 安全 Android开发
【新手必读】Airtest测试Android手机常见的设置问题
【新手必读】Airtest测试Android手机常见的设置问题
263 0
|
9月前
|
XML Java Android开发
Android Studio开发之使用内容组件Content获取通讯信息讲解及实战(附源码 包括添加手机联系人和发短信)
Android Studio开发之使用内容组件Content获取通讯信息讲解及实战(附源码 包括添加手机联系人和发短信)
528 0
|
9月前
|
Web App开发 前端开发 网络安全
前端分析工具之 Charles 录制 Android/IOS 手机的 https 应用
【2月更文挑战第21天】前端分析工具之 Charles 录制 Android/IOS 手机的 https 应用
129 1
前端分析工具之 Charles 录制 Android/IOS 手机的 https 应用
|
9月前
|
存储 数据库 Android开发
Android实现手机内存存储功能
Android实现手机内存存储功能
83 2

热门文章

最新文章