python实践之电商系列

跨境电商与百姓生活关系密切，这几年发展势头迅猛，跨境电商有别于传统外贸方式，碎片化、海量化、数字化的特点非常明显，针对跨境电商发展的特点，海关出台了不同于传统贸易的通关管理制度，不断加强科技赋能，上线应用了跨境电商进出口统一版信息化系统，实现对交易、支付、物流等相关数据的集成管理。
大数据之下，任何有价值的数据都是被市场需要的，跨境电商数据也不例外，如果我们是做电商行业，那如何使用Pyth爬取海外电商平台上 的产品数据，进行价格监控并获得竞争优势。例如这里我们可以通过python爬取eBay上有关手机产品的有关数据。
先对网页进行请求分析，点击智能手机分区的选购全部：https://www.ebay.com/globaldeals/tech/cell-phones ebay在国内还是可以正常访问的，不过速度也比较慢，而且访问次数也是有IP限制的，爬取需要获取的数据量肯定很多。不过还好有ip，好的代理能帮助你更好的获取数据，高质量低延迟，简单粗暴的就解决了网站的反爬机制，这里附上爬取实现代码：

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "https://www.ebay.com/globaldeals/tech/cell-phones"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://www.ebay.com/globaldeals/tech/cell-phones"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "16CUPWWC"
    proxyPass = "459876"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text