Python - 抓取 iphone13 pro 线下店供货信息并发送到钉钉机器人,最后设置为定时任务

简介: Python - 抓取 iphone13 pro 线下店供货信息并发送到钉钉机器人,最后设置为定时任务

背景


  • 在线上买了个 iphone13pro,可是等得我好着急呀!一直不发货..甚至关注了 iphone13 超话每天看看大家下的订单都发货了没...
  • 于是乎还看到了有人预定了线下门店的提货,害得我也想直接去线下店提货了..但是每次打开官网都显示【暂无供应】
  • 于是乎想到了简单的爬虫(其实就是发个请求而已...),然后做成定时任务,当有货的时候第一时间通知我


image.png

完成步骤


  1. 打开官网,找到获取线下门店供应情况的接口
  2. 抓包接口,猜测哪个字段影响供货显示情况
  3. 改包接口,将该字段改成有货,验证猜测
  4. Python 请求该接口,取到该字段值
  5. 接入钉钉机器人,将广州线下门店的供货情况发送到钉钉上
  6. 使用 mac 自带的 crontab 定时任务,创建执行 Python 脚本的定时任务

 

找接口


https://www.apple.com.cn/shop/fulfillment-messages?pl=true&parts.0=MLTE3CH/A&location=%E5%B9%B

image.png

很容易找到供货情况的接口是这个

 

找字段


image.png

盲猜是这个 storeSelectionEnabled 字段影响的,因为只有它是 False,当然也有猜过是下面的 pickupDisplay,但从命名来看,第一个才是影响是否可选中的字段

 

验证字段


  • 通过 charles 的 map local 来改包
  • 先保存这个接口的响应体到本地,然后将 storeSelectionEnabled 改成 true
  • 再按照下面的步骤来绑定响应映射就可以了


image.png

  • 再次请求下网站,可以看到是可选中了
  • 当然,我其实并不知道真正有供货的响应体是怎么样的,因为找了好几个城市都是无货状态,无法直接复制
  • 所以只能假设可选中就是有供货,准确率估计 50%?哈哈


image.png


Python 脚本请求该接口


import requests
def get_phone():
    res = requests.get(
        "https://www.apple.com.cn/shop/fulfillment-messages?pl=true&parts.0=MLTE3CH/A&location=%E5%B9%BF%E4%B8%9C%20%E5%B9%BF%E5%B7%9E%20%E5%A4%A9%E6%B2%B3%E5%8C%BA",
        verify=False)
    res = res.json()["body"]["content"]["pickupMessage"]["stores"]
    for num, item in enumerate(res):
        phone = item["partsAvailability"]["MLTE3CH/A"]
        storeSelectionEnabled = phone["storeSelectionEnabled"]
        storePickupQuote = phone["storePickupQuote"]
        pickupSearchQuote = phone["pickupSearchQuote"]
        if storeSelectionEnabled:
            res = {
                "可取货": storeSelectionEnabled,
                "取货状态": storePickupQuote,
                "供应状态": pickupSearchQuote
            }
            yield res


接入钉钉机器人


https://www.cnblogs.com/poloyy/p/15565764.html

最终脚本

import requests
# 获取手机供货信息
def get_phone():
    res = requests.get(
        "https://www.apple.com.cn/shop/fulfillment-messages?pl=true&parts.0=MLTE3CH/A&location=%E5%B9%BF%E4%B8%9C%20%E5%B9%BF%E5%B7%9E%20%E5%A4%A9%E6%B2%B3%E5%8C%BA",
        verify=False)
    res = res.json()["body"]["content"]["pickupMessage"]["stores"]
    for num, item in enumerate(res):
        phone = item["partsAvailability"]["MLTE3CH/A"]
        storeSelectionEnabled = phone["storeSelectionEnabled"]
        storePickupQuote = phone["storePickupQuote"]
        pickupSearchQuote = phone["pickupSearchQuote"]
        if storeSelectionEnabled:
            res = {
                "可取货": storeSelectionEnabled,
                "取货状态": storePickupQuote,
                "供应状态": pickupSearchQuote
            }
            yield res
# python 3.8
import time
import hmac
import hashlib
import base64
import urllib.parse
# 加签
timestamp = str(round(time.time() * 1000))
secret = '此处填写 webhook token'
secret_enc = secret.encode('utf-8')
string_to_sign = '{}\n{}'.format(timestamp, secret)
string_to_sign_enc = string_to_sign.encode('utf-8')
hmac_code = hmac.new(secret_enc, string_to_sign_enc, digestmod=hashlib.sha256).digest()
sign = urllib.parse.quote_plus(base64.b64encode(hmac_code))
def dingmessage():
    # 请求的URL,WebHook地址
    webhook = f"https://oapi.dingtalk.com/robot/send?access_token={token}&timestamp={timestamp}&sign={sign}"
    # 构建请求头部
    header = {"Content-Type": "application/json", "Charset": "UTF-8"}
    # 循环生成器并发送消息
    for phone in get_phone():
        message = {
            "msgtype": "text",
            "text": {"content": phone},
            "at": {
                # @ 所有人
                "isAtAll": True
            }
        }
        message_json = json.dumps(message)
        info = requests.post(url=webhook, data=message_json, headers=header, verify=False)  # 打印返回的结果
        print(info.text)
if __name__ == "__main__":
    dingmessage()


运行一下

image.png


接入 crontab 定时任务


我的是 mac 电脑,所有有自带 crontab,命令行敲

sudo crontab -e

 

添加定时任务

*/1 * * * * /usr/local/opt/python@3.9/bin/python3.9 /Users/test.py

 

保存,会有成功信息

> sudo crontab -e

crontab: installing new crontab

 

查看定时任务

sudo crontab -l

过一分钟后去看钉钉就可以了!

 

特殊情况

若遇到定时任务无法运行,可以看看这篇

https://www.cnblogs.com/poloyy/p/15565916.html


相关文章
|
27天前
|
Python
Python编程获取当前日期的所属周日期信息
Python编程获取当前日期的所属周日期信息
42 1
|
26天前
|
监控 并行计算 数据处理
构建高效Python应用:并发与异步编程的实战秘籍,IO与CPU密集型任务一网打尽!
在Python编程的征途中,面对日益增长的性能需求,如何构建高效的应用成为了每位开发者必须面对的课题。并发与异步编程作为提升程序性能的两大法宝,在处理IO密集型与CPU密集型任务时展现出了巨大的潜力。今天,我们将深入探讨这些技术的最佳实践,助你打造高效Python应用。
31 0
|
8天前
|
数据采集 JSON 数据处理
抓取和分析JSON数据:使用Python构建数据处理管道
在大数据时代,电商网站如亚马逊、京东等成为数据采集的重要来源。本文介绍如何使用Python结合代理IP、多线程等技术,高效、隐秘地抓取并处理电商网站的JSON数据。通过爬虫代理服务,模拟真实用户行为,提升抓取效率和稳定性。示例代码展示了如何抓取亚马逊商品信息并进行解析。
抓取和分析JSON数据:使用Python构建数据处理管道
|
1天前
|
数据库 开发者 Python
“Python异步编程革命:如何从编程新手蜕变为并发大师,掌握未来技术的制胜法宝”
【10月更文挑战第25天】介绍了Python异步编程的基础和高级技巧。文章从同步与异步编程的区别入手,逐步讲解了如何使用`asyncio`库和`async`/`await`关键字进行异步编程。通过对比传统多线程,展示了异步编程在I/O密集型任务中的优势,并提供了最佳实践建议。
6 1
|
4天前
|
数据采集 Python
python爬虫抓取91处理网
本人是个爬虫小萌新,看了网上教程学着做爬虫爬取91处理网www.91chuli.com,如果有什么问题请大佬们反馈,谢谢。
20 4
|
6天前
|
数据采集 Java Python
如何用Python同时抓取多个网页:深入ThreadPoolExecutor
在信息化时代,实时数据的获取对体育赛事爱好者、数据分析师和投注行业至关重要。本文介绍了如何使用Python的`ThreadPoolExecutor`结合代理IP和请求头设置,高效稳定地抓取五大足球联赛的实时比赛信息。通过多线程并发处理,解决了抓取效率低、请求限制等问题,提供了详细的代码示例和解析方法。
如何用Python同时抓取多个网页:深入ThreadPoolExecutor
|
23天前
|
小程序 Python
利用Python编程提取身份证的信息
利用Python编程提取身份证的信息
18 2
|
1天前
|
缓存 监控 Linux
Python 实时获取Linux服务器信息
Python 实时获取Linux服务器信息
|
26天前
|
中间件 API 调度
深入探究 Python 异步编程:利用 asyncio 和 aiohttp 构建高效并发应用
深入探究 Python 异步编程:利用 asyncio 和 aiohttp 构建高效并发应用
20 4
|
26天前
|
IDE 开发工具 数据安全/隐私保护
Python编程--实现用户注册信息写入excel文件
Python编程--实现用户注册信息写入excel文件
16 1