星星充电 充电桩数据爬虫

简介: 星星充电 充电桩数据爬虫
本文所有教程及源码、软件仅为技术研究。不涉及计算机信息系统功能的删除、修改、增加、干扰,更不会影响计算机信息系统的正常运行。不得将代码用于非法用途,如侵立删!

某星充电APP 充电桩信息

环境

  • win10
  • 某星充电 APP 7.9.0版本
  • Android8.1

X-Ca-Signature参数分析

APP有防抓包检测,使用算法助手启动可正常抓包,分析数据包后发现关键的就是X-Ca-Timestamp和X-Ca-Signature, Timestamp很明显看出来是时间戳,重点分析一下Signature参数脱壳后搜索关键词:X-Ca-Signature只有一处跟进去分析一下具体的参数构造可以很明显看到是参数加上固定的key拼接后做了md5处理

Signature参数分析

站点详情有一个Signature参数是H5加载js生成的,定位到具体赋值的位置,然后往上跟可以看到是经过一个随机uid+时间戳生成的

   defget_signtrue(self, dic: dict):

       """

       生成signature参数:7.9.0版本

       """

       if (not"userId"indic):

           dic["userId"] =""

       new_list= []

       foriinself.run_sort(dic.keys()):

           new_list.append(f"{i}={dic[i]}")

       returnself.get_md5("&".join(new_list))

获取指定城市所有站点数据

   defget_SearchStation(self, k, v):

       """

       获取指定城市所有站点数据

       """

       # 提取城市经纬度

       center=v['districts'][0]['center']

       lng=center.split(',')[0]  # 经度

       lat=center.split(',')[1]  # 维度

       CityCode=v['districts'][0]['adcode']  # 城市代码

       _time=self.get_time()  # 时间戳

       page=1

       whileTrue:

           data= {

               "stubGroupTypes": "0",

               "currentLat": lat,  # 当前坐标经度

               "orderType": "1",

               "orCityCode": CityCode,  # 城市代码

               "lng": lng,  # 城市坐标维度

               "pagecount": "50",

               "currentLng": lng,  # 当前坐标维度

               "page": page,

               "radius": "10000",

               "lat": lat,  # 城市坐标经度

               "showPromoteLabel": "1"

           }

           X_Ca_Signature=self.get_X_Ca_Signature(data, _time)

           headers= {

               'appVersion': '7.9.1.1',

               'X-Ca-Timestamp': _time,

               'X-Ca-Signature': X_Ca_Signature,

               'Connection': 'Keep-Alive',

               'User-Agent': 'okhttp/3.12.1',

           }

           # res = requests.post(url=url, data=data, headers=headers, proxies=self.proxies, verify=True, allow_redirects=True, timeout=60)

           res=self._parse_url(url=url, data=data, headers=headers)

           # print(res.text)

           ifnotres.textorres.status_code!=200:

               logger.info(f'{k}{page}页数据获取失败')

               return

           ifnotres.json().get('data'):

               logger.info(f'{k} 数据获取完成')

               return

           new_path='数据'+os.sep+k

           ifnotos.path.exists(new_path):

               os.makedirs(new_path)

           filename=new_path+os.sep+'站点列表.json'

           # 多页的情况直接把新数据添加至已有文件

           ifos.path.exists(filename):

               withopen(filename, 'r+', encoding='utf-8') asf:

                   row_data=json.load(f)

                   row_data['data'] +=res.json().get('data')

                   withopen(filename, 'w', encoding='utf-8') asf1:

                       json.dump(row_data, f1, ensure_ascii=False)

           else:

               withopen(filename, 'w', encoding='utf-8') asf:

                   # ensure_ascii 不适用ascii编码 解决不能显示中文问题

                   json.dump(res.json(), f, ensure_ascii=False)

           logger.info(f'{k}{page}页数据获取成功')

           page+=1

获取站点详情信息

       defget_detail(self, stationId, name, lat, lng):

       """

       获取站点详情

       """

       _time=self.get_time()  # 时间戳

       nonce=self.get_nonce()  # nonce参数

       test_= {

           "id": stationId,

           "gisType": "1",

           "lat": lat,

           "lng": lng,

           "stubType": "0",

           "versionFlag": "1",

           "nonce": nonce,

           "timestamp": _time

       }

       get_signtrue=self.get_signtrue(test_)

       headers= {

           "referrer": "web",

           "Accept": "application/json, text/plain, */*",

           "timestamp": _time,

           "signature": get_signtrue,

           "User-Agent": "Mozilla/5.0 (Linux; Android 8.1.0; Nexus 5X Build/OPM7.181205.001; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/61.0.3163.98 Mobile Safari/537.36",

           "appVersion": "7.9.0",

           "Accept-Language": "zh-CN,en-CA;q=0.8,en-US;q=0.6",

       }

       params= {

           "id": stationId,

           "gisType": "1",

           "lat": lat,

           "lng": lng,

           "stubType": "0",

           "versionFlag": "1",

           "nonce": nonce,

       }

       response=requests.get(url, headers=headers, params=params)

       print(response.text)

       ifnotresponse.textorresponse.status_code!=200:

           logger.info(f'{name} 数据获取失败')

           return

       ifnotresponse.json().get('data'):

           logger.info(f'{name} 数据获取完成')

           return

       returnresponse.json()

效果

资源下载

https://download.csdn.net/download/qq_38154948/87484473


本文仅供学习交流使用,如侵立删!


相关文章
|
2月前
|
数据采集 API 数据处理
Objective-C 音频爬虫:实时接收数据的 didReceiveData: 方法
Objective-C 音频爬虫:实时接收数据的 didReceiveData: 方法
|
8天前
|
数据采集 安全 定位技术
使用代理IP爬虫时数据不完整的原因探讨
在信息化时代,互联网成为生活的重要部分。使用HTTP代理爬取数据时,可能会遇到失败情况,如代理IP失效、速度慢、目标网站策略、请求频率过高、地理位置不当、网络连接问题、代理配置错误和目标网站内容变化等。解决方法包括更换代理IP、调整请求频率、检查配置及目标网站变化。
40 11
|
28天前
|
数据采集 JSON JavaScript
如何通过PHP爬虫模拟表单提交,抓取隐藏数据
本文介绍了如何使用PHP模拟表单提交并结合代理IP技术抓取京东商品的实时名称和价格,特别是在电商大促期间的数据采集需求。通过cURL发送POST请求,设置User-Agent和Cookie,使用代理IP绕过限制,解析返回数据,展示了完整代码示例。
如何通过PHP爬虫模拟表单提交,抓取隐藏数据
|
1月前
|
数据采集 JavaScript 程序员
探索CSDN博客数据:使用Python爬虫技术
本文介绍了如何利用Python的requests和pyquery库爬取CSDN博客数据,包括环境准备、代码解析及注意事项,适合初学者学习。
80 0
|
2月前
|
消息中间件 数据采集 数据库
小说爬虫-03 爬取章节的详细内容并保存 将章节URL推送至RabbitMQ Scrapy消费MQ 对数据进行爬取后写入SQLite
小说爬虫-03 爬取章节的详细内容并保存 将章节URL推送至RabbitMQ Scrapy消费MQ 对数据进行爬取后写入SQLite
35 1
|
2月前
|
数据采集 数据挖掘 数据处理
Python中实现简单爬虫并处理数据
【9月更文挑战第31天】本文将引导读者理解如何通过Python创建一个简单的网络爬虫,并展示如何处理爬取的数据。我们将讨论爬虫的基本原理、使用requests和BeautifulSoup库进行网页抓取的方法,以及如何使用pandas对数据进行清洗和分析。文章旨在为初学者提供一个易于理解的实践指南,帮助他们快速掌握网络数据抓取的基本技能。
63 3
|
3月前
|
数据采集 JSON 数据格式
Python:南京地铁每日客流数据的爬虫实现
Python:南京地铁每日客流数据的爬虫实现
80 1
|
2月前
|
数据采集 Web App开发 JSON
爬虫实战小案例—获取喜马拉雅账号的关注数据和粉丝数据生成电子表格并实现批量关注或者取关然后生成表格文件
爬虫实战小案例—获取喜马拉雅账号的关注数据和粉丝数据生成电子表格并实现批量关注或者取关然后生成表格文件
64 0
|
2月前
|
数据采集
爬虫案例—抓取找歌词网站的按歌词找歌名数据
爬虫案例—抓取找歌词网站的按歌词找歌名数据
57 0
|
3月前
|
数据采集 Python
爬虫练手:某网图书畅销榜排名数据
爬虫练手:某网图书畅销榜排名数据
39 0