抓取网站数据解析

本文涉及的产品
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 自动的输入name 跟 word

'''模仿真人登录网站'''
import json


import requests

from bs4 import BeautifulSoup

'''防止网站拦截码'''
headers={

   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
   'Cookie':'Hm_lvt_a046ce178828e393614822a297b8d296=1665284221,1665396658,1667717795; JSESSIONID=C6E87ED65B89A735897061B9777FF804',
}

'''表单数据'''
from_zm={

   'username':'liuhongyun',
   'password':'Aa123456',
}

url='http://5g.aioutx.com/pages/login.do'
resu=requests.post(url=url,headers=headers,data=from_zm)

'''编码 防止乱码'''
resu.encoding='utf-8'
'''解析网站'''
d=BeautifulSoup(resu.text,'lxml')

'''开通的套餐已经上架的'''
hes={

   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
   'Cookie':'Hm_lvt_a046ce178828e393614822a297b8d296=1665284221,1665396658,1667717795; JSESSIONID=5D6FF0835ABA82B6FC6685263CDC6DE3',

}

sd={

   'menuId':'1041',
   'agentName':'',
   'type':'',
   'status':'1',
   'mealName':'',
   'category':'',
   'agentMobile':'',
   'mealSeriesName':'',
}

urls='http://5g.aioutx.com/agentsetmeal/grid.do?responseFunction=grid&pageSize=15&pageNo=1&rfm=0.2034181423443462'
sds=requests.post(url=urls,headers=hes,data=sd)

sds.encoding='utf-8'
s=json.loads(sds.text)


'''显示内容结果'''
count=0
'''解析数据'''
do=s['data']['rows']

for i in do:

   '''姓名'''
   name=i['agentName']

   '''用户名'''
   username=i['agentMobile']

   '''开通的流量包名称'''
   liu_names=i['name']

   '''价格'''
   money=i['agoMoney']

   '''套餐名'''
   money_name=i['typeStr']

   '''卡名称'''
   names_zh=i['categoryStr']

   '''当前状态'''
   names_zh_z=i['statusStr']

   '''我赚的利润百分比'''
   bai_chu=i['interestRate']

   '''成本价'''
   cheng=i['accountMoney']

   '''排序号'''
   xu_num=i['mealSort']

   '''mb'''
   mb_num=i['flowSize']

   count=count+1
   print('----' * 20+'流量包数据'+'----'*25)

   print(f"这是显示的第:{count}条数据结果开始")

   print(f"已经上架的流量包如下:\n"
         f"对接的用户姓名:{name}\n对接的用户名:{username}\n流量包名称:{liu_names}\n价格:{money}\n套餐名:{money_name}\n"
         f"卡名称:{names_zh}\n当前状态:{names_zh_z}\n我赚的百分比:{bai_chu}\n"
         f"成本价:{cheng}\n当前套餐序号:{xu_num}\n总流量:{mb_num}MB\n")

   print(f"这是显示的第:{count}条数据结果结束")

else:

   print(f"总共当前有:{count}条数据!")

   print('----'*65)

heads={

   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
   'Cookie':'Hm_lvt_a046ce178828e393614822a297b8d296=1665284221,1665396658,1667717795; JSESSIONID=5D6FF0835ABA82B6FC6685263CDC6DE3',
}

ur='http://5g.aioutx.com/agentcardactivestatis/grid.do?responseFunction=agentcardactivestatis&pageSize=10&rfm=0.6302158634579531'
resusd=requests.post(url=ur,headers=heads)

resusd.encoding='utf-8'
r=json.loads(resusd.text)

'''解析数据'''
sd_to=r['data']['rows']

'''计数'''
shizhong_dai=0
for s in sd_to:

   '''代理商名称'''
   dai_names=s['agentName']

   '''代理用户名'''
   dai_username=s['agentAccount']

   '''卖出去的套餐'''
   dai_usermoney=s['wxMoneyStr']

   '''代理赚的钱百分比'''
   dai_bai=s['activedRateStr']

   '''创建代理商时间'''
   dai_times=s['createDateStr']

   shizhong_dai=shizhong_dai+1
   print('----' * 20+'客户代理数据'+'----'*25)

   print(f"这是显示的第:{shizhong_dai}条数据结果开始")

   print(f"客户代理功能如下:\n"
         f"代理商名称:{dai_names}\n代理用户名:{dai_username}\n当前卖出去的套餐金额:{dai_usermoney}\n"
         f"代理赚的钱百分比:{dai_bai}\n代理创建时间:{dai_times}\n")

   print(f"这是显示的第:{shizhong_dai}条数据结果结束")

else:

   print(f"总共当前有:{shizhong_dai}条数据!")

   print('----'*65)

'''我的佣金体现记录'''
tixian_num=0
tixian={

   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
   'Cookie':'Hm_lvt_a046ce178828e393614822a297b8d296=1665284221,1665396658,1667717795; JSESSIONID=C6E87ED65B89A735897061B9777FF804',
}

tixian_url='http://5g.aioutx.com/agentcommissiondrawapply/grid.do?responseFunction=grid&pageSize=15&pageNo=1&rfm=0.9066323104474201'
tianxian_reus=requests.post(url=tixian_url,headers=tixian)

tianxian_reus.encoding='utf-8'
tiaixn_shu=json.loads(tianxian_reus.text)

'''数据解析'''
tianxian_rows=tiaixn_shu['data']['rows']

for tx in tianxian_rows:

   '''提现订单号'''
   tx_number=tx['orderNumber']

   '''提现金额'''
   tx_number_num=tx['drawAmount']

   '''提现手续费'''
   tx_shouxu_num=tx['serviceFeeAmount']

   '''实际到账'''
   tx_shouxu_nums=tx['actualTransforAmount']

   '''提现姓名'''
   tx_names=tx['userName']

   '''提现手机号'''
   tx_phone=tx['alipayAccount']

   '''申请时间'''
   tx_times=tx['createDateStr']

   '''用户申请'''
   tx_shen=tx['recordTypeStr']

   '''处理时间'''
   tx_tixian=tx['handleDateStr']

   '''放款状态'''
   tx_fang_true=tx['drawStatusStr']

   '''到账app'''
   tx_zf=tx['recvMethodStr']

   tixian_num=tixian_num+1
   print('----' * 20+'佣金提现记录开始'+'----'*25)

   print(f"这是显示的第:{tixian_num}条数据结果开始")

   print(f"佣金提现记录如下:\n"
         f"提现单号:{tx_number}\n提现金额:{tx_number_num}\n提现手续费:{tx_shouxu_num}\n"
         f"实际到账:{tx_shouxu_nums}\n提现人姓名:{tx_names}\n提现手机号:{tx_phone}\n"
         f"申请提现时间:{tx_times}\n用户申请:{tx_shen}\n放款时间:{tx_tixian}\n"
         f"放款状态:{tx_fang_true}\n到账软件:{tx_zf}\n")

   print('----' * 20 + '佣金提现结束' + '----' * 25)

else:

   print(f"一共提现:{tixian_num}")

目录
相关文章
|
29天前
|
人工智能 自然语言处理 前端开发
SpringBoot + 通义千问 + 自定义React组件:支持EventStream数据解析的技术实践
【10月更文挑战第7天】在现代Web开发中,集成多种技术栈以实现复杂的功能需求已成为常态。本文将详细介绍如何使用SpringBoot作为后端框架,结合阿里巴巴的通义千问(一个强大的自然语言处理服务),并通过自定义React组件来支持服务器发送事件(SSE, Server-Sent Events)的EventStream数据解析。这一组合不仅能够实现高效的实时通信,还能利用AI技术提升用户体验。
147 2
|
1月前
|
XML 数据格式 开发者
解析数据的Beautiful Soup 模块(一)
解析数据的Beautiful Soup 模块(一)
数据解析之xpath 太6了
数据解析之xpath 太6了
|
14天前
|
自然语言处理 数据可视化 前端开发
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
合合信息的智能文档处理“百宝箱”涵盖文档解析、向量化模型、测评工具等,解决了复杂文档解析、大模型问答幻觉、文档解析效果评估、知识库搭建、多语言文档翻译等问题。通过可视化解析工具 TextIn ParseX、向量化模型 acge-embedding 和文档解析测评工具 markdown_tester,百宝箱提升了文档处理的效率和精确度,适用于多种文档格式和语言环境,助力企业实现高效的信息管理和业务支持。
3935 2
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
|
4天前
|
存储 分布式计算 Java
存算分离与计算向数据移动:深度解析与Java实现
【11月更文挑战第10天】随着大数据时代的到来,数据量的激增给传统的数据处理架构带来了巨大的挑战。传统的“存算一体”架构,即计算资源与存储资源紧密耦合,在处理海量数据时逐渐显露出其局限性。为了应对这些挑战,存算分离(Disaggregated Storage and Compute Architecture)和计算向数据移动(Compute Moves to Data)两种架构应运而生,成为大数据处理领域的热门技术。
18 2
|
10天前
|
JavaScript API 开发工具
<大厂实战场景> ~ Flutter&鸿蒙next 解析后端返回的 HTML 数据详解
本文介绍了如何在 Flutter 中解析后端返回的 HTML 数据。首先解释了 HTML 解析的概念,然后详细介绍了使用 `http` 和 `html` 库的步骤,包括添加依赖、获取 HTML 数据、解析 HTML 内容和在 Flutter UI 中显示解析结果。通过具体的代码示例,展示了如何从 URL 获取 HTML 并提取特定信息,如链接列表。希望本文能帮助你在 Flutter 应用中更好地处理 HTML 数据。
93 1
|
27天前
|
数据采集 XML 前端开发
Jsoup在Java中:解析京东网站数据
Jsoup在Java中:解析京东网站数据
|
2月前
|
存储 弹性计算 缓存
阿里云服务器ECS通用型实例规格族特点、适用场景、指标数据解析
阿里云服务器ECS提供了多种通用型实例规格族,每种规格族都针对不同的计算需求、存储性能、网络吞吐量和安全特性进行了优化。以下是对存储增强通用型实例规格族g8ise、通用型实例规格族g8a、通用型实例规格族g8y、存储增强通用型实例规格族g7se、通用型实例规格族g7等所有通用型实例规格族的详细解析,包括它们的核心特点、适用场景、实例规格及具体指标数据,以供参考。
阿里云服务器ECS通用型实例规格族特点、适用场景、指标数据解析
|
10天前
|
JSON 前端开发 JavaScript
API接口商品详情接口数据解析
商品详情接口通常用于提供特定商品的详细信息,这些信息比商品列表接口中的信息更加详细和全面。以下是一个示例的JSON数据格式,用于表示一个商品详情API接口的响应。这个示例假定API返回一个包含商品详细信息的对象。
|
2月前
|
消息中间件 canal 关系型数据库
Maxwell:binlog 解析器,轻松同步 MySQL 数据
Maxwell:binlog 解析器,轻松同步 MySQL 数据
256 11

推荐镜像

更多
下一篇
无影云桌面