抓取网站数据解析

本文涉及的产品
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
简介: 自动的输入name 跟 word

'''模仿真人登录网站'''
import json


import requests

from bs4 import BeautifulSoup

'''防止网站拦截码'''
headers={

   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
   'Cookie':'Hm_lvt_a046ce178828e393614822a297b8d296=1665284221,1665396658,1667717795; JSESSIONID=C6E87ED65B89A735897061B9777FF804',
}

'''表单数据'''
from_zm={

   'username':'liuhongyun',
   'password':'Aa123456',
}

url='http://5g.aioutx.com/pages/login.do'
resu=requests.post(url=url,headers=headers,data=from_zm)

'''编码 防止乱码'''
resu.encoding='utf-8'
'''解析网站'''
d=BeautifulSoup(resu.text,'lxml')

'''开通的套餐已经上架的'''
hes={

   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
   'Cookie':'Hm_lvt_a046ce178828e393614822a297b8d296=1665284221,1665396658,1667717795; JSESSIONID=5D6FF0835ABA82B6FC6685263CDC6DE3',

}

sd={

   'menuId':'1041',
   'agentName':'',
   'type':'',
   'status':'1',
   'mealName':'',
   'category':'',
   'agentMobile':'',
   'mealSeriesName':'',
}

urls='http://5g.aioutx.com/agentsetmeal/grid.do?responseFunction=grid&pageSize=15&pageNo=1&rfm=0.2034181423443462'
sds=requests.post(url=urls,headers=hes,data=sd)

sds.encoding='utf-8'
s=json.loads(sds.text)


'''显示内容结果'''
count=0
'''解析数据'''
do=s['data']['rows']

for i in do:

   '''姓名'''
   name=i['agentName']

   '''用户名'''
   username=i['agentMobile']

   '''开通的流量包名称'''
   liu_names=i['name']

   '''价格'''
   money=i['agoMoney']

   '''套餐名'''
   money_name=i['typeStr']

   '''卡名称'''
   names_zh=i['categoryStr']

   '''当前状态'''
   names_zh_z=i['statusStr']

   '''我赚的利润百分比'''
   bai_chu=i['interestRate']

   '''成本价'''
   cheng=i['accountMoney']

   '''排序号'''
   xu_num=i['mealSort']

   '''mb'''
   mb_num=i['flowSize']

   count=count+1
   print('----' * 20+'流量包数据'+'----'*25)

   print(f"这是显示的第:{count}条数据结果开始")

   print(f"已经上架的流量包如下:\n"
         f"对接的用户姓名:{name}\n对接的用户名:{username}\n流量包名称:{liu_names}\n价格:{money}\n套餐名:{money_name}\n"
         f"卡名称:{names_zh}\n当前状态:{names_zh_z}\n我赚的百分比:{bai_chu}\n"
         f"成本价:{cheng}\n当前套餐序号:{xu_num}\n总流量:{mb_num}MB\n")

   print(f"这是显示的第:{count}条数据结果结束")

else:

   print(f"总共当前有:{count}条数据!")

   print('----'*65)

heads={

   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
   'Cookie':'Hm_lvt_a046ce178828e393614822a297b8d296=1665284221,1665396658,1667717795; JSESSIONID=5D6FF0835ABA82B6FC6685263CDC6DE3',
}

ur='http://5g.aioutx.com/agentcardactivestatis/grid.do?responseFunction=agentcardactivestatis&pageSize=10&rfm=0.6302158634579531'
resusd=requests.post(url=ur,headers=heads)

resusd.encoding='utf-8'
r=json.loads(resusd.text)

'''解析数据'''
sd_to=r['data']['rows']

'''计数'''
shizhong_dai=0
for s in sd_to:

   '''代理商名称'''
   dai_names=s['agentName']

   '''代理用户名'''
   dai_username=s['agentAccount']

   '''卖出去的套餐'''
   dai_usermoney=s['wxMoneyStr']

   '''代理赚的钱百分比'''
   dai_bai=s['activedRateStr']

   '''创建代理商时间'''
   dai_times=s['createDateStr']

   shizhong_dai=shizhong_dai+1
   print('----' * 20+'客户代理数据'+'----'*25)

   print(f"这是显示的第:{shizhong_dai}条数据结果开始")

   print(f"客户代理功能如下:\n"
         f"代理商名称:{dai_names}\n代理用户名:{dai_username}\n当前卖出去的套餐金额:{dai_usermoney}\n"
         f"代理赚的钱百分比:{dai_bai}\n代理创建时间:{dai_times}\n")

   print(f"这是显示的第:{shizhong_dai}条数据结果结束")

else:

   print(f"总共当前有:{shizhong_dai}条数据!")

   print('----'*65)

'''我的佣金体现记录'''
tixian_num=0
tixian={

   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
   'Cookie':'Hm_lvt_a046ce178828e393614822a297b8d296=1665284221,1665396658,1667717795; JSESSIONID=C6E87ED65B89A735897061B9777FF804',
}

tixian_url='http://5g.aioutx.com/agentcommissiondrawapply/grid.do?responseFunction=grid&pageSize=15&pageNo=1&rfm=0.9066323104474201'
tianxian_reus=requests.post(url=tixian_url,headers=tixian)

tianxian_reus.encoding='utf-8'
tiaixn_shu=json.loads(tianxian_reus.text)

'''数据解析'''
tianxian_rows=tiaixn_shu['data']['rows']

for tx in tianxian_rows:

   '''提现订单号'''
   tx_number=tx['orderNumber']

   '''提现金额'''
   tx_number_num=tx['drawAmount']

   '''提现手续费'''
   tx_shouxu_num=tx['serviceFeeAmount']

   '''实际到账'''
   tx_shouxu_nums=tx['actualTransforAmount']

   '''提现姓名'''
   tx_names=tx['userName']

   '''提现手机号'''
   tx_phone=tx['alipayAccount']

   '''申请时间'''
   tx_times=tx['createDateStr']

   '''用户申请'''
   tx_shen=tx['recordTypeStr']

   '''处理时间'''
   tx_tixian=tx['handleDateStr']

   '''放款状态'''
   tx_fang_true=tx['drawStatusStr']

   '''到账app'''
   tx_zf=tx['recvMethodStr']

   tixian_num=tixian_num+1
   print('----' * 20+'佣金提现记录开始'+'----'*25)

   print(f"这是显示的第:{tixian_num}条数据结果开始")

   print(f"佣金提现记录如下:\n"
         f"提现单号:{tx_number}\n提现金额:{tx_number_num}\n提现手续费:{tx_shouxu_num}\n"
         f"实际到账:{tx_shouxu_nums}\n提现人姓名:{tx_names}\n提现手机号:{tx_phone}\n"
         f"申请提现时间:{tx_times}\n用户申请:{tx_shen}\n放款时间:{tx_tixian}\n"
         f"放款状态:{tx_fang_true}\n到账软件:{tx_zf}\n")

   print('----' * 20 + '佣金提现结束' + '----' * 25)

else:

   print(f"一共提现:{tixian_num}")

目录
相关文章
|
1月前
|
消息中间件 存储 缓存
十万订单每秒热点数据架构优化实践深度解析
【11月更文挑战第20天】随着互联网技术的飞速发展,电子商务平台在高峰时段需要处理海量订单,这对系统的性能、稳定性和扩展性提出了极高的要求。尤其是在“双十一”、“618”等大型促销活动中,每秒需要处理数万甚至数十万笔订单,这对系统的热点数据处理能力构成了严峻挑战。本文将深入探讨如何优化架构以应对每秒十万订单级别的热点数据处理,从历史背景、功能点、业务场景、底层原理以及使用Java模拟示例等多个维度进行剖析。
53 8
|
2月前
|
人工智能 自然语言处理 前端开发
SpringBoot + 通义千问 + 自定义React组件:支持EventStream数据解析的技术实践
【10月更文挑战第7天】在现代Web开发中,集成多种技术栈以实现复杂的功能需求已成为常态。本文将详细介绍如何使用SpringBoot作为后端框架,结合阿里巴巴的通义千问(一个强大的自然语言处理服务),并通过自定义React组件来支持服务器发送事件(SSE, Server-Sent Events)的EventStream数据解析。这一组合不仅能够实现高效的实时通信,还能利用AI技术提升用户体验。
223 2
|
2月前
|
XML 数据格式 开发者
解析数据的Beautiful Soup 模块(一)
解析数据的Beautiful Soup 模块(一)
69 0
数据解析之xpath 太6了
数据解析之xpath 太6了
|
29天前
|
数据采集 自然语言处理 搜索推荐
基于qwen2.5的长文本解析、数据预测与趋势分析、代码生成能力赋能esg报告分析
Qwen2.5是一款强大的生成式预训练语言模型,擅长自然语言理解和生成,支持长文本解析、数据预测、代码生成等复杂任务。Qwen-Long作为其变体,专为长上下文场景优化,适用于大型文档处理、知识图谱构建等。Qwen2.5在ESG报告解析、多Agent协作、数学模型生成等方面表现出色,提供灵活且高效的解决方案。
136 49
|
18天前
|
XML JSON JavaScript
HttpGet 请求的响应处理:获取和解析数据
HttpGet 请求的响应处理:获取和解析数据
|
2月前
|
自然语言处理 数据可视化 前端开发
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
合合信息的智能文档处理“百宝箱”涵盖文档解析、向量化模型、测评工具等,解决了复杂文档解析、大模型问答幻觉、文档解析效果评估、知识库搭建、多语言文档翻译等问题。通过可视化解析工具 TextIn ParseX、向量化模型 acge-embedding 和文档解析测评工具 markdown_tester,百宝箱提升了文档处理的效率和精确度,适用于多种文档格式和语言环境,助力企业实现高效的信息管理和业务支持。
4068 5
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
|
1月前
|
存储 分布式计算 Java
存算分离与计算向数据移动:深度解析与Java实现
【11月更文挑战第10天】随着大数据时代的到来,数据量的激增给传统的数据处理架构带来了巨大的挑战。传统的“存算一体”架构,即计算资源与存储资源紧密耦合,在处理海量数据时逐渐显露出其局限性。为了应对这些挑战,存算分离(Disaggregated Storage and Compute Architecture)和计算向数据移动(Compute Moves to Data)两种架构应运而生,成为大数据处理领域的热门技术。
57 2
|
1月前
|
JavaScript API 开发工具
<大厂实战场景> ~ Flutter&鸿蒙next 解析后端返回的 HTML 数据详解
本文介绍了如何在 Flutter 中解析后端返回的 HTML 数据。首先解释了 HTML 解析的概念,然后详细介绍了使用 `http` 和 `html` 库的步骤,包括添加依赖、获取 HTML 数据、解析 HTML 内容和在 Flutter UI 中显示解析结果。通过具体的代码示例,展示了如何从 URL 获取 HTML 并提取特定信息,如链接列表。希望本文能帮助你在 Flutter 应用中更好地处理 HTML 数据。
113 1
|
29天前
|
数据采集 存储 自然语言处理
基于Qwen2.5的大规模ESG数据解析与趋势分析多Agent系统设计
2022年中国上市企业ESG报告数据集,涵盖制造、能源、金融、科技等行业,通过Qwen2.5大模型实现报告自动收集、解析、清洗及可视化生成,支持单/多Agent场景,大幅提升ESG数据分析效率与自动化水平。
102 0

推荐镜像

更多