用Python脚本自动采集金融网站当天发布的免费报告

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
实时计算 Flink 版,5000CU*H 3个月
简介: Python脚本自动采集研报

大家好,我是皮皮。

### 一、前言

前几天在Python群【林生】问了一个`Python`数据采集的问题,需求如下:

想写一个脚本能自动采集下载当天发布的这个页面的这几个免费报告,能保存成这个标题的pdf文件,网站是手机号注册就能下载这些文件的,就是在我注册登录状态下,能采集下载。

![image.png](https://upload-images.jianshu.io/upload_images/26239789-53bf2eba5a4c2ddf.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

### 二、实现过程

一开始以为网站有逆向,还觉得挺难的,后来发现完全是裸奔,就放心了,发布任务到接单裙,一下子就被抢了,毕竟送钱的单子,人见人爱,花见花开了,300元的爬虫单子,也很香了。

下面是部分核心代码,如果你也对这个感兴趣的话,欢迎私我拿全部源码。

```

# -*- coding:utf-8 -*-

"""

开发环境:Python 3.86

脚本名称:2023-07-07 报告厅baogaoting

创建日期:2023年07月07日

"""

import datetime

import os, sys, time, traceback

import pathlib

from parsel import Selector

import requests

headers = {

"xxx"

}

cookies = {

"xxx"

}

def _down_file(dow_url,file_name):

"""

:param dow_url:   下载链接

:param file_name:  图片绝对路径 包括后缀名

:return:

"""

re_重试次数=0

while True:

 try:

  response = requests.get(dow_url, headers=headers, cookies=cookies, timeout=10)

  if response.status_code == 200:

   break

  elif response.status_code == 404:

   break

  else:

   print(response.status_code)

   re_重试次数 += 1

 except Exception as e:

  adress = sys.exc_info()[-1]  # 异常地址

  line_error = traceback.extract_tb(adress, limit=1)[-1][1]  # 读取错误日志,最后一列的第二个元素即为模块出错行

  print(

   f"===================\n【异常原因】:{e}\n【异常类型】:{type(e)}\n【异常位置】:{line_error}\n===================")

  time.sleep(5)

  re_重试次数 += 1

 if re_重试次数 >= 10:

  response=""

  break

if response:

 with open(file_name, "wb+") as f:  # , errors='ignore'

  f.write(response.content)

else:

 print(f"【跳过】:下载失败{file_name}")

import winreg

def get_desktop():

key = winreg.OpenKey(winreg.HKEY_CURRENT_USER,r'Software\Microsoft\Windows\CurrentVersion\Explorer\Shell Folders')

return winreg.QueryValueEx(key, "Desktop")[0]

if __name__ == '__main__':

zm_path=get_desktop()

x_date = time.strftime("%Y-%m-%d")

list_file_path=list(pathlib.Path(x_date).rglob("*"))

dict_file_path={i.name:True for i in list_file_path}

 

url = "https://www.baogaoting.com/space/30909237"

for page in  range(1,3):

 params = {

  "page": page,

  "size": "15"

 }

 response = requests.get(url, headers=headers, cookies=cookies, params=params)

 """

   此处略去多行代码

   """

    print(f"【{title}】:热度{h3} 是当天上传的资料,准备访问下载{href_download}")

    if href_download:

     if not os.path.exists(f"{zm_path}//今日研报"):

      os.makedirs(f"{zm_path}//今日研报",exist_ok=True)

     title=title+ pathlib.Path(href_download).suffix

     #print(href_download, h3,title)

     for k in ["<", ">", "|", '"', "*", '\\', ":", "/", "?", "\n", "\r", "\t", "!", "☆"]:

      date = date.replace(k, '').strip()

     if dict_file_path.get(f"{date}_"+title):

      print(f"【状态】:已经下载了哦,自动跳过")

      continue

     else:

      _down_file(href_download, f"{zm_path}//今日研报//{title}")

    else:

     print(f"【状态】:链接{href_download} {title}无效,跳过不下载")

   

   else:

    print(f"【状态】:不是免费的,不下载")

   time.sleep(0.5)

  else:

   print(f"【状态】:{date} 上传时间不符合,直接结束!")

   break

input(f"【状态】:完成了哦,按任意键退出软件")

```

顺利地解决了粉丝的问题。

![image.png](https://upload-images.jianshu.io/upload_images/26239789-d38b1221ede7c2c2.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

这样每天打开软件,就可以获取到想要的研报文件了,再也不用挨个去下载,解放双手。

### 三、总结

大家好,我是皮皮。这篇文章主要盘点了一个`Python`网络爬虫实战的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

【提问补充】温馨提示,大家在群里提问的时候。可以注意下面几点:如果涉及到大文件数据,可以数据脱敏后,发点demo数据来(小文件的意思),然后贴点代码(可以复制的那种),记得发报错截图(截全)。代码不多的话,直接发代码文字即可,代码超过50行这样的话,发个.py文件就行。

![image.png](https://upload-images.jianshu.io/upload_images/26239789-b14f640b129460fb.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

相关文章
|
24天前
|
安全 网络安全 文件存储
思科设备巡检命令Python脚本大集合
【10月更文挑战第18天】
62 1
思科设备巡检命令Python脚本大集合
|
20天前
|
关系型数据库 MySQL 数据库连接
python脚本:连接数据库,检查直播流是否可用
【10月更文挑战第13天】本脚本使用 `mysql-connector-python` 连接MySQL数据库,检查 `live_streams` 表中每个直播流URL的可用性。通过 `requests` 库发送HTTP请求,输出每个URL的检查结果。需安装 `mysql-connector-python` 和 `requests` 库,并配置数据库连接参数。
120 68
|
4天前
|
存储 Python
Python自动化脚本编写指南
【10月更文挑战第38天】本文旨在为初学者提供一条清晰的路径,通过Python实现日常任务的自动化。我们将从基础语法讲起,逐步引导读者理解如何将代码块组合成有效脚本,并探讨常见错误及调试技巧。文章不仅涉及理论知识,还包括实际案例分析,帮助读者快速入门并提升编程能力。
21 2
|
6天前
|
运维 监控 Python
自动化运维:使用Python脚本简化日常任务
【10月更文挑战第36天】在数字化时代,运维工作的效率和准确性成为企业竞争力的关键。本文将介绍如何通过编写Python脚本来自动化日常的运维任务,不仅提高工作效率,还能降低人为错误的风险。从基础的文件操作到进阶的网络管理,我们将一步步展示Python在自动化运维中的应用,并分享实用的代码示例,帮助读者快速掌握自动化运维的核心技能。
18 3
|
11天前
|
缓存 运维 NoSQL
python常见运维脚本_Python运维常用脚本
python常见运维脚本_Python运维常用脚本
16 3
|
11天前
|
数据采集 JSON 数据安全/隐私保护
Python常用脚本集锦
Python常用脚本集锦
14 2
|
12天前
|
运维 监控 应用服务中间件
自动化运维:如何利用Python脚本提升工作效率
【10月更文挑战第30天】在快节奏的IT行业中,自动化运维已成为提升工作效率和减少人为错误的关键技术。本文将介绍如何使用Python编写简单的自动化脚本,以实现日常运维任务的自动化。通过实际案例,我们将展示如何用Python脚本简化服务器管理、批量配置更新以及监控系统性能等任务。文章不仅提供代码示例,还将深入探讨自动化运维背后的理念,帮助读者理解并应用这一技术来优化他们的工作流程。
|
13天前
|
运维 监控 Linux
自动化运维:如何利用Python脚本优化日常任务##
【10月更文挑战第29天】在现代IT运维中,自动化已成为提升效率、减少人为错误的关键技术。本文将介绍如何通过Python脚本来简化和自动化日常的运维任务,从而让运维人员能够专注于更高层次的工作。从备份管理到系统监控,再到日志分析,我们将一步步展示如何编写实用的Python脚本来处理这些任务。 ##
|
1月前
|
Linux 区块链 Python
Python实用记录(十三):python脚本打包exe文件并运行
这篇文章介绍了如何使用PyInstaller将Python脚本打包成可执行文件(exe),并提供了详细的步骤和注意事项。
51 1
Python实用记录(十三):python脚本打包exe文件并运行
|
19天前
|
JSON 测试技术 持续交付
自动化测试与脚本编写:Python实践指南
自动化测试与脚本编写:Python实践指南
24 1