AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

【数据采集】采集中国气象网，股票信息，软科大学排名的信息

2021-12-06 192
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
公共DNS（含HTTPDNS解析），每月1000万次HTTP解析
简介： 目录实验 11.1 题目1.2 思路1.2.1 发送请求1.2.2 解析网页1.2.3 获取结点1.2.4 数据保存实验 22.1 题目2.2 思路2.2.1 发送请求2.2.2 解析网页2.2.3 获取结点2.2.4 数据保存实验 33.1 题目3.2 思路3.2.1 发送请求3.2.2 解析网页3.2.3 获取结点3.2.4 保存数据MP4 To GIF：最后

目录

实验 1

1.1 题目

1.2 思路

1.2.1 发送请求

1.2.2 解析网页

1.2.3 获取结点

1.2.4 数据保存

实验 2

2.1 题目

2.2 思路

2.2.1 发送请求

2.2.2 解析网页

2.2.3 获取结点

2.2.4 数据保存

实验 3

3.1 题目

3.2 思路

3.2.1 发送请求

3.2.2 解析网页

3.2.3 获取结点

3.2.4 保存数据

MP4 To GIF：

最后

实验 1

1.1 题目

要求：在中国气象网（http://www.weather.com.cn）给定城市集的7日天气预报，并保存在数据库。


1.2 思路

1.2.1 发送请求

导入包

import urllib.request


构造请求头并发送请求

headers={"User-Agent":"Mozilla/5.0 (Windows; U; Windows NT 6.0 x64; en-US; rv:1.9pre) Gecko/2008072421 Minefield/3.0.2pre"}
    req=urllib.request.Request(url,headers=headers)
    data=urllib.request.urlopen(req)


1.2.2 解析网页

导入库(使用BeautifulSoup进行页面解析)

from bs4 import BeautifulSoup
from bs4 import UnicodeDammit

注意： 这里还有一个编码的转换，防止windows的gbk编码，而导致的中文乱码！


解析response内容

dammit=UnicodeDammit(data,["utf-8","gbk"]) # 编码
    data=dammit.unicode_markup 
    soup=BeautifulSoup(data,"lxml") # 解析网页


1.2.3 获取结点

采用css选择进行节点的获取

举个例子，其他类比

lis=soup.select("ul[class='t clearfix'] li")

获取到这里的所有li就是


ul的属性class = t clearfix的所有的li

image.png



1.2.4 数据保存

保存到数据库中(保存到mysql数据库中)


导入库pymysql

import pymysql


数据库初始化连接

HOSTNAME = '127.0.0.1'
PORT = '3306'
DATABASE = 'spider_ex' # 数据库名
USERNAME = 'root'
PASSWORD = 'root'
# 打开数据库连接
conn = pymysql.connect(host=HOSTNAME, user=USERNAME,password=PASSWORD,database=DATABASE,charset='utf8')
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = conn.cursor()


插入数据

def InsertData(count,date,weather,temp):
    a = temp.split(" ")
    global conn
    global cursor
    sql = "INSERT INTO ex2_1(序号, 地区, 日期,天气信息,温度) VALUES (%s, %s, %s, %s, %s)"
    number = count
    area = "深圳"
    try:
        conn.commit()
        cursor.execute(sql,[number,area,date,weather,temp])
        print("插入成功")
    except Exception as err:
        print("插入失败",err)


使用原生sql语句进行插入保存，并没有使用orm。

实验 2

2.1 题目

要求：用requests和自选提取信息方法定向爬取股票相关信息，并存储在数据库中。


2.2 思路

观察页面的js包请求

可以先把多余的请求删去

image.png



然后点击新的页面，就会出现这个关键的请求信息。

image.png



查看页数和页码(比较第一第二页的参数的区别)


第一页

image.png


第二页

image.png


可以看到这里的参数pn会随着页数的增加而增加

所以可以知晓这个pn就是页面的页码。


2.2.1 发送请求

编写请求头，以及参数。

import requests,json
headers = {
    'Connection': 'keep-alive',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Edg/94.0.992.38',
    'Accept': '*/*',
    'Referer': 'http://quote.eastmoney.com/',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
}
params = (
    ('cb', 'jQuery1124049118572600550814_1634085098344'),
    ('pn', '2'),  # 第几页
    ('pz', '20'),  # 一页多少个
    ('po', '1'),
    ('np', '1'),
    ('ut', 'bd1d9ddb04089700cf9c27f6f7426281'),
    ('fltt', '2'),
    ('invt', '2'),
    ('fid', 'f3'),
    ('fs', 'm:0 t:6,m:0 t:80,m:1 t:2,m:1 t:23'),
    ('fields', 'f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152'),
    ('_', '1634085098352'),
)
resp = requests.get('http://28.push2.eastmoney.com/api/qt/clist/get', headers=headers, params=params,  verify=False)
# 发送请求

2.2.2 解析网页

由于返回的数据不是标准的json格式，所以要进行去头去尾的操作。

建议把返回的格式复制到一些在线json的网站进行验证，这样才能保证json格式的正确。

res = resp.content[len("jQuery1124049118572600550814_1634085098344("):len(resp.content)-2]
res = str(res,'utf-8')
resp_json = json.loads(res)


2.2.3 获取结点

json格式的处理方式非常简单，找到key之后，直接遍历即可。不需要复杂的操作。

for k in resp_json['data']['diff']:
    data["number"]=count,
    data["f12"]=k['f12'],
    data["f14"]=k['f14'],
    data["f2"]=k['f2'],
    data["f3"]=k['f3'],
    data["f4"]=k['f4'],
    data["f5"]=k['f5'],
    data["f6"]=k['f6'],
    data["f7"]=k['f7'],
    data["f15"]=k['f15'],
    data["f16"]=k['f16'],
    data["f17"]=k['f17'],
    data["f18"]=k['f18'],


注意： 一定要仔细看到每个参数对应的值，不然容易出错，或遗漏

image.png



2.2.4 数据保存

**注意：**这里要进行一个数据的处理！


因为这个我们抓取到的数据是和显示的是不一样的，要进行一个处理。比如百分号和单位。

image.png



处理方法：


百分号可以转成字符串直接相加

如果是数字的话就直接像这样判断就好了

def formatDate(a):
    if a > 100000000:
        a = round(a/100000000,2)
        a = str(a) + '亿'
    elif a > 10000:
        a = round(a/10000, 2)
        a = str(a) + '万'
    return a

同 1.2.4


贴结果

image.png

实验 3

3.1 题目

爬取中国大学2021主榜(https://www.shanghairanking.cn/rankings/bcur/2021)所

有院校信息，并存储在数据库中，同时将浏览器F12调试分析的过程录制Gif加入至博客中。


3.2 思路

3.2.1 发送请求

引入库并且编写请求头

请求头是为了把爬虫包装成浏览器的正常访问。


import request
import re
header = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36',
}


发送请求

resp = requests.get('https://www.shanghairanking.cn/_nuxt/static/1632381606/rankings/bcur/2021/payload.js', headers=headers)


3.2.2 解析网页

分析可以知道我们的节点信息在这个里面

image.png


虽然这是可以转化成json格式，但是会麻烦很多，所以我们用正则进行匹配

res = resp.content
res = str(res,'utf-8')

3.2.3 获取结点

分析网页

学校信息


names = re.findall("univNameCn:(.*?),univNameEn:",res)


分数信息


scores = re.findall("score:(.*?),ranking",res)


排名信息


ranking = re.findall("ranking:(.*?),rankChange",res)


然后我们验证这三个数据是否一致


是一致的！


image.png


坑点来了！！！

image.png


但是我们发现这里是有缺失值的！所以我们要观察网页的结构，我发现了这里就是头尾的键值对的对应，我也是第一次见这种页面结构！！！


然后我们抓取这里的信息！然后构造键值对！！

image.png

head = re.findall('"/rankings/bcur/2021", (.*?)\)',res)
end = re.findall('mutations(.*)',res)


然后要进行数据的处理！就是要转化成元组或列表形式，方便我们构建键值对，所以我们可以通过以下方法进行转化！


keySet = head[0][len("(function"):]+")"
ValueSet = end[0][len(":void 0}}"):len(end[0])-len("));")]
keytemp=keySet.replace('(','').replace(')','')
keySet=tuple([i for i in keytemp.split(',')])
Valuetemp=ValueSet.replace('(','').replace(')','')
ValueSet=tuple([i for i in Valuetemp.split(',')])


image.png


但是发现没对上！我们打印发现是多了一个空值！就是这个箭头的空值！！

image.png



这样就可以了，就能让keySet和ValueSet一样的长度了！

ValueSet = ValueSet[1:]

然后我们构造键值对


初始化

data = {}
for key in keySet:
    data[key]=""


赋值

for key,value in zip(keySet,ValueSet):
    data[key]=value

image.png


但是还有一个坑点！！

image.png



这里突然没对上，应该是211的，观察发现，原来是这里多了一位！写这个网站的程序员。。。

image.png



只能是手补上去了。

image.png



3.2.4 保存数据

同上 1.2.4

image.png



MP4 To GIF：

import moviepy.editor as mpy
# 视频文件的本地路径
content = mpy.VideoFileClip(r".\ex3.mp4")
# 剪辑0分0秒到0分44秒的片段。resize为修改清晰度
c1 = content.subclip((0, 0), (0, 44)).resize((280, 200))
# 将片段保存为gif图到python的默认路径
c1.write_gif(r".\ex2_3_1.gif")


文章标签：
云数据库 RDS MySQL 版
云解析DNS
JavaScript
前端开发
数据采集
关系型数据库
MySQL
程序员
数据格式
数据库
存储
JSON
相关实践学习
如何在云端创建MySQL数据库
开始实验后，系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
小生凡一
目录
相关文章
MrRobot
|
11月前
|
监控 前端开发 定位技术
GIS跟踪监管系统电子围栏
GIS跟踪监管系统电子围栏
MrRobot
147 0
w风雨无阻w
|
11月前
|
安全 Java 开发工具
AppsFlyer 研究（八） 上报OAID
AppsFlyer 研究（八） 上报OAID
w风雨无阻w
163 0
阿里云IoT-杜尘
|
SQL 数据可视化 数据挖掘
如何在5分钟之内完成一个物联网统计指标？
本文介绍如何使用物联网平台的指标管理功能实现快速完成数据统计指标的开发。
阿里云IoT-杜尘
10888 0
如何在5分钟之内完成一个物联网统计指标？
安然AR
|
数据采集 存储 安全
大数据数据采集的数据来源的第三方服务数据之第三方平台的请求数据
大数据是当今数字化时代最重要的资源之一。它可以帮助企业更好地理解客户，提高生产效率和利润，并改善商业决策。但是，要让大数据发挥其价值，需要正确而有效地采集数据。数据来源是大数据采集的重要组成部分，其中第三方服务数据平台也是一种常见的方式。
安然AR
298 0
安然AR
|
数据采集 安全 大数据
大数据数据采集的数据来源的第三方服务数据之第三方埋点数据
在大数据应用中，数据采集是非常重要的一步。除了从自有渠道、应用程序和设备中收集数据外，现在越来越多的企业开始使用第三方埋点服务提供商来获取更丰富的数据。本文将重点介绍第三方埋点数据在数据采集中的作用。
安然AR
267 0
安然AR
|
数据采集 安全 大数据
大数据数据采集的数据来源的第三方服务数据之第三方平台的运营数据
大数据已经成为数字时代最重要的资源之一，而数据采集则是大数据处理的第一步。在实际应用中，大多数企业都需要采集来自不同来源和渠道的数据，这些数据会在后续分析中被用于决策和预测。
安然AR
171 0
安然AR
|
数据采集 存储 大数据
大数据数据采集的数据来源的爬取的网络数据
在大数据应用中，数据采集是非常重要的一步。网络爬虫技术可以帮助企业从互联网上获得更加丰富、多样化的数据，并为后续的数据分析和运用提供支持。
安然AR
101 0
安然AR
|
存储 数据采集 NoSQL
大数据数据采集的数据来源的日志数据之埋点访问数据
在大数据采集中，埋点访问数据是一种常见的日志数据类型。本文将介绍什么是埋点访问数据以及如何高效地从该类型的数据中采集和处理数据。
安然AR
149 0
安然AR
|
存储 数据采集 大数据
大数据数据采集的数据来源的日志数据之接口请求数据
在大数据采集中，数据来源多种多样，其中日志数据是一种常见的数据类型。接口请求数据是日志数据的一种形式，本文将介绍如何高效地从接口请求数据中采集和处理数据。
安然AR
140 0
不是海碗
|
API 开发者 Python
气象数据随时随地：让天气预报API为您的应用提供精准的天气信息
天气预报可以帮助人们更好地做出决策，例如，根据天气预报选择合适的服装、行程和活动。此外，天气预报对农业、交通、建筑等领域也有着重要的影响
不是海碗
392 0
气象数据随时随地：让天气预报API为您的应用提供精准的天气信息

热门文章

最新文章

  • 1
    阿里云物联网平台之设备topic列表为什么为空
  • 2
    Stm32 抢占和子优先级配置 | 学习笔记
  • 3
    关于激励和自我激励
  • 4
    使用Transact-SQL进行数据导入导出方法详解
  • 5
    二级缓存相关属性
  • 6
    MonoRail学习笔记九：Rescue的使用
  • 7
    JVM学习笔记（一）------基本结构【转】
  • 8
    Oracle DBA常用sql分享
  • 9
    C# 从函数到委托
  • 10
    Asp.net程序中为IIS新建用户
  • 1
    语音识别与语音控制的原理介绍
    130
  • 2
    Maven学习笔记（一）：Maven基础（基于命令行的学习和应用）
    127
  • 3
    自动化运维的魔法：使用Python脚本简化日常任务
    116
  • 4
    程序员编写技术文章需要的四个辅助神器 ，强烈建议收藏 !
    116
  • 5
    终极 Nginx 配置指南（全网最详细）
    129
  • 6
    编程之美：从代码中寻找生活的灵感
    29
  • 7
    探索AI在医疗诊断中的应用
    22
  • 8
    新手指南：微软ai助手Copilot国内如何使用？
    30
  • 9
    探索研究Perl CGI编程
    20
  • 10
    阿里云飞天企业版“智算升级”，为政企打造AI时代最开放的云
    23

    • 相关课程

    更多
  • 实时数据应用：实现淘宝母婴订单实时查询和可视化
  • 场景实践-通过阿里云数据分析工具实现共享单车骑行分析
  • 阿里云实时数仓实战 - 数据生成及采集
  • 信息科技前沿技术及应用趋势
  • 日志服务 SLS 可观测数据分析平台介绍

    • 相关电子书

    更多
  • 交易风控数据的海量存储于实时访问
  • 汇众创智-工业大数据的采集、清洗和组织
  • 无中生有-基于骨干网全量应用识别的威胁情报基础数据采集

    • 相关实验场景

    更多
  • 实现淘宝母婴订单实时查询和实时大屏
  • 物联网设备安全：实时检测7类安全风险（Agentless）
  • 基于工具的数据探查
  • 实时数据及离线数据上云方案
  • 揭秘如何通过日志服务实现个人敏感信息保护
  • 应用性能管理场景下自动探查风险
    • 下一篇
    通义千问API入门教程