我用 Python 做了一个全球疫情数据大屏

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: 我用 Python 做了一个全球疫情数据大屏

也给我们带来了不少的损失,与此同时我们也认识到在大自然面前人类的渺小。好在在政府的正确且有力的领导下,经过全国人民群众的不懈努力,我们终于将疫情给遏制住了,打赢了这场没有硝烟的战争。


然而就在国内疫情已经明显好转,实现确诊病例零增长的时候,疫情开始在全球蔓延。今天,我用 Python 做了一个全球疫情数据大屏,我们一起来看下整体的效果图。


image.png


整个大屏分为全球数据和国内数据两个模块,每个模块总体分为三个部分,左侧是各个地区详细数据,中间是疫情数据地图,右边则是排行榜和最新动态。


项目结构

我们整个项目的结构图如下所示。


image.png



爬虫模块负责从腾讯新闻获取数据,之后存入 Redis。Flask 是一个 Web 框架,负责 URL 和后台函数的映射,以及数据的传输。换言之,也就是从 Redis 中获取到原始数据,然后整理成相应的格式之后传递给前端页面,前端页面在拿到数据之后,调用百度的 ECharts 来实现图表的展示即可。


引入项目所需的全部模块。


import requests
import json
import redis
from flask import Flask, render_template
import datetime
import pandas as pd


数据获取

开始操作之前,需要先梳理下我们都需要什么数据。关于国内,我们需要的是各个省详细数据、全国数据总和、最新动态、以及境外输入人数 TOP 10 的省市。关于国外,我们需要的是各个国家详细数据、国外数据总和、最新动态、以及 24 小时新增人数 TOP 10 的国家。


本次我们的疫情数据是从腾讯新闻获取的,打开该网址


https://news.qq.com/zt2020/page/feiyan.htm#/?nojump=1)按 F12 将开发者工具调出来,然后切换到 Network 选项页,逐个接口分析之后,发现所有我们想要的数据都是接口返回的。各个数据接口如下:



找到了接口之后,接下来就很简单了,直接调用接口将数据爬取下来即可。其中国内统计数据接口接口返回的 data 不是标准的 JSON 串,而是一个字符串,所以我们需要做下简单的转化。



为了方便h后续操作,我们将调用 request 库爬取数据的操作封装起来,方便调用。


def pull_data_from_web(url):
    response = requests.get(url, headers=header)
    return json.loads(response.text) if response.status_code == 200 else None


最新动态数据我们只取发布时间,标题以及链接地址。


# 获取最新动态数据
# 获取最新动态数据
def get_article_data():
    data = pull_data_from_web('https://api.inews.qq.com/newsqa/v1/automation/modules/list?modules=FAutoNewsArticleList')
    if data is None:
        return ''
    return [[item['publish_time'], item['url'], item['title']] for item in data['data']['FAutoNewsArticleList']]


国内数据我们需要获取数据总和以及各省份详细数据。


# 获取国内统计数据【现有确诊 确诊 治愈 死亡 境外输入 & 各省份详细数据(现有确诊 确诊 治愈 死亡 境外输入)】
def get_china_data():
    data = pull_data_from_web('https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5')
    if data is None:
        return ''
    dict = json.loads(data['data'])
    province_res = []
    for province in dict['areaTree'][0]['children']:
        name = province['name']
        now_confirm = province['total']['nowConfirm']
        confirm = province['total']['confirm']
        heal = province['total']['heal']
        dead = province['total']['dead']
        import_abroad = 0
        for item in province['children']:
            if item['name'] == '境外输入':
                import_abroad = item['total']['confirm']
                break
        province_res.append([name, import_abroad, now_confirm, confirm, heal, dead])
    return {'chinaTotal': dict['chinaTotal'], 'chinaAdd': dict['chinaAdd'], 'province': province_res}


获取国外各个国家及地区详细数据。


# 获取各个国家当前【新增、确诊、治愈、死亡】数据
def get_rank_data():
    data = pull_data_from_web('https://api.inews.qq.com/newsqa/v1/automation/foreign/country/ranklist')
    if data is None:
        return ''
    return [[item['name'], item['confirmAdd'], item['confirm'], item['heal'], item['dead']] for item in data['data']]


国外数据总和。


# 获取国外统计数据【现有确诊 确诊 治愈 死亡】
def get_foreign_data():
    data = pull_data_from_web('https://api.inews.qq.com/newsqa/v1/automation/modules/list?modules=FAutoGlobalStatis')
    if data is None:
        return ''
    return data['data']['FAutoGlobalStatis']


将数据存入 Redis 后就这一步就大功告成了。


article_data = get_article_data()
r.set('article_data', json.dumps(article_data))
rank_data = get_rank_data()
r.set('rank_data', json.dumps(rank_data))
china_data = get_china_data()
r.set('china_data', json.dumps(china_data))
foreign_data = get_foreign_data()
r.set('foreign_data', json.dumps(foreign_data))


数据处理

获取到源数据之后,需要对数据做一下整理,以符合前端页面的展示要求。


整理数据时我们用的是 pandas 这个库,在我们 100 天系列的文章中有做过介绍,忘记的小伙伴们可以翻翻历史文章复习下。


最新动态的数据是比较规整的,不需要做太多处理,直接拿来用即可。


image.png


再看国内的统计数据以及各省份详细数据。


image.png


可回看出当前国内的数据总和是在 chinaTotal 中,当日新增在 chinaAdd 中,各省市详细数据在 province 中,其中各省市详细数据中是按照境外输入、当前确诊、累计确诊、治愈、死亡来存放的。


对于各个省市详细数据,我们以当前确诊人数倒序排序。



image.png


可以看的,现在湖北的确诊人数已经非常少了,而鸡头黑龙江则稳居第一,成为国内确诊人数 TOP 1 的省份。


最后来看国外数据,统计数据比较规整,各个国家详细数据我们按照累计确诊人数倒序排序。


image.png


最后,我们还需要处理下「境外输入省市 TOP 10」和「24小时新增国家 TOP 10」的数据。直接从省市详细数据和各国家详细数据中获取即可。


image.png


图表展示

我们先来简单看下 ECharts 的使用方法,首先要引入相应的 js 文件,然后写一个容纳图表的 div 标签。


<script type="text/javascript" src="https://assets.pyecharts.org/assets/echarts.min.js"></script>
<div id="top10" style="width: 300px;height:300px"></div>


最后编写图表的 js 代码即可。


<script type="text/javascript">
    var top10 = echarts.init(document.getElementById('top10'));
    // 指定图表的配置项和数据
    var option = {
        title: {
            text: '测试图表',
        },
        grid: {
            left: '3%',
            right: '4%',
            bottom: '3%',
            containLabel: true
        },
        xAxis: {
            show: true,
        },
        yAxis: {
            type: 'category',
            data: ['苹果', '橘子', '香蕉', '石榴'],
        },
        series: [
            {
                name: '',
                type: 'bar',
                barWidth: 10,
                data: [66, 88, 90, 20]
            }
        ]
    };
    top10.setOption(option);
</script>



image.png


但这里的数据是固定的,而我们的大屏展示数据都是动态变换的,怎么办呢,前端通过 Ajax 技术从后台接口获取即可,类似下面这样子。


var top10_result = $.ajax({type : "GET", url : 'http://127.0.0.1:5200/china_top10', data : null, async : false});
top10_result = JSON.parse(top10_result.responseText);
// 设置数据
yAxis: {
    type: 'category',
    data: top10_result.country,
},


现在我们已经完成了一个简单的图表,并且已经可以动态设置数据了。现在缺少的就是把大屏的各个图表拼接起来,并且将我们之前准备好的数据设置进去即可

首先我们初始化 Flask 并设置路由映射关系,然后将前端页面所需的统计数据一并返回。


app = Flask(__name__)
@app.route('/global')
def global_index():
    context = {
        'date': get_date(),
        'statistics_data': json.loads(r.get('foreign_data')),
        'country_data': get_rank_data(),
        'article_data': json.loads(r.get('article_data'))
    }
    return render_template('global.html', **context)


其中地图数据以及 TOP 10 的数据需要以接口的方式提供出去,前端页面直接通过 Ajax 技术调用。


@app.route('/global_top10')
def get_global_top10():
    df = pd.DataFrame(json.loads(r.get('rank_data')), columns=['name', 'confirmAdd', 'confirm', 'heal', 'dead'])
    top10 = df.sort_values('confirmAdd', ascending=True).tail(10)
    result = {'country': top10['name'].values.tolist(), 'data': top10['confirmAdd'].values.tolist()}
    return json.dumps(result)
@app.route('/global_map')
def get_global_map():
    df = pd.DataFrame(json.loads(r.get('rank_data')), columns=['name', 'confirmAdd', 'confirm', 'heal', 'dead'])
    records = df.to_dict(orient="records")
    china_data = json.loads(r.get('china_data'))
    result = {
        'confirmAdd': [{'name': '中国', 'value': china_data['chinaAdd']['confirm']}],
        'confirm': [{'name': '中国', 'value': china_data['chinaTotal']['confirm']}],
        'heal': [{'name': '中国', 'value': china_data['chinaTotal']['heal']}],
        'dead': [{'name': '中国', 'value': china_data['chinaTotal']['dead']}]
    }
    for item in records:
        result['confirmAdd'].append({'name': item['name'], 'value': item['confirmAdd']})
        result['confirm'].append({'name': item['name'], 'value': item['confirm']})
        result['heal'].append({'name': item['name'], 'value': item['heal']})
        result['dead'].append({'name': item['name'], 'value': item['dead']})
    return json.dumps(result)

至此,我们完成了从获取数据,到整理数据,再到前端页面展示的整一个过程,还是需要很多知识的。


总结

今天我们完成了一个全球疫情数据大屏可视化程序,步骤清晰,难度不大,只是页面上各个图表组件的位置以及样式调试起来比较繁琐些,但这不是本文重点。


你需要着重理解的是前端页面的 URL 是如何和后台函数做路由映射的,数据又是如何传递和绑定的,以及后台逻辑和数据的处理过程这才是 Web 开发的精髓。


最后,你可以从公众号获取源码后,修改程序使之支持定时从数据源获取数据,更新前端图表,而无需手动操作。


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
1天前
|
算法 Serverless 数据处理
从集思录可转债数据探秘:Python与C++实现的移动平均算法应用
本文探讨了如何利用移动平均算法分析集思录提供的可转债数据,帮助投资者把握价格趋势。通过Python和C++两种编程语言实现简单移动平均(SMA),展示了数据处理的具体方法。Python代码借助`pandas`库轻松计算5日SMA,而C++代码则通过高效的数据处理展示了SMA的计算过程。集思录平台提供了详尽且及时的可转债数据,助力投资者结合算法与社区讨论,做出更明智的投资决策。掌握这些工具和技术,有助于在复杂多变的金融市场中挖掘更多价值。
22 12
|
6天前
|
数据采集 数据安全/隐私保护 Python
从零开始:用Python爬取网站的汽车品牌和价格数据
在现代化办公室中,工程师小李和产品经理小张讨论如何获取懂车帝网站的汽车品牌和价格数据。小李提出使用Python编写爬虫,并通过亿牛云爬虫代理避免被封禁。代码实现包括设置代理、请求头、解析网页内容、多线程爬取等步骤,确保高效且稳定地抓取数据。小张表示理解并准备按照指导操作。
从零开始:用Python爬取网站的汽车品牌和价格数据
|
1月前
|
数据采集 Web App开发 数据可视化
Python用代理IP获取抖音电商达人主播数据
在当今数字化时代,电商直播成为重要的销售模式,抖音电商汇聚了众多达人主播。了解这些主播的数据对于品牌和商家至关重要。然而,直接从平台获取数据并非易事。本文介绍如何使用Python和代理IP高效抓取抖音电商达人主播的关键数据,包括主播昵称、ID、直播间链接、观看人数、点赞数和商品列表等。通过环境准备、代码实战及数据处理与可视化,最终实现定时任务自动化抓取,为企业决策提供有力支持。
|
2月前
|
数据采集 存储 XML
python实战——使用代理IP批量获取手机类电商数据
本文介绍了如何使用代理IP批量获取华为荣耀Magic7 Pro手机在电商网站的商品数据,包括名称、价格、销量和用户评价等。通过Python实现自动化采集,并存储到本地文件中。使用青果网络的代理IP服务,可以提高数据采集的安全性和效率,确保数据的多样性和准确性。文中详细描述了准备工作、API鉴权、代理授权及获取接口的过程,并提供了代码示例,帮助读者快速上手。手机数据来源为京东(item.jd.com),代理IP资源来自青果网络(qg.net)。
|
2月前
|
数据采集 Web App开发 监控
Python爬虫:爱奇艺榜单数据的实时监控
Python爬虫:爱奇艺榜单数据的实时监控
|
2月前
|
数据采集 分布式计算 大数据
构建高效的数据管道:使用Python进行ETL任务
在数据驱动的世界中,高效地处理和移动数据是至关重要的。本文将引导你通过一个实际的Python ETL(提取、转换、加载)项目,从概念到实现。我们将探索如何设计一个灵活且可扩展的数据管道,确保数据的准确性和完整性。无论你是数据工程师、分析师还是任何对数据处理感兴趣的人,这篇文章都将成为你工具箱中的宝贵资源。
|
2月前
|
数据采集 数据可视化 数据挖掘
利用Python自动化处理Excel数据:从基础到进阶####
本文旨在为读者提供一个全面的指南,通过Python编程语言实现Excel数据的自动化处理。无论你是初学者还是有经验的开发者,本文都将帮助你掌握Pandas和openpyxl这两个强大的库,从而提升数据处理的效率和准确性。我们将从环境设置开始,逐步深入到数据读取、清洗、分析和可视化等各个环节,最终实现一个实际的自动化项目案例。 ####
305 10
|
3月前
|
传感器 物联网 开发者
使用Python读取串行设备的温度数据
本文介绍了如何使用Python通过串行接口(如UART、RS-232或RS-485)读取温度传感器的数据。详细步骤包括硬件连接、安装`pyserial`库、配置串行端口、发送请求及解析响应等。适合嵌入式系统和物联网应用开发者参考。
92 3
|
3月前
|
数据采集 JavaScript 程序员
探索CSDN博客数据:使用Python爬虫技术
本文介绍了如何利用Python的requests和pyquery库爬取CSDN博客数据,包括环境准备、代码解析及注意事项,适合初学者学习。
154 0
|
3月前
|
数据采集 存储 分布式计算
超酷炫Python技术:交通数据的多维度分析
超酷炫Python技术:交通数据的多维度分析

热门文章

最新文章

推荐镜像

更多