利用Python开发七普数据在线可视化看板

简介: 利用Python开发七普数据在线可视化看板

1 简介

这是我的系列教程「Python+Dash快速web应用开发」的第十八期,通过前面十七期的内容,如果你有用心学习的话,那么恭喜你已经具备使用Dash编写常规web应用的能力了。

而在使用Dash开发web应用时,页面内容和功能逻辑简单倒还好,一旦你的功能内容开始复杂化系统化起来,那么像过往文章示例中简单一个app.py存放所有功能代码就不适用了。

而在今天的教程中,我就将为大家介绍我在日常使用过程中总结出的一套针对Dash项目的前后端分离的项目结构基础范式,并以搭建「全国七普部分数据可视化看板」为例,供大家参考借鉴,从而更有条理的编写和管理Dash应用项目。

图1

2 Dash项目结构基础范式

2.1 总体结构一览

开门见山,我们直接先来一览今天要介绍的Dash基础项目结构:

+ dash_demo_project/
   + assets/
      + css/
      + img/
      + js/
       • favicon.ico
   + callbacks/
   + models/
   + views/
    • app.py
    • server.py

在不考虑「外部参数导入」「用户登陆验证」「应用部署」等额外配置文件及功能内容的前提下,上面的结构就可以满足常规Dash应用的需求了。

下面我们基于和鲸上获取到的「第七次全国人口普查」公开数据集,以搭建下面这个简单的数据可视化看板为例,介绍上述各部分的实际功能意义(完整项目源码见文章开头链接或公众号后台回复七普可视化)。

图2

2.2 各部分结构介绍

2.2.1 再谈assets

「页面布局篇」中我们提到过assets目录,它是官方推荐的用于存放我们的Dash应用所依赖静态资源文件的目录,如依赖的cssjsfavicon.ico、各种图片及字体等静态资源,在本文的可视化看板案例中,assets目录资源放置情况如下:

+ assets/
  + css/
      • bootstrap.min.css
      • custom.css
  + img/
      • wxgzh.png
      • zsxq.png
  + js/
   • favicon.ico

其中img目录下存放的是首页的两张二维码图片,在Dash中可以配合Img()get_asset_url()来获取assets目录下指定文件路径并渲染:

html.Img(src=app.get_asset_url('img/zsxq.png'), style={'width': '100%'})

css目录下则放置了dash_bootstrap-components所依赖的css文件,而custom.css则是我自己编写的一些用于样式美化的css代码:

.nav-link.active {
    background-color: #4fc3f7!important;
}
#index-desc > * {
    font-size: 26px;
}
.table td, .table th {
    text-align: center;
}

直接放置于assets根目录下的favicon.ico则用来替换Dash默认的网页图标:

图3

你可以根据自己Dash项目的实际需求灵活变通,譬如需要用到echarts就可以在js目录下放置echarts.min.js文件。

2.2.2 在server.py中实例化配置Dash对象

跟以往的例子不同,在严谨的Dash工程下,推荐构建单独的server.py文件来完成对Dash对象的实例化配置等工作,在今天的可视化看板案例中server.py比较简单,内容如下:

import dash
app = dash.Dash(
    __name__,
    suppress_callback_exceptions=True
)
# 设置网页title
app.title = '七普部分数据看板'
server = app.server

2.2.3 在app.py中编写前端骨架与路由

如果你的Dash项目非常简单,那么from server import app之后,就可以像往常一样在app.py中组织你的前端与回调部分内容。

但如果你的Dash项目功能较为复杂,亦或是url联结的页面较多时,就可以只在app.py中编写前端layout「骨架」,包含了必要的Location()部件、保持不变的前端部分以及由url变化所触发的页面内容容器,譬如今天的可视化看板中左侧边栏部分以及Location()监听部件:

app.layout = html.Div(
    [
        # 监听url变化
        dcc.Location(id='url'),
        html.Div(
            [
                # 标题区域
                html.Div(
                    html.H3(
                        '七普部分数据看板',
                        style={
                            'marginTop': '20px',
                            'fontFamily': 'SimSun',
                            'fontWeight': 'bold'
                        }
                    ),
                    style={
                        'textAlign': 'center',
                        'margin': '0 10px 0 10px',
                        'borderBottom': '2px solid black'
                    }
                ),
                # 子页面区域
                html.Hr(),
                dbc.Nav(
                    [
                        dbc.NavLink('首页', href='/', active="exact"),
                        dbc.NavLink('年龄结构', href='/age', active="exact"),
                        dbc.NavLink('性别结构', href='/sex', active="exact"),
                        dbc.NavLink('六普vs七普', href='/statistics', active="exact"),
                    ],
                    vertical=True,
                    pills=True
                )
            ],
            style={
                'flex': 'none',
                'width': '300px',
                'backgroundColor': '#fafafa'
            }
        ),
        html.Div(
            id='page-content',
            style={
                'flex': 'auto'
            }
        )
    ],
    style={
        'width': '100vw',
        'height': '100vh',
        'display': 'flex'
    }
)

同样地,也推荐将监听url变化从而渲染不同页面的「路由回调」一并写在app.py中,方便后续的管理与升级:

# 路由总控
@app.callback(
    Output('page-content', 'children'),
    Input('url', 'pathname')
)
def render_page_content(pathname):
    if pathname == '/':
        return index_page
    elif pathname == '/age':
        return age_page
    elif pathname == '/sex':
        return sex_page
    elif pathname == '/statistics':
        return statistics_page
    return html.H1('您访问的页面不存在!')

2.2.4 在views子模块中构建多页面前端内容

在上一小节的路由回调中你可能会好奇不同url下的返回值index_pageage_page等都是什么,这些都构建在「子模块」views下:

+ views/
   • age.py
   • index.py
   • sex.py
   • statistics.py
   • __init__.py

譬如其中之一的age.py内容如下:

import dash_html_components as html
import dash_core_components as dcc
import dash_bootstrap_components as dbc
import pandas as pd
import plotly.express as px
from models.age import Age
age_data = (
    pd.DataFrame(Age.fetch_all()).rename(columns={
        'region': '地区',
        'prop_0_to_14': '0到14岁人口占比',
        'prop_15_59': '15到59岁人口占比',
        'prop_60_above': '60岁以上人口占比',
        'prop_65_above': '65岁以上人口占比'
    })
)
fig = px.bar(age_data.melt(id_vars=['地区'],
                           value_vars=['0到14岁人口占比', '15到59岁人口占比', '60岁以上人口占比'],
                           var_name='年龄段',
                           value_name='占比(%)'),
             y="地区", x="占比(%)", color="年龄段", title="七普各地区人口年龄结构",
             color_discrete_map={
                 '0到14岁人口占比': '#0868ac',
                 '15到59岁人口占比': '#43a2ca',
                 '60岁以上人口占比': '#a8ddb5'
             },
             orientation='h')
fig.update_layout(
    font=dict(
        family="Times New Roman, SimSun"
    )
)
fig.update_layout(xaxis_range=[0, 100])
fig.update_layout(
    margin=dict(t=50, b=10)
)
age_page = html.Div(
    [
        html.Div(
            dbc.Table.from_dataframe(age_data, striped=True),
            style={
                'overflowY': 'auto',
                'flex': '1'
            }
        ),
        html.Div(
            dcc.Graph(figure=fig, style={'height': '100%'}),
            style={
                'flex': '1',
                'height': '100%'
            }
        )
    ],
    style={
        'display': 'flex',
        'height': '100%'
    }
)

通过这种方式针对不同页面构建相应的前端对象,从而在app.py中按照下列方式导入就可以使用了:

from views.index import index_page
from views.age import age_page
from views.sex import sex_page
from views.statistics import statistics_page

2.2.5 在callbacks子模块中构建多页面后端逻辑

当你在views下构建的页面内容中涉及到回调交互的功能时,我推荐将对应的后端回调逻辑拆分到callbacks子模块下同名文件中,这样非常便于编写与维护。

同时「一定要」记住在views下对应的前端子模块中,一定要导入callbacks中对应的回调子模块内部的「至少」一个对象,否则Dash在打包应用时是扫描不到相应的回调函数内容进行编译的,进而会导致应用启动时回调无效,譬如在views/statistics.py中我们就执行了from callbacks.statistics import statistics_data

2.2.6 在models子模块下定义数据模型

前面说的很多内容都关乎Dash应用的构建,而当你的Dash应用依赖外部数据时,推荐的方式是类似flask项目那样构建子模块models来定义数据模型,实现与数据库的关联。

而我们今天的可视化看板案例中就配合「整合数据库篇」介绍的peewee相关知识,分别定义了数据模型对应了七普中的年龄结构性别结构以及六普七普对比数据表,并在viewscallbacks等涉及的子模块中导入并调用,以年龄结构models/age.py为例:

from peewee import SqliteDatabase, Model
from peewee import CharField, FloatField
db = SqliteDatabase('models/age.db')
class Age(Model):
    # 地区,唯一
    region = CharField(unique=True)
    # 0-14岁占比
    prop_0_to_14 = FloatField()
    # 15-59岁占比
    prop_15_59 = FloatField()
    # 60岁及以上占比
    prop_60_above = FloatField()
    # 65岁及以上占比
    prop_65_above = FloatField()
    class Meta:
        database = db
        primary_key = False  # 禁止自动生成唯一id列
    @classmethod
    def fetch_all(cls):
        return list(cls.select().dicts())
目录
相关文章
|
6天前
|
人工智能 自然语言处理 程序员
用通义灵码开发一个Python时钟:手把手体验AI程序员加持下的智能编码
通义灵码是基于通义大模型的AI研发辅助工具,提供代码智能生成、研发问答、多文件修改等功能,帮助开发者提高编码效率。本文通过手把手教程,使用通义灵码开发一个简单的Python时钟程序,展示其高效、智能的编码体验。从环境准备到代码优化,通义灵码显著降低了开发门槛,提升了开发效率,适合新手和资深开发者。最终,你将体验到AI加持下的便捷与强大功能。
|
8天前
|
数据采集 XML 存储
Python爬虫实战:一键采集电商数据,掌握市场动态!
这个爬虫还挺实用,不光能爬电商数据,改改解析规则,啥数据都能爬。写爬虫最重要的是要有耐心,遇到问题别着急,慢慢调试就成。代码写好了,运行起来那叫一个爽,分分钟几千条数据到手。
|
11天前
|
JSON 监控 API
python语言采集淘宝商品详情数据,json数据示例返回
通过淘宝开放平台的API接口,开发者可以轻松获取商品详情数据,并利用这些数据进行商品分析、价格监控、库存管理等操作。本文提供的示例代码和JSON数据解析方法,可以帮助您快速上手淘宝商品数据的采集与处理。
|
12天前
|
JSON API 数据格式
Python 请求微店商品详情数据 API 接口
微店开放平台允许开发者通过API获取商品详情数据。使用Python请求微店商品详情API的主要步骤包括:1. 注册并申请API权限,获得app_key和app_secret;2. 确定API接口地址与请求参数,如商品ID;3. 生成签名确保请求安全合法;4. 使用requests库发送HTTP请求获取数据;5. 处理返回的JSON格式响应数据。开发时需严格遵循微店API文档要求。
|
15天前
|
存储 数据采集 JSON
Python爬取某云热歌榜:解析动态加载的歌曲数据
Python爬取某云热歌榜:解析动态加载的歌曲数据
|
16天前
|
存储 API 数据安全/隐私保护
【02】整体试验思路,在这之前我们发现sec_uid,sec_uid是什么和uid的关系又是什么?相互如何转换?python开发之理论研究试验,如何通过抖音视频下方的用户的UID获得抖音用户的手机号-本系列文章仅供学习研究-禁止用于任何商业用途-仅供学习交流-优雅草卓伊凡
【02】整体试验思路,在这之前我们发现sec_uid,sec_uid是什么和uid的关系又是什么?相互如何转换?python开发之理论研究试验,如何通过抖音视频下方的用户的UID获得抖音用户的手机号-本系列文章仅供学习研究-禁止用于任何商业用途-仅供学习交流-优雅草卓伊凡
59 6
|
16天前
|
数据采集 供应链 API
实战指南:通过1688开放平台API获取商品详情数据(附Python代码及避坑指南)
1688作为国内最大的B2B供应链平台,其API为企业提供合法合规的JSON数据源,直接获取批发价、SKU库存等核心数据。相比爬虫方案,官方API避免了反爬严格、数据缺失和法律风险等问题。企业接入1688商品API需完成资质认证、创建应用、签名机制解析及调用接口四步。应用场景包括智能采购系统、供应商评估模型和跨境选品分析。提供高频问题解决方案及安全合规实践,确保数据安全与合法使用。立即访问1688开放平台,解锁B2B数据宝藏!
|
23天前
|
数据采集 存储 前端开发
用Python抓取亚马逊动态加载数据,一文读懂
用Python抓取亚马逊动态加载数据,一文读懂
|
24天前
|
存储 人工智能 程序员
通义灵码AI程序员实战:从零构建Python记账本应用的开发全解析
本文通过开发Python记账本应用的真实案例,展示通义灵码AI程序员2.0的代码生成能力。从需求分析到功能实现、界面升级及测试覆盖,AI程序员展现了需求转化、技术选型、测试驱动和代码可维护性等核心价值。文中详细解析了如何使用Python标准库和tkinter库实现命令行及图形化界面,并生成单元测试用例,确保应用的稳定性和可维护性。尽管AI工具显著提升开发效率,但用户仍需具备编程基础以进行调试和优化。
218 9
|
4月前
|
数据采集 数据可视化 数据挖掘
Python数据分析:Pandas库实战指南
Python数据分析:Pandas库实战指南

热门文章

最新文章