基于MaxCompute Notebook一分钟快速制作热点事件动态视频

简介: 本文主要介绍基于MaxCompute Notebook快速制作热点事件动态视频的操作方法。

1.准备环境和资源


开始教程前,请按以下步骤准备环境和资源:

  1. 访问阿里云免费试用。单击页面右上方的登录/注册按钮,并根据页面提示完成账号登录(已有阿里云账号)、账号注册(尚无阿里云账号)或实名认证(根据试用产品要求完成个人实名认证或企业实名认证)。
  2. 成功登录后,在产品类别下选择大数据计算>数据计算与分析,单击云原生大数据计算服务 MaxCompute产品的立即试用
  3. 在弹出的购买试用MaxCompute产品的面板上选择开通地域,本教程选择为华东1(杭州),其他参数可保持默认值,勾选服务协议后单击立即试用


2.创建MaxCompute项目


  1. 登录MaxCompute控制台,在左上角选择地域,本教程使用的地域为华东1(杭州)。在左侧导航选择工作区 > 项目管理,在项目列表页面单击新建项目
  2. 在弹出的新建项目配置页面中配置项目信息,核心配置参数如表所示。

参数

说明

项目名称

自定义项目名称。本教程设置为notebook_test_001

【扩展知识】:项目名称需全局唯一,如果界面提示您项目名称已存在,您可根据提示修改项目名称。

计算资源付费类型

本教程选择:按量付费

【注意】您通过免费试用选购的资源抵扣包仅可用于抵扣后付费资源消耗,本教程选择“按量付费”。

默认Quota

用于实现计算资源分配。本教程选择:默认后付费Quota

单SQL消费限制

本教程不设置。本参数为单SQL消费的最高阈值。单位:扫描量(GB)*复杂度。非必填项,当选择按量付费计费类型时建议设置,可以避免非预期的单SQL消费过高。同时也建议配置实时消费监控告警,多方位监控限制消费超出预期,详情请参见消费监控告警

数据类型

MaxCompute数据类型包含1.0数据类型2.0数据类型Hive兼容类型

本教程选择:2.0数据类型

是否加密

指定创建的MaxCompute项目是否需要开启数据加密功能。更多数据加密信息,请参见数据加密

本教程选择:不加密

  1. 完成配置后单击确定,完成项目创建。


3.创建MaxCompute Notebook实例


  1. 登录并进入MaxCompute Notebook,在左上角选择地域,本教程使用的地域为华东1(杭州)
  2. Notebook页面,单击启动
  3. 启动Notebook对话框,填写Notebook的名称

image.png

  1. 单击启动,完成MaxCompute Notebook实例创建。


4.通过MaxCompute Notebook一分钟快速制作热点事件动态视频


您可自行在MaxCompute上创建所要做分析的数据表,基于MaxCompute Notebook内置demo及PyODPS丰富的数据分析及可视化扩展库,一分钟快速生成炫酷的动态分析视频。

  1. 准备数据。
    您可在MaxCompute创建并上传所要分析的数据,表格式要求:包含分析类别、热度值、对应年/月份三个字段,建表并上传数据详情请参见建表并上传数据
    本示例中使用MaxCompute公共数据集表:近二十年中国各省GDP数据(bigdata_public_dataset.national_data.annual_gdp_by_province),生成近二十年中国各省GDP动态变化分析视频。
  2. 进入Notebook实例。
    MaxCompute Notebook页面,单击目标Notebook实例操作列的进入
  3. 双击打开一分钟快速制作热点事件动态视频.ipynb脚本,根据文件中的提示信息,填写相关配置信息:
  • 环境参数配置:
  • 填写PROJECT_NAME值,本教程中填写为"notebook_test_001"(根据您创建的MaxCompute project进行修改)。
  • 填写Endpoint值,本教程中填写为"http://service.cn-hangzhou.maxcompute.aliyun.com/api"
  • 分析数据准备:
  • 填写table_name值,为您要分析的MaxCompute表,本教程中填写为bigdata_public_dataset.national_data.annual_gdp_by_province
  • 填写categoryvaluedate等数据表字段名称,本教程中填写为regiongdpyear
  • 视频信息配置:
  • 填写top_number值,为所要分析的前top_number项,默认为10。
  • 填写title值,为视频标题,本教程中填写为近二十年中国各省GDP动态变化分析
  1. 修改可视化效果。

您可直接修改代码脚本中以下的可视化部分代码,以生成更炫酷的可视化效果:

image.png

修改方式:

1)修改可视化库bar_chart_race参数:

可通过修改本次使用的可视化库:bar_chart_race相关参数,改变可视化效果,如修改柱状图颜色、增加背景颜色等。可参考官网说明

2)修改引用的可视化库:

本次提供的demo脚本中采用的为bar_chart_race可视化库,为获得更好的可视化效果您可采用Python其他的可视化库,如pyplot、pyecharts、Matplotlib。


相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
消息中间件 SQL 分布式计算
大数据Hadoop生态圈体系视频课程
熟悉大数据概念,明确大数据职位都有哪些;熟悉Hadoop生态系统都有哪些组件;学习Hadoop生态环境架构,了解分布式集群优势;动手操作Hbase的例子,成功部署伪分布式集群;动手Hadoop安装和配置部署;动手实操Hive例子实现;动手实现GPS项目的操作;动手实现Kafka消息队列例子等
20 1
大数据Hadoop生态圈体系视频课程
|
4月前
|
机器学习/深度学习 分布式计算 数据可视化
MaxCompute Notebook
MaxCompute Notebook
44 0
|
5月前
|
SQL 消息中间件 存储
TuGraph Analytics动态插件:快速集成大数据生态系统
插件机制为GeaFlow任务提供了外部数据源的集成能力扩展,GeaFlow支持从各类Connector中读写数据,GeaFlow将它们都识别为外部表,并将元数据存储在Catalog中。GeaFlow已有一些内置的插件,例如FileConnector,KafkaConnector,JDBCConnector,HiveConnector等。
|
消息中间件 运维 Kubernetes
Sentry(v20.12.1) K8S云原生架构探索,玩转前/后端监控与事件日志大数据分析,高性能高可用+可扩展可伸缩集群部署
Sentry(v20.12.1) K8S云原生架构探索,玩转前/后端监控与事件日志大数据分析,高性能高可用+可扩展可伸缩集群部署
877 0
Sentry(v20.12.1) K8S云原生架构探索,玩转前/后端监控与事件日志大数据分析,高性能高可用+可扩展可伸缩集群部署
|
机器学习/深度学习 人工智能 搜索推荐
从百度视频看大数据与人工智能
大数据与人工智能是具体如何应用的。
452 0
从百度视频看大数据与人工智能
|
新零售 人工智能 城市大脑
|
SQL 分布式计算 DataWorks
【含视频+文字版】《从开源到云原生,你不得不知的大数据实战》| 2020 大数据技术公开课第一季
亲爱的大数据开发者们,新年好!在过去的2019年中,MaxCompute开发者社区共举办了六季大数据技术公开课,也受到广大开发者们的认可和鼓励。2月份我们已经紧锣密鼓的筹备了新年的第一季大数据技术公开课—《从开源到云原生,你不得不知的大数据实战》,欢迎各位开发者们一起参加。
2351 0
【含视频+文字版】《从开源到云原生,你不得不知的大数据实战》| 2020 大数据技术公开课第一季
|
大数据 程序员 开发者
大数据精品视频课程等你来看
大数据直播干货集锦来啦
1252 0
|
大数据 Apache 分布式计算
【干货合集 视频+资料下载】2019大数据技术公开课第三季 | 阿里巴巴大数据产品最新特性介绍
2019大数据技术公开课第三季将为你带来阿里云飞天大数据平台系列产品的最新特性介绍,四位产品专家,四次主题分享,带你全面了解飞天大数据平台主力产品的最新技术动态。
7966 0
【干货合集 视频+资料下载】2019大数据技术公开课第三季 | 阿里巴巴大数据产品最新特性介绍

相关产品

  • 云原生大数据计算服务 MaxCompute