基于MaxCompute Notebook一分钟快速制作热点事件动态视频

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 本文主要介绍基于MaxCompute Notebook快速制作热点事件动态视频的操作方法。

1.准备环境和资源


开始教程前,请按以下步骤准备环境和资源:

  1. 访问阿里云免费试用。单击页面右上方的登录/注册按钮,并根据页面提示完成账号登录(已有阿里云账号)、账号注册(尚无阿里云账号)或实名认证(根据试用产品要求完成个人实名认证或企业实名认证)。
  2. 成功登录后,在产品类别下选择大数据计算>数据计算与分析,单击云原生大数据计算服务 MaxCompute产品的立即试用
  3. 在弹出的购买试用MaxCompute产品的面板上选择开通地域,本教程选择为华东1(杭州),其他参数可保持默认值,勾选服务协议后单击立即试用


2.创建MaxCompute项目


  1. 登录MaxCompute控制台,在左上角选择地域,本教程使用的地域为华东1(杭州)。在左侧导航选择工作区 > 项目管理,在项目列表页面单击新建项目
  2. 在弹出的新建项目配置页面中配置项目信息,核心配置参数如表所示。

参数

说明

项目名称

自定义项目名称。本教程设置为notebook_test_001

【扩展知识】:项目名称需全局唯一,如果界面提示您项目名称已存在,您可根据提示修改项目名称。

计算资源付费类型

本教程选择:按量付费

【注意】您通过免费试用选购的资源抵扣包仅可用于抵扣后付费资源消耗,本教程选择“按量付费”。

默认Quota

用于实现计算资源分配。本教程选择:默认后付费Quota

单SQL消费限制

本教程不设置。本参数为单SQL消费的最高阈值。单位:扫描量(GB)*复杂度。非必填项,当选择按量付费计费类型时建议设置,可以避免非预期的单SQL消费过高。同时也建议配置实时消费监控告警,多方位监控限制消费超出预期,详情请参见消费监控告警

数据类型

MaxCompute数据类型包含1.0数据类型2.0数据类型Hive兼容类型

本教程选择:2.0数据类型

是否加密

指定创建的MaxCompute项目是否需要开启数据加密功能。更多数据加密信息,请参见数据加密

本教程选择:不加密

  1. 完成配置后单击确定,完成项目创建。


3.创建MaxCompute Notebook实例


  1. 登录并进入MaxCompute Notebook,在左上角选择地域,本教程使用的地域为华东1(杭州)
  2. Notebook页面,单击启动
  3. 启动Notebook对话框,填写Notebook的名称

image.png

  1. 单击启动,完成MaxCompute Notebook实例创建。


4.通过MaxCompute Notebook一分钟快速制作热点事件动态视频


您可自行在MaxCompute上创建所要做分析的数据表,基于MaxCompute Notebook内置demo及PyODPS丰富的数据分析及可视化扩展库,一分钟快速生成炫酷的动态分析视频。

  1. 准备数据。
    您可在MaxCompute创建并上传所要分析的数据,表格式要求:包含分析类别、热度值、对应年/月份三个字段,建表并上传数据详情请参见建表并上传数据
    本示例中使用MaxCompute公共数据集表:近二十年中国各省GDP数据(bigdata_public_dataset.national_data.annual_gdp_by_province),生成近二十年中国各省GDP动态变化分析视频。
  2. 进入Notebook实例。
    MaxCompute Notebook页面,单击目标Notebook实例操作列的进入
  3. 双击打开一分钟快速制作热点事件动态视频.ipynb脚本,根据文件中的提示信息,填写相关配置信息:
  • 环境参数配置:
  • 填写PROJECT_NAME值,本教程中填写为"notebook_test_001"(根据您创建的MaxCompute project进行修改)。
  • 填写Endpoint值,本教程中填写为"http://service.cn-hangzhou.maxcompute.aliyun.com/api"
  • 分析数据准备:
  • 填写table_name值,为您要分析的MaxCompute表,本教程中填写为bigdata_public_dataset.national_data.annual_gdp_by_province
  • 填写categoryvaluedate等数据表字段名称,本教程中填写为regiongdpyear
  • 视频信息配置:
  • 填写top_number值,为所要分析的前top_number项,默认为10。
  • 填写title值,为视频标题,本教程中填写为近二十年中国各省GDP动态变化分析
  1. 修改可视化效果。

您可直接修改代码脚本中以下的可视化部分代码,以生成更炫酷的可视化效果:

image.png

修改方式:

1)修改可视化库bar_chart_race参数:

可通过修改本次使用的可视化库:bar_chart_race相关参数,改变可视化效果,如修改柱状图颜色、增加背景颜色等。可参考官网说明

2)修改引用的可视化库:

本次提供的demo脚本中采用的为bar_chart_race可视化库,为获得更好的可视化效果您可采用Python其他的可视化库,如pyplot、pyecharts、Matplotlib。


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
设计模式 NoSQL 网络协议
大数据-48 Redis 通信协议原理RESP 事件处理机制原理 文件事件 时间事件 Reactor多路复用
大数据-48 Redis 通信协议原理RESP 事件处理机制原理 文件事件 时间事件 Reactor多路复用
36 2
|
1月前
|
分布式计算 监控 大数据
大数据-129 - Flink CEP 详解 Complex Event Processing - 复杂事件处理
大数据-129 - Flink CEP 详解 Complex Event Processing - 复杂事件处理
53 0
|
6月前
|
分布式计算 DataWorks 关系型数据库
MaxCompute产品使用合集之想要maxcompute任务通过事件触发,该怎么操作
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
5月前
|
分布式计算 大数据 关系型数据库
MaxCompute产品使用问题之动态分区写入如何指定目标分区
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
113 2
|
5月前
|
机器学习/深度学习 SQL 分布式计算
MaxCompute产品使用问题之动态分区如何多分区写入
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
6月前
|
消息中间件 SQL 分布式计算
大数据Hadoop生态圈体系视频课程
熟悉大数据概念,明确大数据职位都有哪些;熟悉Hadoop生态系统都有哪些组件;学习Hadoop生态环境架构,了解分布式集群优势;动手操作Hbase的例子,成功部署伪分布式集群;动手Hadoop安装和配置部署;动手实操Hive例子实现;动手实现GPS项目的操作;动手实现Kafka消息队列例子等
56 1
大数据Hadoop生态圈体系视频课程
|
6月前
|
机器学习/深度学习 分布式计算 数据可视化
MaxCompute Notebook
MaxCompute Notebook
86 0
|
SQL 消息中间件 存储
TuGraph Analytics动态插件:快速集成大数据生态系统
插件机制为GeaFlow任务提供了外部数据源的集成能力扩展,GeaFlow支持从各类Connector中读写数据,GeaFlow将它们都识别为外部表,并将元数据存储在Catalog中。GeaFlow已有一些内置的插件,例如FileConnector,KafkaConnector,JDBCConnector,HiveConnector等。
|
消息中间件 运维 Kubernetes
Sentry(v20.12.1) K8S云原生架构探索,玩转前/后端监控与事件日志大数据分析,高性能高可用+可扩展可伸缩集群部署
Sentry(v20.12.1) K8S云原生架构探索,玩转前/后端监控与事件日志大数据分析,高性能高可用+可扩展可伸缩集群部署
1010 0
Sentry(v20.12.1) K8S云原生架构探索,玩转前/后端监控与事件日志大数据分析,高性能高可用+可扩展可伸缩集群部署
|
机器学习/深度学习 人工智能 搜索推荐
从百度视频看大数据与人工智能
大数据与人工智能是具体如何应用的。
493 0
从百度视频看大数据与人工智能

相关产品

  • 云原生大数据计算服务 MaxCompute