DataWorks数据分析维表,数据分析师的手中利器!

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
简介: 数据分析是由 Dataworks 团队推出的一款智能数据快速洞察及可视化报表搭建平台,是Dataworks开发平台的重要组成部分。它走完了用户一站式开发的最后一公里路,从数据集成 -> 数据开发 -> 数据服务 -> 数据分析,使得数据开发者和数据分析者的身份边界逐渐被打破,用户既是数据开发者,又是分析者。   维表 支持用户使用图形化的方式新建MaxCompute

数据分析是由 Dataworks 团队推出的一款智能数据快速洞察及可视化报表搭建平台,是Dataworks开发平台的重要组成部分。它走完了用户一站式开发的最后一公里路,从数据集成 -> 数据开发 -> 数据服务 -> 数据分析,使得数据开发者和数据分析者的身份边界逐渐被打破,用户既是数据开发者,又是分析者。

 

维表 支持用户使用图形化的方式新建MaxCompute生产表、编辑MaxCompute表数据、多人协作修改、表格导出等功能。一键同步你的MaxCompute生产表。

 

 

为什么要有维表

想象这样一个场景:数据分析师、运营同学需要手工维护一张线上MaxCompute表。

 

没有维表时,运营同学找到BI描述需求,BI提给研发同学,研发使用Dataworks编辑Sql语句创建Excel、塞入数据交付给运营。每当数据有变化时,就要重新来一遍该流程。在各个部门业务压力如此大的alibaba,无论是运营、BI还是研发同学都叫苦不迭。

 

现在有了维表,运营同学只需要自己到数据分析维表工具中新建一张维表,像操作本地Excel一样将要修改的数据保存到Sheet中,便会自动同步数据到MaxCompute的生产表,使大家的工作效率飞速提升~

 

自从弹内发布以来,维表功能就广受好评。越来越多的数据分析师已经使用维表进行数据维护了。

 

现在维表在弹外重磅发布,你还在等什么呢,快来试用吧~~~

 

我们实现了什么

  • 同时支持图形化、DDL方式配置维表,除了使用图形化直接新建维表,喜欢敲代码的同学可以导入DDL建表语句快速生成维表~
  • 数据一键同步MaxCompute生产环境,在维表Excel中完成数据编辑后保存即可同步MaxCompute线上表。
  • 支持导入本地表,同时可以支持用户自定义列映射、分隔符、在线设置编码、追加/覆盖的导入方式。灵活操作导入方案的同时和乱码说拜拜~
  • 支持表格导出,在D2使用脚本查询维表内容后,通过WebExcel做数据分析后导入到玄机藏,安全审批后下载到本地。安全又快捷~~~
  • 维表开放分享编辑功能,维护维表的过程不再孤单,小伙伴们可以组团进行维表编辑。

 

下面重点介绍维表使用文档:

 

图形化/DDL模式创建MaxCompute线上表

 

图形化生成:

 

DDL模式创建:

 

其中

  • 目标工作空间:维表对应的MaxCompute资源所属的DataWorks工作空间
  • 表名:MaxCompute表名,数据分析的维表名与MaxCompute始终保持一致,故仅需确认MaxCompute表名即可
  • 表描述:对表的用途、性质等一些补充说明
  • 字段:添加MaxCompute的字段,为简化处理,字段类型仅支持String
  • 生命周期:表的存储会占用MaxCompute资源,故建议对表设置合理的生命周期,以便资源回收
  • 风险知晓:数据分析的MaxCompute表维护在生产环境中,故表的创建者应当对表的创建和后续维护负责
  • 导入DDL:使用DDL语句导入表信息

 

维表是直接创建在MaxCompute中的表,数据分析模块中仅同步数据结构,不保存数据;故需要注意两点:

  1. 需要开通MaxCompute
  2. 当前用户需要属于某一个DataWorks工作空间,并且需要相应分析师的权限,通过工作空间使用MaxCompute的资源
  3. 新建出来的维表属于对应项目空间生产环境,因此第一次使用仍然需要申请字段权限,弹内通过安全卫士,弹外通过数据地图

另,为简化使用,维表的字段类型全部处理为String类型,如需使用其他字段类型,数据分析提供的功能暂不能满足,建议通过DataStudio执行DDL语句来创建维护表。

 

支持导入本地表

 

 

其中

  • 原始字符集:上传csv文件本身的字符集,支持GBK、UTF-8两种格式字符集切换
  • 分隔符:通常用来自定义指定换行分隔符
  • 数据预览:上传csv文件内容预览
  • 字段映射:自定义配置字段映射
  • 数据追加方式:选择追加/覆盖方式追加数据

 

维表支持数据导出

透过一个动图查看线上维表如何导出并下载到本地的

 

维表分享编辑功能

 

 

其中

  • 分享分为编辑、只读权限,所有成员共享维表Owner的权限,也就意味着一定要做好权限管理哦!

 

 

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 产品官网 https://www.aliyun.com/product/bigdata/ide 大数据&AI体验馆 https://workbench.data.aliyun.com/experience.htm#/ 帮助文档https://help.aliyun.com/zh/dataworks 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
打赏
0
0
0
0
1
分享
相关文章
解锁数据洞察:通过 DataWorks 获得深度数据分析
DataWorks提供了一种全新的数据洞察功能,通过深度数据分析和可视化,为您的业务决策提供有力支持。了解更多如何利用AI技术解析复杂数据。
366 7
解锁数据洞察:通过 DataWorks 获得深度数据分析
数据分析经典案例重现:使用DataWorks Notebook 实现Kaggle竞赛之房价预测,成为数据分析大神!
Python是目前当之无愧的数据分析第一语言,大量的数据科学家使用Python来完成各种各样的数据科学任务。本文以Kaggle竞赛中的房价预测为例,结合DataWorks Notebook,完成数据加载、数据探索、数据可视化、数据清洗、特征分析、特征处理、机器学习、回归预测等步骤,主要Python工具是Pandas和SKLearn。本文中仅仅使用了线性回归这一最基本的机器学习模型,读者可以自行尝试其他更加复杂模型,比如随机森林、支持向量机、XGBoost等。
方案实践测评 | DataWorks集成Hologres构建一站式高性能的OLAP数据分析
DataWorks在任务开发便捷性、任务运行速度、产品使用门槛等方面都表现出色。在数据处理场景方面仍有改进和扩展的空间,通过引入更多的智能技术、扩展数据源支持、优化任务调度和可视化功能以及提升团队协作效率,DataWorks将能够为企业提供更全面、更高效的数据处理解决方案。
提升数据分析效率:DataWorks在企业级数据治理中的应用
【8月更文第25天】本文将探讨阿里巴巴云的DataWorks平台如何通过建立统一的数据标准、规范以及实现数据质量监控和元数据管理来提高企业的数据分析效率。我们将通过具体的案例研究和技术实践来展示DataWorks如何简化数据处理流程,减少成本,并加速业务决策。
875 54
DataWorks产品使用合集之只读实例数据库是否可以进行数据分析
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
DataWorks产品使用合集之数据分析维表有什么用处
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
数据分析大神养成记:Python+Pandas+Matplotlib助你飞跃!
在数字化时代,数据分析至关重要,而Python凭借其强大的数据处理能力和丰富的库支持,已成为该领域的首选工具。Python作为基石,提供简洁语法和全面功能,适用于从数据预处理到高级分析的各种任务。Pandas库则像是神兵利器,其DataFrame结构让表格型数据的处理变得简单高效,支持数据的增删改查及复杂变换。配合Matplotlib这一数据可视化的魔法棒,能以直观图表展现数据分析结果。掌握这三大神器,你也能成为数据分析领域的高手!
188 2
基于爬虫和机器学习的招聘数据分析与可视化系统,python django框架,前端bootstrap,机器学习有八种带有可视化大屏和后台
本文介绍了一个基于Python Django框架和Bootstrap前端技术,集成了机器学习算法和数据可视化的招聘数据分析与可视化系统,该系统通过爬虫技术获取职位信息,并使用多种机器学习模型进行薪资预测、职位匹配和趋势分析,提供了一个直观的可视化大屏和后台管理系统,以优化招聘策略并提升决策质量。
646 4
2023 年第二届钉钉杯大学生大数据挑战赛初赛 初赛 A:智能手机用户监测数据分析 问题二分类与回归问题Python代码分析
本文介绍了2023年第二届钉钉杯大学生大数据挑战赛初赛A题的Python代码分析,涉及智能手机用户监测数据分析中的聚类分析和APP使用情况的分类与回归问题。
248 0
2023 年第二届钉钉杯大学生大数据挑战赛初赛 初赛 A:智能手机用户监测数据分析 问题二分类与回归问题Python代码分析

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问