阿里云大数据产品9月月刊-阿里云开发者社区

开发者社区> 1171984817949751> 正文

阿里云大数据产品9月月刊

简介: 阿里云大数据产品9月月刊内容
+关注继续查看

欢迎阅读本刊,了解 2021年9月 阿里云大数据产品 最新发布功能。

大数据计算服务 - MaxCompute

1、大数据计算服务 - MaxCompute 支持读取 OSS 上 Hudi、Delta Lake 格式文件 
适用客户
基于OSS 构建实时数据湖的客户,可以通过 MaxCompute 查询到实时数据,即时洞察业务数据变化。
发布功能
Delta Lake 和 Hudi是数据湖方案中常用的存储机制,为数据湖提供流处理、批处理能力。MaxCompute 基于阿里云 DLF、OSS产品提供了支持 Delta 或 Hudi 存储机制的湖仓一体架构。您可以通过 MaxCompute 查询到实时数据,即时洞察业务数据变化。
查看文档

2、大数据计算服务 - MaxCompute 支持访问开启 Kerberos 认证授权机制的 Hadoop 集群 
适用客户
(1) 已经基于 Hadoop、阿里云 EMR 集群搭建数据平台,并开启 Kerberos 认证授权机制的客户;
(2) 对集群资源弹性有需求,希望利用 MaxCompute 的弹性与大规模机器学习能力,快速迭代创新业务
(3) 企业有多个 Hadoop 集群,需要各个集群之间数据打通,利用 DataWorks 构建企业数据中台
发布功能
大部分企业的 Hadoop 的生产集群开启了 Kerberos 认证授权机制,本次功能升级能够利用 MaxCompute 访问开启 Kerberos 认证授权机制的 Hadoop 集群,极大的扩展了湖仓一体对接 Hadoop 的适用范围。
查看文档

3、大数据计算服务 - MaxCompute 在华南1金融云(深圳)正式开服
开放区域
MaxCompute新增开通华南1金融云(深圳)区域,经过金融云认证的账号可以在产品售卖页按需开通
申请链接

DataWorks

1、数据治理中心全新发布
适用客户
基于 DataWorks 和 MaxCompute 搭建数据平台,具备对数据存储、任务计算、代码开发、数据质量或数据安全等维度进行治理诉求的客户
发布功能
(1) 用于事前环节的数据治理问题预防
(2) 用于事后环节的数据治理存量问题自动发现
(3) 数据治理整体量化评估
产品文档
上海Rgion试用地址

2、DataStudio支持用户通过扩展程序对页面功能进行卡点 
适用客户
使用DataWorks OpenAPI 以及扩展程序开发的用户
发布功能
DataStudio支持的扩展点包括文件发布、文件提交、文件删除
产品文档

3、数据服务API资产全面纳入数据地图管理范畴 
适用客户
已经基于DataWorks和各类数据源搭建数据平台,日常有数据接口API的开发工作,并需要进一步对各类数据源下的数据接口API进行全局查找、盘点和纳管的客户。
发布功能
数据服务API资产(向导、脚本、注册等类型API)已接入数据地图,支持企业场景和全局范围的数据接口查找及管理,包括全局API检索、热门API统计、独立API详情页、各数据源下的API分布等产品功能。
产品文档1
产品文档2

交互式分析(Hologres)

1、增强企业级运维能力,透出慢查询日志,帮助用户快速定位SQL问题 
适用客户
互联网行业(电商、教育、游戏等),有大规模实时数仓建设、交互式分析大屏、智能营销、风控等场景需求的客户;金融行业(证券、保险、银行等),有海量数据精细化分析、基于MaxCompute构建全栈数据仓库的客户; 能源、交通行业,有海量数据实时分析需求的客户;政务行业,有数据集中化、细粒度权限管控、平台赋能需求的客户;已搭建MaxCompute集中数仓,有交互式分析需求的客户。
发布功能
慢查询日志用来记录在 Hologres 中执行时间超过指定时间的查询语句。通过慢查询日志,可以查找出哪些查询语句的执行效率低,以便进行优化。慢查询日志是排查问题的 SQL 语句,以及检查当前 Hologres 性能的一个重要功能。从Hologres V0.10版本开始,系统提供了慢查询日志。慢Query的查询与分析可以帮助您对系统中发生的慢Query或失败Query进行诊断、分析和采取优化措施。
产品文档1
产品文档2

2、优化列存默认采用AliORC压缩格式,存储压缩比提高30%~50% 
适用客户
互联网行业(电商、教育、游戏等),有大规模实时数仓建设、交互式分析大屏、智能营销、风控等场景需求的客户; 金融行业(证券、保险、银行等),有海量数据精细化分析,基于MaxCompute构建全栈数据仓库的客户; 能源、交通行业,有海量数据实时分析需求的客户; 政务行业,有数据集中化,细粒度权限管控,平台赋能需求的客户;已经搭建MaxCompute集中数仓,有交互式分析需求的客户。
发布功能
从Hologres V0.10版本开始,行存表的存储格式全面升级为AliORC,存储压缩比提高30%~50%。
产品文档

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
浙江万里阿里云大数据应用学院企业课堂,走进“数梦工场”
作为浙江万里学院、阿里云与慧科集团三方充分整合优势资源联合打造的大数据应用学院,同学们在校学习期间,除了学习公共基础课程与专业知识外,还将定期有企业工程师进校园分享行业实战经验、定期组织同学们到行业领先企业参观交流等活动安排。
1636 0
阿里云大数据+AI技术沙龙上海站
EMR 团队在国内运营最大的 Spark 社区,为了更好地传播和分享业界最新技术和最佳实践,现在联合Intel及开源社区同行,打造一个纯粹的技术交流线下沙龙《大数据 + AI》,定期为大家做公益分享。首站上海开站,请猛戳链接报名!https://www.slidestalk.com/m/61
1235 0
阿里云大数据开发平台,数据集成平台使用教程
数据集成(Data Integration)是阿里集团对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台,为20+种数据源提供不同网络环境下的离线(全量/增量)数据进出通道,是阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台。
1187 0
如何构建云原生的开源大数据平台 | 微淼基于阿里云大数据生态的应用实践
随着开源技术与云原生的高度融合,阿里云开源大数据平台在功能性、易用性、安全性上积累了丰富的实践经验,已成功服务数千家企业,助力其聚焦自身核心业务优势,缩短开发周期、简化运维难度,拓展更多业务创新。10月29日,阿里云发布“如何构建云原生的开源大数据平台”解决方案,邀请到了来自阿里云、微淼、Inmobi的技术专家为大家现身说法,呈现上云实践。
175 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4345 0
常州大学-阿里云大数据学院
地方产业发展迭代快,新兴产业的人才技能需求更新快,与学校自主开设新兴专业缺乏有能力有动力的团队之间的矛盾;国家需要大量的创新、创业型的工程、技术人才,要求人才有跨专业的学习机会和工作能力,但高校还没有建立起来相应的机制来促进专业、院系之间的合作来培养人才,计算机专业拿不到跨行业、跨专业的实践案例,非计算机专业没有足够的能力和新的信息技术进行融合。
692 0
阿里云大数据开发平台,数据集成平台使用教程
数据集成(Data Integration)是阿里集团对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台,为20+种数据源提供不同网络环境下的离线(全量/增量)数据进出通道,是阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台。
5083 0
阿里云服务器远程登录用户名和密码的查询方法
阿里云服务器远程连接登录用户名和密码在哪查看?阿里云服务器默认密码是什么?云服务器系统不同默认用户名不同
364 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
10759 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
3163 0
2
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载