数据湖分析服务Data Lake Analytics发布支持OSS多版本优化、控制台等多项优化及改进

简介: 数据湖分析服务 Data Lake Analytics SQL引擎是兼容MySQL协议的,具备高性能的Serverless化的联邦分析引擎,支持OSS、MySQL、PG、SQLServer、Redis、MongoDB、HBase、OTS等数据源。

数据湖分析服务 Data Lake Analytics SQL引擎是兼容MySQL协议的,具备高性能的Serverless化的联邦分析引擎,支持OSS、MySQL、PG、SQLServer、Redis、MongoDB、HBase、OTS等数据源。本次发布提升及改进如下,列举部分:

  • 支持OSS多版本优化:OSS的多版本的特性,导致OSS的shallow copy机制无法使用,因此ETL的时间都显著变长。优化后,在一些大客户使用,性能提升22%左右,主要节约rename中间的拷贝时间
  • TextFile格式支持alter table add column
  • 限制深圳区域单表Partition不超过2w,避免平台被异常增加partition打挂
  • 优化"OSS的Null IO stream的问题" 异常信息,此问题是 OSS中的数据是归档类型。后续在客户端直接提示分析数据源中含有归档类型,请注意转为普通数据类型
  • 优化 MetaInfo.SqlExecutor.Parser 提示不明显,后续会提示详细错误信息
    image
  • 优化 查询结果 可以左右移动
    image
  • 增加URL定位到Schema
    image

Data Lake Analytics简介

Data Lake Analytics(简称DLA)是阿里云上一款Serverless化的低成本大数据处理和分析服务。主打高性价比、打通和联合云上数据生态,以及高易用性的BI兼容能力。

  • 高性价比:世界领先的并行SQL计算引擎能力,为用户提供千亿级数据的交互式分析能力和万亿级数据的批量处理能力,并按量付费,零资源维护和保有成本;
  • 云上数据生态:提供阿里云上覆盖最广泛的数据联邦、融合分析、处理、回流能力,用统一的数据视角盘活、打通OSS、Table Store、日志服务数据湖投递、DBS数据库的数据湖备份、关系型数据库和NoSQL数据库的分析、处理生态;
  • 易用的BI兼容能力:以MySQL用户接口的形态兼容几乎所有具备MySQL连接能力的BI套件和可视化分析工具,让用户轻松点击即可分析、洞见云数据价值。
  • 产品链接:https://www.aliyun.com/product/datalakeanalytics
  • 新客户1元试用:https://common-buy.aliyun.com/?commodityCode=openanalytics_post

欢迎关注数据湖技术社区

数据湖开发者社区由 阿里云开发者社区 与 阿里云Data Lake Analytics团队 共同发起,致力于推广数据湖相关技术,包括hudi、delta、spark、presto、oss、元数据、存储加速、格式发现等,学习如何构建数据湖分析系统,打造适合业务的数据架构。
image

相关实践学习
对象存储OSS快速上手——如何使用ossbrowser
本实验是对象存储OSS入门级实验。通过本实验,用户可学会如何用对象OSS的插件,进行简单的数据存、查、删等操作。
相关文章
|
存储 对象存储
使用Ceph对象存储的Amazon S3接口(基于nautilus版本)
使用Ceph对象存储的Amazon S3接口(基于nautilus版本)
1129 0
|
编解码 小程序
微信小程序11177版本开启控制台方法
微信小程序11177版本开启控制台方法
|
Dubbo IDE Java
dubbo学习二:下载Dubbo-Admin管理控制台,并分析在2.6.1及2.6.1以后版本的变化
这篇文章是关于如何下载和部署Dubbo管理控制台(dubbo-admin)的教程,并分析了2.6.1版本及以后版本的变化。
1243 0
dubbo学习二:下载Dubbo-Admin管理控制台,并分析在2.6.1及2.6.1以后版本的变化
|
数据处理 数据库
在Hologres的HoloWeb控制台中,您可以查看并分析历史查询语句
【2月更文挑战第20天】在Hologres的HoloWeb控制台中,您可以查看并分析历史查询语句
249 1
|
存储 域名解析 安全
对象存储OSS产品常见问题之控制台概览显示的流量信息和bucket的不一致如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
425 0
|
消息中间件 Java 专有云
RocketMQ控制台消费者堆栈信息展示优化分析
RocketMQ控制台消费者堆栈信息展示优化分析
628 3
|
存储 Kubernetes 对象存储
Kubernetes版本对接对象存储几种方案
Kubernetes版本对接对象存储几种方案
|
应用服务中间件
2019版本idea启动tomcat8.5版本控制台中文乱码
2019版本idea启动tomcat8.5版本控制台中文乱码
464 0
|
Web App开发
chrome 浏览器在 112 正式版本以及 114 canary 版本从 devtools 控制台复制文本不会复制高亮显示的文本?
chrome 浏览器在 112 正式版本以及 114 canary 版本从 devtools 控制台复制文本不会复制高亮显示的文本?
366 0
|
Prometheus Kubernetes Cloud Native
上线控制台,降低使用门槛|Higress 1.0.0 RC 版本发布
一个遵循开源Ingress/Gateway API标准,提供流量调度、服务治理、安全防护三合一的高集成、易使用、易扩展、热更新的下一代云原生网关。
上线控制台,降低使用门槛|Higress 1.0.0 RC 版本发布