飞天大数据平台2020-4月刊

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 【阿里云 飞天大数据平台和飞天AI平台4月新发布】

为深刻理解市场需求与用户需求,提升大数据与AI产品与服务能力。阿里云计算平台事业部邀您答复本问卷,共28个问题,用时约10分钟,我们会对本次问卷调查结果保密,并从中筛选50名优质回复回赠精美礼品与产品金牌体验官等服务。
https://survey.aliyun.com/apps/zhiliao/aQWGIUNXT
image.png

MaxCompute 4月份新功能:

1.MaxCompute审计日志发布
MaxCompute在服务级别自动将您使用MaxCompute所产生的操作日志,实时投递到阿里云审计日志服务ActionTrail中。您可执行历史事件及明细查询和实时行为事件分析,满足您实时审计、问题回溯分析等需求。

2.MaxCompute管家新版发布
更完善的CU资源使用监控、支持历史作业查看、 支持批量作业操作。

3.MaxCompute 支持对按量付费单个SQL作业的消费进行控制
MaxCompute支持按量付费的作业消费控制功能,以免您的计算消费超出预期。

4.Policy支持 Grant 方式授权
MaxCompute 权限功能升级,支持通过Grant命令方式实现Policy的灵活授权,让您能更高效的完成数据授权。

5. MaxCompute Mars 支持申请试用
MaxCompute Mars 支持申请试用,如需使用,可在本群或通过工单提交需求

**6.友盟+联合 MaxCompute 发布“U-DOP数据开放”服务,实现友盟域和企业私域数据全面融合。
**
更多月刊详情,请点击:
https://yq.aliyun.com/articles/759190

E-MapReduce 4月份新功能:

1.EMR Hadoop集群弹性伸缩支持优雅下线,用户可以在弹性伸缩缩容规则中设置等待时长,降低对缩容task节点任务的影响。

2.EMR支持阿里云企业资源组,在不同资源组实现EMR集群的隔离,便于各部门独立成本核算。

3.EMR支持3个master节点。

4.弹性伸缩在全球所有region对齐。

5.Knox支持Druid。

更多产品详情,请点击

https://www.aliyun.com/product/emapreduce

交互式分析(Hologres)4月新功能

1.HoloStudio:可视化功能加强,支持一键批量创建外部表和一键同步MaxCompute数据,同时支持一键COPY上传本地文件。

2.安全:Holostudio支持DataWorks工作空间标准化绑定,开发、生产环境相隔离,提高业务数据的安全性。

3.函数支持:对已支持的函数新增使用case和使用说明,方便高效的使用函数,降低学习成本。

4.产品合作:阿里云DataV上线Hologres独立数据源,公网、内网、VPC 3网同时发布,对接实时展示大屏更加便捷化。

更多月刊详情,请点击

https://developer.aliyun.com/article/759925

DataWorks 4月份新功能:

1、新增功能-电话告警

除了短信/邮件以外,运维中心新增电话告警功能,DataWorks专业版以上用户可以在告警配置中选择电话告警。

2、元数据采集支持MySQL、PostgreSQL、Oracle、SQLServer,国内Region发布

3、资源优化国内Region上线,新增全表扫描,90天未访问的表治理项

4、PyODPS 3已发布国内Region

5、运维中心-运行诊断功能上线(成都、英国、迪拜Region除外)

6、DataWoks+MaxCompute组合购买发布上线

7、数据质量规则配置人支持修改

更多月刊详情,请点击:

https://developer.aliyun.com/article/759949

PAI 4月份新功能:

1、PAI-DSW2.0专业版发布

PAI-DSW2.0专业版发布杭州、深圳region。

灵活开放的云端交互式AI建模平台,给用户提供更大程度的环境定制化能力,提升开发效率的同时降低成本。

适用客户:算法开发者

文档链接:

https://help.aliyun.com/document_detail/163336.html

2、PAI-Studio Bert算法发布

在北京和上海区域新增Bert算法,可以将文本或者Query文本对转成向量。底层调用GPU计算集群,计算性能优越。

适用客户:有文本分析相关需求的客户

3、PAI Alink商业版发布

基于EMR平台提供半托管的流批一体开源机器学习平台Alink服务

更多月刊详情,请点击:

https://www.aliyun.com/activity/bigdata/painewproduct

实时计算(Realtime Compute)4月份新功能:

1、实时计算Flink半托管(基于ACK)模式功能升级、支持集群资源监测、优化用户售卖体验,降低时耗、增强稳定性

更多产品详情,请点击:

https://help.aliyun.com/document_detail/139972.html

数据总线(DataHub)4月份新功能

1、数据总线产品于2020.4.20日正式完成商业化,对用户提供企业级支持和服务SLA

2、数据总线新版控制台上线,新增用户作业信息metric展示和用户服务资源使用情况展示,协助用户维护任务和优化成本

3、数据总线上线命令行工具,支持用户本地使用命令行操作DataHub,附带类似审计日志、脚本编写等功能

更多产品详情,请点击:

https://www.aliyun.com/product/datahub

Elasticsearch 4月份新功能:

1.AliES支持商业版6.7version。AliES是阿里云深度定制的内核搜索引擎,提供了监控指标优化、线程池、熔断策略优化、查询与写入优化等诸多功能。详情:

https://help.aliyun.com/document_detail/157362.html

2.Beats数据采集中心升级,支持多类型Beats采集器批量安装与集中管理,打通从ECS机器组到阿里云Logstash及Elasticsearch的整套数据链路。详情:

https://help.aliyun.com/document_detail/146446.html

3.实现节点级别的QPS和Bulk读写限流,优化指定索引的读写速度,将流量控制在合适范围内,以提高集群稳定性。详情:

https://help.aliyun.com/document_detail/156622.html

开放搜索 4月份新功能:

1.人气模型上线。人气模型是根据客户端的行为反馈,来衡量文档热度的机器学习算法。详情:

https://help.aliyun.com/document_detail/164216.html

2.Cava插件上线。Cava是OpenSearch团队基于llvm实现的一门高效的编程语言,cava插件支持灵活自定义排序,具有更强的定制能力,更易于维护。

https://help.aliyun.com/document_detail/164013.html

智能推荐 4月份新功能:

1.多数据源对接。可支持免MaxCompute启动服务,行为数据支持友盟数据源。详情:

https://help.aliyun.com/document_detail/99085.html

2.行业模板2.0发布。召回特征选举、新物料促活、热物料推荐等方案算法升级。详情:

https://developer.aliyun.com/live/2394

欢迎加入飞天大数据平台钉群:

image.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
101 1
|
19天前
|
SQL 数据采集 分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
【赵渝强老师】基于大数据组件的平台架构
|
4月前
|
DataWorks Kubernetes 大数据
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
|
2月前
|
机器学习/深度学习 监控 搜索推荐
电商平台如何精准抓住你的心?揭秘大数据背后的神秘推荐系统!
【10月更文挑战第12天】在信息爆炸时代,数据驱动决策成为企业优化决策的关键方法。本文以某大型电商平台的商品推荐系统为例,介绍其通过收集用户行为数据,经过预处理、特征工程、模型选择与训练、评估优化及部署监控等步骤,实现个性化商品推荐,提升用户体验和销售额的过程。
82 1
|
4月前
|
机器学习/深度学习 搜索推荐 算法
飞天大数据平台产品问题之AIRec在阿里巴巴飞天大数据平台中的功能如何解决
飞天大数据平台产品问题之AIRec在阿里巴巴飞天大数据平台中的功能如何解决
|
4月前
|
存储 人工智能 搜索推荐
飞天大数据平台产品问题之阿里云OpenSearch的定义如何解决
飞天大数据平台产品问题之阿里云OpenSearch的定义如何解决
|
4月前
|
搜索推荐 OLAP 流计算
OneSQL OLAP实践问题之基于 Flink 打造流批一体的数据计算平台如何解决
OneSQL OLAP实践问题之基于 Flink 打造流批一体的数据计算平台如何解决
57 1
|
4月前
|
SQL 人工智能 分布式计算
飞天发布时刻:大数据AI平台产品升级发布
阿里云飞天发布时刻产品发布会围绕阿里云大数据AI平台的新能力和新产品进行详细介绍。人工智能平台PAI、云原生大数据计算服务MaxCompute、开源大数据平台E-MapReduce、实时数仓Hologres、阿里云Elasticsearch、向量检索Milvus等产品均带来了相关发布的深度解读。
|
4月前
|
数据可视化
Echarts数据可视化大屏开发| 大数据分析平台
Echarts数据可视化大屏开发| 大数据分析平台
|
5月前
|
SQL 分布式计算 大数据
大数据处理平台Hive详解
【7月更文挑战第15天】Hive作为基于Hadoop的数据仓库工具,在大数据处理和分析领域发挥着重要作用。通过提供类SQL的查询语言,Hive降低了数据处理的门槛,使得具有SQL背景的开发者可以轻松地处理大规模数据。然而,Hive也存在查询延迟高、表达能力有限等缺点,需要在实际应用中根据具体场景和需求进行选择和优化。