首批!阿里云MaxCompute完成中国信通院基于无服务器架构大数据平台测试

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 近日,阿里云计算有限公司MaxCompute产品顺利完成中国信通院首批无服务器架构(Serverless)大数据平台测试。

随着数字经济的蓬勃发展及各行业数字化转型的不断推进,算力价值正持续提升。在单纯提升芯片算力面临越来越大挑战的情况下,无服务(Serverless)架构作为一种灵活轻量化的新型算力架构,凭借其无需人工参与资源分配、按量计费及更细粒度的弹性伸缩等特点,已经成为大数据平台挖掘算力潜力、提升算力效率的重要手段。


近日,阿里云计算有限公司MaxCompute产品顺利完成中国信通院首批无服务器架构(Serverless)大数据平台测试。测试过程依据标准在资源调度、数据应用、应用管理三大能力域的相关要求,测试结果表明,MaxCompute产品在资源管理、资源弹性、编排调度、数据管理、存储服务、应用调度、安全管理、免运维等方面均符合标准要求。

《基于无服务器(Serverless)架构的大数据平台技术要求》是中国信通院云计算与大数据研究所依托中国通信标准化协会大数据技术标准推进委员会(CCSA TC601),联合大数据产业甲方用户与头部企业参与编制的技术标准,阿里云为核心参编单位之一。其包含资源调度、数据应用、应用管理三大能力域共33个测试项,其中分为26个必选项和7个可选项。作为业内首个基于无服务器(Serverless)架构的大数据平台技术标准,可为无服务器架构大数据平台的研发、测试以及选型提供参考。

1.png

《基于无服务器(Serverless)架构的大数据平台技术要求》标准框架图

阿里云MaxCompute产品介绍

2.png

MaxCompute是一款多功能、低成本、高性能、高可靠、易于使用的数据仓库和支持数据湖能力的大数据平台。支持超大规模、serverless和完善的多租户能力,内建企业级安全能力和管理功能,支持数据保护和安全共享,数据/生态开放,可以满足数据仓库/BI、结构化数据处理和分析、湖仓一体联邦计算、机器学习等多业务场景需求,也在非结构化数据处理和AI与大数据结合场景上不断构建新能力。

产品优势

  • Serverless
  • 公共云用户不感知部署升级、不需要技术运维。功能持续交付,向前兼容,功能演进不影响用户业务逻辑
  • 除支持根据预估资源预付费方式,还支持按用户业务和实际使用资源的按量付费模式
  • 可用资源高弹性,用户不用担心资源不足或资源浪费,还可以选择多种更经济的降本增效的资源使用方式
  • 高性能低成本
  • 多年双十一锤炼,以稳定的资源数量和成本承载了每年持续的业务、数据和计算任务的高增长
  • 连续 6 年刷新TPC-BB大数据性能测试的性能和性价比世界记录
  • 弹性CU、闲时版资源、分层存储等新能力帮用户进一步降低计算存储成本
  • 稳定性
  • 阿里集团自用大数据平台的最佳实践,上线功能经过内部生产验证
  • 99.9%服务可用性SLA保证
  • 安全性
  • 通过多租隔离机制保证用户的权限、资源和运行环境安全隔离
  • 基础设施层面支持私有化部署、网络隔离和安全管控、存储传输加密、支持容灾
  • 引擎层面支持身份认证、精细化权限控制、资源隔离、备份恢复、进程沙箱隔离
  • 工具层面支持审计、审批、数据脱敏等治理、管理能力
  • 多引擎多场景和持续演进的新能力
  • 湖仓一体兼容用户数据湖联邦计算,兼容多种存储介质和数据格式
  • 新推出Transactional Table 2.0 对标开源Hudi的数据近实时计算和管理能力
  • 支持和实时数仓Hologres无缝直读,加强数仓OLAP分析能力
  • 新推出物化视图、BloomFilter索引等优化查询性能的新能力
  • 通过MaxStorage API和Connector将MaxCompute数据向用户的开源引擎开放
  • 新推出Notebook和MaxFrame等Python生态的科学计算能力,更好的使用数仓资源和数据

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
运维 Prometheus 监控
如何在测试环境中保持操作系统、浏览器版本和服务器配置的稳定性和一致性?
如何在测试环境中保持操作系统、浏览器版本和服务器配置的稳定性和一致性?
|
10天前
|
弹性计算 运维 监控
阿里云云服务诊断工具:合作伙伴架构师的深度洞察与优化建议
作为阿里云的合作伙伴架构师,我深入体验了其云服务诊断工具,该工具通过实时监控与历史趋势分析,自动化检查并提供详细的诊断报告,极大提升了运维效率和系统稳定性,特别在处理ECS实例资源不可用等问题时表现突出。此外,它支持预防性维护,帮助识别潜在问题,减少业务中断。尽管如此,仍建议增强诊断效能、扩大云产品覆盖范围、提供自定义诊断选项、加强教育与培训资源、集成第三方工具,以进一步提升用户体验。
653 243
|
2天前
|
存储 SQL 分布式计算
大数据时代的引擎:大数据架构随记
大数据架构通常分为四层:数据采集层、数据存储层、数据计算层和数据应用层。数据采集层负责从各种源采集、清洗和转换数据,常用技术包括Flume、Sqoop和Logstash+Filebeat。数据存储层管理数据的持久性和组织,常用技术有Hadoop HDFS、HBase和Elasticsearch。数据计算层处理大规模数据集,支持离线和在线计算,如Spark SQL、Flink等。数据应用层将结果可视化或提供给第三方应用,常用工具为Tableau、Zeppelin和Superset。
33 8
|
3天前
|
SQL DataWorks 数据可视化
阿里云DataWorks评测:大数据开发治理平台的卓越表现
阿里云DataWorks是一款集数据集成、开发、分析与管理于一体的大数据平台,支持多种数据源无缝整合,提供可视化ETL工具和灵活的任务调度机制。其内置的安全体系和丰富的插件生态,确保了数据处理的高效性和安全性。通过实际测试,DataWorks展现了强大的计算能力和稳定性,适用于中小企业快速搭建稳定高效的BI系统。未来,DataWorks将继续优化功能,降低使用门槛,并推出更多灵活的定价方案,助力企业实现数据价值最大化。
|
3天前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
17 2
|
29天前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据生态圈体系
阿里云大数据计算服务MaxCompute(原ODPS)提供大规模数据存储与计算,支持离线批处理。针对实时计算需求,阿里云推出Flink版。此外,阿里云还提供数据存储服务如OSS、Table Store、RDS和DRDS,以及数据分析平台DataWorks、Quick BI和机器学习平台PAI,构建全面的大数据生态系统。
68 18
|
24天前
|
机器学习/深度学习 弹性计算 人工智能
阿里云服务器架构有啥区别?X86计算、Arm、GPU异构、裸金属和高性能计算对比
阿里云ECS涵盖x86、ARM、GPU/FPGA/ASIC、弹性裸金属及高性能计算等多种架构。x86架构采用Intel/AMD处理器,适用于广泛企业级应用;ARM架构低功耗,适合容器与微服务;GPU/FPGA/ASIC专为AI、图形处理设计;弹性裸金属提供物理机性能;高性能计算则针对大规模并行计算优化。
|
2天前
|
存储 负载均衡 监控
揭秘 Elasticsearch 集群架构,解锁大数据处理神器
Elasticsearch 是一个强大的分布式搜索和分析引擎,广泛应用于大数据处理、实时搜索和分析。本文深入探讨了 Elasticsearch 集群的架构和特性,包括高可用性和负载均衡,以及主节点、数据节点、协调节点和 Ingest 节点的角色和功能。
10 0
|
28天前
|
存储 缓存 弹性计算
Codota的服务器存储架构
Codota的服务器存储架构
26 5
|
28天前
|
缓存 Ubuntu Linux
Linux环境下测试服务器的DDR5内存性能
通过使用 `memtester`和 `sysbench`等工具,可以有效地测试Linux环境下服务器的DDR5内存性能。这些工具不仅可以评估内存的读写速度,还可以检测内存中的潜在问题,帮助确保系统的稳定性和性能。通过合理配置和使用这些工具,系统管理员可以深入了解服务器内存的性能状况,为系统优化提供数据支持。
34 4

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 下一篇
    DataWorks