随着数字经济的蓬勃发展及各行业数字化转型的不断推进,算力价值正持续提升。在单纯提升芯片算力面临越来越大挑战的情况下,无服务(Serverless)架构作为一种灵活轻量化的新型算力架构,凭借其无需人工参与资源分配、按量计费及更细粒度的弹性伸缩等特点,已经成为大数据平台挖掘算力潜力、提升算力效率的重要手段。
近日,阿里云计算有限公司MaxCompute产品顺利完成中国信通院首批无服务器架构(Serverless)大数据平台测试。测试过程依据标准在资源调度、数据应用、应用管理三大能力域的相关要求,测试结果表明,MaxCompute产品在资源管理、资源弹性、编排调度、数据管理、存储服务、应用调度、安全管理、免运维等方面均符合标准要求。
《基于无服务器(Serverless)架构的大数据平台技术要求》是中国信通院云计算与大数据研究所依托中国通信标准化协会大数据技术标准推进委员会(CCSA TC601),联合大数据产业甲方用户与头部企业参与编制的技术标准,阿里云为核心参编单位之一。其包含资源调度、数据应用、应用管理三大能力域共33个测试项,其中分为26个必选项和7个可选项。作为业内首个基于无服务器(Serverless)架构的大数据平台技术标准,可为无服务器架构大数据平台的研发、测试以及选型提供参考。
《基于无服务器(Serverless)架构的大数据平台技术要求》标准框架图
阿里云MaxCompute产品介绍
MaxCompute是一款多功能、低成本、高性能、高可靠、易于使用的数据仓库和支持数据湖能力的大数据平台。支持超大规模、serverless和完善的多租户能力,内建企业级安全能力和管理功能,支持数据保护和安全共享,数据/生态开放,可以满足数据仓库/BI、结构化数据处理和分析、湖仓一体联邦计算、机器学习等多业务场景需求,也在非结构化数据处理和AI与大数据结合场景上不断构建新能力。
产品优势
- Serverless
- 公共云用户不感知部署升级、不需要技术运维。功能持续交付,向前兼容,功能演进不影响用户业务逻辑
- 除支持根据预估资源预付费方式,还支持按用户业务和实际使用资源的按量付费模式
- 可用资源高弹性,用户不用担心资源不足或资源浪费,还可以选择多种更经济的降本增效的资源使用方式
- 高性能低成本
- 多年双十一锤炼,以稳定的资源数量和成本承载了每年持续的业务、数据和计算任务的高增长
- 连续 6 年刷新TPC-BB大数据性能测试的性能和性价比世界记录
- 弹性CU、闲时版资源、分层存储等新能力帮用户进一步降低计算存储成本
- 稳定性
- 阿里集团自用大数据平台的最佳实践,上线功能经过内部生产验证
- 99.9%服务可用性SLA保证
- 安全性
- 通过多租隔离机制保证用户的权限、资源和运行环境安全隔离
- 基础设施层面支持私有化部署、网络隔离和安全管控、存储传输加密、支持容灾
- 引擎层面支持身份认证、精细化权限控制、资源隔离、备份恢复、进程沙箱隔离
- 工具层面支持审计、审批、数据脱敏等治理、管理能力
- 多引擎多场景和持续演进的新能力
- 湖仓一体兼容用户数据湖联邦计算,兼容多种存储介质和数据格式
- 新推出Transactional Table 2.0 对标开源Hudi的数据近实时计算和管理能力
- 支持和实时数仓Hologres无缝直读,加强数仓OLAP分析能力
- 新推出物化视图、BloomFilter索引等优化查询性能的新能力
- 通过MaxStorage API和Connector将MaxCompute数据向用户的开源引擎开放
- 新推出Notebook和MaxFrame等Python生态的科学计算能力,更好的使用数仓资源和数据