首批!阿里云MaxCompute完成中国信通院基于无服务器架构大数据平台测试

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 近日,阿里云计算有限公司MaxCompute产品顺利完成中国信通院首批无服务器架构(Serverless)大数据平台测试。

随着数字经济的蓬勃发展及各行业数字化转型的不断推进,算力价值正持续提升。在单纯提升芯片算力面临越来越大挑战的情况下,无服务(Serverless)架构作为一种灵活轻量化的新型算力架构,凭借其无需人工参与资源分配、按量计费及更细粒度的弹性伸缩等特点,已经成为大数据平台挖掘算力潜力、提升算力效率的重要手段。


近日,阿里云计算有限公司MaxCompute产品顺利完成中国信通院首批无服务器架构(Serverless)大数据平台测试。测试过程依据标准在资源调度、数据应用、应用管理三大能力域的相关要求,测试结果表明,MaxCompute产品在资源管理、资源弹性、编排调度、数据管理、存储服务、应用调度、安全管理、免运维等方面均符合标准要求。

《基于无服务器(Serverless)架构的大数据平台技术要求》是中国信通院云计算与大数据研究所依托中国通信标准化协会大数据技术标准推进委员会(CCSA TC601),联合大数据产业甲方用户与头部企业参与编制的技术标准,阿里云为核心参编单位之一。其包含资源调度、数据应用、应用管理三大能力域共33个测试项,其中分为26个必选项和7个可选项。作为业内首个基于无服务器(Serverless)架构的大数据平台技术标准,可为无服务器架构大数据平台的研发、测试以及选型提供参考。

1.png

《基于无服务器(Serverless)架构的大数据平台技术要求》标准框架图

阿里云MaxCompute产品介绍

2.png

MaxCompute是一款多功能、低成本、高性能、高可靠、易于使用的数据仓库和支持数据湖能力的大数据平台。支持超大规模、serverless和完善的多租户能力,内建企业级安全能力和管理功能,支持数据保护和安全共享,数据/生态开放,可以满足数据仓库/BI、结构化数据处理和分析、湖仓一体联邦计算、机器学习等多业务场景需求,也在非结构化数据处理和AI与大数据结合场景上不断构建新能力。

产品优势

  • Serverless
  • 公共云用户不感知部署升级、不需要技术运维。功能持续交付,向前兼容,功能演进不影响用户业务逻辑
  • 除支持根据预估资源预付费方式,还支持按用户业务和实际使用资源的按量付费模式
  • 可用资源高弹性,用户不用担心资源不足或资源浪费,还可以选择多种更经济的降本增效的资源使用方式
  • 高性能低成本
  • 多年双十一锤炼,以稳定的资源数量和成本承载了每年持续的业务、数据和计算任务的高增长
  • 连续 6 年刷新TPC-BB大数据性能测试的性能和性价比世界记录
  • 弹性CU、闲时版资源、分层存储等新能力帮用户进一步降低计算存储成本
  • 稳定性
  • 阿里集团自用大数据平台的最佳实践,上线功能经过内部生产验证
  • 99.9%服务可用性SLA保证
  • 安全性
  • 通过多租隔离机制保证用户的权限、资源和运行环境安全隔离
  • 基础设施层面支持私有化部署、网络隔离和安全管控、存储传输加密、支持容灾
  • 引擎层面支持身份认证、精细化权限控制、资源隔离、备份恢复、进程沙箱隔离
  • 工具层面支持审计、审批、数据脱敏等治理、管理能力
  • 多引擎多场景和持续演进的新能力
  • 湖仓一体兼容用户数据湖联邦计算,兼容多种存储介质和数据格式
  • 新推出Transactional Table 2.0 对标开源Hudi的数据近实时计算和管理能力
  • 支持和实时数仓Hologres无缝直读,加强数仓OLAP分析能力
  • 新推出物化视图、BloomFilter索引等优化查询性能的新能力
  • 通过MaxStorage API和Connector将MaxCompute数据向用户的开源引擎开放
  • 新推出Notebook和MaxFrame等Python生态的科学计算能力,更好的使用数仓资源和数据

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
10天前
|
人工智能 云计算 网络架构
阿里云引领智算集群网络架构的新一轮变革
11月8日~10日在江苏张家港召开的CCF ChinaNet(即中国网络大会)上,众多院士、教授和业界技术领袖齐聚一堂,畅谈网络未来的发展方向,聚焦智算集群网络的创新变革。
阿里云引领智算集群网络架构的新一轮变革
|
14天前
|
人工智能 Cloud Native 数据管理
媒体声音|重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
在2024云栖大会上,阿里云瑶池数据库发布了首个一站式多模数据管理平台DMS:OneMeta+OneOps。该平台由Data+AI驱动,兼容40余种数据源,实现跨云数据库、数据仓库、数据湖的统一数据治理,帮助用户高效提取和分析元数据,提升业务决策效率10倍。DMS已服务超10万企业客户,降低数据管理成本高达90%。
|
5天前
|
机器学习/深度学习 人工智能 弹性计算
什么是阿里云GPU云服务器?GPU服务器优势、使用和租赁费用整理
阿里云GPU云服务器提供强大的GPU算力,适用于深度学习、科学计算、图形可视化和视频处理等多种场景。作为亚太领先的云服务提供商,阿里云的GPU云服务器具备灵活的资源配置、高安全性和易用性,支持多种计费模式,帮助企业高效应对计算密集型任务。
|
7天前
|
存储 分布式计算 固态存储
阿里云2核16G、4核32G、8核64G配置云服务器租用收费标准与活动价格参考
2核16G、8核64G、4核32G配置的云服务器处理器与内存比为1:8,这种配比的云服务器一般适用于数据分析与挖掘,Hadoop、Spark集群和数据库,缓存等内存密集型场景,因此,多为企业级用户选择。目前2核16G配置按量收费最低收费标准为0.54元/小时,按月租用标准收费标准为260.44元/1个月。4核32G配置的阿里云服务器按量收费标准最低为1.08元/小时,按月租用标准收费标准为520.88元/1个月。8核64G配置的阿里云服务器按量收费标准最低为2.17元/小时,按月租用标准收费标准为1041.77元/1个月。本文介绍这些配置的最新租用收费标准与活动价格情况,以供参考。
|
5天前
|
机器学习/深度学习 人工智能 弹性计算
阿里云GPU服务器全解析_GPU价格收费标准_GPU优势和使用说明
阿里云GPU云服务器提供强大的GPU算力,适用于深度学习、科学计算、图形可视化和视频处理等场景。作为亚太领先的云服务商,阿里云GPU云服务器具备高灵活性、易用性、容灾备份、安全性和成本效益,支持多种实例规格,满足不同业务需求。
|
9天前
|
人工智能 运维 网络架构
阿里云引领智算集群网络架构的新一轮变革
11月8日至10日,CCF ChinaNet(中国网络大会)在江苏张家港召开,众多院士、教授和技术领袖共聚一堂,探讨网络未来发展方向。阿里云研发副总裁蔡德忠发表主题演讲,展望智算技术发展趋势,提出智算网络架构变革的新思路,发布高通量以太网协议和ENode+超节点系统规划,引起广泛关注。阿里云HPN7.0引领智算以太网生态蓬勃发展,成为业界标杆。未来,X10规模的智算集群将面临新的挑战,Ethernet将成为主流方案,推动Scale up与Scale out的融合架构,提升整体系统性能。
|
13天前
|
弹性计算
阿里云2核16G服务器多少钱一年?亲测价格查询1个月和1小时收费标准
阿里云2核16G服务器提供多种ECS实例规格,内存型r8i实例1年6折优惠价为1901元,按月收费334.19元,按小时收费0.696221元。更多规格及详细报价请访问阿里云ECS页面。
51 9
|
10天前
|
监控 Ubuntu Linux
使用VSCode通过SSH远程登录阿里云Linux服务器异常崩溃
通过 VSCode 的 Remote - SSH 插件远程连接阿里云 Ubuntu 22 服务器时,会因高 CPU 使用率导致连接断开。经排查发现,VSCode 连接根目录 ".." 时会频繁调用"rg"(ripgrep)进行文件搜索,导致 CPU 负载过高。解决方法是将连接目录改为"root"(或其他具体的路径),避免不必要的文件检索,从而恢复正常连接。
|
13天前
|
弹性计算 异构计算
2024年阿里云GPU服务器多少钱1小时?亲测价格查询方法
2024年阿里云GPU服务器每小时收费因实例规格不同而异。可通过阿里云GPU服务器页面选择“按量付费”查看具体价格。例如,NVIDIA A100的gn7e实例为34.742元/小时,NVIDIA A10的gn7i实例为12.710156元/小时。更多详情请访问阿里云官网。
53 2
|
16天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。

相关产品

  • 云原生大数据计算服务 MaxCompute