亚信数据新一代PaaS平台是如何炼成的?

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:   日前,亚信数据发布旗下多款PaaS产品,包括亚信分布式数据库ADB、容器云计算平台HPS、大数据云平台DCP。这三款产品在亚信内部历经了3年的研发投入和攻关,并在客户项目中得到了实践部署。随着这些系列产品的正式亮相,它们共同构建了亚信完整的PaaS平台解决方案,将亚信拥有的大数据、CRM(客户关系管理系统)、BOSS(业务运营支撑系统)以及众多核心能力逐渐服务化、组件化,由该平台统一承载。

  日前,亚信数据发布旗下多款PaaS产品,包括亚信分布式数据库ADB、容器云计算平台HPS、大数据云平台DCP。这三款产品在亚信内部历经了3年的研发投入和攻关,并在客户项目中得到了实践部署。随着这些系列产品的正式亮相,它们共同构建了亚信完整的PaaS平台解决方案,将亚信拥有的大数据、CRM(客户关系管理系统)、BOSS(业务运营支撑系统)以及众多核心能力逐渐服务化、组件化,由该平台统一承载。

  在活动现场,亚信数据副总裁、大数据平台产品线总经理杨映南接受记者采访,并就产品研发的历程、特色,以及业界大数据热点话题分享了自己的看法。

  早在2013年的时候,亚信大数据平台专家技术团队就已组建,在亚信数据(公司)成立后, 这支团队作为公司的技术精英队伍,隶属于亚信大数据平台产品线。杨映南认为,亚信在大数据技术方向布局比较早,在一开始就意识到想实现亚信产业互联网战略的落地,要依靠稳定和可靠的底层技术架构和相应的基础软件来支撑上层各种业务系统。三年来,这一理念也伴随着亚信数据从业务服务型公司向技术产品型公司的转型。

  “这些年来,我们正在努力把亚信服务电信运营商的技术能力,通过先进的互联网技术手段转化为标准化产品,由此推动各行业产业互联网数字化转型,这是亚信数据的初衷”,这和以往最大的变化是,过去的系统建设往往是分专业纵向建设,现在则是按平台横向建设,通过调用平台服务的模式,来构建各种专业应用系统,已不再是传统集成商的系统建设模式。亚信数据正努力通过PaaS平台将多年沉淀的各种业务组件以微服务和API(应用编程接口)的形式,为应用系统的开发、部署和运维提供便捷、高效、安全、稳定的业务建设和运行模式,杨映南表示。

  宝剑锋从磨砺出

  三年来,亚信数据投入重金和精干的研发力量,克服艰难困苦,矢志不渝专心致力于这些产品的研发。例如,在最初数据库选型的时候,亚信数据的研发人员首先调研和尝试了各种互联网数据库的产品用于企业级业务应用场景。然而,互联网证书业务的集群规模庞大,动辄成千上万节点和PB级的数据规模,需要承载百万TPS和上亿QPS业务请求。因为这些特点,互联网业务优先强调数据库的可扩展性,弱化对数据一致性的要求,通过业务系统来保证数据最终一致性,需要应用的开发去适应互联网数据库的架构特点。

  通过对企业级客户真实场景的研究,亚信研发人员发现这种纯互联网的数据库架构特点并不适用于在企业级生产环境应用。在大多数情况下,企业级数据库架构集群规模并没有那么大,往往单库规模为数十个节点,数据规模通常在10T以下,处理能力为数千TPS和上万QPS。业务高度依赖数据库ACID(原子性、一致性、隔离性、持久性)能力,必须保证数据在任何场景下的强一致性。在应用开发方面,由于已经多年开发,需要支持透明、低成本的从现有数据库向自主可控的国产数据库平滑迁移。

  于是,亚信数据研发团队历经三年开发完成了更具企业级特色的分布式关系型数据库ADB,侧重于事务处理、分布式、高扩展、强一致性,产品全部自主开发,知识产权完全可控,能满足企业级核心业务系统需求,而不是像互联网业务需要部署成千上万个节点。

  而对于容器云平台HPS,是因为亚信数据研发团队看到了用户在X86化或虚拟化后的IT系统仍面临诸多挑战,例如,系统高可靠性下降、业务缺乏弹性伸缩能力、应用缺乏敏捷开发部署能力、运维缺乏自动化管理能力等。因此,亚信做的PaaS平台要支持上层业务能跑在新一代容器上,要和传统的虚拟化做明确的分割,支持集成、编排、管控,且能支撑应用的敏捷开发和应用的微服务化。

  另外,在大数据云服务平台建设上,目前业界普遍存在的异构混搭架构也面临着诸多挑战。旧的大数据平台在应对层出不穷的新的大数据服务时,疲于应付;某些服务不支持资源隔离,为避免应用间的资源竞争,只能每个应用新部署一个集群;各个集群相互独立,形成数据孤岛和烟囱式资源分配,资源利用率低,灵活调度能力弱;集群数量不断增加,运维难度越来越大。

  因此,亚信数据研发团队又基于大数据服务特点,以实现托管服务的统一资源调度、支持对已有集群/服务的纳管、提供面向租户的服务管理等开发思路,开发了亚信大数据云平台DCP2.0。它具有以下几个特点:1.支持托管和纳管服务类型,托管类服务共享底层的资源,具有弹性伸缩和高可用能力;纳管服务通过管控API,实现各种服务的集中管理;2.资源灵活调度:基于Hadoop HDFS的统一数据存储;基于Hadoop Yarn的统一计算调度;3.在管理平台上实现集中的租户、资源、服务、工具、运维管理。

  对于未来,杨映南表示,将在三个层面继续增强亚信PaaS平台能力,第一是持续提高性能和稳定性,第二是具备服务热插拔能力,再者就是平台安全性。因为,大数据平台早已不仅仅是企业内部的生产平台,而是更多承载数据和应用对外开放协同的能力,不断提高安全隐患的防范能力。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
12天前
|
存储 人工智能 安全
喜报!阿里云荣获2024数据存储风云榜两大金奖
近日,由DOIT传媒主办的 “2024中国数据与存储峰会”在北京举行,大会期间重磅发布“2024年度存储风云榜”。经由行业大咖、技术专家及DOIT媒体三方的联合严格评审,阿里云文件存储CPFS凭借在性能、弹性、稳定安全、成本、Serverless化等多方位的持续创新获得2024年度AI存储产品金奖;阿里云云备份CloudBackup通过一系列安全可靠的企业级能力助力企业降本增效,获得2024年度数据保护产品金奖。
喜报!阿里云荣获2024数据存储风云榜两大金奖
|
6月前
|
运维 监控 Cloud Native
袋鼠云创始人陈吉平: 深耕国产自研数字化技术与服务,持续为客户创造价值
在经济面临下行压力、疫情反复等不确定因素之下,推动数字化转型就成为了许多企业的“救命稻草”。然而,较高的数字化转型门槛、不成系统的数据服务,以及缺乏规范的行业标准等都成了企业数字化转型路上的“绊脚石”。2015年,袋鼠云成立并毅然投身于具有巨大想象力的数字经济发展浪潮,经过7年努力实践,不断完善自己...
145 0
|
边缘计算 人工智能 安全
|
机器学习/深度学习 人工智能 供应链
年度必读!《全球开源生态研究报告(2022年)》:全球开源生态从“高速繁荣”向“稳步求精”演进
年度必读!《全球开源生态研究报告(2022年)》:全球开源生态从“高速繁荣”向“稳步求精”演进
487 0
|
人工智能 DataWorks 算法
大数据&人工智能的“淘宝平台”来了:突破围城,连接生态
概述 有人说人工智能&大数据领域是个围城,厚厚的技术门槛构成了这道城墙。懂技术的人在围城里面,懂技术的人不一定有足够的业务去施展技术。而很多有业务需求的的人被隔在围城外面,有业务需求的人又不一定有足够的技术能力。
2438 0
|
人工智能 云计算
【2018中国计算机大会】多维度创新打造领先阿里云技术生态
10月26日,2018中国计算机大会上举办了主题是“云计算生态与发展”的技术论坛。论坛上,阿里云技术战略架构师陈绪博士从构建目标、构建基石、构建要点三个方面详细陈述了阿里云开放的技术生态。目前阿里云正在全力打造一个由阿里云引导、驱动、赋能的多赢开放技术生态。
1680 0