亚信数据新一代PaaS平台是如何炼成的?

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:   日前,亚信数据发布旗下多款PaaS产品,包括亚信分布式数据库ADB、容器云计算平台HPS、大数据云平台DCP。这三款产品在亚信内部历经了3年的研发投入和攻关,并在客户项目中得到了实践部署。随着这些系列产品的正式亮相,它们共同构建了亚信完整的PaaS平台解决方案,将亚信拥有的大数据、CRM(客户关系管理系统)、BOSS(业务运营支撑系统)以及众多核心能力逐渐服务化、组件化,由该平台统一承载。

  日前,亚信数据发布旗下多款PaaS产品,包括亚信分布式数据库ADB、容器云计算平台HPS、大数据云平台DCP。这三款产品在亚信内部历经了3年的研发投入和攻关,并在客户项目中得到了实践部署。随着这些系列产品的正式亮相,它们共同构建了亚信完整的PaaS平台解决方案,将亚信拥有的大数据、CRM(客户关系管理系统)、BOSS(业务运营支撑系统)以及众多核心能力逐渐服务化、组件化,由该平台统一承载。

  在活动现场,亚信数据副总裁、大数据平台产品线总经理杨映南接受记者采访,并就产品研发的历程、特色,以及业界大数据热点话题分享了自己的看法。

  早在2013年的时候,亚信大数据平台专家技术团队就已组建,在亚信数据(公司)成立后, 这支团队作为公司的技术精英队伍,隶属于亚信大数据平台产品线。杨映南认为,亚信在大数据技术方向布局比较早,在一开始就意识到想实现亚信产业互联网战略的落地,要依靠稳定和可靠的底层技术架构和相应的基础软件来支撑上层各种业务系统。三年来,这一理念也伴随着亚信数据从业务服务型公司向技术产品型公司的转型。

  “这些年来,我们正在努力把亚信服务电信运营商的技术能力,通过先进的互联网技术手段转化为标准化产品,由此推动各行业产业互联网数字化转型,这是亚信数据的初衷”,这和以往最大的变化是,过去的系统建设往往是分专业纵向建设,现在则是按平台横向建设,通过调用平台服务的模式,来构建各种专业应用系统,已不再是传统集成商的系统建设模式。亚信数据正努力通过PaaS平台将多年沉淀的各种业务组件以微服务和API(应用编程接口)的形式,为应用系统的开发、部署和运维提供便捷、高效、安全、稳定的业务建设和运行模式,杨映南表示。

  宝剑锋从磨砺出

  三年来,亚信数据投入重金和精干的研发力量,克服艰难困苦,矢志不渝专心致力于这些产品的研发。例如,在最初数据库选型的时候,亚信数据的研发人员首先调研和尝试了各种互联网数据库的产品用于企业级业务应用场景。然而,互联网证书业务的集群规模庞大,动辄成千上万节点和PB级的数据规模,需要承载百万TPS和上亿QPS业务请求。因为这些特点,互联网业务优先强调数据库的可扩展性,弱化对数据一致性的要求,通过业务系统来保证数据最终一致性,需要应用的开发去适应互联网数据库的架构特点。

  通过对企业级客户真实场景的研究,亚信研发人员发现这种纯互联网的数据库架构特点并不适用于在企业级生产环境应用。在大多数情况下,企业级数据库架构集群规模并没有那么大,往往单库规模为数十个节点,数据规模通常在10T以下,处理能力为数千TPS和上万QPS。业务高度依赖数据库ACID(原子性、一致性、隔离性、持久性)能力,必须保证数据在任何场景下的强一致性。在应用开发方面,由于已经多年开发,需要支持透明、低成本的从现有数据库向自主可控的国产数据库平滑迁移。

  于是,亚信数据研发团队历经三年开发完成了更具企业级特色的分布式关系型数据库ADB,侧重于事务处理、分布式、高扩展、强一致性,产品全部自主开发,知识产权完全可控,能满足企业级核心业务系统需求,而不是像互联网业务需要部署成千上万个节点。

  而对于容器云平台HPS,是因为亚信数据研发团队看到了用户在X86化或虚拟化后的IT系统仍面临诸多挑战,例如,系统高可靠性下降、业务缺乏弹性伸缩能力、应用缺乏敏捷开发部署能力、运维缺乏自动化管理能力等。因此,亚信做的PaaS平台要支持上层业务能跑在新一代容器上,要和传统的虚拟化做明确的分割,支持集成、编排、管控,且能支撑应用的敏捷开发和应用的微服务化。

  另外,在大数据云服务平台建设上,目前业界普遍存在的异构混搭架构也面临着诸多挑战。旧的大数据平台在应对层出不穷的新的大数据服务时,疲于应付;某些服务不支持资源隔离,为避免应用间的资源竞争,只能每个应用新部署一个集群;各个集群相互独立,形成数据孤岛和烟囱式资源分配,资源利用率低,灵活调度能力弱;集群数量不断增加,运维难度越来越大。

  因此,亚信数据研发团队又基于大数据服务特点,以实现托管服务的统一资源调度、支持对已有集群/服务的纳管、提供面向租户的服务管理等开发思路,开发了亚信大数据云平台DCP2.0。它具有以下几个特点:1.支持托管和纳管服务类型,托管类服务共享底层的资源,具有弹性伸缩和高可用能力;纳管服务通过管控API,实现各种服务的集中管理;2.资源灵活调度:基于Hadoop HDFS的统一数据存储;基于Hadoop Yarn的统一计算调度;3.在管理平台上实现集中的租户、资源、服务、工具、运维管理。

  对于未来,杨映南表示,将在三个层面继续增强亚信PaaS平台能力,第一是持续提高性能和稳定性,第二是具备服务热插拔能力,再者就是平台安全性。因为,大数据平台早已不仅仅是企业内部的生产平台,而是更多承载数据和应用对外开放协同的能力,不断提高安全隐患的防范能力。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
编解码 边缘计算 Cloud Native
《2022中国云游戏行业认知与观察》——第四章、解读多家专业机构的研究报告 了解云游戏行业的发展——4.2 元境与信通院联合发布《实时互动白皮书》 为产业升级提供科技支撑
《2022中国云游戏行业认知与观察》——第四章、解读多家专业机构的研究报告 了解云游戏行业的发展——4.2 元境与信通院联合发布《实时互动白皮书》 为产业升级提供科技支撑
135 0
|
Oracle 安全 前端开发
乐歌跨境电商高速发展背后,甲骨文云撑起“云底座”
乐歌跨境电商高速发展背后,甲骨文云撑起“云底座”
|
边缘计算 人工智能 安全
|
安全 专有云 大数据
云端落地之战背后的合作伙伴生态之争
云端落地之战背后的合作伙伴生态之争
云端落地之战背后的合作伙伴生态之争
|
分布式计算 监控 大数据
【数道云大数据】Hadoop大数据技术有什么市场价值?2019年Hadoop大数据技术7大应用领域
由于国家对大数据、AI等等技术的关注,在多次发展规划中都提高了大数据技术,因此大数据技术对于这个时代的发展来说至关重要,大数据也正处于发展期、巩固期,基于已有的技术去完善和不断的发展大数据技术产品,满足互联网不符按发在的需求,使国家的技术产业得到进步和发展。
1161 0