亚信数据新一代PaaS平台是如何炼成的?

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:   日前,亚信数据发布旗下多款PaaS产品,包括亚信分布式数据库ADB、容器云计算平台HPS、大数据云平台DCP。这三款产品在亚信内部历经了3年的研发投入和攻关,并在客户项目中得到了实践部署。随着这些系列产品的正式亮相,它们共同构建了亚信完整的PaaS平台解决方案,将亚信拥有的大数据、CRM(客户关系管理系统)、BOSS(业务运营支撑系统)以及众多核心能力逐渐服务化、组件化,由该平台统一承载。

  日前,亚信数据发布旗下多款PaaS产品,包括亚信分布式数据库ADB、容器云计算平台HPS、大数据云平台DCP。这三款产品在亚信内部历经了3年的研发投入和攻关,并在客户项目中得到了实践部署。随着这些系列产品的正式亮相,它们共同构建了亚信完整的PaaS平台解决方案,将亚信拥有的大数据、CRM(客户关系管理系统)、BOSS(业务运营支撑系统)以及众多核心能力逐渐服务化、组件化,由该平台统一承载。

  在活动现场,亚信数据副总裁、大数据平台产品线总经理杨映南接受记者采访,并就产品研发的历程、特色,以及业界大数据热点话题分享了自己的看法。

  早在2013年的时候,亚信大数据平台专家技术团队就已组建,在亚信数据(公司)成立后, 这支团队作为公司的技术精英队伍,隶属于亚信大数据平台产品线。杨映南认为,亚信在大数据技术方向布局比较早,在一开始就意识到想实现亚信产业互联网战略的落地,要依靠稳定和可靠的底层技术架构和相应的基础软件来支撑上层各种业务系统。三年来,这一理念也伴随着亚信数据从业务服务型公司向技术产品型公司的转型。

  “这些年来,我们正在努力把亚信服务电信运营商的技术能力,通过先进的互联网技术手段转化为标准化产品,由此推动各行业产业互联网数字化转型,这是亚信数据的初衷”,这和以往最大的变化是,过去的系统建设往往是分专业纵向建设,现在则是按平台横向建设,通过调用平台服务的模式,来构建各种专业应用系统,已不再是传统集成商的系统建设模式。亚信数据正努力通过PaaS平台将多年沉淀的各种业务组件以微服务和API(应用编程接口)的形式,为应用系统的开发、部署和运维提供便捷、高效、安全、稳定的业务建设和运行模式,杨映南表示。

  宝剑锋从磨砺出

  三年来,亚信数据投入重金和精干的研发力量,克服艰难困苦,矢志不渝专心致力于这些产品的研发。例如,在最初数据库选型的时候,亚信数据的研发人员首先调研和尝试了各种互联网数据库的产品用于企业级业务应用场景。然而,互联网证书业务的集群规模庞大,动辄成千上万节点和PB级的数据规模,需要承载百万TPS和上亿QPS业务请求。因为这些特点,互联网业务优先强调数据库的可扩展性,弱化对数据一致性的要求,通过业务系统来保证数据最终一致性,需要应用的开发去适应互联网数据库的架构特点。

  通过对企业级客户真实场景的研究,亚信研发人员发现这种纯互联网的数据库架构特点并不适用于在企业级生产环境应用。在大多数情况下,企业级数据库架构集群规模并没有那么大,往往单库规模为数十个节点,数据规模通常在10T以下,处理能力为数千TPS和上万QPS。业务高度依赖数据库ACID(原子性、一致性、隔离性、持久性)能力,必须保证数据在任何场景下的强一致性。在应用开发方面,由于已经多年开发,需要支持透明、低成本的从现有数据库向自主可控的国产数据库平滑迁移。

  于是,亚信数据研发团队历经三年开发完成了更具企业级特色的分布式关系型数据库ADB,侧重于事务处理、分布式、高扩展、强一致性,产品全部自主开发,知识产权完全可控,能满足企业级核心业务系统需求,而不是像互联网业务需要部署成千上万个节点。

  而对于容器云平台HPS,是因为亚信数据研发团队看到了用户在X86化或虚拟化后的IT系统仍面临诸多挑战,例如,系统高可靠性下降、业务缺乏弹性伸缩能力、应用缺乏敏捷开发部署能力、运维缺乏自动化管理能力等。因此,亚信做的PaaS平台要支持上层业务能跑在新一代容器上,要和传统的虚拟化做明确的分割,支持集成、编排、管控,且能支撑应用的敏捷开发和应用的微服务化。

  另外,在大数据云服务平台建设上,目前业界普遍存在的异构混搭架构也面临着诸多挑战。旧的大数据平台在应对层出不穷的新的大数据服务时,疲于应付;某些服务不支持资源隔离,为避免应用间的资源竞争,只能每个应用新部署一个集群;各个集群相互独立,形成数据孤岛和烟囱式资源分配,资源利用率低,灵活调度能力弱;集群数量不断增加,运维难度越来越大。

  因此,亚信数据研发团队又基于大数据服务特点,以实现托管服务的统一资源调度、支持对已有集群/服务的纳管、提供面向租户的服务管理等开发思路,开发了亚信大数据云平台DCP2.0。它具有以下几个特点:1.支持托管和纳管服务类型,托管类服务共享底层的资源,具有弹性伸缩和高可用能力;纳管服务通过管控API,实现各种服务的集中管理;2.资源灵活调度:基于Hadoop HDFS的统一数据存储;基于Hadoop Yarn的统一计算调度;3.在管理平台上实现集中的租户、资源、服务、工具、运维管理。

  对于未来,杨映南表示,将在三个层面继续增强亚信PaaS平台能力,第一是持续提高性能和稳定性,第二是具备服务热插拔能力,再者就是平台安全性。因为,大数据平台早已不仅仅是企业内部的生产平台,而是更多承载数据和应用对外开放协同的能力,不断提高安全隐患的防范能力。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
敏捷开发 运维 Cloud Native
牵手南方基金,打造新一代国产云原生数据分析平台
牵手南方基金,打造新一代国产云原生数据分析平台
219 0
|
Oracle 安全 前端开发
乐歌跨境电商高速发展背后,甲骨文云撑起“云底座”
乐歌跨境电商高速发展背后,甲骨文云撑起“云底座”
|
人工智能 安全 大数据
天津市大数据管理中心公布百个大数据优秀解决方案,紫光云、浪潮云、中科曙光等企业入选
天津市大数据管理中心公布百个大数据优秀解决方案,紫光云、浪潮云、中科曙光等企业入选
天津市大数据管理中心公布百个大数据优秀解决方案,紫光云、浪潮云、中科曙光等企业入选
|
人工智能 自动驾驶 5G
中科创达新一代智能驾驶舱已来,背后蕴藏哪些智能汽车技术新动向?
天际汽车、车和家、小鹏、拜腾等新造车企业均与中科创达建立了合作。
2115 0
|
安全 云计算 运维
选型宝访谈:怎样超越超融合,构建新一代企业级云计算平台?
写在前面 企业上云,是最近一两年CIO圈子里最热门的话题之一。在“互联网+”时代,IT云化正成为各行业转型、创新、增长的最新驱动力。另一方面,从传统云架构到超融合,从硬件定义到软件定义,今天越来越成熟的云计算技术也为企业上云提供了坚实的基础。
1375 0
|
存储 算法 数据挖掘
阿里云&数数科技联合打造新一代游戏数据分析系统正式上线
一、行业综述 随着游戏产业进入成熟期,行业竞争日益激烈,给企业的市场运营及拓展带来了极大挑战,主要体现在两方面: 1、流量质量堪忧,价格越来越高,获客成本在运营投入中的比例居高不下; 2、玩家对于品质的要求越来越高,游戏项目的生命周期越来越短,直接影响项目的投入产出比; 在这样的背景下,越来越多的公司开始重视数据化运营体系的构建,通过基于数据指导的精细化运营,替代传统的基于直觉、经验的运营模式,进而达到降低获客成本、延长项目生命周期,对各个阶段的业务走向进行精准把控的目的。
5794 0
|
人工智能 虚拟化 异构计算
阿里云虚拟化平台携手麦腾举办AI时代的加速核心武器交流会
阿里云虚拟化平台响应国家十九大号召,带领中国走进新时代,从人工智能起航,异构计算满足各种AI场景的云计算需求,在寒冷的冬季为人工智能初创企业年对上云的困难,带来了一股暖流,现场不仅仅是交流乐技术,现场宣布了人工智能初创企业扶持基金计划。
6213 0