日前,亚信数据发布旗下多款PaaS产品,包括亚信分布式数据库ADB、容器云计算平台HPS、大数据云平台DCP。这三款产品在亚信内部历经了3年的研发投入和攻关,并在客户项目中得到了实践部署。随着这些系列产品的正式亮相,它们共同构建了亚信完整的PaaS平台解决方案,将亚信拥有的大数据、CRM(客户关系管理系统)、BOSS(业务运营支撑系统)以及众多核心能力逐渐服务化、组件化,由该平台统一承载。
在活动现场,亚信数据副总裁、大数据平台产品线总经理杨映南接受记者采访,并就产品研发的历程、特色,以及业界大数据热点话题分享了自己的看法。
早在2013年的时候,亚信大数据平台专家技术团队就已组建,在亚信数据(公司)成立后, 这支团队作为公司的技术精英队伍,隶属于亚信大数据平台产品线。杨映南认为,亚信在大数据技术方向布局比较早,在一开始就意识到想实现亚信产业互联网战略的落地,要依靠稳定和可靠的底层技术架构和相应的基础软件来支撑上层各种业务系统。三年来,这一理念也伴随着亚信数据从业务服务型公司向技术产品型公司的转型。
“这些年来,我们正在努力把亚信服务电信运营商的技术能力,通过先进的互联网技术手段转化为标准化产品,由此推动各行业产业互联网数字化转型,这是亚信数据的初衷”,这和以往最大的变化是,过去的系统建设往往是分专业纵向建设,现在则是按平台横向建设,通过调用平台服务的模式,来构建各种专业应用系统,已不再是传统集成商的系统建设模式。亚信数据正努力通过PaaS平台将多年沉淀的各种业务组件以微服务和API(应用编程接口)的形式,为应用系统的开发、部署和运维提供便捷、高效、安全、稳定的业务建设和运行模式,杨映南表示。
宝剑锋从磨砺出
三年来,亚信数据投入重金和精干的研发力量,克服艰难困苦,矢志不渝专心致力于这些产品的研发。例如,在最初数据库选型的时候,亚信数据的研发人员首先调研和尝试了各种互联网数据库的产品用于企业级业务应用场景。然而,互联网证书业务的集群规模庞大,动辄成千上万节点和PB级的数据规模,需要承载百万TPS和上亿QPS业务请求。因为这些特点,互联网业务优先强调数据库的可扩展性,弱化对数据一致性的要求,通过业务系统来保证数据最终一致性,需要应用的开发去适应互联网数据库的架构特点。
通过对企业级客户真实场景的研究,亚信研发人员发现这种纯互联网的数据库架构特点并不适用于在企业级生产环境应用。在大多数情况下,企业级数据库架构集群规模并没有那么大,往往单库规模为数十个节点,数据规模通常在10T以下,处理能力为数千TPS和上万QPS。业务高度依赖数据库ACID(原子性、一致性、隔离性、持久性)能力,必须保证数据在任何场景下的强一致性。在应用开发方面,由于已经多年开发,需要支持透明、低成本的从现有数据库向自主可控的国产数据库平滑迁移。
于是,亚信数据研发团队历经三年开发完成了更具企业级特色的分布式关系型数据库ADB,侧重于事务处理、分布式、高扩展、强一致性,产品全部自主开发,知识产权完全可控,能满足企业级核心业务系统需求,而不是像互联网业务需要部署成千上万个节点。
而对于容器云平台HPS,是因为亚信数据研发团队看到了用户在X86化或虚拟化后的IT系统仍面临诸多挑战,例如,系统高可靠性下降、业务缺乏弹性伸缩能力、应用缺乏敏捷开发部署能力、运维缺乏自动化管理能力等。因此,亚信做的PaaS平台要支持上层业务能跑在新一代容器上,要和传统的虚拟化做明确的分割,支持集成、编排、管控,且能支撑应用的敏捷开发和应用的微服务化。
另外,在大数据云服务平台建设上,目前业界普遍存在的异构混搭架构也面临着诸多挑战。旧的大数据平台在应对层出不穷的新的大数据服务时,疲于应付;某些服务不支持资源隔离,为避免应用间的资源竞争,只能每个应用新部署一个集群;各个集群相互独立,形成数据孤岛和烟囱式资源分配,资源利用率低,灵活调度能力弱;集群数量不断增加,运维难度越来越大。
因此,亚信数据研发团队又基于大数据服务特点,以实现托管服务的统一资源调度、支持对已有集群/服务的纳管、提供面向租户的服务管理等开发思路,开发了亚信大数据云平台DCP2.0。它具有以下几个特点:1.支持托管和纳管服务类型,托管类服务共享底层的资源,具有弹性伸缩和高可用能力;纳管服务通过管控API,实现各种服务的集中管理;2.资源灵活调度:基于Hadoop HDFS的统一数据存储;基于Hadoop Yarn的统一计算调度;3.在管理平台上实现集中的租户、资源、服务、工具、运维管理。
对于未来,杨映南表示,将在三个层面继续增强亚信PaaS平台能力,第一是持续提高性能和稳定性,第二是具备服务热插拔能力,再者就是平台安全性。因为,大数据平台早已不仅仅是企业内部的生产平台,而是更多承载数据和应用对外开放协同的能力,不断提高安全隐患的防范能力。