亚信数据新一代PaaS平台是如何炼成的?

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:   日前,亚信数据发布旗下多款PaaS产品,包括亚信分布式数据库ADB、容器云计算平台HPS、大数据云平台DCP。这三款产品在亚信内部历经了3年的研发投入和攻关,并在客户项目中得到了实践部署。随着这些系列产品的正式亮相,它们共同构建了亚信完整的PaaS平台解决方案,将亚信拥有的大数据、CRM(客户关系管理系统)、BOSS(业务运营支撑系统)以及众多核心能力逐渐服务化、组件化,由该平台统一承载。

  日前,亚信数据发布旗下多款PaaS产品,包括亚信分布式数据库ADB、容器云计算平台HPS、大数据云平台DCP。这三款产品在亚信内部历经了3年的研发投入和攻关,并在客户项目中得到了实践部署。随着这些系列产品的正式亮相,它们共同构建了亚信完整的PaaS平台解决方案,将亚信拥有的大数据、CRM(客户关系管理系统)、BOSS(业务运营支撑系统)以及众多核心能力逐渐服务化、组件化,由该平台统一承载。

  在活动现场,亚信数据副总裁、大数据平台产品线总经理杨映南接受记者采访,并就产品研发的历程、特色,以及业界大数据热点话题分享了自己的看法。

  早在2013年的时候,亚信大数据平台专家技术团队就已组建,在亚信数据(公司)成立后, 这支团队作为公司的技术精英队伍,隶属于亚信大数据平台产品线。杨映南认为,亚信在大数据技术方向布局比较早,在一开始就意识到想实现亚信产业互联网战略的落地,要依靠稳定和可靠的底层技术架构和相应的基础软件来支撑上层各种业务系统。三年来,这一理念也伴随着亚信数据从业务服务型公司向技术产品型公司的转型。

  “这些年来,我们正在努力把亚信服务电信运营商的技术能力,通过先进的互联网技术手段转化为标准化产品,由此推动各行业产业互联网数字化转型,这是亚信数据的初衷”,这和以往最大的变化是,过去的系统建设往往是分专业纵向建设,现在则是按平台横向建设,通过调用平台服务的模式,来构建各种专业应用系统,已不再是传统集成商的系统建设模式。亚信数据正努力通过PaaS平台将多年沉淀的各种业务组件以微服务和API(应用编程接口)的形式,为应用系统的开发、部署和运维提供便捷、高效、安全、稳定的业务建设和运行模式,杨映南表示。

  宝剑锋从磨砺出

  三年来,亚信数据投入重金和精干的研发力量,克服艰难困苦,矢志不渝专心致力于这些产品的研发。例如,在最初数据库选型的时候,亚信数据的研发人员首先调研和尝试了各种互联网数据库的产品用于企业级业务应用场景。然而,互联网证书业务的集群规模庞大,动辄成千上万节点和PB级的数据规模,需要承载百万TPS和上亿QPS业务请求。因为这些特点,互联网业务优先强调数据库的可扩展性,弱化对数据一致性的要求,通过业务系统来保证数据最终一致性,需要应用的开发去适应互联网数据库的架构特点。

  通过对企业级客户真实场景的研究,亚信研发人员发现这种纯互联网的数据库架构特点并不适用于在企业级生产环境应用。在大多数情况下,企业级数据库架构集群规模并没有那么大,往往单库规模为数十个节点,数据规模通常在10T以下,处理能力为数千TPS和上万QPS。业务高度依赖数据库ACID(原子性、一致性、隔离性、持久性)能力,必须保证数据在任何场景下的强一致性。在应用开发方面,由于已经多年开发,需要支持透明、低成本的从现有数据库向自主可控的国产数据库平滑迁移。

  于是,亚信数据研发团队历经三年开发完成了更具企业级特色的分布式关系型数据库ADB,侧重于事务处理、分布式、高扩展、强一致性,产品全部自主开发,知识产权完全可控,能满足企业级核心业务系统需求,而不是像互联网业务需要部署成千上万个节点。

  而对于容器云平台HPS,是因为亚信数据研发团队看到了用户在X86化或虚拟化后的IT系统仍面临诸多挑战,例如,系统高可靠性下降、业务缺乏弹性伸缩能力、应用缺乏敏捷开发部署能力、运维缺乏自动化管理能力等。因此,亚信做的PaaS平台要支持上层业务能跑在新一代容器上,要和传统的虚拟化做明确的分割,支持集成、编排、管控,且能支撑应用的敏捷开发和应用的微服务化。

  另外,在大数据云服务平台建设上,目前业界普遍存在的异构混搭架构也面临着诸多挑战。旧的大数据平台在应对层出不穷的新的大数据服务时,疲于应付;某些服务不支持资源隔离,为避免应用间的资源竞争,只能每个应用新部署一个集群;各个集群相互独立,形成数据孤岛和烟囱式资源分配,资源利用率低,灵活调度能力弱;集群数量不断增加,运维难度越来越大。

  因此,亚信数据研发团队又基于大数据服务特点,以实现托管服务的统一资源调度、支持对已有集群/服务的纳管、提供面向租户的服务管理等开发思路,开发了亚信大数据云平台DCP2.0。它具有以下几个特点:1.支持托管和纳管服务类型,托管类服务共享底层的资源,具有弹性伸缩和高可用能力;纳管服务通过管控API,实现各种服务的集中管理;2.资源灵活调度:基于Hadoop HDFS的统一数据存储;基于Hadoop Yarn的统一计算调度;3.在管理平台上实现集中的租户、资源、服务、工具、运维管理。

  对于未来,杨映南表示,将在三个层面继续增强亚信PaaS平台能力,第一是持续提高性能和稳定性,第二是具备服务热插拔能力,再者就是平台安全性。因为,大数据平台早已不仅仅是企业内部的生产平台,而是更多承载数据和应用对外开放协同的能力,不断提高安全隐患的防范能力。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
消息中间件 存储 算法
RocketMQ 重试机制详解及最佳实践
本文主要介绍在使用 RocketMQ 时为什么需要重试与兜底机制,生产者与消费者触发重试的条件和具体行为,如何在 RocketMQ 中合理使用重试机制,帮助构建弹性,高可用系统的最佳实践。
1696 0
RocketMQ 重试机制详解及最佳实践
|
安全 NoSQL Java
微服务网关:你的系统不可或缺的“守门人”
微服务网关是系统的统一入口,解决多服务下的路由、鉴权、限流等问题。本文详解其核心功能、主流方案对比,并用Spring Cloud Gateway实战实现JWT鉴权与Redis限流,助你构建高效、安全的微服务架构。
229 0
|
SQL 安全 PHP
基于PHPCMS的SQL注入(Havij)
基于PHPCMS的SQL注入(Havij)
|
人工智能 Prometheus Cloud Native
新场景、新能力,AI-native 时代的可观测革新
借助 AI-native 可观测解决方案,阿里云为用户提供开箱即用的覆盖大模型应用、大模型到基础设施的全链路实时观测、告警与诊断能力,帮助企业在复杂的数字化转型过程中更有效地确保资源的高效利用与业务的持续成功。
939 117
|
搜索推荐 安全 数据安全/隐私保护
构建高效网站后台会员管理系统:实战指南与代码示例
【7月更文挑战第5天】在当今的互联网时代,几乎每个网站或应用程序都需要一个强大的会员管理系统来维护用户信息、权限控制以及个性化体验。一个设计良好的会员管理系统不仅能够提升用户体验,还能增强数据安全性和运营效率。本文将深入探讨如何从零开始构建一个网站后台会员管理系统,涵盖系统设计思路、关键技术选型、功能模块实现,以及实战代码示例。
1299 3
|
10月前
|
编解码 弹性计算 大数据
软硬结合助力倚天云原生算力再进化,加速大数据、视频转码上云步伐
本文介绍了云原生算力的进化,重点讨论了倚天710 CPU在大数据和视频转码场景中的应用与优势。倚天710采用ARM架构,通过物理核设计和CIPU加速卡优化,显著提升了高负载下的性能稳定性,并在实际应用中帮助客户实现了20%-40%的性能提升和成本降低。此外,文章还探讨了操作系统、编译器等底层软件的优化,以及如何通过龙蜥社区和阿里云平台支持更多应用场景,助力企业实现高效迁移和性能优化。
|
12月前
|
运维 监控 网络协议
网络诊断必备:Ping、Traceroute、Wireshark的实用技巧详解
网络诊断必备:Ping、Traceroute、Wireshark的实用技巧详解
2738 0
|
JavaScript Linux
【详细讲解】Linux grep命令用法大全 片尾有示例搜索指定目录中指定文件后缀的指定字符
【详细讲解】Linux grep命令用法大全 片尾有示例搜索指定目录中指定文件后缀的指定字符
614 1
|
算法 数据库 开发者
[软件工程导论(第六版)]第3章 需求分析(复习笔记)
[软件工程导论(第六版)]第3章 需求分析(复习笔记)
|
存储 SQL 关系型数据库
认真学习MySQL中的那些日志文件-通用查询日志&错误日志
认真学习MySQL中的那些日志文件-通用查询日志&错误日志
1079 1