开发者社区> 宜信技术学院> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

宜信数据中台全揭秘(一)数据中台整体介绍|分享实录

简介: 主要内容:结合目前宜信的业务,分享数据中台的主要研发逻辑和具体功能,以及解决哪几项核心问题。
+关注继续查看

内容来源:宜信技术学院第11期技术沙龙|宜信数据中台全揭秘(一)数据中台整体介绍

主讲人:宜信数据中台解决方案架构师 裴国强
PPT下载:链接: https://pan.baidu.com/s/1eSkSdUo6FmYFmcE4xg0vjw 密码: 99uh

一、数据中台定位

1.1 ADX整体简介-中台定位


主要内容:结合目前宜信的业务,分享数据中台的主要研发逻辑和具体功能,以及解决哪几项核心问题。首先对中台的服务范围说明:

  • 企业级:针对是整个企业的所有业务部门,横向贯穿整个业务线的数据,纵向贯穿整个数据生命周期,从最开始的数据采集(DB,日志,消息,文件),入湖,标准化,开发(批量作业,流式作业)维度表,最后到数据服务和数据应用。
  • 复用:复用的范围包括,能力的复用,逻辑的复用,数据资产的复用,算法的复用。
  • 能力:对平台能力进行抽象,对于不同平台的对能力的抽象,业务平台(流程控制,管理,审批,权限「等级,继承」,调度),数据平台(批量,流式,UDF,UDAF,数据质量,血缘分析,数据地图,调度,数据资产管理,权限,数据服务)。

分横向和纵向两个方面:

横向划分

  • 大数据基础集群:更贴近硬件的平台,负责提供稳定及高可用的计算运行环境,及安全的数据存储环境
  • HDFS-数据湖的基础存储,存放表每天的快照,和增量数据。
  • KUDU-最新快照,用于即席查询,数据服务,流式数据快照。
  • ClickHouse-Clickhouse做DW和DM层的存储。
  • 数据中台 :对数据能力的抽象 ,数据的流式和批量加工,数据资产的发布,数据统一落湖,质量管理检测,脱敏加密,统一数据出口能力。
  • 业务前台:对业务系统,业务线数据团队,提供各种不同的数据能力。使其能在中台上沉淀企业级数据资产。

纵向划分

  • 数据管理委员会:对数据资产的质量认证,数据使用权限的授权,数据治理项目推动实施。
  • 数据运营团队:客户标签,用户画像,产品画像,智能推荐,精细化管理。
  • 数据安全团队:数据脱敏加密,安全密钥管控,数据风险的控制。

二、数据中台价值

2.1 数据中台价值

  • 快:

传统数仓定制化报表,排期周期长,响应需求慢,重复开发工作比较多。T+1的数据失效也满足不了现在互联网业务场景下对数据实时处理能力的需求。对中台平台自主化开发,可以提升数据加工能力沉淀,以及实时数据处理能力。

  • 准:

数据获取准确性,通过统一数据抽取平台对数据实时抽取,同时完成标准化,入湖,脱敏发布。通过元数据和血缘分析准确获取数据地图。通过模型管理和统一模型口径。

  • 省:

节省人力成本,大大降低大数据处理的技术门槛,使用户能够快速上手。节省需求排期时间,使数据能更快的响应业务需求。节省硬件资源,通过对平台资源的整合,规划,节省硬件使用维护成本。

2.2 数据总线平台DBus


DBus面向大数据项目开发和管理运维人员,致力于提供数据实时采集和分发解决方案。平台采用高可用流式计算框架,提供海量数据实时传输,可靠多路消息订阅分发,通过简单灵活的配置,无侵入接入源端数据,对各个IT系统在业务流程中产生的数据进行汇集,并统一处理转换成通过JSON描述的UMS格式,提供给不同下游客户订阅和消费。DBus可充当数仓平台、大数据分析平台、实时报表和实时营销等业务的数据源。目前dbus支持的数据源包括 mysql,Orale db2,Mongo,日志系统,文件系统等。

2.3 流式处理平台Wormhole

Wormhole面向大数据项目开发和管理运维人员,致力于提供数据流式处理解决方案。平台专注于简化和统一开发管理流程,提供可视化的操作界面,基于配置和SQL的业务开发方式,屏蔽底层技术实现细节,极大降低了开发门槛,使得大数据流式处理项目的开发和管理变得更加轻量敏捷、可控可靠。

2.4 虚拟混算服务平台Moonbox


Moonbox面向数据仓库工程师/数据分析师/数据科学家等,致力于提供数据虚拟化解决方案。既可作为数据应用底层数据查询计算统一入口,也可作为逻辑数据仓库与现有数据仓库互补。用户只需通过统一SQL服务调用和Moonbox交互,即可透明屏蔽异构数据系统异构交互方式,轻松实现跨异构数据系统透明混算。

2.5 数据化可视应用平台Davinci


Davinci面向业务人员/数据工程师/数据分析师/数据科学家,致力于提供一站式数据可视化解决方案。既可作为公有云/私有云独立部署使用,也可作为可视化插件集成到三方系统。用户只需在可视化UI上简单配置即可服务多种数据可视化应用,并支持高级交互/行业分析/模式探索/社交智能等可视化功能。

三、数据中台模块架构

3.1 数据中台模块架构


宜信中台整体底层采用wormhole+dbus+moonbox作为数据采集,加工,处理的底层引擎,通过服务的形式形成底层接口层提供数据实时处理的基础能力,在通过对接口层的整合,形成数据加工处理的子服务,使数据中台的后台服务完成调度,鉴权,认证,监控,告警。通过对不同组件层的能力整合完成了各项数据能力批量作业编排,调度,补数,手动重启,流式数据逻辑加工(source,lookup,transformation,union) flow在stream内的物理执行顺序,流式数据落湖,流式数据回溯。

3.2 功能目录


菜单划分
管理类(审批,库表,团队,规则,密钥,监控,预警,元数据);
功能类(批量作业,流式作业,即席查询,数据发布);
数据应用类(血缘分析,数据地图,数据模型,数据质量)。

四、解决核心问题概览

4.1 批量作业处理


专注于作业编辑编排,是数据项目的IDE,具体执行提交到对应中间件工具上执行。
简单一致的IDE体验

  • 批量作业、流式作业拖拽式编排
  • 批量作业、流式作业SQL式开发
  • 全局唯一表名,屏蔽异构数据系统
  • 开发期可验证SQL和数据正确性

4.2 流式作业处理


主要解决数据处理流程中错综复杂的依赖关系。

后面的沙龙我们将详细的介绍宜信数据中台的批量处理和流式处理功能请大家持续关注我们。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
一文介绍Pandas中的9种数据访问方式
Pandas之于日常数据分析工作的重要地位不言而喻,而灵活的数据访问则是其中的一个重要环节。本文旨在讲清Pandas中的9种数据访问方式,包括范围读取和条件查询等。
143 0
HaaS EDU场景式应用整体介绍
HaaS EDU K1是HaaS家族中针对教育场景推出的、集众多传感器于一身的嵌入式教育开发板,是学习物联网相关技术的最好载体。
211 0
数据中台观点分享
以往IT建设主要专注于将各种业务场景电子化,也就是手工记帐转向电子记帐,俗称"自动化"的过程。过去20年IT建设围绕"自动化"以及业务优化做了大量工作,基本实现了各业务竖井的管理需求。如今,云计算、大数据和人工智能技术的发展促进了新一代的技术革命,IT时代开始快速过渡到DT时代(大数据时代)。
841 0
《R语言游戏数据分析与挖掘》一3.2 低级绘图函数
本节书摘来华章计算机《R语言游戏数据分析与挖掘》一书中的第3章 ,第3.2节,谢佳标 著 更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1891 0
游戏运营技术之---->网游数据分析指标
这些天好多人问我什么是IB(Item-Billing),OBT,CBT,PUR等等,今天这对这些问题写一个汇总,鄙人不才各方汇集资料和自己的理解,暂时为大家提供一些术语的解释和使用。 插一句题外话,几天前看到一个在游戏资源网上的一个评论,截图如下: 如果要回答这个问题,我想到一个最近看到的面试题目,大家先想想看怎么来解答,如果你能给出来正确的解答,并且明白反映的道理,那么你也就明白我该如何解释这位网游的疑问了。
1487 0
+关注
宜信技术学院
宜信技术学院是宜信旗下的金融科技能力展示与输出平台。通过分享在金融科技领域的开源成果、研发实践促进金融科技生态圈企业创新升级。
文章
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
阿里巴巴数据中台实践分享
立即下载
消电行业数据中台解决方案白皮书
立即下载
阿里巴巴移动中台技术与应用
立即下载