开发者社区> 隐林> 正文

交易数据清算从8小时缩至1.5小时,飞天大数据平台MaxCompute解决余额宝算力难题

简介: 关于天弘:天弘基金作为国内总规模最大的公募基金,阿里云MaxCompute为我们构建了企业级一站式大数据解决方案。MaxCompute对于海量数据的存储、运维、计算能力强大且安全稳定,阿里云服务将原本需要清算8小时的用户交易数据缩短至清算1个半小时,同时减少了本地服务器部署压力,在显著提升我们工作效率的同时减少了大量开发成本和人力成本,使我们能更专注于业务发展,为用户提供高品质、高价值的金融服务。
+关注继续查看

天弘基金作为国内总规模最大的公募基金,阿里云MaxCompute为我们构建了企业级一站式大数据解决方案。MaxCompute对于海量数据的存储、运维、计算能力强大且安全稳定,MaxCompute服务将原本需要清算8小时的用户交易数据缩短至清算1个半小时,同时减少了本地服务器部署压力,在显著提升我们工作效率的同时减少了大量开发成本和人力成本,使我们能更专注于业务发展,为用户提供高品质、高价值的金融服务。

背景:
随着余额宝用户数持续呈指数级增长,数据量也成倍增长。在这种情况之下,已经无法通过简单的hadoop集群进行数据的管理工作,而业务端面临需要通过数据了解用户、分析行为进而对业务决策和用户行为进行精准预测。基于这些业务的需求驱动需要一个大数据平台来承载,我们在对稳定性、成本、自身能力和复杂度等进行综合考量后,决定采用当前最流行和最成熟的云平台·阿里云MaxCompute。

目标:
搭建大数据平台从技术指标的角度是数据存储和数据计算两大目标,而从各个业务环节的角度看是数据采集、数据清洗、在线/离线分析与预测、实时/非实时查询。而业务目标是为了能够快速响应业务需求,能够为业务分析提供稳定的开发和建模平台,为业务提供逻辑清晰和灵活便捷的可视化平台。从而实现从数据支持业务到数据驱动业务的逐步升级。

解决方案及架构:
20190730225247

整个架构都是搭建在阿里云上的,该架构是成熟的三层架构:采集层+整合层+应用层。

采集层:
采集层对接了我们几乎所有的业务,采集数据的频率有实时的、分钟级、小时级、日级、月级,支持不同的采集频率,而且这些都是灵活可配置的。将采集的数据通过企业级的数据交换平台进行存储和交换,该平台使用OSS实现。通过OSS可以实现数据的中转、分发和备份存储。

整合层:
在MaxCompute整个整合层包含了五大区:缓冲区、ODS区、整合区、主数据和汇总区。不同的区域为了实现不同的功能,缓冲区是为了在正式进入数仓应用数据模块之前进行数据质检,满足质检后方可进行真正的加工处理,避免因为数据错误污染整个数仓的数据;ODS区是为了保留源系统格式的数据模块,一方面能够在有问题时追根溯源,另一方面能够满足部分业务的需要;整合区是数据仓库的核心区域,通过主题建模的方式进行数据的模型化处理,使得数据的解释口径具有统一性;主数据则是与业务结合比较紧密的主题数据,这样更方便业务方的使用;汇总区则是提前将需要预加工统计的数据进行统计计算,避免多次开发计算带来的时间成本、开发成本和计算成本等。

应用层:
应用层主要是通过监控、管理看板、报表等可视化系统给业务提供直观的数据呈现,从而为业务的决策提供更加有力的数据支撑。在应用层通过RDS、ADS、HBase等不同的产品满足了不同的需求。

对于数据仓库来说是一个比较复杂的系统,需要很多配套的系统辅助才能做好这样的项目。而其中很多系统在MaxCompute、DataWorks中都已经产品化,大大的简化了大数据平台的搭建和运维,提供了一站式的解决方案,而且通过阿里云MaxCompute、Dataworks能够实现敏捷开发、快速响应、轻量化运维、低成本的实现大数据平台架构。其中包括最核心的调度系统、权限管理、元数据管控、数据安全保护伞等等一系列功能。而在使用中,数据分析师能够快速上手完成数据的加工和分析。

业务价值案例:

收益王者:
收益王者产品帮助广大用户追踪头部用户的交易行为,使用用户自身数据来影响用户心智,满足了用户的窥私欲、攀比欲。该产品为用户提供了投顾化的数据服务,为公司提升了用户粘性及交易转化,在2018年实现销量数亿元。在开发过程中,MaxCompute帮助我们快速、精准地处理海量用户交易数据,为该产品数据的准确性、稳定性、及时性提供了有力的保障。

产品AI推荐:
_1

我们根据用户自身属性、交易行为、资产属性以及与他类似的用户的产品关注和交易行为,预测每位用户当前最感兴趣的基金。产品AI推荐与传统的仅从市场出发的产品推荐不同,我们从用户的角度,根据用户的行为数据,做出千人千面的产品推荐,提升了用户体验,并提升了交易转化率。在特征加工、模型开发、预测结果投入使用的过程中,Dataworks为我们提供了整套技术架构,包括算力强大的MaxCompute、组件丰富的PAI机器学习平台以及ADS、RDS等产品,满足了我们各方各面的需求。

欢迎加入“MaxCompute开发者社区2群”,点击链接申请加入或扫描二维码
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745

d32a8b86d524cb1d4ebe8c6901de3e959dfcabb0_jpeg

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
AI加持的阿里云飞天大数据平台技术揭秘
摘要:2019云栖大会大数据&AI专场,阿里云智能计算平台事业部研究员关涛、资深专家徐晟来为我们分享《AI加持的阿里云飞天大数据平台技术揭秘》。本文主要讲了三大部分,一是原创技术优化+系统融合,打破了数据增长和成本增长的线性关系,二是从云原生大数据平台到全域云数仓,阿里开始从原生系统走入到全域系统模式,三是大数据与AI双生系统,讲如何更好的支撑AI系统以及通过AI系统来优化大数据系统。
754 0
MaxCompute跨境访问加速解决方案
MaxCompute联合全球加速服务,为有跨境访问需求的MaxCompute客户提供一套高效稳定的跨境访问加速方案。
622 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
19696 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
17986 0
Spring配置c3p0数据源时出错报:java.lang.NoClassDefFoundError: com/mchange/v2/ser/Indirector
今天在使用Spring配置c3p0数据源时,使用的数据库是mysql,服务器是tomcat,运行时报了一个 java.lang.NoClassDefFoundError: com/mchange/v2/ser/Indirector 网络上找了很久都没有解决,最后发现是因为:         C3P0 少了个 jar 包,mchange-commons-java-0.
1128 0
+关注
隐林
阿里云大数据产品专家,擅长MaxCompute、机器学习、分布式、可视化、人工智能等大数据领域;
288
文章
38
问答
文章排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载