天弘基金大数据中心处理能力百亿级 分分钟计算海量数据-阿里云开发者社区

开发者社区> 轩墨> 正文

天弘基金大数据中心处理能力百亿级 分分钟计算海量数据

简介:
+关注继续查看

随着互联网浪潮的来袭,大数据正在以不可阻拦的磅礴气势,与当代同样具有革命意义的最新科技进步,如纳米技术、生物工程、物联网等一起,揭开人类新世纪的序幕。在各个行业,大数据均被多次提及,但往往这些大数据还有些“像雾像雨又像风”的感觉,老百姓从中很难体验到“大数据”的内涵,而天弘基金让投资者对大数据的梦想照进了现实,近日其以趣味图说的形式绘制了《余额宝运行一周年数据报告》,针对余额宝1亿多用户的年龄、客单量、地域、使用习惯、交易频率等数据信息,天弘基金通过多个维度以生动、活泼的内容向公众展示了“大数据”的真实魅力。

业内人士指出,一般的企业数据系统采用传统的IOE架构,处理数据量级为千万级,能处理上亿级的数据就不错了,10亿级别对一般企业来说都很难想象,处理时间更是无法保障,而天弘基金大数据中心可以做到百亿级数据的处理,且分分钟就能计算海量数据。

所谓IOE,IBM是服务器提供商,Oracle是数据库软件提供商,EMC则是存储设备提供商,三者构成了一个从软件到硬件的企业数据库系统。由这三驾马车构成的数据库系统几乎占领了全球大部分商用数据库系统市场份额,石油、金融行业也广泛地使用这套系统,价格昂贵。而天弘基金云直销系统去年9月份投入使用,成为首个去IOE的金融案例,今年天弘基金建立的大数据中心,也成功上云。

天弘基金大数据中心主管周卫国告诉记者,截至526日那天,我们《余额宝一周年大数据报告》分析应用的基础数据有53亿条,基础数据维度15个,而这15个维护又包含各种排列组合的交叉分析,简单的比如地域和年龄的交叉分析、性别的交易频率的交叉分析,复杂的会涉及许多复杂的模型,因此本次分析应用的基础数据达到96亿条,数据维度35个。正是因为天弘基金大数据中心有百亿级以上的数据处理能力,因此我们有能力去做更多复杂的模型,发散思维,从更多的角度去分析这些海量数据,以达到最真实地分析出客户行为路径,并对业务给予指导。

比如在对“客户流失”这个专题的分析上,我们除了看简单的客户转出金额、转出次数、周/月度的行为规律、提现和消费占比等等基础数据,还专门建立了一个客户流失LOGIT模型,单这一个模型便使用17个指标变量,包含1个目标变量和16个候选输入变量,使用数据有效记录数9.6亿个,在ODPS上,利用MKW LOGIT工具运行模型运行一次,约需27分钟。

这样的模型还有多个,从不同角度挖掘、分析,有时候还会用到人口学、社会学、心理学等知识,客户是在生活中鲜活的个体,想要刻画真实的全景图,既需要海量数据的分析处理,也需要科学的方法去定义一些模型。基于鲜活个体的全样本“大数据”,服务于基金投资和业务开展是我们不断努力的方向。

大数据分析,带来的流动性预测功能,已成为助力余额宝投资的绝门利器,而大数据带来的图说,同样精彩绝伦。从77日起,《余额宝运行一周年大数据报告》系列图说以每日一幅的速度,陆续在“天弘基金”官方微博披露,精彩还将继续。

原文发布时间为:2014-07-11 
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
《1分钟 Serverless 极速部署经典小游戏》活动规则说明
Serverless 在真实场景中如何发挥“降本增效”优势? 12月23日至12月31日期间,依次通过 3个挑战任务,即可免费领取阿里云定额代金券及阿里云定制版 Linux 命令鼠标垫。(同一用户的不同账号限领一次,每日限量111个,10点补仓,先到先得)
509 0
hostPath Volume - 每天5分钟玩转 Docker 容器技术(148)
hostPath Volume 将 Docker Host 文件系统的目录 mount 到 Pod 的容器。
1583 0
阿里云函数计算发送短信单文件轻量版
本文实现了使用阿里云《函数计算》+《短信服务》发送短信的简单功能,官方短信服务SDK功能全面,但较为冗杂,二爷精简了官方SDK,实现了一段代码(单文件)发送短信的功能。 阅读本文,你需要先了解阿里云函数计算、阿里云短信服务的基本常识。 试用本代码,需要预先在短信服务中申请短信签名、短信模板。
2393 0
智能数据引擎Dataphin重磅发布,提供一站式的技术管理能力
面对各行各业日趋强烈的大数据建设、管理及应用诉求,2018年2月28日MWC大会,阿里云重磅推出了智能数据构建与管理平台Dataphin——从数据接入到数据消费全链路,提供一站式的大数据能力,包括产品、技术和方法论等,致力于助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系。
9630 0
函数计算助力高德地图平稳支撑亿级流量高峰
2020 年的“十一出行节”期间,高德地图创造了记录 ——截止 2020 年 10 月 1 日 13 时 27 分 27 秒,高德地图当日活跃用户突破 1 亿,比 2019 年 10 月 1 日提前 3 时 41 分达成此记录。 期间,Serverless 作为其中一个核心技术场景,平稳扛住了流量高峰期的考验。值得一提的是,由 Serverless 支撑的业务在流量高峰期的表现十分优秀,每分钟函数调用量接近两百万次。这再次验证了 Serverless 基础技术的价值,进一步拓展了技术场景。
3307 0
能源物联网中如何处理上报的大量数据问题的思路分析(题目有点长,但是我不介意它更长)--后续会继续补充
V1.0       今年年底,随着运营的新能源车的增多,车辆上报上来的各种can消息也飞速增长,传统的关系型数据库已经无法满足存储的需要,因为转而向非关系型数据库去寻求帮助。目前面临的问题:         1,数据存储:large,粗略估计,明年预计每日过4亿;         2,c...
880 0
+关注
2351
文章
701
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载