阿里云云原生数据湖——互金行业最佳实践-阿里云开发者社区

开发者社区> 阿里云存储服务> 正文

阿里云云原生数据湖——互金行业最佳实践

简介: 阿里云面向金融行业,基于对象存储OSS构建了一个统一的数据湖。阿里云数据湖解决方案能够从各种数据源沉淀数据,将数据进行统一治理,并且可通过阿里云EMR集群,无缝对接各类计算引擎,展现数据最大化的价值。

行业综述

游戏市场需求旺盛,行业景气度持续提升
据相关数据显示,我国广告投放刊例花费整体呈负增长趋势,2019年2月下降幅度最大达到18.3%,下降幅度虽然有所放缓,但是整体而言,我国广告投放刊例花费下降幅度仍然较大。2020年1月,我国广告投放刊例花费下滑5.6%。
分媒体来看,传统广告媒介主要包括报纸媒体、杂志、广播、电视、户外媒体和售点等。2020年1月,报纸、杂志、广播等较为传统的广告媒介刊例下降幅度较大,报纸、杂志等纸媒下降了30%以上,广播媒介下降了19.5%。电视、传统户外同样下降了4.9%和9%;整体而言,传统媒体广告刊例花费呈下降趋势。
与传统媒体广告相比,互联网广告市场规模逐渐上升。根据中关村互动营销实验室的数据,2010-2019年我国互联网广告市场增速虽然放缓,但是我国互联网广告市场规模呈现出逐年上升的发展趋势,2010-2019年我国互联网广告市场规模复合增速达40%以上。2019年我国互联网广告总收入约4367亿元人民币,相较上年增长18.22%,增幅较2018年略有放缓,但仍保持增长的态势。

行业发展方向

互联网广告时代正在来临,大数据驱动智能化精准广告投放
随着互联网的普及,以及精准化程度高、性价比高、媒体质量优等优势,互联网广告迅速崛起,不断持续冲击传统媒介,市场份额持续上升:2016-2019年,我国互联网广告规模占整体广告市场规模比重持续上升,到2019年,互联网广告所占比重已超过50%。

互联网媒体广告相对于传统广告而言具有较多优势,例如互联网广告形式更新频率比报刊广告、广播广告、电视广告等传统媒体更快,能快速适应市场环境的变化,是高度综合的媒体,扩容性高。互联网媒体广告的发展迅速较快,已不仅仅是展示广告,而是更加精准化、个性化和自动化,能够紧紧地把握市场潮流以及引领着技术的进步。

面临的痛点

大数据驱动下数据存储成难题,资源浪费成难题
互联网广告平台的增加,一方面为读者提供了更多的阅读平台,但是背后产生了大量的阅览、订阅、购买数据,而这些数据的产生已经从过去的TB级向PB级甚至EB级跨越,而要利用好这些数据,需要大量的存储空间和计算资源,尤其是为了提高广告推送的准确率以及点击率,需要对大量的数据进行复杂的运算,而这给企业提出了难题。持有的资源过多,虽然可以满足业务需求,但是在空闲期间限制,如果不持有相应的资源,那么又不能很好的解决业务问题。如何很好的寻找业务和资源消耗的平衡点,摆在了各个广告投放企业眼前。

数据湖解决方案

阿里云数据湖解决方案,助力企业真正释放数据价值
11.png
基于阿里云对象存储OSS构建的数据湖解决方案,可以全面满足数据的存储、离线分析、交互查询等各种业务诉求,帮助解决上面提到的这些难题。
首先,数据湖解决方案可为用户存储的数据提供高达12个9的可靠性,让数据安全存放,保障用户数据不丢不坏。

 其次,阿里云的数据湖解决方案,也是一套十分智能的解决方案。其中对象存储OSS,可以对接个多业务系统,存储来自不同业务系统的多种数据源,如些系统的原始数据、游戏日志数据等。等数据汇聚到数据湖之后,它的上层系统可以兼容多种计算引擎,如开源大数据引擎像Hive,Spark,阿里云EMR、DLA等,帮助用户便捷地实现数据处理和分析,不需要再重复拷贝多份。同时采用 Jindofs提供缓存加速方案,还可以获得比使用HDFS更好的体验。

这样一套整体的数据存储、处理分析解决方案,能很大程度地减少系统兼容性问题,管理维护也更加简单,帮助IT人员从复杂且繁琐的运维中解放出来,更加专注在产品创新和业务模式的运营上。

最佳案例实践

客户简介
客户是一家致力于为广告主企业构建贯穿消费者生命周期的流量网络,形成企业私有化的消费者数字资产。在国内享有很高的知名度。

业务挑战
1、智能流量平台的数据量在急剧增长,每天的业务日志数据在持续的产生和上传,曝光、点击、推送的数据在持续处理,每天新增的数据量已经在5TB左右,对整个数据处理系统提出了更高的要求。
2、通过运用AI图像识别技术对内容场景进行智能识别与自动匹配,实现不同场景下的创意的精准匹配,真正实现千人千面千种场景的沟通。
3、不断升级AI运算技术能力,建立不同营销目的下的流量协同过滤模型,实时进行流量优选,实现不同场景下的流量的高效使用。另外,从触达、互动到消费、忠诚,全面升级消费者各阶段的沟通体验,增值企业消费者数字资产。

解决方案
1、利用DLA+ OSS极致分析能力来应对业务波峰波谷。一方面轻松应对来自品牌客户的临时分析。另一方面利用DLA的强大计算能力,分析按月、季度广告投放,精确计算出一个品牌下面会有多少个活动,每个活动分媒体,分市场,分频道,分DMP的投放效果,进一步增强了加和智能流量平台为品牌营销带来的销售转化率。
2、DLA提供的Serverless的弹性服务为按需收费,不需要购买固定的资源,完全契合业务潮汐带来的资源波动,满足弹性的分析需求,同时极大地降低了运维成本和使用成本。

客户价值
为客户的智能流量平台提供了性价比极高的处理方案。
1、相对性价比提升30%,无需专门维护人员,按量付费,成本低。
2、临时业务需求承接率提升200%~300%。
3、即需即用,准备成本低,响应快速。平均任务耗时降低67%。
4、代码通用,支持数据业务无缝迁移。
5、海量资源存储在OSS上,对业务支撑效果超过自建平台。
6、计费简明,业务成本方便计算。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

官方博客
链接