蚂蚁金服高级技术专家徐红星 :蚂蚁金服大数据开放式创新实践

简介: 8月30-31日20:00-21:30,一场别开生面的技术大会—— “蚂蚁金服&阿里云在线金融技术峰会”将在线举办。本次将聚焦数据库、应用架构、移动开发、机器学习等热门领域,帮助金融业技术开发者深入解析互联网应用的前沿应用与技术实践。

8月30-31日20:00-21:30,一场别开生面的技术大会—— “蚂蚁金服&阿里云在线金融技术峰会”将在线举办。本次将聚焦数据库、应用架构、移动开发、机器学习等热门领域,帮助金融业技术开发者深入解析互联网应用的前沿应用与技术实践。

蚂蚁金服&阿里云在线金融技术峰会专题: https://yq.aliyun.com/activity/109
峰会统一报名链接:http://yq.aliyun.com/webinar/join/38


来自蚂蚁金服的高级技术专家徐红星 ,将在本次峰会中为大家带来《蚂蚁金服大数据开放式创新实践》的分享,下面是议题详情,供大家参考。


议题名称:《蚂蚁金服大数据开放式创新实践》


议题简介:DT时代,数据开放式创新如同石油和电力,滋润经济发展,普惠大众创业和万众创新,让用户获得尊重与平等服务。蚂蚁数巢致力于打造国内数据开放与创新的第一平台,促进蚂蚁体系内数据服务开放和第三方数据开放。本次演讲主要针对数据合作与开放这个命题,讲述蚂蚁数巢是如何打造一个公允、安全、可信的平台,让数据合作安全无忧。目前蚂蚁数巢已经支持了芝麻、口碑、保险和网商银行的数据能力开放,第三方数据开放也在如火如荼的进行中。


本专题主要涵盖:
1) 数据在蚂蚁体系内外的应用情况
2)蚂蚁数巢产品和业务介绍。
3)蚂蚁数巢核心安全体系介绍。


关于分享者: 徐红星(花名:崇思),2009年加入阿里巴巴, 先后参与阿里巴巴B2B、蚂蚁金服的数据平台架构和建设。在大数据架构、数据平台业务与产品规划设计方面拥有丰富的实战经验,规划和实现了蚂蚁内部小二的数据工作台(ADC)、安全服务平台(ADS)和对外的采云间平台(DPC)。目前主要负责蚂蚁数巢和算法平台(DTPAI)的产品规划和建设。


以下是采访内容:


云栖社区:能否简单介绍你理解的大数据开放式创新平台?蚂蚁数巢是怎么做到的?


徐红星:作为一个数据开放式创新平台,数据通过可用不可见的方式安全的开放和共享,要做到这点,是非常难的。我们不仅要开放数据,还要开放大数据的基础能力,帮助企业去提取数据的价值。开放数据的过程中,有很多问题需要去解,比如说如何让两家的企业的数据能够“连接”起来,如何保护数据的所有权、用户隐私权、数据的审计权、许可权和数据的安全等,每个问题都很棘手。数据开放不是目的,是手段,这一过程,怎么帮开放的企业创造价值,怎么去度量这份价值,也非常麻烦。对于使用数据的企业来说,怎么保障数据的质量和可用性等,也需要整个平台来进行管控。蚂蚁数巢想培育一个“安全”的互联数据生态系统,就要解决大数据开放式创新带来的问题。我们目前也是走在路上,也还有很多产品功能有待研发,业务有待推广。数据无安全,不开放,在构建这个系统过程中,安全一定是为先的,严格保护开放过程中的用户隐私数据安全、商业机密信息安全和数据的所有权,在此基础上建立数据与数据之间的连接关系,让数据能充分发挥网络效应和外部效应,实现1+1>>2。同时还要建立数据的消费和度量体系,通过这反过来驱动数据的开放和基础设施的建设。

云栖社区:蚂蚁数巢是通过什么样的方式促成数据在体系内开放以及第三方数据开放的?
蚂蚁金服为什么要把数据开放出来,第三方企业为什么要把数据共享出来?大家的隐忧到底有哪些?


徐红星:这些问题我们需要思考清楚,纵观阿里巴巴、蚂蚁金服的数据开放,一般都是业务发展需要的,比如说微贷与外部商业平台开展的业务,保险事业部建设的乐驾平台。而数据的开放通常需要在一个业务闭环体系内进行流动,用户的真实数据不出闭环体系。能出体系内的数据都是深加工过的,比如说针对某个业务场景预测结果,针对用户的推荐产品等。回到业务问题,回到商业本质上,蚂蚁数巢应该做的事情是围绕着企业、行业的数据建立一个生态系统,通过场景,也就是业务和用户的痛点问题,驱动点对点或多方的数据合作和应用,通过场景驱动数据的闭环体系建设,通过场景驱动数据价值的度量。只要开放出去的不是裸数据,是深加工的数据或信息,从国家法律和企业数据安全的角度来看,都是允许的,当然这些开放的信息可能需要面向场景才能确定。最关键的一点,通过场景,可以建立起数据的一个可度量的价值体系,这个可度量体系反过来也驱动数据的开放。

云栖社区:在大数据开放式创新路上,你的担心和隐忧有哪些?为什么要在这条路上走下去?


徐红星:数据是企业最宝贵的资产之一,相当于一个人的底裤。当企业把最重要的资产放在你这个平台时,其实企业是把信任交给你,把企业的发展交给你,你肩上就应该多了一份责任,你就要做到足够的公平公正,就要如履薄冰,小心谨慎。在安全上,“守底线,负全责”。这个过程除了加强安全建设之外,还需要加强大数据价值提取和封装能力建设,也就是说除了大数据基础技术平台之外,还需要我们建设一些更偏向业务层的产品,来更安全和更大力度的开放数据,实现企业的重托,这个时候需要一些前沿领域的技术,比如:人工智能方向的深度学习、迁移学习等。在这条路上能走下来,我是觉得孙权的一句话是很对的,我们要有数据信仰。要坚定的相信,DT时代,数据一定是最重要的核心生产资料,像水,石油、电力一样,成为社会的公共资源,成为社会进步的推动力,而未来的生产力就是计算能力和创业者的创新能力。有了大数据,有了计算能力,有了创意,这个时代将发生翻天覆地的变化。这条路,难免坎坷,但是想象一下,利用大数据可以提前避免疾病的发生,通过大数据的共享,普普通通的小摊主可以获得金融的贷款,开始希望的一天。通过大数据,可以让每一个个体享受平等、个性化的教育,我觉得这这就是我们可以一起奋斗终生的理想。


相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
2月前
|
数据采集 监控 算法
利用大数据和API优化电商决策:商品性能分析实践
在数据驱动的电子商务时代,大数据分析已成为企业提升运营效率、增强市场竞争力的关键工具。通过精确收集和分析商品性能数据,企业能够洞察市场趋势,实现库存优化,提升顾客满意度,并显著增加销售额。本文将探讨如何通过API收集商品数据,并将这些数据转化为对电商平台有价值的洞察。
|
2月前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
716 2
|
12天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
22天前
|
NoSQL 大数据 数据挖掘
现代数据库技术与大数据应用
随着信息时代的到来,数据量呈指数级增长,对数据库技术提出了前所未有的挑战。本文将介绍现代数据库技术在处理大数据应用中的重要性,并探讨了一些流行的数据库解决方案及其在实际应用中的优势。
|
27天前
|
机器学习/深度学习 人工智能 数据可视化
基于Python的数据可视化技术在大数据分析中的应用
传统的大数据分析往往注重数据处理和计算,然而数据可视化作为一种重要的技术手段,在大数据分析中扮演着至关重要的角色。本文将介绍如何利用Python语言中丰富的数据可视化工具,结合大数据分析,实现更直观、高效的数据展示与分析。
|
1月前
|
存储 NoSQL 大数据
新型数据库技术在大数据分析中的应用与优势探究
随着大数据时代的到来,传统数据库技术已经无法满足海量数据处理的需求。本文将探讨新型数据库技术在大数据分析中的应用情况及其所带来的优势,为读者解析数据库领域的最新发展趋势。
|
1月前
|
存储 分布式计算 大数据
现代化数据库技术——面向大数据的分布式存储系统
传统的关系型数据库在面对大规模数据处理时遇到了诸多挑战,而面向大数据的分布式存储系统应运而生。本文将深入探讨现代化数据库技术中的分布式存储系统,包括其优势、工作原理以及在大数据领域的应用。
|
1月前
|
大数据 Java Go
Go语言在大数据处理中的核心技术与工具
【2月更文挑战第22天】本文深入探讨了Go语言在大数据处理领域的核心技术与工具。通过分析Go语言的并发编程模型、内存管理、标准库以及第三方工具库等方面,展现了其在大数据处理中的优势和实际应用。同时,本文也讨论了如何使用这些技术与工具构建高效、稳定的大数据处理系统,为开发者提供了有价值的参考。
|
1月前
|
分布式计算 大数据 Apache
大数据技术变革正当时,Apache Hudi了解下?
大数据技术变革正当时,Apache Hudi了解下?
25 0