蚂蚁金服高级技术专家徐红星 :蚂蚁金服大数据开放式创新实践

简介: 8月30-31日20:00-21:30,一场别开生面的技术大会—— “蚂蚁金服&阿里云在线金融技术峰会”将在线举办。本次将聚焦数据库、应用架构、移动开发、机器学习等热门领域,帮助金融业技术开发者深入解析互联网应用的前沿应用与技术实践。

8月30-31日20:00-21:30,一场别开生面的技术大会—— “蚂蚁金服&阿里云在线金融技术峰会”将在线举办。本次将聚焦数据库、应用架构、移动开发、机器学习等热门领域,帮助金融业技术开发者深入解析互联网应用的前沿应用与技术实践。

蚂蚁金服&阿里云在线金融技术峰会专题: https://yq.aliyun.com/activity/109
峰会统一报名链接:http://yq.aliyun.com/webinar/join/38


来自蚂蚁金服的高级技术专家徐红星 ,将在本次峰会中为大家带来《蚂蚁金服大数据开放式创新实践》的分享,下面是议题详情,供大家参考。


议题名称:《蚂蚁金服大数据开放式创新实践》


议题简介:DT时代,数据开放式创新如同石油和电力,滋润经济发展,普惠大众创业和万众创新,让用户获得尊重与平等服务。蚂蚁数巢致力于打造国内数据开放与创新的第一平台,促进蚂蚁体系内数据服务开放和第三方数据开放。本次演讲主要针对数据合作与开放这个命题,讲述蚂蚁数巢是如何打造一个公允、安全、可信的平台,让数据合作安全无忧。目前蚂蚁数巢已经支持了芝麻、口碑、保险和网商银行的数据能力开放,第三方数据开放也在如火如荼的进行中。


本专题主要涵盖:
1) 数据在蚂蚁体系内外的应用情况
2)蚂蚁数巢产品和业务介绍。
3)蚂蚁数巢核心安全体系介绍。


关于分享者: 徐红星(花名:崇思),2009年加入阿里巴巴, 先后参与阿里巴巴B2B、蚂蚁金服的数据平台架构和建设。在大数据架构、数据平台业务与产品规划设计方面拥有丰富的实战经验,规划和实现了蚂蚁内部小二的数据工作台(ADC)、安全服务平台(ADS)和对外的采云间平台(DPC)。目前主要负责蚂蚁数巢和算法平台(DTPAI)的产品规划和建设。


以下是采访内容:


云栖社区:能否简单介绍你理解的大数据开放式创新平台?蚂蚁数巢是怎么做到的?


徐红星:作为一个数据开放式创新平台,数据通过可用不可见的方式安全的开放和共享,要做到这点,是非常难的。我们不仅要开放数据,还要开放大数据的基础能力,帮助企业去提取数据的价值。开放数据的过程中,有很多问题需要去解,比如说如何让两家的企业的数据能够“连接”起来,如何保护数据的所有权、用户隐私权、数据的审计权、许可权和数据的安全等,每个问题都很棘手。数据开放不是目的,是手段,这一过程,怎么帮开放的企业创造价值,怎么去度量这份价值,也非常麻烦。对于使用数据的企业来说,怎么保障数据的质量和可用性等,也需要整个平台来进行管控。蚂蚁数巢想培育一个“安全”的互联数据生态系统,就要解决大数据开放式创新带来的问题。我们目前也是走在路上,也还有很多产品功能有待研发,业务有待推广。数据无安全,不开放,在构建这个系统过程中,安全一定是为先的,严格保护开放过程中的用户隐私数据安全、商业机密信息安全和数据的所有权,在此基础上建立数据与数据之间的连接关系,让数据能充分发挥网络效应和外部效应,实现1+1>>2。同时还要建立数据的消费和度量体系,通过这反过来驱动数据的开放和基础设施的建设。

云栖社区:蚂蚁数巢是通过什么样的方式促成数据在体系内开放以及第三方数据开放的?
蚂蚁金服为什么要把数据开放出来,第三方企业为什么要把数据共享出来?大家的隐忧到底有哪些?


徐红星:这些问题我们需要思考清楚,纵观阿里巴巴、蚂蚁金服的数据开放,一般都是业务发展需要的,比如说微贷与外部商业平台开展的业务,保险事业部建设的乐驾平台。而数据的开放通常需要在一个业务闭环体系内进行流动,用户的真实数据不出闭环体系。能出体系内的数据都是深加工过的,比如说针对某个业务场景预测结果,针对用户的推荐产品等。回到业务问题,回到商业本质上,蚂蚁数巢应该做的事情是围绕着企业、行业的数据建立一个生态系统,通过场景,也就是业务和用户的痛点问题,驱动点对点或多方的数据合作和应用,通过场景驱动数据的闭环体系建设,通过场景驱动数据价值的度量。只要开放出去的不是裸数据,是深加工的数据或信息,从国家法律和企业数据安全的角度来看,都是允许的,当然这些开放的信息可能需要面向场景才能确定。最关键的一点,通过场景,可以建立起数据的一个可度量的价值体系,这个可度量体系反过来也驱动数据的开放。

云栖社区:在大数据开放式创新路上,你的担心和隐忧有哪些?为什么要在这条路上走下去?


徐红星:数据是企业最宝贵的资产之一,相当于一个人的底裤。当企业把最重要的资产放在你这个平台时,其实企业是把信任交给你,把企业的发展交给你,你肩上就应该多了一份责任,你就要做到足够的公平公正,就要如履薄冰,小心谨慎。在安全上,“守底线,负全责”。这个过程除了加强安全建设之外,还需要加强大数据价值提取和封装能力建设,也就是说除了大数据基础技术平台之外,还需要我们建设一些更偏向业务层的产品,来更安全和更大力度的开放数据,实现企业的重托,这个时候需要一些前沿领域的技术,比如:人工智能方向的深度学习、迁移学习等。在这条路上能走下来,我是觉得孙权的一句话是很对的,我们要有数据信仰。要坚定的相信,DT时代,数据一定是最重要的核心生产资料,像水,石油、电力一样,成为社会的公共资源,成为社会进步的推动力,而未来的生产力就是计算能力和创业者的创新能力。有了大数据,有了计算能力,有了创意,这个时代将发生翻天覆地的变化。这条路,难免坎坷,但是想象一下,利用大数据可以提前避免疾病的发生,通过大数据的共享,普普通通的小摊主可以获得金融的贷款,开始希望的一天。通过大数据,可以让每一个个体享受平等、个性化的教育,我觉得这这就是我们可以一起奋斗终生的理想。


相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
6月前
|
存储 数据采集 搜索推荐
Java 大视界 -- Java 大数据在智慧文旅旅游景区游客情感分析与服务改进中的应用实践(226)
本篇文章探讨了 Java 大数据在智慧文旅景区中的创新应用,重点分析了如何通过数据采集、情感分析与可视化等技术,挖掘游客情感需求,进而优化景区服务。文章结合实际案例,展示了 Java 在数据处理与智能推荐等方面的强大能力,为文旅行业的智慧化升级提供了可行路径。
Java 大视界 -- Java 大数据在智慧文旅旅游景区游客情感分析与服务改进中的应用实践(226)
|
6月前
|
数据采集 SQL 搜索推荐
大数据之路:阿里巴巴大数据实践——OneData数据中台体系
OneData是阿里巴巴内部实现数据整合与管理的方法体系与工具,旨在解决指标混乱、数据孤岛等问题。通过规范定义、模型设计与工具平台三层架构,实现数据标准化与高效开发,提升数据质量与应用效率。
大数据之路:阿里巴巴大数据实践——OneData数据中台体系
|
7月前
|
分布式计算 监控 大数据
大数据之路:阿里巴巴大数据实践——离线数据开发
该平台提供一站式大数据开发与治理服务,涵盖数据存储计算、任务调度、质量监控及安全管控。基于MaxCompute实现海量数据处理,结合D2与DataWorks进行任务开发与运维,通过SQLSCAN与DQC保障代码质量与数据准确性。任务调度系统支持定时、周期、手动运行等多种模式,确保高效稳定的数据生产流程。
大数据之路:阿里巴巴大数据实践——离线数据开发
|
6月前
|
存储 SQL 分布式计算
大数据之路:阿里巴巴大数据实践——元数据与计算管理
本内容系统讲解了大数据体系中的元数据管理与计算优化。元数据部分涵盖技术、业务与管理元数据的分类及平台工具,并介绍血缘捕获、智能推荐与冷热分级等技术创新。元数据应用于数据标签、门户管理与建模分析。计算管理方面,深入探讨资源调度失衡、数据倾斜、小文件及长尾任务等问题,提出HBO与CBO优化策略及任务治理方案,全面提升资源利用率与任务执行效率。
|
4月前
|
人工智能 Cloud Native 算法
拔俗云原生 AI 临床大数据平台:赋能医学科研的开发者实践
AI临床大数据科研平台依托阿里云、腾讯云,打通医疗数据孤岛,提供从数据治理到模型落地的全链路支持。通过联邦学习、弹性算力与安全合规技术,实现跨机构协作与高效训练,助力开发者提升科研效率,推动医学AI创新落地。(238字)
290 7
|
6月前
|
存储 监控 大数据
大数据之路:阿里巴巴大数据实践——事实表设计
事实表是数据仓库核心,用于记录可度量的业务事件,支持高性能查询与低成本存储。主要包含事务事实表(记录原子事件)、周期快照表(捕获状态)和累积快照表(追踪流程)。设计需遵循粒度统一、事实可加性、一致性等原则,提升扩展性与分析效率。
|
7月前
|
存储 搜索推荐 算法
Java 大视界 -- Java 大数据在智慧文旅旅游线路规划与游客流量均衡调控中的应用实践(196)
本实践案例深入探讨了Java大数据技术在智慧文旅中的创新应用,聚焦旅游线路规划与游客流量调控难题。通过整合多源数据、构建用户画像、开发个性化推荐算法及流量预测模型,实现了旅游线路的精准推荐与流量的科学调控。在某旅游城市的落地实践中,游客满意度显著提升,景区流量分布更加均衡,充分展现了Java大数据技术在推动文旅产业智能化升级中的核心价值与广阔前景。
|
存储 分布式计算 大数据
大数据之路:阿里巴巴大数据实践——大数据领域建模综述
数据建模解决数据冗余、资源浪费、一致性缺失及开发低效等核心问题,通过分层设计提升性能10~100倍,优化存储与计算成本,保障数据质量并提升开发效率。相比关系数据库,数据仓库采用维度建模与列式存储,支持高效分析。阿里巴巴采用Kimball模型与分层架构,实现OLAP场景下的高性能计算与实时离线一体化。
|
7月前
|
SQL 缓存 监控
大数据之路:阿里巴巴大数据实践——实时技术与数据服务
实时技术通过流式架构实现数据的实时采集、处理与存储,支持高并发、低延迟的数据服务。架构涵盖数据分层、多流关联,结合Flink、Kafka等技术实现高效流计算。数据服务提供统一接口,支持SQL查询、数据推送与定时任务,保障数据实时性与可靠性。
|
7月前
|
存储 Java 大数据
Java 大视界 —— 基于 Java 的大数据隐私保护在金融客户信息管理中的实践与挑战(178)
本文探讨了基于 Java 的大数据隐私保护技术在金融客户信息管理中的应用与挑战。随着金融行业数字化转型加速,客户信息的安全性愈发重要。文章详细分析了数据加密、脱敏、访问控制、区块链及联邦学习等关键技术,并结合实际案例展示了其在金融机构中的应用效果,为金融科技从业者提供了宝贵的实践经验与技术参考。