蚂蚁金服首席架构师何昌华:开源 SQLFlow 是牛刀初试,实时大数据系统才是未来基石

本文涉及的产品
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 开源 SQLFlow,反哺业界,同时小小秀出AI肌肉。这就是蚂蚁金服近日开源首个将 SQL 应用于 AI 引擎项目 SQLFlow 后,业界给出的反应。

阿里妹导读:开源 SQLFlow,反哺业界,同时小小秀出AI肌肉。这就是蚂蚁金服近日开源首个将 SQL 应用于 AI 引擎项目 SQLFlow 后,业界给出的反应。带领团队研发出 SQL 正是蚂蚁金服计算存储首席架构师何昌华。今天,我们邀请到何昌华,聊聊他最近的一些想法和探索。

5月6日,蚂蚁金服副 CTO 胡喜正式宣布开源机器学习工具 SQLFlow:“未来三年,AI 能力会成为每一位技术人员的基本能力。我们希望通过开源 SQLFlow,降低人工智能应用的技术门槛,让技术人员调用 AI 像 SQL 一样简单。”

image

蚂蚁金服副 CTO 胡喜宣布开源 SQLFlow

与早前的 JavaScript、Swift 等技术极为相似,人工智能技术虽拥趸众多,但门槛极高,不具备广泛的“普适性”,相关的专业人才也非常稀缺。当前人工智能的核心领域是“机器学习”,而深入掌握“机器学习”需要极为丰富的知识储备,如高等数学、统计学、概率论以及编程等,同时还需要他在其他领域保持非常高的知识水平,这些苛刻的要求让很多技术人很难成为机器学习领域的专家,从而制约着整个人工智能产业的发展。

具备易学、易用特点的 SQLFlow 正是为了解决上述问题而来。胡喜表示,“开源 SQLFlow 是希望通过技术的简化革命,让机器学习的能力掌握在业务专家的手中,从而推动更多的人工智能应用场景被发现和创造。”

SQLFlow 把艰深的 AI 与简单的 SQL 结合起来,大大简化了数据工程师使用AI技术的门槛。而研发出 SQLFlow 的,正是蚂蚁金服计算存储首席架构师何昌华带领下的 AI Infra 团队。

image

何昌华斯坦福博士毕业,先在 Google 总部工作7年,赢得过公司最高技术奖项,其后又在独角兽 Airbnb 工作2年,负责后台系统的应用架构。

2017年5月,他正式加盟蚂蚁金服,担任计算存储首席架构师。

在蚂蚁金服,何昌华的工作是开发新一代计算引擎,搭建金融型数据智能平台。

而 SQLFlow,就是计算引擎主线上的结晶之一。

不过对何昌华来说,世界正在巨变,他还要带队探索一些没人做成的事情。比如全实时的大数据智能系统。

未来技术基石

大数据的概念,最早来自于搜索引擎行业,因为搜索引擎面对的是人类在互联网上留下的爆炸性增长的庞大数据。

2010年底,谷歌宣布新一代搜索引擎“咖啡因”正式上线,这项技术的革命性在于,任何时刻,世界上的任何网页发生了变化,都可以实时地添加到索引中,用户也可以实时地搜索到,解决了传统搜索引擎的延时问题。

何昌华当时正是咖啡因开发团队的核心技术负责人之一。

他解释,“咖啡因所实现的最核心的功能,就是实时。”

而现在何昌华在蚂蚁金服工作的目标,同样是搭建一个“完全实时”的大数据处理系统,或称之为大数据智能平台。由于线下生活场景的多样性和复杂性,这是个比构建实时搜索更有挑战性的任务。

他认为,这将成为未来技术的基石。

对于计算机来说,实时就是在发出请求到返回响应之间的延迟尽量小,对于大数据处理系统来说,这还意味着从数据生产到消费的延迟尽可能低,所有这些都意味着计算速度和能力的提升。

此前常用的大数据计算模型 MapReduce,对数据的处理是“分片式”的,数据的片与片之间有边界的概念,这种批处理的模式不可避免地会带来延时问题。

以搜索的场景为例,假如以天为时间单位对数据进行批处理,那就意味着今天更新的网页,用户明天才能搜索到,调高处理的频率可以部分解决问题,一天两次、一天四次、两小时一次……

虽然能逐步接近“准实时”,但成本也会急剧上升。

要实现真正的实时,就必须打破这种批处理的边界,让数据处理的过程像水流一样,随来随算,随时反馈。

这也催生了后来流式计算引擎的蓬勃发展。

而在何昌华看来,除了快,“实时系统”还有两层重要含义。

第一是 OLTP(联机事务处理)和 OLAP(联机分析处理)的融合。

在以往的观念里,OLTP 对实时性的要求高,OLAP 对时效性的要求不那么高。

举例而言,用支付宝进行一笔交易,需要即时查询和增删记录,就是由 OLTP 来处理的。而对用户行为特征的数据分析,则由 OLAP 来处理。

但现在随着业务场景需求的不断变化,OLAP 的时效性要求也越来越高。

例如互联网金融中的风控场景,就需要在完成一笔交易的极短时间中,通过分析用户的特征数据判断风险,这要求 OLAP 也要能实时反馈,且反馈结果马上就能够在线访问。

第二是智能和数据系统的融合。

人工智能和机器学习是大数据应用最热门的领域,而现在绝大多数公司的做法,是将数仓和机器学习平台分开,从数仓取一批数据,放到机器学习平台上去训练模型。

随着业务场景的复杂化和多样化,这种模式逐渐显露问题,因为模型能否实时更新,能否能用更实时的数据来训练模型,直接影响了应对复杂场景的能力。

image

“数据实时流入、实时训练模型,模型实时上线决策并反馈数据——这一条线如果能完全打通,对于业务将产生不可估量的价值”, 何昌华说。

数据、计算、智能,所有这一切构成了何昌华设想中的“高效率的大数据底盘”,也就是一个融合的实时数据智能平台,或者叫“Big Data Base”,就像曾经数据库成为无数场景的数据底盘一样。

如今,不仅是蚂蚁金服或者阿里巴巴,在各行各业中,数据驱动的业务都越来越多。

但大数据开发的门槛很高,如果每一项业务都从数据开发的底层做起,将会非常耗时耗力。

如何才能让做业务的人有更多精力专注于业务?

何昌华认为这就是“Big Data Base”的使命,同样也是“基石”的含义:

我们希望让这件事变得简单——各行各业的从业人员、各条业务线的同学,在坚实的平台基础上,不需要知道下层的细节,就可以很方便地开发上层应用。

离真正的智能有多远?

降低数据和智能的门槛,这是何昌华对于新引擎和数据智能平台的期望。

目前,他带领团队开发的金融型多模融合计算引擎,已经实现了流计算与图计算、流计算与机器学习的融合打通,距离他设想中的“大融合”越来越近了。

image

何昌华透露团队目标,就是让业务变得“极简”:

未来两到三年,我们希望新引擎能够承担实时在线的融合计算任务。基于这个引擎,结合其他开源引擎,我们就能够构建出一整套数据智能系统。在这个数据智能系统上,业务可以非常轻松地完成从功能开发到产品上线的流程,后续的吸引流量、分析决策等也都可以借助这个平台来完成。

他甚至勾画了一幅很科幻的未来场景:你写一个功能交给引擎,引擎会决定调用多少资源去计算,你无需关心具体的计算过程,结果将会在最短的时间内反馈给你。

当你构想出一种新型业务,数据智能平台会判断需要哪些数据,采用哪种模型,如何上线,如何运营流量。

这些流程,都可以智能化地自动完成。

这是个更长远的目标。我们开发出数据处理的能力,未来,任何人都可以使用这种能力,真正实现“数据民主化”。

这样一个融合多种能力的实时数据智能平台,目前在世界上还没有哪家公司能完全研发出来。

何昌华也谨慎而满怀信心地展望着未来:“我们也是在探索,如果完全实现了探索目标,我们就将真正站到全世界领先的位置。”

无人之境

世界瞬息万变,数据作为物理世界的镜像,理论上是无穷无尽的,问题只在于人类有没有办法去记录和采集它们。

互联网和移动互联网的普及,让人类的行为数据采集成本大大降低。

IoT 传感器设备的普及,让工业生产和社会生活中的数据也能够大量地沉淀下来。

因此在过去的二十年中,数据总量出现了爆炸性的增长。

在整个世界发生数字化巨变的同时,我们的生活也在悄然改变。

基于数据应用的发展,我们享受到了一二十年之前无法想象的便捷——电商、O2O、移动支付、智能家居……

但在何昌华看来,数字化还处在非常初级的、在把线下的数据搬到线上的阶段。

真正需要思考的问题,是未来当高度数据化的社会到来时,我们拥有什么样的能力去处理和应用海量的数据。

这关系到我们是否能够基于数据做到更多的事,催生出更高的智能,进而推动人类社会向着下一阶段发展。

image

这就是他回国加入蚂蚁金服所要寻找的答案。

之所以回来,是因为觉得在这里做的事,往大一点说,是面向人类社会发展下一阶段的探索。

在这场全新的探索中,和海量的数据打交道是必修课,因此,他反复强调着计算能力的重要性:大数据、人工智能、深度学习……无不需要强大的计算能力,否则,向前的探索寸步难行。

人工智能的发展趋势,也是用更大更高更海量的计算,来模拟人的能力。

“真正的人工智能=数据+100倍的计算”,谷歌最新的人工智能模型水平,换算出来相当于数百块 GPU 持续计算一整年。

何昌华和团队一起倾力开发的新一代计算引擎和数据智能平台,实际上是高效计算能力和强大数据处理能力的综合载体。

它自蚂蚁金服海量的业务场景和数据之中诞生,初衷是支撑蚂蚁金服的各项业务,但随着技术逐步成熟,它也可以具备多场景下的通用性。

金融属性带来的高可用性和高安全性,让它可以广泛用于其他行业,应对生活服务场景更加不在话下。

这项工作的意义,往大了说,是在推动社会的变革,虽然听上去是个宏大的命题,但它并非那么高高在上。

“每一项技术都必有它的落脚点。具体到蚂蚁金服,这些技术跟数亿人的日常生活紧密相连。”

每一天,当何昌华自己掏出手机使用支付宝结账付款时,都能直观地感受到自己的工作成果。就像他在谷歌工作时,每天也都会使用搜索功能一样:“自己做出的成果,自己每天都在使用,非常切实地感觉到技术对生活的改变。”

他这样陈述自己的人生理想。在通往理想的征程中,他既站在技术的最前沿,也身处最为日常的场景中,这二者本就密不可分:

用技术改善人的生活,推动社会和人不断往前进化。

原文发布时间为: 2019-06-06
本文作者: 阿里技术
本文来自云栖社区合作伙伴“ 阿里技术”,了解相关信息可以关注“ 阿里技术”。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
20天前
|
监控 安全 API
使用PaliGemma2构建多模态目标检测系统:从架构设计到性能优化的技术实践指南
本文详细介绍了PaliGemma2模型的微调流程及其在目标检测任务中的应用。PaliGemma2通过整合SigLIP-So400m视觉编码器与Gemma 2系列语言模型,实现了多模态数据的高效处理。文章涵盖了开发环境构建、数据集预处理、模型初始化与配置、数据加载系统实现、模型微调、推理与评估系统以及性能分析与优化策略等内容。特别强调了计算资源优化、训练过程监控和自动化优化流程的重要性,为机器学习工程师和研究人员提供了系统化的技术方案。
140 77
使用PaliGemma2构建多模态目标检测系统:从架构设计到性能优化的技术实践指南
|
10天前
|
人工智能 自然语言处理
RWKV-7:RWKV系列开源最新的大模型架构,具有强大的上下文学习能力,超越传统的Attention范式
RWKV-7是RWKV系列的最新大模型架构版本,具有强大的上下文学习能力,超越了传统的attention和linear attention范式。本文详细介绍了RWKV-7的主要功能、技术原理及其在多语言处理、文本生成等领域的应用场景。
77 7
RWKV-7:RWKV系列开源最新的大模型架构,具有强大的上下文学习能力,超越传统的Attention范式
|
13天前
|
机器学习/深度学习 算法 数据可视化
基于深度混合架构的智能量化交易系统研究: 融合SSDA与LSTM自编码器的特征提取与决策优化方法
本文探讨了在量化交易中结合时序特征和静态特征的混合建模方法。通过整合堆叠稀疏降噪自编码器(SSDA)和基于LSTM的自编码器(LSTM-AE),构建了一个能够全面捕捉市场动态特性的交易系统。SSDA通过降噪技术提取股票数据的鲁棒表示,LSTM-AE则专注于捕捉市场的时序依赖关系。系统采用A2C算法进行强化学习,通过多维度的奖励计算机制,实现了在可接受的风险水平下最大化收益的目标。实验结果显示,该系统在不同波动特征的股票上表现出差异化的适应能力,特别是在存在明确市场趋势的情况下,决策准确性较高。
49 5
基于深度混合架构的智能量化交易系统研究: 融合SSDA与LSTM自编码器的特征提取与决策优化方法
|
24天前
|
机器学习/深度学习 人工智能 并行计算
【AI系统】Kernel 层架构
推理引擎的Kernel层负责执行底层数学运算,如矩阵乘法、卷积等,直接影响推理速度与效率。它与Runtime层紧密配合,通过算法优化、内存布局调整、汇编优化及调度优化等手段,实现高性能计算。Kernel层针对不同硬件(如CPU、GPU)进行特定优化,支持NEON、AVX、CUDA等技术,确保在多种平台上高效运行。
78 32
|
24天前
|
存储 机器学习/深度学习 人工智能
【AI系统】计算图优化架构
本文介绍了推理引擎转换中的图优化模块,涵盖算子融合、布局转换、算子替换及内存优化等技术,旨在提升模型推理效率。计算图优化技术通过减少计算冗余、提高计算效率和减少内存占用,显著改善模型在资源受限设备上的运行表现。文中详细探讨了离线优化模块面临的挑战及解决方案,包括结构冗余、精度冗余、算法冗余和读写冗余的处理方法。此外,文章还介绍了ONNX Runtime的图优化机制及其在实际应用中的实现,展示了如何通过图优化提高模型推理性能的具体示例。
53 4
【AI系统】计算图优化架构
|
12天前
|
存储 SQL 分布式计算
大数据时代的引擎:大数据架构随记
大数据架构通常分为四层:数据采集层、数据存储层、数据计算层和数据应用层。数据采集层负责从各种源采集、清洗和转换数据,常用技术包括Flume、Sqoop和Logstash+Filebeat。数据存储层管理数据的持久性和组织,常用技术有Hadoop HDFS、HBase和Elasticsearch。数据计算层处理大规模数据集,支持离线和在线计算,如Spark SQL、Flink等。数据应用层将结果可视化或提供给第三方应用,常用工具为Tableau、Zeppelin和Superset。
151 8
|
9天前
|
机器学习/深度学习 存储 人工智能
基于AI的实时监控系统:技术架构与挑战分析
AI视频监控系统利用计算机视觉和深度学习技术,实现实时分析与智能识别,显著提升高风险场所如监狱的安全性。系统架构包括数据采集、预处理、行为分析、实时决策及数据存储层,涵盖高分辨率视频传输、图像增强、目标检测、异常行为识别等关键技术。面对算法优化、实时性和系统集成等挑战,通过数据增强、边缘计算和模块化设计等方法解决。未来,AI技术的进步将进一步提高监控系统的智能化水平和应对复杂安全挑战的能力。
|
14天前
|
机器学习/深度学习 前端开发 算法
婚恋交友系统平台 相亲交友平台系统 婚恋交友系统APP 婚恋系统源码 婚恋交友平台开发流程 婚恋交友系统架构设计 婚恋交友系统前端/后端开发 婚恋交友系统匹配推荐算法优化
婚恋交友系统平台通过线上互动帮助单身男女找到合适伴侣,提供用户注册、个人资料填写、匹配推荐、实时聊天、社区互动等功能。开发流程包括需求分析、技术选型、系统架构设计、功能实现、测试优化和上线运维。匹配推荐算法优化是核心,通过用户行为数据分析和机器学习提高匹配准确性。
47 3
|
12天前
|
前端开发 搜索推荐 安全
陪玩系统架构设计陪玩系统前后端开发,陪玩前端设计是如何让人眼前一亮的?
陪玩系统的架构设计、前后端开发及前端设计是构建吸引用户、功能完善的平台关键。架构需考虑用户需求、技术选型、安全性等,确保稳定性和扩展性。前端可选用React、Vue或Uniapp,后端用Spring Boot或Django,数据库结合MySQL和MongoDB。功能涵盖用户管理、陪玩者管理、订单处理、智能匹配与通讯。安全性方面采用SSL加密和定期漏洞扫描。前端设计注重美观、易用及个性化推荐,提升用户体验和平台粘性。
40 0
|
12天前
|
存储 负载均衡 监控
揭秘 Elasticsearch 集群架构,解锁大数据处理神器
Elasticsearch 是一个强大的分布式搜索和分析引擎,广泛应用于大数据处理、实时搜索和分析。本文深入探讨了 Elasticsearch 集群的架构和特性,包括高可用性和负载均衡,以及主节点、数据节点、协调节点和 Ingest 节点的角色和功能。
28 0