从大数据到ET大脑-阿里云的超智能AI平台

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 首先声明本座并不是阿里粉丝,一直认为阿里的服务框架Dubbo跟Netflix的Spring Cloud相比,无论从社区成熟度还是功能组件上相比都差了一大截。 但就在刚刚过去的618年中大促中,阿里硬是将这个京东成立日变成了自己在上半年的购物狂欢节。

首先声明本座并不是阿里粉丝,一直认为阿里的服务框架Dubbo跟Netflix的Spring Cloud相比,无论从社区成熟度还是功能组件上相比都差了一大截。
1
但就在刚刚过去的618年中大促中,阿里硬是将这个京东成立日变成了自己在上半年的购物狂欢节。这不禁让人唏嘘还有没有哪个零售商敢大张旗鼓地宣传购物节这个概念,这等于是在给阿里创造另一个大促时点。
2
作为一个做“集市”起家的电商,在其超过1000万的注册商户中绝大多数是中小企业,甚至没有店面。那在要准备618,双11这类大促时,很显见的问题就是备货不足,还没有实体资产找银行批补货贷款。他们只好找阿里,那阿里的蚂蚁金融就会根据这些商户在淘宝或天猫上的保证金、往期交易和流水来判断放贷风险,最终将可控的贷款额度发放给商户。因此阿里的销售奇迹很大一部分是依托于智能的风控体系有效地将大笔资金从左口袋(蚂蚁金融)移到了右口袋(天猫/淘宝)。
蚂蚁金融的贷款审批非常便捷,概括来讲是310模式,即申请人花3分钟填写贷款申请表;蚂蚁金融花1秒钟调用阿里大数据平台的风控模型判断额度能否通过;全程0人工干预。
3
根据阿里统计,平均每笔贷款的成本仅为2.3元人民币,最小审批金额为1元人民币,整体坏账率不到1%。以下是蚂蚁金融小微贷的流程图,最左边数据源可以是阿里的生态系统(包括支付宝、蚂蚁金融、电子商务),也可以是外部数据(B2B流水、CNZZ流量统计数据或其他外部数据),通过数据清理后进入数据汇聚层,也就是蚂蚁金融的数据集成平台,可同时并行超过一万的计算任务,日均处理超过20PB的数据,对接超过3000个数据源,超过5000个参数。
4
处理完成后进入模型计算,也就是蚂蚁金融的核心决策系统。针对不同场景,这里提供了超过100个AI数据模型来做风险控制以及运维管理,最后得出金融判断,包括贷款额度,信用评级等。
电商的一端是商家,另一端是买家,在给商家提供了贷款服务后,阿里是如何提升买家的用户体验的呢?同样靠的是AI,例如针对每一个用户偏好的界面定制,以及图像识别功能等。要知道在淘宝这一体量的电商平台,很多词条的搜索结果是远超通用搜索引擎,有时必须借助图像识别技术来准确定位商品,尤其对于本座这种表达能力缺失的买家更为重要。
5
阿里通过大量数据建立起来的模型算法,准确匹配到近似的图像,并将搜索结果返回给用户。
基于云计算、大数据及人工智能,阿里迅速建立起了自己的核心数据智能引擎ET大脑(Extreme Technology Brain),并在更广泛的应用领域进行测试,例如城市大脑。
6
杭州是第一个被试点的城市,因为它除了有阿里之外,还有各种高科技的视频监控厂商(如海康威视、浙江大华),试点内容包括:
交通感知与优化:交通线路的感知、交通灯信号的优化
事件侦测与响应:通过摄像头的图像感知获取异常事件、人流量预测与监控、特种车辆的绿色通道开辟
嫌疑车辆跟踪:触点式嫌疑车辆标记、嫌疑车辆跟踪
公共交通优化:公交线路行程优化。
通过上述优化,杭州交通在高峰时间的拥塞率降低了9.2%,乘客平均出行时间减少3分钟。
目前以杭州为试点,部署城市ET大脑的城市包括有吉隆坡、重庆、苏州以及澳门。
7

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
95 1
|
1月前
|
机器学习/深度学习 测试技术
阿里云入选Gartner数据科学和机器学习平台挑战者象限
Gartner® 正式发布了《数据科学与机器学习平台魔力象限》报告(Magic Quadrant™ for Data Science and Machine Learning Platforms),阿里云成为唯一一家入选该报告的中国厂商,被评为“挑战者”(Challengers)。
|
12天前
|
SQL 数据采集 分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
【赵渝强老师】基于大数据组件的平台架构
|
19天前
|
人工智能 Cloud Native 数据管理
媒体声音|重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
在2024云栖大会上,阿里云瑶池数据库发布了首个一站式多模数据管理平台DMS:OneMeta+OneOps。该平台由Data+AI驱动,兼容40余种数据源,实现跨云数据库、数据仓库、数据湖的统一数据治理,帮助用户高效提取和分析元数据,提升业务决策效率10倍。DMS已服务超10万企业客户,降低数据管理成本高达90%。
|
18天前
|
存储 人工智能 文字识别
利用AI能力平台实现档案馆纸质文件的智能化数字处理
在传统档案馆中,纸质文件管理面临诸多挑战。AI能力平台利用OCR技术,通过图像扫描、预处理、边界检测、文字与图片分离、文字识别及结果存储等步骤,实现高效数字化转型,大幅提升档案处理效率和准确性。
|
17天前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI驱动的个性化学习平台构建###
【10月更文挑战第29天】 本文将深入探讨如何利用人工智能技术,特别是机器学习与大数据分析,构建一个能够提供高度个性化学习体验的在线平台。我们将分析当前在线教育的挑战,提出通过智能算法实现内容定制、学习路径优化及实时反馈机制的技术方案,以期为不同背景和需求的学习者创造更加高效、互动的学习环境。 ###
39 3
|
17天前
|
机器学习/深度学习 人工智能 自然语言处理
医疗行业的语音识别技术解析:AI多模态能力平台的应用与架构
AI多模态能力平台通过语音识别技术,实现实时转录医患对话,自动生成结构化数据,提高医疗效率。平台具备强大的环境降噪、语音分离及自然语言处理能力,支持与医院系统无缝集成,广泛应用于门诊记录、多学科会诊和急诊场景,显著提升工作效率和数据准确性。
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
|
20天前
|
机器学习/深度学习 人工智能 自然语言处理
【EMNLP2024】阿里云人工智能平台 PAI 多篇论文入选 EMNLP2024
阿里云人工智能平台 PAI 的多篇论文在 EMNLP2024 上入选。论文成果是阿里云与华南理工大学金连文教授团队、复旦大学王鹏教授团队共同研发。EMNLP 是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究,尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大的影响力。此次入选标志着阿里云人工智能平台 PAI 在自然语言处理和多模态算法能力方面研究获得了学术界认可。
|
21天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
下一篇
无影云桌面