基础设施助力双11(二): 发挥异构计算硬件资源的软实力

简介: 如何把繁杂的业务需求高效地映射到异构资源上,使得异构资源各尽所长发挥最佳效能,同时也能最大程度地提升业务性能,是个非常有挑战性的难题。

背景

阿里巴巴有着庞大且复杂的业务场景,从图像分类、视频检测,到语音辅助、搜索推荐,使用了多种机器学习/深度学习的算法和模型,需要强大的计算力做支撑。另一方面,阿里巴巴基础架构除了炫酷的数据中心、高带宽的网络架构、高密度的存储系统外,也拥有强大的异构计算资源。并且随着AIS团队技术力量的日益成熟,基础架构中的计算资源正迅速多样化,从CPU、GPU、FPGA,到深度定制、自研加速器,计算硬实力有了爆发式增长。如何把繁杂的业务需求高效地映射到异构资源上,使得异构资源各尽所长发挥最佳效能,同时也能最大程度地提升业务性能,是个非常有挑战性的难题。

所以,在发展异构计算硬实力的同时,如何展示其潜力、把效能发挥到极致的软实力同样也是攸关重要的,而编译技术正是这个展现软实力的核心技术之核心。

计算力:软硬实力的完美协同

经典的编译算法解决了多种编程语言对多种微处理器架构的问题,在统一的编译框架上实现高级编程语言(比如C++ 和Java)到目标机器可执行代码的转换,这是编译1.0 时代的主要目标。在编译2.0 时代,增强了通用优化和关于target架构的针对性优化,以产生最优可执行代码。而在AI/机器学习时代,我们把编译技术从面向语言、面向目标架构的这两个阶段提升到面向场景的软硬一体全栈式优化阶段,即所谓的编译 3.0。

image.png

通过一体化的编译技术,深度理解和识别应用程序的特性和对计算资源的需求,根据异构硬件的特征,灵活适配任务的执行单元,同时通过对应用特征的全局分析,分割或融合应用开发者对应用的原始功能划分,从而找到最佳的数据传输和布局方案。

软硬一体的深度优化最大程度发挥出硬件的真正实力,提升了业务性能,大幅改进资源利用率。

编译:算法与优化的分离

面向场景的编译技术实现了对异构资源的抽象,使得业务逻辑和编程框架更加灵活。不仅如此,资源抽象也增加了业务逻辑和性能在多种执行环境下(数据中心和边缘计算)的可移植性。开发者在业务逻辑上的优化,可以适用于任何后端计算平台。

更为重要的是,业务逻辑和硬件逻辑开发可以在各自的领域里快速迭代、优化而不会互相影响对方的迭代进度。以编译平台赋能的松耦合、并行开发,为业务的及时落地和硬件创新打下良好的基础。

小结

双11是阿里巴巴对技术极限的追求,目前已在机器学习/深度学习领域、面向场景的编译平台上,在发挥异构计算的潜力上初见成效。阿里巴巴基础架构的软硬实力双剑合璧,成功地支撑了双11的商业奇迹。

目录
相关文章
|
移动开发 JavaScript 前端开发
Element Plus for Vue 3 入门教程
Element Plus 是为了适配 Vue 3 对 Element UI 进行的重构。Vue 3.0 的这次大版本升级,对于第三方组件库来说是一件好事,那些已经修修补补无数次,还无法彻底解决的问题,在这次面向 Vue 3.0 重构时,一次性全部解决。
4203 0
|
6月前
|
移动开发 API 开发者
网站集成微信登录Api接口,所踩的坑
本文总结微信登录接口开发的两大场景(微信内H5与PC端扫码)及配置要点:公众号平台配移动端二级域名(如mobile.domain.com),开放平台配PC端一级域名(如domain.com);强调redirect_uri须带http://且URL编码,避免常见报错。
813 2
|
10月前
|
Prometheus 运维 监控
监控没做好,DevOps等于裸奔:Prometheus + ELK 的“稳态运营秘籍”
监控没做好,DevOps等于裸奔:Prometheus + ELK 的“稳态运营秘籍”
459 26
|
5月前
|
自然语言处理 安全
Stop Fixating on Prompts: Reasoning Hijacking and Constraint Tightening for Red-Teaming LLM Agents(论文解读)
本文提出的JailAgent框架,通过不修改用户提示词的隐式攻击方式,实现了对LLM智能体推理轨迹与记忆检索的高效劫持,兼具高攻击成功率、强泛化性、高隐蔽性与低计算开销,为LLM智能体的红队测试与安全评估提供了全新范式。
296 2
|
5月前
|
缓存 监控 关系型数据库
击穿 MySQL 性能天花板:InnoDB Buffer Pool 核心架构、LRU 优化与生产调优全解
本文深入解析MySQL InnoDB Buffer Pool核心机制:涵盖缓冲池定位、内存架构(控制块/缓存页/多实例/Chunk)、三大链表(Free/Flush/LRU)工作原理,重点剖析原生LRU缺陷及InnoDB冷热分离优化方案,并提供参数调优、避坑指南与监控实战。
462 1
|
7月前
|
人工智能 前端开发 搜索推荐
AI 英语口语 APP 的费用
AI英语口语APP开发费用分三块:研发人力(60%-70%)、AI模型调用(Token计费)、第三方授权。预算分三级:MVP版15–30万(基础对话纠错);进阶版40–100万(数字人+发音打分);企业版150万+(自研模型+VR沉浸)。2026年可借轻量化模型、端侧VAD、跨平台框架降本。#AI教育 #AI英语
|
8月前
|
弹性计算 关系型数据库 MySQL
2026年阿里云数据库使用全指南:购买、配置、连接与核心特性解析
阿里云数据库涵盖关系型(RDS、PolarDB)、NoSQL(Redis、MongoDB)等多类产品,支持 MySQL、SQL Server、PostgreSQL 等主流引擎,凭借高可用、易运维特性,适配从个人开发到企业级业务的多元需求。本文结合官方标准流程与实践经验,从购买选型、实例配置、连接使用到性能优化展开解析,帮助用户高效上手阿里云数据库服务。
|
编解码 安全 Linux
技术笔记:SELinux详解
技术笔记:SELinux详解
775 0
|
存储 SQL OLAP
分析性能提升40%,阿里云Hologres流量场景最佳实践
分析性能提升40%,阿里云Hologres流量场景最佳实践
|
人工智能 算法 新能源
【2023高教社杯】A题 定日镜场的优化设计 问题分析及数学模型
本文介绍了2023年高教社杯数学建模竞赛A题的定日镜场优化设计问题,涉及问题分析和数学模型构建,旨在提高太阳能光热发电效率并实现电力系统的新能源转型。
820 1
【2023高教社杯】A题 定日镜场的优化设计 问题分析及数学模型