函数计算 FC:首发 GPU 极速模式,更弹性、更降本

简介: 2024 云栖大会上,函数计算 FC 为 AI 加码,首发 GPU 极速模式,让 GPU 可以更弹性、更便宜。

函数计算 FC 作为轻量灵活、事件驱动的全托管计算服务,一直以来以弹得更快、粒度更细、成本更低为广大开发者与企业客户所青睐。


2024 云栖大会上,函数计算 FC 为 AI 加码,首发 GPU 极速模式,让 GPU 可以更弹性、更便宜。

image.png

阿里云智能集团产品专家 洪晓龙


首发 GPU 极速模式,分钟级到秒级别


函数计算全新发布的 Serverless GPU 极速模式,通过预置快照提前锁定弹性资源确保刚性交付,可自动根据您的请求并发数实现极速伸缩(CPU 毫秒级,GPU 秒级),有效避免冷启动,实现成本与性能均衡。业界首创 CPU/MEM 与 GPU 解耦,1/N 卡更便宜,秒级启动首包耗时降低 95%,助力大模型推理加速。

  • 技术升级:创新的显存快照技术,低峰时 GPU 缩容到 0 ,高峰时秒级启动。
  • 自动容灾:GPU 实例宕机自动容灾,大幅降低错误率,无冗余成本。
  • 指标升级:0->1 首包耗时对比 K8s 弹性模式,自分钟级优化至秒级。

image.png

阿里云智能集团高级技术专家 聂大鹏


架构更先进、集成更丝滑,为 AI 创新加速


函数计算化繁为简,加速云产品集成,通过 FC + EB + CloudFlow 引领云产品间集成新范式,让数据可以互通,让灵活定制得以标准化。

image.png

函数计算 FC 提供 Stable Diffusion、LangChain 等 AI 应用样板间,深度集成通义产品系列、魔搭社区等,让 AI 应用开发更简单。


  • 魔搭社区:50+ 热门大模型支持一键部署至用户指定阿里云账号,快速体验或二次开发。
  • 模版/模型服务:20+ 热门 AI 应用模板如 Stable Diffusion、ComfyUI、Flux 等支持一键部署,快速托管热门模型如 Qwen、Baichuan2 等。

image.png


阶梯定价+峰谷定价,成本更优


  • 峰谷定价,夜间 0~6 时享受 5 折优惠。
  • 阶梯定价越用越便宜,官网限时 8 折优惠。
  • 节省计划,超低折扣、降低用云成本。


函数计算 FC 按量付费、资源包限时 8 折优惠,以及面向中国站的中国内地地域夜间 5 折优惠活动正在进行中:https://www.aliyun.com/product/fc


与客户、合作伙伴携手同行


并发性能提升 4 倍!云帐房用函数计算 FC 轻松应对瞬时业务洪峰

云帐房网络科技有限公司(以下简称“云帐房”)是一家 AI+RPA 技术驱动的业财税云平台公司。随着业务规模不断扩大,云帐房报税业务对 IT 的能力要求呈指数型提升,且具有显著的周期。在业务高峰期时,需要在短时间内拉起数万核 CPU 资源,而报税期之外,CPU 资源需求几乎为 0。


函数计算 FC 为其提供了开箱即用,用完即走,按量付费的 Serverless 能力,资源弹性可定时按量自动伸缩,轻松解决云帐房遇到的问题,成功实现并发性能提升 4 倍,资源成本降低 64%。

image.png

云帐房首席架构师 李嘉陵


Serverless GPU 与 NVIDIA TensorRT/TensorRT-LLM 达成合作

阿里云函数计算 FC 与NVIDIA TensorRT/TensorRT-LLM 的合作推动了 AI 技术的实际应用落地,特别是在计算密集型的任务如图像生成、自然语言处理等领域,能够通过无缝集成的高效计算平台,大规模部署 AI 模型。

image.png

NVIDIA 解决方案架构师 金国强


开发者可以借助这类平台,快速开发并迭代 AI 产品,从而缩短从概念到实际应用的时间。同时,这种合作还支持企业灵活应对动态的计算需求,特别是在面对高并发或大规模任务时,实现弹性扩展和高效资源管理,为 AI 在各个行业的广泛应用提供了坚实的技术基础。

相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
相关文章
|
数据采集 运维 Serverless
云函数采集架构:Serverless模式下的动态IP与冷启动优化
本文探讨了在Serverless架构中使用云函数进行网页数据采集的挑战与解决方案。针对动态IP、冷启动及目标网站反爬策略等问题,提出了动态代理IP、请求头优化、云函数预热及容错设计等方法。通过网易云音乐歌曲信息采集案例,展示了如何结合Python代码实现高效的数据抓取,包括搜索、歌词与评论的获取。此方案不仅解决了传统采集方式在Serverless环境下的局限,还提升了系统的稳定性和性能。
383 0
|
10月前
|
人工智能 运维 Serverless
GPU 降成本免运维,睿观 AI 助手选择函数计算
从跨境电商 ERP 到“睿观 AI 助手”,阿里云函数计算的支持下,深圳三态股份利用 AI 技术快速完成专利、商标、版权等多维度的侵权风险全面扫描。结合函数计算实现弹性算力支持,降低成本并提升效率,实现业务的快速发展。
|
人工智能 架构师 容灾
函数计算 FC:首发 GPU 极速模式,更弹性、更降本
函数计算 FC:首发 GPU 极速模式,更弹性、更降本
226 5
|
人工智能 运维 Serverless
Serverless GPU:助力 AI 推理加速
Serverless GPU:助力 AI 推理加速
639 1
|
存储 文件存储 对象存储
AI 场景下,函数计算 GPU 实例模型存储最佳实践
当前,函数计算 FC 已被广泛应用在各种 AI 场景下,函数计算支持通过使用容器镜像部署 AI 推理应用,并且提供多种选项来访问训练好的模型。为了帮助开发者高效地在函数计算上部署 AI 推理应用,并快速解决不同场景下的模型存储选型问题,本文将对函数计算的 GPU 模型存储的优缺点及适用场景进行对比分析,以期为您的模型存储决策提供帮助。
|
存储 文件存储 对象存储
AI 场景下,函数计算 GPU 实例模型存储最佳实践
AI 场景下,函数计算 GPU 实例模型存储最佳实践
389 0
|
关系型数据库 Serverless 分布式数据库
PolarDB Serverless 模式通过自动扩缩容技术,根据实际工作负载动态调整资源,提高系统灵活性与成本效益
PolarDB Serverless 模式通过自动扩缩容技术,根据实际工作负载动态调整资源,提高系统灵活性与成本效益。用户无需预配高固定资源,仅需为实际使用付费,有效应对流量突变,降低总体成本。示例代码展示了基本数据库操作,强调了合理规划、监控评估及结合其他云服务的重要性,助力企业数字化转型。
375 6
|
7月前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
740 30
|
8月前
|
存储 人工智能 Serverless
函数计算进化之路:AI 应用运行时的状态剖析
AI应用正从“请求-响应”迈向“对话式智能体”,推动Serverless架构向“会话原生”演进。阿里云函数计算引领云上 AI 应用 Serverless 运行时技术创新,实现性能、隔离与成本平衡,开启Serverless AI新范式。
794 12
|
SQL 分布式计算 Serverless
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
鹰角网络为应对游戏业务高频活动带来的数据潮汐、资源弹性及稳定性需求,采用阿里云 EMR Serverless Spark 替代原有架构。迁移后实现研发效率提升,支持业务快速发展、计算效率提升,增强SLA保障,稳定性提升,降低运维成本,并支撑全球化数据架构部署。
1352 56
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用

相关产品

  • 函数计算