serverless 学习 | QCon2022-深圳: Serverless 高密度部署与 Web-interoperable Runtime 在字节跳动的实践

本文涉及的产品
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
函数计算FC,每月15万CU 3个月
简介: serverless 学习 | QCon2022-深圳: Serverless 高密度部署与 Web-interoperable Runtime 在字节跳动的实践

serverless.jpeg

https://archsummit.infoq.cn/2022/shenzhen/schedule

<云原生>Serverless 高密度部署</云原生>

  • 二层调度与交付时间
  • 一层调度: 机房/IaaS 天
  • 二层调度: 容器/K8S 分钟/秒
  • serverless 冷启动: 几十秒 几秒 几百毫秒 -> 容器冷启动时间
  • 设备性能
  • 函数运行时
  • 网络延时
  • 代码包/镜像大小
  • 冷启动的影响: hostless stateless elasticity
  • 冷启动优化
  • 供应商: 设备
  • 供应商: 网络架构
  • 业务: 更轻量运行时, 比如 nodejs -> 搞来搞去, 还是容器启动
  • 业务: 合理组织函数代码

Web-interoperable Runtime

  • 三层调度与交付时间
  • 进程/线程: 毫秒级 亚毫秒级
  • 三层调度: 统一接入网关 -> FaaS网关 -> pod -> scheduler/gateway -> 高密度部署
  • 极端的资源利用率优化
  • OCI 资源限制/资源隔离: EaaI PaaC runc iku

  • WinterCG: The Web-interoperable Runtimes Community Group
  • Interoperable: 互通性 -> 大胆点:可相互替代、兼容
  • Interoperable 前提: 标准化 -> common minimum api
  • winter: nodejs Deno CloudFlareWrkers Oxygen+Hydrogen
  • 自研 Hourai.js -> 用于高密度部署
  • Low barrier-to-entry: 大基数下,JavaScripters 熟悉浏览器 API ≥ Node.js API
  • Hostless / Event-driven -> Node.js 之 PM2、部署、运维......
  • Stateless / Elasticity
  • 轻量 / 启动速度快
  • 池化、snapshot......
  • iku 提供 ASSS 能力,专攻极速启动

<实践>出真知</实践>

  • 高密度部署 = 更高的资源利用率(智能的资源自适配算法) + 更快的调度速度(搭配亚毫秒启动 Winter) + 更低的运维成本(嫁接到我们自己身上了)
  • 实践: 某服务迁移到线程级高密度部署(底层基于 Goofy Worker 1.0 的运行时), CPU Core 从原来 287 降低到 24,内存从原来 574G 降低到 39G。

  • 可扩展: 可适配各种 IaaS / FaaS 层,以应对不同场景。
  • 实践·云原生· OpenTelemetry
  • 实践·云原生· Dapr

  • 实践·流程编排
  • 实践·首屏速度: 首屏时间的长短对于用户的滞留时间的长短、用户转化率都尤为重要。
  • 实践·边缘 SSR (筹) = Modern.js × 边缘机房 × 高密度部署 × Web-interoperable Runtime

<理想要大>未来展望</理想要大>

展望·调度跃迁

  1. K8S 直接穿透调度
  2. 直接部署物理机,K8S 直接调度
  1. K8S......?🤥🤥🤥

展望·Hourai.js

  1. 更极速的 ASSS 能力;
  2. 分布式极速启动的能力;
  3. 与社区一起推进 WinterCG 发展; 4. ToB?开源?......


相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
目录
相关文章
|
23天前
|
弹性计算 人工智能 自然语言处理
魔搭社区与函数计算:高效部署开源大模型的文本生成服务体验
在数字化时代,人工智能技术迅速发展,开源大模型成为重要成果。魔搭社区(ModelScope)作为开源大模型的聚集地,结合阿里云函数计算,提供了一种高效、便捷的部署方式。通过按需付费和弹性伸缩,开发者可以快速部署和使用大模型,享受云计算的便利。本文介绍了魔搭社区与函数计算的结合使用体验,包括环境准备、部署应用、体验使用和资源清理等步骤,并提出了改进建议。
|
26天前
|
缓存 前端开发 JavaScript
前端serverless探索之组件单独部署时,利用rxjs实现业务状态与vue-react-angular等框架的响应式状态映射
本文深入探讨了如何将RxJS与Vue、React、Angular三大前端框架进行集成,通过抽象出辅助方法`useRx`和`pushPipe`,实现跨框架的状态管理。具体介绍了各框架的响应式机制,展示了如何将RxJS的Observable对象转化为框架的响应式数据,并通过示例代码演示了使用方法。此外,还讨论了全局状态源与WebComponent的部署优化,以及一些实践中的改进点。这些方法不仅简化了异步编程,还提升了代码的可读性和可维护性。
|
28天前
|
Serverless 数据安全/隐私保护 前端开发
大模型代码能力体验报告之贪吃蛇小游戏《一》:Claude.ai篇 - 生成、预览和快速部署的serverless一条龙
本文介绍了通过Claude.ai生成并优化Web版贪吃蛇游戏的过程,展示了其强大的代码生成功能及用户友好的界面设计。从初始版本的快速生成到根据用户反馈调整游戏速度,再到提供多种实用工具如文件管理、版本控制和一键部署,Claude.ai不仅是一个代码助手,更像是一个全面的serverless开发平台。文中还呼吁国内厂商关注此类技术的发展。
|
1月前
|
人工智能 弹性计算 自然语言处理
《触手可及,函数计算玩转 AI 大模型》解决方案体验与部署评测
在AI技术快速发展的背景下,大模型正推动各行业的智能化转型。企业为抓住机遇,纷纷寻求部署AI大模型以满足特定业务需求。阿里云函数计算凭借按量付费、卓越弹性和快速交付等优势,为企业提供了高效、安全的AI大模型部署方案。本文将详细介绍阿里云函数计算的技术解决方案及其在文生文、图像生成和语音生成等领域的应用实例,展示其在降低成本、提高效率和增强灵活性方面的显著优势。
|
1月前
|
弹性计算 Serverless API
海量大模型如何一键部署上云,函数计算 x ModelScope 社区给出答案
得益于阿里云函数计算的产品能力,魔搭 SwingDeploy 后的模型推理 API 服务默认具备极致弹性伸缩(缩零能力)、GPU 虚拟化(最小 1GB 显存粒度)、异步调用能力、按用付费、闲置计费等能力,这些能力帮助算法工程师大大加快了魔搭开源模型投入生产的生命周期。
|
1月前
|
机器学习/深度学习 移动开发 JavaScript
Web实时通信的学习之旅:SSE(Server-Sent Events)的技术详解及简单示例演示
Web实时通信的学习之旅:SSE(Server-Sent Events)的技术详解及简单示例演示
130 0
|
2月前
|
运维 Kubernetes 前端开发
拥抱Knative, 合思加速Serverless化演进实践
合思信息基于阿里云容器服务Knative, 实现Serverless化演进的最佳实践。
拥抱Knative, 合思加速Serverless化演进实践
|
1月前
|
网络协议 API 网络安全
Web实时通信的学习之旅:轮询、WebSocket、SSE的区别以及优缺点
Web实时通信的学习之旅:轮询、WebSocket、SSE的区别以及优缺点
147 0
|
1月前
|
网络协议 安全 JavaScript
Web实时通信的学习之旅:WebSocket入门指南及示例演示
Web实时通信的学习之旅:WebSocket入门指南及示例演示
136 0
|
2月前
|
存储 人工智能 弹性计算
函数计算部署 AI 大模型解决方案测评
函数计算部署 AI 大模型解决方案测评

热门文章

最新文章

相关产品

  • 函数计算