serverless 学习 | QCon2022-深圳: Serverless 高密度部署与 Web-interoperable Runtime 在字节跳动的实践

本文涉及的产品
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
函数计算FC,每月15万CU 3个月
简介: serverless 学习 | QCon2022-深圳: Serverless 高密度部署与 Web-interoperable Runtime 在字节跳动的实践

serverless.jpeg

https://archsummit.infoq.cn/2022/shenzhen/schedule

<云原生>Serverless 高密度部署</云原生>

  • 二层调度与交付时间
  • 一层调度: 机房/IaaS 天
  • 二层调度: 容器/K8S 分钟/秒
  • serverless 冷启动: 几十秒 几秒 几百毫秒 -> 容器冷启动时间
  • 设备性能
  • 函数运行时
  • 网络延时
  • 代码包/镜像大小
  • 冷启动的影响: hostless stateless elasticity
  • 冷启动优化
  • 供应商: 设备
  • 供应商: 网络架构
  • 业务: 更轻量运行时, 比如 nodejs -> 搞来搞去, 还是容器启动
  • 业务: 合理组织函数代码

Web-interoperable Runtime

  • 三层调度与交付时间
  • 进程/线程: 毫秒级 亚毫秒级
  • 三层调度: 统一接入网关 -> FaaS网关 -> pod -> scheduler/gateway -> 高密度部署
  • 极端的资源利用率优化
  • OCI 资源限制/资源隔离: EaaI PaaC runc iku

  • WinterCG: The Web-interoperable Runtimes Community Group
  • Interoperable: 互通性 -> 大胆点:可相互替代、兼容
  • Interoperable 前提: 标准化 -> common minimum api
  • winter: nodejs Deno CloudFlareWrkers Oxygen+Hydrogen
  • 自研 Hourai.js -> 用于高密度部署
  • Low barrier-to-entry: 大基数下,JavaScripters 熟悉浏览器 API ≥ Node.js API
  • Hostless / Event-driven -> Node.js 之 PM2、部署、运维......
  • Stateless / Elasticity
  • 轻量 / 启动速度快
  • 池化、snapshot......
  • iku 提供 ASSS 能力,专攻极速启动

<实践>出真知</实践>

  • 高密度部署 = 更高的资源利用率(智能的资源自适配算法) + 更快的调度速度(搭配亚毫秒启动 Winter) + 更低的运维成本(嫁接到我们自己身上了)
  • 实践: 某服务迁移到线程级高密度部署(底层基于 Goofy Worker 1.0 的运行时), CPU Core 从原来 287 降低到 24,内存从原来 574G 降低到 39G。

  • 可扩展: 可适配各种 IaaS / FaaS 层,以应对不同场景。
  • 实践·云原生· OpenTelemetry
  • 实践·云原生· Dapr

  • 实践·流程编排
  • 实践·首屏速度: 首屏时间的长短对于用户的滞留时间的长短、用户转化率都尤为重要。
  • 实践·边缘 SSR (筹) = Modern.js × 边缘机房 × 高密度部署 × Web-interoperable Runtime

<理想要大>未来展望</理想要大>

展望·调度跃迁

  1. K8S 直接穿透调度
  2. 直接部署物理机,K8S 直接调度
  1. K8S......?🤥🤥🤥

展望·Hourai.js

  1. 更极速的 ASSS 能力;
  2. 分布式极速启动的能力;
  3. 与社区一起推进 WinterCG 发展; 4. ToB?开源?......


相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
目录
相关文章
|
1月前
|
前端开发 算法 API
构建高性能图像处理Web应用:Next.js与TailwindCSS实践
本文分享了构建在线图像黑白转换工具的技术实践,涵盖技术栈选择、架构设计与性能优化。项目采用Next.js提供优秀的SSR性能和SEO支持,TailwindCSS加速UI开发,WebAssembly实现高性能图像处理算法。通过渐进式处理、WebWorker隔离及内存管理等策略,解决大图像处理性能瓶颈,并确保跨浏览器兼容性和移动设备优化。实际应用案例展示了其即时处理、高质量输出和客户端隐私保护等特点。未来计划引入WebGPU加速、AI增强等功能,进一步提升用户体验。此技术栈为Web图像处理应用提供了高效可行的解决方案。
|
2月前
|
人工智能 运维 安全
函数计算支持热门 MCP Server 一键部署
云上托管 MCP 搭建 AI Agent 将成为趋势。函数计算 FC 目前已经支持开源 MCP Server 一键托管,欢迎体验。
860 114
|
2月前
|
存储 运维 Serverless
千万级数据秒级响应!碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践
碧桂园服务通过引入 EMR Serverless StarRocks 存算分离架构,解决了海量数据处理中的资源利用率低、并发能力不足等问题,显著降低了硬件和运维成本。实时查询性能提升8倍,查询出错率减少30倍,集群数据 SLA 达99.99%。此次技术升级不仅优化了用户体验,还结合AI打造了“一看”和“—问”智能场景助力精准决策与风险预测。
263 69
|
20天前
|
缓存 前端开发 应用服务中间件
Web端实时通信技术SSE在携程机票业务中的实践应用
本文介绍了携程机票前端基于Server-Sent Events(SSE)实现服务端推送的企业级全链路通用技术解决方案。文章深入探讨了 SSE 技术在应用过程中包括方案对比、技术选型、链路层优化以及实际效果等多维度的技术细节,为类似使用场景提供普适性参考和借鉴。
42 7
|
1月前
|
人工智能 安全 程序员
用 Colab 和 ngrok 免费部署你的 Web UI 项目,随时随地访问!
用 Colab 和 ngrok 免费部署你的 Web UI 项目,随时随地访问!
|
2月前
|
Serverless Python
借助 serverless 将 MCP 服务部署到云端
本文介绍了如何将 MCP 服务通过 SSE 协议部署到云端,避免本地下载和启动的麻烦。首先,使用 Python 实现了一个基于 FastMCP 的网络搜索工具,并通过设置 `transport='sse'` 启用 SSE 协议。接着,编写客户端代码测试服务功能,确保其正常运行。随后,利用阿里云函数计算服务(FC 3.0)以 Serverless 方式部署该服务,包括创建函数、配置环境变量、添加依赖层以及部署代码。最后,提供了客户端测试方法和日志排查技巧,并展示了如何在不同工具(如 Cherry-Studio、Cline 和 Cursor)中配置云端 MCP 服务。
734 10
借助 serverless 将 MCP 服务部署到云端
|
23天前
|
Web App开发 前端开发 JavaScript
鸿蒙5开发宝藏案例分享---Web适配一多开发实践
这是一份实用的鸿蒙Web多设备适配开发指南,针对开发者在不同屏幕尺寸下的布局难题提供了解决方案。文章通过三大法宝(相对单位、媒体查询和窗口监听)详细介绍如何实现智能适配,并提供了多个实战案例,如宫格布局、对话框变形和自适应轮播图等。此外,还分享了调试技巧及工具推荐,帮助开发者快速上手并优化性能。最后鼓励读者实践探索,并提示更多官方资源等待发现。
|
30天前
|
安全 搜索推荐 Serverless
HarmonyOS5云服务技术分享--Serverless抽奖模板部署
本文详细介绍了如何使用华为HarmonyOS的Serverless模板快速搭建抽奖活动,手把手教你完成从前期准备到部署上线的全流程。内容涵盖账号注册、云函数配置、参数调整、托管上线及个性化定制等关键步骤,并附带常见问题解答和避坑指南。即使是零基础用户,也能轻松上手,快速实现抽奖活动的开发与部署。适合希望高效构建互动应用的开发者参考学习。
|
2月前
|
Cloud Native Serverless 流计算
云原生时代的应用架构演进:从微服务到 Serverless 的阿里云实践
云原生技术正重塑企业数字化转型路径。阿里云作为亚太领先云服务商,提供完整云原生产品矩阵:容器服务ACK优化启动速度与镜像分发效率;MSE微服务引擎保障高可用性;ASM服务网格降低资源消耗;函数计算FC突破冷启动瓶颈;SAE重新定义PaaS边界;PolarDB数据库实现存储计算分离;DataWorks简化数据湖构建;Flink实时计算助力风控系统。这些技术已在多行业落地,推动效率提升与商业模式创新,助力企业在数字化浪潮中占据先机。
200 12
|
2月前
|
人工智能 运维 安全
函数计算支持热门 MCP Server 一键部署
MCP(Model Context Protocol)自2024年发布以来,逐渐成为AI开发领域的实施标准。OpenAI宣布其Agent SDK支持MCP协议,进一步推动了其普及。然而,本地部署的MCP Server因效率低、扩展性差等问题,难以满足复杂生产需求。云上托管成为趋势,函数计算(FC)作为Serverless算力代表,提供一键托管开源MCP Server的能力,解决传统托管痛点,如成本高、弹性差、扩展复杂等。通过CAP平台,用户可快速部署多种热门MCP Server,体验高效灵活的AI应用开发与交互方式。
2079 10

相关产品

  • 函数计算