开发者社区官方技术圈

阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。

阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。

把集群混合起来,将不同类型的任务调度到相同的物理资源上,通过调度,资源隔离等控制手段 , 在保障SLO的基础上,充分使用资 源能力,极大降低成本,我们称这样的技术为混部(Co-loaction)。

混部在一起的任务有两个比较重要的特征: 1、可以划分优先级:一定需要优先级比较低的任务,它们能像水和沙子一样,随时能被赶走,而不会受到不可承受的影响,让优先 级高的任务不受干扰。在线的特点是:峰值压力时间不长,对延时比较敏感,业务的压力抖动比较厉害,典型的如早上10点的聚划 算活动,就会在非常短的时间内,造成交易集群的压力瞬间上升10几倍,对于稳定的要求非常高,在混部的时候,必须要保证在线 的通畅,需要有极强的抗干扰能力。而计算任务的特点是:平时的压力比较高,相对来说计算量可控,并且延迟不敏感,失败后也 可以重跑。至少需要几分钟跑完的计算任务,相对于几秒甚至几十秒的延迟,并不会产生严重的问题,正好可以承提起水和沙子的 角色。 2、资源占用互补性:两种任务在不同的时间点对水位的占用不一样。如在线服务是,平时比较低,大促时比较高;凌晨比较低,白 天比较高。而计算任务则反过来,平时比较高,大促时可以降级;凌晨非常高,白天却要低一些。

以上内容摘自《2022龙蜥社区全景》电子书,点击https://developer.aliyun.com/ebook/download/7878 可下载完整版

游客c3gxxcx6cqeyo 评论 0

1

回答

游客lmkkns5ck6auu 2022-11-09 276浏览量 回答数 1
  1. 传统QEMU单实例的内存开销超过100MB,启动时间也达到了数秒;

  2. 完整操作系统需要加载大量驱动来支持各类设备,同时systemd等重量级服务带来的资源和启动开销也很大。 RunD为了解决上述问题进行了大量优化和改进。用Rust实现VMM Dragonball:让原有VMM的内存资源开销从100+MB下降到3MB。即使是128M实例的开销也在可接受范围。同时 支持设备直通、设备热插拔、NUMA等特性,让RunD能够适配各种复杂业务场景;多进程融合设计:使RunD在生产环境维护升级 更加便捷,提升安全容器稳定性的同时也让进程间通信转换为进程内通信,降低通信开销,优化启动性能;精简操作系统相关组 件:有效剥离非容器场景相关特性和组件,降低资源开销,精简组件和接口数量,减小沙箱受攻击风险;VMM 和Guest Kernel的融 合设计是安全容器的独特之处。传统虚拟机Guest Kernel由用户提供,VMM要处理各类Guest Kernel,因此大量问题要在宿主机侧 解决。但在安全容器场景,Guest Kernel和VMM的统一提供让两者可以深度融合。这一设计进一步提升了安全容器的启动速度,降 低了安全容器的开销。 通过上述技术突破,RunD目前已在生产环境部署并支持单节点4000安全容器、200/s并发、200ms启动。

以上内容摘自《2022龙蜥社区全景》电子书,点击https://developer.aliyun.com/ebook/download/7854 可下载完整版

游客c3gxxcx6cqeyo 评论 0

1

回答

游客lmkkns5ck6auu 2022-11-09 330浏览量 回答数 1

轻量、高性能、标准化的HTTP 3.0解决方案:XQUIC + ExpressUDP XQUIC是一个轻量、高性能、标准化的跨平台IETF QUIC协议库,内部包含了QUIC-Transport(传输层)、QUIC-TLS(加密层、与 TLS/1.3对接)和HTTP/3.0(应用层)的实现,为应用提供可靠、安全、高效的数据传输功能,在IETF开发者社区进行了比较充分 的互通性验证,支持Linux/Android/iOS/Mac/Windows等平台,在Android/iOS双端的编译产物均小于400KB,适用于需要高性 能但同时又对包大小敏感的移动端APP场景,可以方便地部署到移动设备和各种嵌入式设备中。在服务端方面,基于阿里内部广泛 使用的Tengine,开发了ngx_xquic_module和ngx_xudp_module模块用于适配Tengine服务端。

XQUIC还添加了对多路径传输的能力支持,可以同时利用cellular和wifi双通道进行数据传输。多路径QUIC草案已经被IETF工作组正 式接收纳入标准,我们与达摩院XG实验室共同研发的XLINK多路传输技术,相关论文「XLINK: QoE-driven multi-path QUIC transport in large-scale video services」已经发表在网格顶会SIGCOMM 2021上。

ExpressUDP是一个基于Linux XDP Socket和XDP实现的高性能用户态UDP通信库。利用XDP和XDP Socket封装了一套高性能UDP 通信接口,为应用提供了一种高性能UDP通信编程框架。可以为高PPS UDP通信场景带来显著的网络性能提升。ExpressUDP具有与 软件结合简单,不影响软件本身框架的特点。具备高吞吐,低延时,开发方便,部署简单等优点。利用龙蜥OS在业界首次实现了 virtio_net的发送方向的零拷贝,UDP PPS相比非零拷贝提升4倍,相比普通内核UDP提升7倍以上,接收方向相比内核UDP提升3 倍 以上。

以上内容摘自《2022龙蜥社区全景》电子书,点击https://developer.aliyun.com/ebook/download/7850 可下载完整版

游客c3gxxcx6cqeyo 评论 0

1

回答

游客lmkkns5ck6auu 2022-10-26 418浏览量 回答数 1

1

回答

1

回答

1

回答

1

回答

1

回答

1

回答

公告

阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。

展开