ROLL:面向大规模 AgenticRL 的异步解耦与异构算力调度实践
本次分享将介绍阿里巴巴自研强化学习框架ROLL及其针对AgenticRL异构负载的深度优化方案。重点解读如何通过异构硬件亲和性调度、细粒度异步编排以及状态感知的按需弹性部署,攻克大规模场景下的通信与计算瓶颈。目前,ROLL已在三千卡集群、千亿参数MoE模型上实现了生产级的极致吞吐;此外,我们将探讨ROLL与Mooncake存算分离架构结合的未来演进,进一步释放大规模RL后训练的潜力。
多核场景下的 Linux 调度器现状和未来|龙蜥MeetUp
分析了多核场景下Linux调度器的挑战与机遇:优化进程唤醒时随核数增加而递增的idle CPU搜索开销;改进默认时间片调度,使其感知进程工作集、线程数据共享等指标,推进同进程线程组在相同LLC domain唤醒以减少跨核缓存失效;探讨了内核调度器支持的用户态BPF自定义调度与AI结合的潜力,即AI预测进程需求辅助BPF生成智能调度策略。
高效可靠的处理器微体系结构性能测量技术
在Arm成熟的软硬件生态支持下,Arm架构处理器走进数据中心。应用的跨平台迁移及处理器设计研发均依赖于处理器微体系结构的性能数据,准确、可靠的性能测量是性能工程的重要基础。本次演讲围绕性能测量,着重分享了两项工作。第一项工作是关于如何高效地复用硬件性能计数器进行可靠测量,此项工作主要针对现有工具在复用硬件性能计数器测量时存在的低效行为,通过研究Linux内核性能事件的调度机制,提出一种自适应的性能事件分组方法提高性能计数器的复用效率。第二项工作是关于Arm架构处理器实时内存带宽的通用测量方法,Arm架构的灵活性赋予了各硬件厂商定制处理器的能力。此项工作探索了Arm架构下实时内存带宽测量通用方案的可能性。
PAS工具分享 - FrameScope与RTRadar
云计算服务的主营业务之一便是资源售卖,云厂商会采购不同平台、不同型号的服务器,通过池化技术整合机器资源,再将不同规格的资源弹性售卖给开发者。对开发者而言,是否能够在这众多的云服务器产品中选择出能运行目标程序最佳性能的产品,同时能够在此基础上进一步优化程序性能从而充分利用云资源的性能,是提升上云性价比的第一要务,而FrameScope可以协助用户快速应对上述场景。在应用性能评估中,事务执行延迟是重要指标之一,随着分布式架构的广泛应用,厂商可通过分布式链路跟踪技术(例如Dapper)将延迟瓶颈定位到单节点上(物理机、虚拟机、容器),然而深入分析单节点上复杂的事务延迟时,现有工具往往显得不足。针对以上问题,阿里云自研了一套工具,通过采集事务关键事件以及内核系统事件,重建事务执行过程、分析依赖关系、量化各影响因素对整体延迟的贡献占比,从而定位延迟瓶颈。
开源社区漏洞治理策略与实践
开源软件供应链非常复杂,存在大量的攻击点,谷歌和微软分别给出了开源供应的 SLSA 框架和 S2C2F 框架,里面存在着漏洞攻击、投毒、过程篡改等风险,加之代码开源漏洞更加透明且容易获取。本次分享聚焦供应链漏洞治理,通过成分分析建立 BOM 体系,识别社区研发过程各个环节风险,通过工程能力提升社区漏洞感知、漏洞可达、漏洞修复,E2E 处理漏洞能力。
电信主机安全检测技术
为保障 5G 网络能够有效抵御严重网络攻击,符合国家关键基础设施防护要求,需要对 5G 主机系统的运行安全进行实时监测和风险处置。中兴通讯结合融合了安全设计、主动防御和 AI 等技术,将传统以查病毒、补漏洞为主的黑名单被动防御机制,革新为基于安全设计的白名单主动防御机制。
通过层级内隔离提升软件的安全性|龙蜥大讲堂第112期
内存错误漏洞是攻击者对操作系统发起攻击的一个重要渠道,通过层级内的划分和隔离,可有效地防止攻击者通过对关键数据的破坏来所发起攻击。本次课题将介绍层级内隔离的原理,防御方法,以及部分代表性的研究成果。
龙蜥衍生版KeyarchOS国密应用、eBPF安全技术实践介绍|龙蜥大讲堂107期
了解浪潮信息KeyarchOS操作系统在商密方面的技术实现,以及可以使用的支持商密算法的底层加密库和加解密工具。了解eBPF技术在入侵行为检测、违规行为拦截等安全技术方面的实际应用。
Alibaba Cloud Linux 解锁云算力 - 软硬协同构建云上最佳操作系统体验
分享如何通过 Alibaba Cloud Linux 做南向和北向的协同,解锁阿里云的底层算力,以及 Alibaba Cloud Linux 和龙蜥社区的关系,以及如何基于芯片做全栈协同设计和优化。最后,李三红做了 C/C++ 编译器套件+Java 解读。
阿里云倚天在时空智能服务上的规模化应用 --千寻位置核心业务迁移实录
介绍了千寻位置迁移倚天处理器 ECS 实例的背景,并对迁移过程中涉及的准备工作、迁移步骤以及迁移过程中的注意事项进行了详细的分析说明,同时就迁移后的成本降低给出了具体测算。通过千寻位置核心业务迁移实践的分享,希望能够帮助更多的用户享受倚天处理器带来的高性价比红利。
阿里云副总裁李俊平致辞|2023龙蜥操作系统大会
互联网为开源提供了理想的土壤,让全球开发者们可以不受物理距离的限制,共同在一个透明开放的环境中工作。与此同时,开源项目在互联网发展中起到了积极的贡献。在这个时代背景下,阿里云极度重视开源项目,尤其重视操作系统方向的开源合作。2019 年开始,阿里云和业界伙伴一起着手构建面向云计算场景的原生操作系统的开源社区,2020 年龙蜥随之应运而生,社区的开放、平等、中立的价值理念,确保了公平公正的决策和核心项目的健康运行。无论是持续的技术创新,还是社区的治理理念,阿里云作为社区的参与方,都将实质地坚持和保持投入,共同推动整个社区的未来的持续壮大与发展。
阿里云上操作系统迁移最佳实践-SMC|2023龙蜥操作系统大会
随着 CentOS 操作系统的即将停服,云服务器也面临着越来越大的操作系统 EOL 安全隐患挑战。为了应对这个问题,阿里云推出了高效便捷的云上操作系统迁移方案-SMC。本文将以操作系统 EOL 隐患为背景,分享阿里云 SMC 自动化迁移产品方案和云上操作系统迁移最佳实践干货,助力云上客户一键完成操作系统迁移升级。
数智创新——新时代下ERP的全新价值 | 2023龙蜥操作系统大会
数智化转型是一个综合、复杂、循序渐进的长期过程,企业通过数智化转型实现产品与业务的创新、组织和管理变革,全面提升核心竞争力。用友与统信软件作为战略伙伴,在生态适配和商业创新上深度合作,共建全栈式一体化解决方案,共同助力企业数智化转型与升级。
龙蜥社区在提升中国开源软件影响力和国际贡献率的思考|2023龙蜥操作系统大会
会上,中国工程院院士陈左宁,北航网安学院院长、教授、龙蜥社区高级顾问刘建伟 ,中国开源软件推进联盟副主席、龙蜥社区特约顾问刘澎,阿里巴巴集团副总裁、阿里云基础设施事业部总经理蒋江伟,就“龙蜥社区在提升中国开源软件影响力和国际贡献率的思考“展开圆桌话题环节。讨论中,陈左宁院士表示,龙蜥底座不是传统意义上的服务器操作系统,主要是来自于阿里云支撑云软件的操作系统,这个实践本身是支撑阿里云的,现在可能对通义千问,对人工智能有进一步支持。龙蜥将云时代、大数据时代、智能时代的一些技术,垂直做到基础操作系统里面,可以支撑上层系统,比原来 CentOS 等一般操作系统的意义更大。期望龙蜥的开放生态,下面对“芯”,上面对“云、数、智”,真正地支撑住。
全面建设安全生态分论坛-2023龙蜥操作系统大会
数据时代,安全为先。如何保障系统安全、数据安全、如何构建开源软件安全生态,正成为当今用户关注的焦点。本次分论坛由龙蜥安全委员会组织,旨在推动开源安全领域的实践分享、技术创新及安全生态建设,共同探讨和交流系统安全、网络安全、数据安全及威胁响应等议题。分论坛还设置了圆桌互动环节,邀请了来自国内外知名厂商的多位专家学者,共同探讨大数据大模型时代下机密计算技术的挑战、机遇和未来发展。讲师/嘉宾简介企业技术专家
全面拥抱智算时代分论坛-2023龙蜥操作系统大会
AI 大潮势不可挡,Anolis OS 正致力成为智算领域最好用的操作系统之一。本话题将介绍龙蜥社区在智算场景进行的一系列工作,包括 OS 驱动集成、软硬件适配、容器镜像、推理框架、机密AI计算等方面,并通过一些实际的演示让大家体验这些工作带来的便捷性和良好的应用效果。讲师/嘉宾简介各领域大咖、技术专家等
就在明天!2023龙蜥操作系统大会盛大启幕!欢迎关注
2023 龙蜥操作系统大会(OpenAnolis Conference)由开放原子开源基金会指导,龙蜥社区主办,阿里云、浪潮信息、Arm、Intel、中兴通讯、统信软件等24家理事单位共同承办,主题为“云智融合·共筑未来”,陈左宁院士、梅宏院士、陈纯院士、王恩东院士、北航网安学院刘建伟院长、阿里巴巴集团副总裁蒋江伟等一众大咖倾情加盟,聚焦产业趋势、生态合作、人才发展、技术创新等,是集聚政、产、学、研等多方力量打造的年度盛会。首届龙蜥大会将云集全球技术专家和行业大咖,邀请超300家企业和逾千位开发者,共赴本年度聚焦产业升级的岁末盛典,使与会者洞悉行业机遇,把握产业脉动,领略技术跃迁,聆听生态蝶变。
基于龙蜥操作系统与Arm倚天服务器开发的EasyYitian阿里云迁移工具介绍
EasyYitian 是阿里云为支持倚天迁移专门打造的工具平台,包括软件兼容性扫描、环境兼容性分析、跨架构编译构建预制镜像、性能调优分析,是集工具、优化镜像、迁移指南为一体的统一平台,解决倚天迁移过程的难点和痛点,助力客户快速完成业务迁移到倚天,为倚天迁移提供全量支持。
Arm 架构下性能指标收集与分析方法|龙蜥社区走进Arm MeetUp
介绍了 Arm 指令集以及微架构下 PMU (通用性能监控单元) 的主要特性以及通过 SPE (统计分析扩展) 进行性能分析的基本方法。
鸿钧微电子技术专家:Arm 架构下性能优化经验分享|龙蜥社区走进Arm MeetUp
从实用角度解读如何在 Arm 平台上进行业务软件的性能测评、分析及优化,涵盖负载配置模式的选择、波动因素的消除、宏观经验调优及多层配合(应用层、系统层及微架构层)的深度性能优化,充分挖掘底层基于 Arm 架构硬件的性能潜力。
下一代计算架构下操作系统的挑战
随着摩尔定律的放缓,使得整体算力从依赖制程的提升,走向大规模分布式异构计算。异构计算资源池化、内存池化与扩展等新型计算架构开始应用,面对新一代计算架构给当前系统带来的挑战。王彦伟在本次分享中首先对以数据为中心的计算架构进行了探讨,并对资源池化、计算资源远程映射、高速互连机制等关键技术进行了详细介绍,尝试分析了上述架构对操作系统提出的新需求及挑战。
企业级存储与操作系统的协同设计
随着数字经济的发展,数据即资源已经成为共识,其与土地、劳动力、技术、资本并成为五大基础资源,在数据基础设施中,存储平台扮演了核心角色。数据基础设施在多场景化、数据巨量化、多态化等方面对存储提出了越来越多的挑战和要求。孟宪伟通过本次演讲就企业级存储当前面临的挑战,面向极致可靠、极致可用、极致性能、极致安全四个方面,分享和探讨了企业级存储与操作系统协同设计的现状和未来。
龙蜥社区走进Intel MeetUp 社区理事长马涛致辞
Intel 在龙蜥社区围绕 Intel 芯片等方面的工作,我认为主要有以下 3 个比较重要的特点: 第一个是全面性。龙蜥社区在整个场景方面是非常丰富的,无论是云原生、机密计算、应用加速等等。这些丰富的场景以及如何在这些场景下去围绕操作系统、Intel 的芯片来进行场景化、定制化的加速是龙蜥的核心的技术。 第二 Intel 在龙蜥社区参与的很多工作是非常深入的。针对刚才提到的场景,Intel 在龙蜥社区做了非常多的定制和优化。所以说龙蜥在如何使用 Intel 芯片去加速应用,让应用跑得更快、更稳和更好等方面是积累丰富的经验。 第三 Intel 在龙蜥社区做出的很多工作也是在全球领域非常领先的。 所以总结来看, Intel 在龙蜥社区贡献的三个关键词是:全面、深入和领先。
SPDK 高性能存储实践与优化
童坤坤对 SPDK 的概念原理做了介绍,包括 SPDK 实现高性能的核心要点、SPDK 线程模型、通道模型等。结合 SPDK 在移动云虚拟云主机应用场景,阐述了虚拟化技术、I/O 虚拟化、虚拟化分类、virtio 原理、vring IO 请求流程、基于 qemu-vhost 的半虚拟化存储。并介绍了移动云在 SPDK 实践中遇到的问题以及应对与优化,包括 SPDK 可运维监控、SPDK 存储热迁移、SPDK 热更新、SPDK 快速恢复。最后介绍 SPDK 演进历史并对 SPDK 未来做出展望。
一站式自动化测试平台的探索与实践
开源软件发展迅速,应用非常广泛,其质量保证在开源社区以及评测机构都面临巨大的挑战,传统的自动化测试平台在运行模式、测试场景上具有非常大的局限。龙蜥社区的开源项目 T-One 一站式质量协作平台,打通了从测试设计、测试计划、用例集成、测试部署、测试执行、结果分析、测试报告等整个测试流程闭环,源于阿里云操作系统团队经过多年的内部业务打磨,支撑了 30 多个团队产品质量保证的通用自动化测试平台,超过 930 万小时的运行时间,具有非常高的稳定性和运行效率。 T-One 在龙蜥社区开源后,通过 T-One SIG 兴趣组,构建了开源版、企业版、机构版三大下游版本,多家合作单位接入社区开源版或者内部独立部署,共同贡献,在社区获得了快速的发展。电子五所于 2021 年 12 月加入龙蜥社区作为合作伙伴,基于T-One SIG 在社区合作开发了 T-One 机构版,在 testlib 组件上进行了非常深入的合作,共同参与测试需求管理、用例管理、设备管理等模块的开发,积极推动评测平台标准化。后续会进一步加深合作,双方基于开源模式,持续完善 T-One 功能,提升评测效率,在 AI 技术引入、下一代质量技术标准的探索上,加深与龙蜥社区的合作,共同把 T-One 打造成为具有广泛影响力的标准化质量平台。
给世界一个更好的选择,“龙蜥+超级探访”首期嘉宾预告片震撼来袭!
随着龙蜥社区规模的迅速壮大,为了更好的服务于生态伙伴和广大用户, 龙蜥社区推出全网首档操作系统探访体验节目“龙蜥+超级探访”,该节目将揭示龙蜥与生态伙伴如何实现从技术创新到商业变现的跨越,共同探寻算力新浪潮下龙蜥如何帮助用户拥抱智算时代。首期“龙蜥+超级探访”走进统信软件,让我们一起期待统信软件如何给世界一个更好的选择! 7 月 31 日将全网上线正片,敬请期待!
详谈龙蜥社区一站式构建平台 ABS | 龙蜥大讲堂 86 期
直播内容: 1)主要介绍软件包构建、镜像构建、内核源码构建、云原生构建 4 大构建服务。 2)ABS 未来规划。 听众受益: 了解龙蜥社区官方构建平台 ABS,熟悉 Anolis OS 软件包、镜像构建流程。 适合人群: 从事操作系统开发,有软件包、镜像构建需求的开发者。 讲师介绍: 单凯伦,龙蜥社区基础设施 Contributor,主要负责基础设施协作工程体系的开发工作,包括社区构建服务平台 ABS、资源服务平台龙蜥实验室、社区官网、测试服务平台 T-One、Bugzilla、邮件列表等。
龙蜥社区联合 3 家理事单位发布人才培养计划,推出“龙蜥+”合作模式
中国开源项目迈向全球化的过程中,人才至关重要。因此龙蜥社区联合3家理事单位共同推出“龙蜥社区人才培养计划”,该计划以“龙蜥+”的合作模式推进,“龙蜥+”模式为龙蜥社区和伙伴们共同扩展生态和行业人才培养提供了一种新思路。
龙蜥操作系统
龙蜥社区(OpenAnolis)是面向国际的 Linux 服务器操作系统开源根社区及创新平台,秉承“平等、开放、协作、创新”的原则,理事会由阿里云、统信软件、龙芯、Arm 、Intel 等 24 家国内外头部企业共同组成,有超过 1000 家来自芯片厂商、软件厂商、整机厂商、操作系统厂商等覆盖操作系统全产业链的合作伙伴参与生态共建。