本文主要介绍了解析云原生 AI 所遇到的技术挑战和应对方案，随后介绍云原生 AI 领域的关键技术与架构细节，最后分享我们在 ACK 的相关经验及工程实践。
NSDI‘24于4月16-18日在美国加州圣塔克拉拉市举办，汇聚全球网络系统领域的专家。阿里云飞天洛神云网络的两篇论文入选，标志着其创新能力获广泛认可。其中，《Poseidon: A Consolidated Virtual Network Controller that Manages Millions of Tenants via Config Tree》介绍了波塞冬平台，该平台通过统一控制器架构、高性能配置计算引擎等技术，实现了对超大规模租户和设备的高效管理，显著提升了云网络性能与弹性。实验结果显示，波塞冬在启用EIP时的完成时间比Top 5厂商分别快1.8至55倍和2.6至4.8倍。
阿里云存储产品高级解决方案架构师欧阳雁（乐忱）分享了中国企业在全闪存高端存储市场的快速增长，指出AI大模型的发展推动了企业级存储市场。去年，高端企业级存储闪存占比约为25%，相较于欧美50%的比例，显示出中国在AI领域的巨大增长潜力。演讲涵盖AI业务流程，包括数据预处理、训练和推理的痛点，以及针对这些环节的存储解决方案，强调了稳定、高性能和生命周期管理的重要性。此外，还介绍了数据预处理的全球加速和弹性临时盘技术，训练阶段的高性能存储架构，推理场景的加速器和AI Agent的应用，以及应对大数据业务的存储考量，如对象存储、闪电立方和冷归档存储产品。
鸿蒙操作系统（HarmonyOS）上的日志服务（SLS）SDK 提供了针对 IoT、移动端到服务端的全场景日志采集、处理和分析能力，旨在满足万物互联时代下应用的多元化设备接入、高效协同和安全可靠运行的需求。
2023年10月31日，杭州·云栖大会，阿里云技术主论坛带来了一场关于阿里云主力产品与技术创新的深度解读，阿里云网络产品线负责人祝顺民带来《云智创新，网络随行》的主题发言，针对阿里云飞天洛神云网络（下文简称洛神网络）领域产品服务创新以及背后的技术积累进行了深度解读，不少背后的创新技术系首次重磅披露。
本文基于 2023 云栖大会上关于 Koordinator 分享的实录，介绍小红书通过规模化落地混部技术来大幅提升集群资源效能，降低业务资源成本。
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
