开发者社区> 问答> 正文

新一代AI基础设施包括哪些主要方面?

新一代AI基础设施包括哪些主要方面?

展开
收起
夹心789 2024-06-25 23:04:23 171 0
2 条回答
写回答
取消 提交回答
  • 我认为新一代的 AI 计算基础设施,可以分为AI-IaaS 层、AI-PaaS层以及 AI-SaaS 层。
    AI-IaaS 层主要包括异构 AI 算力资源、云化管理和网络互联功能,为上层的 AI-PaaS 以及 AI-SaaS 层提供计算能力、数据处理能力以及超大模型的训练和推理能力。异构AI 算力资源包括通用算力CPU 以及不同种类的智能算力如 GPU、NPU 等。由于传统的CPU计算基础设施无法承载 AI 大模型完成高性能计算,而智能算力芯片有大量计算单元和超长流水线,更适合处理大量类型统一的数据并行计算,因此多元异构 AI 芯片成为提升算力的关键要素。云化管理主要完成对于异构 AI 算力的虚拟池化、集群调度以及容错容灾管理。网络互联旨在为构建大规模智能算力集群提供高性能算力网络,基于远程直接数据存取(RDMA)、IPv6、智能ECN(明确的拥塞通知)、高精度拥塞控制(HPCC)等技术构建超大带宽、超低时延和高稳定性的无损网络,实现数据、模型、应用服务等多要素的共享、流通与调度。
    这个是架构图:
    image.png
    参考文档: https://www.vzkoo.com/question/1688441594612294

    2024-06-26 17:16:07
    赞同 展开评论 打赏
  • 新一代AI基础设施主要包括新架构、私有云、边缘计算、多云集成、高性能与深化合作伙伴关系等方面。它旨在最大限度提升大模型和生成式AI应用的表现。

    2024-06-26 09:56:07
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
2023云栖大会:PolarDB for AI 立即下载
2023云栖大会:Lindorm一站式AI数据平台实战 立即下载
释放算力潜能加速应用构建Serverless为AI创新提速 立即下载