11月下旬到12月上旬，singtaoAI技术团队为汇丰银行量身定制交付AI运维工程师实训课程，深度融合LLM技术与真实运维场景。课程分三阶段系统授课：首阶段详解Transformer架构与ChatGLM-6B、LLaMA3-8B等轻量模型特性，通过Docker容器化实现GPU/CPU资源优化部署；第二阶段聚焦日志智能分析、故障预测与安全事件识别，基于历史数据分析生成预测模型并构建实时预警机制；第三阶段实现自动化升级，包括性能瓶颈诊断、资源调度优化及自动生成运维脚本与标准化文档。全程结合真实运维数据实操，学员将掌握从模型部署到智能运维的闭环能力，显著提升系统稳定性与运维效率，精准匹配金融行业对AI驱动运维的高阶需求，助力企业实现运维智能化升级。
第1课：LLM基础与模型部署
课程目标
- 理解LLM的架构与工作原理
- 掌握小模型的选择、部署与运维数据管理
- 能够搭建基础LLM环境并准备训练分析数据
实训方案
LLM基础与模型部署
- 1.1 LLM Transformer架构与工作原理 Transformer架构、注意力机制、训练与推理流程
- 1.2 主流LLM及其特点 GPT、BERT、LLaMA、ChatGLM等模型的优势与适用场景
- 小模型的部署
- 2.1 小模型的选择与使用场景：轻量级模型在资源受限环境中的优势
- 2.2 Docker/GPU-CPU模型部署技术栈：Docker、资源分配、模型加载
- 运维数据整理
- 3.1 数据收集与管理的最佳实践
- 3.2 运维数据的分类与标注
- 3.3 构建高质量的训练数据集
实操练习
- ChatGLM2-6B/LLaMA3-8B环境搭建与模型部署：容器化部署轻量级开源模型
- 运维数据处理：收集示例日志、分类与标注，为后续分析准备高质量数据集
- 输出成果：小组生成基础模型部署与数据整理报告
总结与课后作业
- 课程总结：回顾LLM架构、模型部署和运维数据管理
- 课后作业：提交一份部署小模型并整理自有日志数据的报告
第2课：LLM在运维中的应用
课程目标
- 掌握LLM在日志分析、故障诊断与预防性维护中的应用
- 能够使用LLM生成诊断报告和维护建议
实训方案
LLM在运维中的应用
- 日志分析与故障诊断
- 4.1 日志分析的必要性与挑战
- 4.2 LLM在日志分析中的应用
- 故障模式识别与分析
- 自动生成故障诊断报告
- 故障诊断与预防性维护
- 5.1 LLM在故障预测中的应用：历史数据分析生成预测模型、实时监控与告警系统集成
- 5.2 预防性维护建议生成：根据故障模式生成维护计划、经验知识库的构建与利用
- LLM网络安全中的应用
- 6.1 恶意流量检测：LLM自动识别恶意流量特征、实时监控与响应机制设计
- 6.2 安全日志分析：LLM在安全事件识别中的应用
实操练习
- LLM日志异常检测与分析：使用LLM识别异常日志模式并分类
- 故障诊断报告生成：输出故障定位报告与预防性维护计划
- 安全事件模拟：分析日志并生成安全事件响应报告
总结与课后作业
- 课程总结：强调LLM在运维诊断与安全中的价值
- 课后作业：提交基于时序监控数据或安全日志的故障预测与安全事件分析报告
第3课：性能优化与自动化运维
课程目标
- 掌握LLM在性能优化和自动化运维中的应用
- 能够生成运维脚本、自动化文档，并设计资源调度方案
实训方案
性能优化与自动化运维
- 性能优化
- 7.1 性能瓶颈分析：LLM在性能分析中的角色、生成性能瓶颈识别报告
- 7.2 资源调度优化：LLM基于数据生成最优资源调度方案
- 自动化运维
- 8.1 自动化脚本生成：LLM生成常见运维脚本、自动生成安全事件报告与响应措施、自适应脚本设计与实施
- 8.2 自动化文档生成：运维文档标准化流程、自动更新与管理文档内容
实操练习
- 自动化脚本生成：根据自然语言任务生成可执行脚本
- 运维文档自动生成：生成标准化文档，并支持实时更新
- 输出成果：小组完成性能优化方案与自动化运维文档
课件节选
实训技术专家
陈老师 AI智算技术专家
CS硕士，高性能计算方向
研究方向：分布式计算、深度学习模型优化、GPU加速计算。
曾就职中国电⼦科技集团高性能计算研发工程师，一线智算厂商高性能AI Infra工程师，现就职TsingtaoAI公司AI框架及AI应用研发工程师。
专业领域
华为昇腾技术栈: 深入掌握华为昇腾AI计算平台，包括昇腾算子开发、HCCL集合通信优化、智算集群建设与性能调优。
智算集群建设与优化: 专注于大规模智算集群的设计、部署、设备选型、网络配置及系统集成，提升集群性能和稳定性。
深度学习与高性能计算: 研究和应用分布式训练框架、优化技术，进行大规模计算任务的高效处理。
网络与系统集成: 在复杂网络环境下进行系统集成，确保数据传输的高效性与系统的稳定性。
AI开发框架: 熟悉多种AI开发框架，包括NCE fabric、NCE insight fabric、MindX和ModelArts平台的高阶使用。
代表性项目经验
GFDX智算集群项目
负责内容: 主导智算集群的整体设计与交付，包括设备选型、系统集成和网络设备配置。负责优化集群性能以满足高负载计算需求。
实际项目交付经验: 成功实施了62.5P的智算集群交付，确保系统的高效能和稳定性。
首都在线智算集群项目
负责内容: 主导智算集群的设计与部署，负责设备选型、集群网络架构设计和HCCL集合通信的优化配置。
实际项目交付经验: 成功交付了80P的智算集群项目，实现了高效的数据处理和计算能力。
北京昇腾人工智能计算中心
负责内容: 智算集群项目的建设与交付，包括设备选型、系统集成、网络设备配置与调优，以及昇腾平台的算子开发与优化。
实际项目交付经验: 主导了100P的智算集群交付，显著提升了计算能力和系统性能，满足了大规模AI应用需求。
教学与培训经验
昇腾技术培训: 为多家企业和研究机构提供昇腾技术栈的定制化培训，涵盖昇腾算子开发、HCCL通信优化、智算集群建设等内容。
教学方法: 善于将复杂的理论知识与实际应用相结合，通过案例分析与实践操作，帮助学员在短时间内掌握核心技术，并能在实际项目中独立应用。
实训案例
某智算中心运维厂商：
- IB网络
- IB网络的概述与原理
- IB网络的传输协议与数据传输原理
- 深入讲解InfiniBand的传输协议，包括RC、UC和UD，并解释数据传输机制。
- 描述IB网络的硬件架构，包括交换机、路由器、HCA和TCA等。
- IB网络的故障诊断与排除
- 实操环节，教授如何诊断和解决IB网络中可能出现的问题。
- GPU架构与CUDA编程
- NVIDIA GPU架构与特性
- 介绍GPU的基本概念和CUDA编程模型。
- 提供CUDA编程的基础知识和入门指导。
- GPU内部结构与性能优化关键点
- 分析GPU加速计算的实际案例，包括性能提升和应用场景。
- 讲解如何优化CUDA程序的性能，以及CUDA生态系统中的各种工具和库。
- GPU加速计算与案例分析
- 高级CUDA库与工具链详解
- 性能优化与CUDA生态系统
- 算力集群规划与设计
- 算力集群架构与设计
- 软件栈设计与集群性能评估
- 集群性能调优的高级技巧与实践
- 集群性能调优
智算集群的开发调优-某运营商研发中心
昇腾算子开发相关
2. 常见错误码与问题排查
3. 自定义算子的调用与调试
4. 高阶融合算子实现方法
HCCL集合通信相关
5. HCCL常见错误码与处理方法
6. HCCL通信算法与算子开发
7. HCCL新特性与调优
昇腾智算集群网络设备管理
8. NSLB1.0和2.0方案实现细节
9. 端网协同机制
10. 集合通信建链与mpirun测试
华为AI开发框架与工具链
11. 华为CCAE与NCE系统使用
12. MindX与ModelArts框架使用
13. 昇腾环境适配的AI开发框架
基于华为昇腾的分布式训练技术咨询-某科研学术机构
利用 PyTorch DDP 在多 GPU 上并行训练 ResNet-18，加速 CIFAR-10 训练并保持高准确率。通过环境配置、数据分发与采样、模型分布式包装和自动梯度同步，实现高效训练。结合混合精度、梯度压缩和自适应批大小等策略，大幅减少通信开销、提升计算效率。针对分布式任务调度与容错机制进行深入探索，保障大规模训练的稳定性与可扩展性，提供了高效、易扩展的分布式深度学习解决方案。
张老师 AI运维资深技术专家
泰健科技CTO，《SRE原理与实践：构建高可靠性互联网应用》作者。
曾任虎牙资深运维专家和架构师，拥有20年软件开发、架构、运维、SRE经验。历任项目研发负责人、SRE负责人、架构师，事故管理委员会委员、基础保障部架构师委员会委员。
为虎牙基于微服务架构的直播业务、音视频业务、海外直播业务建立了稳定性保障体系，在混合多云架构、可观测性、预案、变更管控、AIOps等SRE领域有深入研究和丰富经验。多次担任虎牙“英雄联盟全球总决赛直播”稳定性保障负责人。
同时，他也是中国信通院分布式系统稳定性实验室高级技术专家，参与编写了信通院《信息系统稳定性保障能力建设指南》。《运维前线》一书的联合作者。多次参与GOPS、MSUP/EE、GDevops、Takintalks技术大会分享。
关于TsingtaoAI
TsingtaoAI企业实训业务线专注于提供LLM、具身智能、AIGC、智算和数据科学领域的企业实训服务，通过深入业务场景的案例实战和项目式实训，帮助企业应对AI转型中的技术挑战。其实训内容涵盖AI大模型开发、Prompt工程、数据分析与模型优化等最新前沿技术，并结合实际应用场景，如智能制造、医药健康、金融科技和智能驾驶等。通过案例式学习和PBL项目训练，TsingtaoAI能够精准满足企业技术团队的学习需求，提升员工的业务能力和实战水平，实现AI技术的高效落地，为企业创新和生产力提升提供强有力的支持。
同时，TsingtaoAI公司并不是一家单纯的实训机构，我们同样是一家AI产品开发公司，公司核心团队主要也都是由技术和产品人才构成，公司团队大部分成员在大模型时代之前就在从事AI产品相关的工作。公司在过去一年里，为10余家客户开发了AI相关的产品，涵盖医疗、教育、智能制造、人力资源等领域。相信我们在AI产品开发和客户服务的过程所形成的认知和方法论，能对贵司的需求有更深更细的洞察和理解，也能提供更深入业务肌理的“AI能力获得”。
