ONNX Runtime嵌入内核+算子下推:库内AI计算的执行链路拆解
外挂向量库的RAG架构,一次语义检索要在应用层和向量库之间走两次网络往返:查业务表拿上下文,再拿上下文去向量库做相似度匹配,最后在应用层拼装。金仓KES AI数据库把AI推理算子下推到数据库执行引擎中,关系过滤与向量相似度计算在同一执行计划中协同完成。本文拆解“计算向数据移动”的范式转变、ONNX Runtime嵌入内核的工程路径,以及算子融合如何把延迟从“两次往返”压到“一次执行”。
预训练全流程:几千张卡跑几个月,一个大模型是怎么训出来的?
本课详解大模型预训练工程实践:拆解6大核心问题——阶段划分、学习率调度、千卡并行策略、低精度训练与梯度裁剪、loss突崩应对、真实算力利用率(MFU)。源自35讲《大模型系统课程》第9课,含Llama 3等一线实证与可复现计算。在线免费阅读→ https://zhuangzhaoyeye.github.io/llm-course/ (238字)