hw2020hw_个人页

2025年06月

• 06.26 14:27:52
  发表了文章 2025-06-26 14:27:52

  MindIE-LLM ATB模型推理全流程解析

  最近，有很多小伙伴问我，如果他们想自己基于MindIE镜像中的文件适配新模型，可以怎么做？ 为了实现这个目标，首先需要了解MindIE-LLM模型在推理过程中的代码调用流程，然后根据新模型的算法进行适配。
• 06.23 15:43:36
  发表了文章 2025-06-23 15:43:36

  MindIE DeepSeek MTP特性定位策略

  最近MindIE开始支持DeepSeek MTP（multi token prediction）特性了，用于推理加速。但是有些开发者打开MTP开关后，没有发现明显的性能提升。这篇文章提供一种定位策略。
• 06.22 21:37:37
  发表了文章 2025-06-22 21:37:37

  大模型推理显存和计算量估计方法

  最近做吞吐量调试涉及到输入batch_size的设置，为了把算力和显存用起来，同时不触发out of memory，需要提前估计大模型推理过程中的显存占用
• 06.20 15:39:22
  发表了文章 2025-06-20 15:39:22

  DeepSeek-R1源码解读

  deepseek-r1源码分析
• 06.12 11:13:34
  发表了文章 2025-06-12 11:13:34

  昇腾训练建链超时定位策略

  使用torch+mindspeed训练时，可能出现类似“wait socket establish timeout, role[0] rank[1] timeout[120]”的报错，本文提供了定位方法

2025年05月

• 05.30 17:33:29
  发表了文章 2025-05-30 17:33:29

  《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》阅读笔记

  mooncake技术架构解读
• 05.27 20:29:15
  发表了文章 2025-05-27 20:29:15

  MindIE PD分离部署Q&A

  使用mindie进行PD分离部署
• 05.27 20:02:50
  发表了文章 2025-05-27 20:02:50

  attention计算过程的一些细节

  attention计算的一些细节解释
• 05.06 10:06:59
  发表了文章 2025-05-06 10:06:59

  qwen模型 MindIE PD分离部署问题定位

  使用MindIE提供的PD分离特性部署qwen2-7B模型，使用k8s拉起容器，参考这个文档进行部署：https://www.hiascend.com/document/detail/zh/mindie/100/mindieservice/servicedev/mindie_service0060.html，1个Prefill，1个Decode。 最后一步测试推理请求的时候，出现报错：model instance has been finalized or not initialized。

2025年04月

• 04.21 14:17:41
  发表了文章 2025-04-21 14:17:41

  DeepSeek模型MOE结构代码详解

  其实在DeepSeek-R1爆火之前，DeepSeek V2在我们行业就已经妇孺皆知了，它独特的MOE结构值得研究一下。这篇文章是基于 @ZOMI酱 的2个视频写的，这2个视频讲的很好，建议大家都学习一下：《MOE终于迎来可视化解读！傻瓜都能看懂MoE核心原理！》和《使用昇腾NPU手撕MoE单机版代码！没想到如此简单！》。
• 04.09 09:26:56
  发表了文章 2025-04-09 09:26:56

  MindIE LLM场景快速上手实验

  MindIE是昇腾自研推理框架，本实验手册可指导小白用户快速掌握MindIE在LLM（large language model）场景的基本功能，包括：大模型推理功能测试、大模型性能测试、大模型精度测试、服务化推理部署、benchmark测试等。

2025年03月

• 03.31 11:01:55
  发表了文章 2025-03-31 11:01:55

  昇腾 msmodelslim w8a8量化代码解析

  msmodelslim w8a8量化算法原理和代码解析
• 03.24 14:47:05
  发表了文章 2025-03-24 14:47:05

  qwen2.5 7b w8a8量化推理

  qwen2.5 7B模型的a8w8量化推理
• 03.01 21:06:00
  发表了文章 2025-03-01 21:06:00

  DeepSeekV2-lite 昇腾8卡训练实验指导

  昇腾8卡运行deepseek-v2训练

2025年02月

• 02.17 16:10:01
  发表了文章 2025-02-17 16:10:01

  llama2 70B mindie推理开箱报错问题

  遇到问题，先从基本的检查开始，先检查卡有没有被占用，有的话就kill掉（如果是别人的任务，先知会一下哈）！其次，不要自己随意组合版本，否则会因为经验不足卡在莫名其妙的问题上。

2025年01月

• 01.20 10:51:11
  发表了文章 2025-01-20 10:51:11

  昇腾AI行业案例（七）：基于 Conformer 和 Transformer 模型的中文语音识别

  欢迎学习《基于 Conformer 和 Transformer 模型的中文语音识别》实验。本案例旨在帮助你深入了解如何运用深度学习模型搭建一个高效精准的语音识别系统，将中文语音信号转换成文字，并利用开源数据集对模型效果加以验证。
• 01.17 14:58:54
  发表了文章 2025-01-17 14:58:54

  mindspeed-llm源码解析（一）preprocess_data

  mindspeed-llm是昇腾模型套件代码仓，原来叫"modelLink"。这篇文章带大家阅读一下数据处理脚本preprocess_data.py（基于1.0.0分支），数据处理是模型训练的第一步，经常会用到。
• 01.17 14:58:07
  发表了文章 2025-01-17 14:58:07

  昇腾AI行业案例（六）：基于 PraNet 的医疗影像分割

  欢迎学习《基于 PraNet 的医疗影像分割》实验。在本实验中，你将深入了解如何运用计算机视觉（CV）领域的 AI 模型，搭建一个高效精准的医疗影像分割系统，专注于息肉分割任务，并利用开源数据集对模型效果加以验证。
• 01.17 14:57:19
  发表了文章 2025-01-17 14:57:19

  昇腾集群PFC现象分析

  负责集群运维的同学可能都遇到过PFC现象，那么PFC到底是啥？产生原因是什么？这篇文章提供了一些分析。
• 01.17 14:56:08
  发表了文章 2025-01-17 14:56:08

  昇腾AI行业案例（五）：基于 DANet 和 Deeplabv3 模型的遥感图像分割

  欢迎学习《基于 DANet 和 Deeplabv3 模型的遥感图像分割》实验。在本实验中，你将深入了解如何运用计算机视觉（CV）领域的 AI 模型，搭建一个高效精准的遥感地图区域分割系统，并利用开源数据集和昇腾 AI 芯片对模型效果加以验证。

  
• 01.17 14:55:15
  发表了文章 2025-01-17 14:55:15

  昇腾AI行业案例（四）：基于 Bert 模型实现文本分类

  欢迎学习《昇腾行业应用案例》的“基于 Bert 模型实现文本分类”实验。在本实验中，您将学习如何使用利用 NLP (natural language processing) 领域的AI模型来构建一个端到端的文本系统，并使用开源数据集进行效果验证。为此，我们将使用昇腾的AI硬件以及CANN等软件产品。
• 01.17 14:54:20
  发表了文章 2025-01-17 14:54:20

  昇腾AI行业案例（三）：基于 AI 图像处理的铝板缺陷检测

  欢迎学习《基于 AI 图像处理的铝板缺陷检测》实验。在本实验中，你将深入了解如何运用计算机视觉（CV）领域的 AI 模型，搭建一个高效精准的铝板缺陷检测系统，并利用开源数据集和昇腾 AI 芯片对模型效果加以验证。
• 01.17 14:53:18
  发表了文章 2025-01-17 14:53:18

  Torch-npu报错定位技巧

  torch_npu的使用定位思路

  
• 01.17 14:51:13
  发表了文章 2025-01-17 14:51:13

  昇腾AI行业案例（二）：基于 AI 图像处理的安全帽检测

  欢迎学习《昇腾行业应用案例》的 “基于 AI 图像处理的安全帽检测” 实验。在本实验中，你将深入了解如何运用计算机视觉（CV）领域的 AI 模型，搭建一个高效精准的安全帽检测系统，并利用开源数据集对模型效果加以验证。为此，我们将使用昇腾的AI硬件以及CANN等软件产品。
• 01.15 14:46:50
  发表了文章 2025-01-15 14:46:50

  昇腾AI行业案例（一）：基于AI图像处理的疲劳驾驶检测

  在本实验中，您将学习如何使用利用CV(Computer Vision)领域的AI模型来构建一个端到端的疲劳驾驶检测系统，并使用开源数据集进行效果验证。为此，我们将使用昇腾的AI硬件以及CANN等软件产品。