DuHz_个人页
DuHz
文章
27
问答
0
视频
0
个人介绍
暂无个人介绍
擅长的技术
- 算法
- 物联网
- 边缘计算
- 传感器
-
发表了文章 2025-09-24
Phi-4 技术报告深度解读——论文阅读
微软Phi-4技术报告揭示了140亿参数小模型如何通过高质量合成数据与创新训练方法，在数学推理、代码生成等任务上超越千亿参数大模型。核心突破在于数据质量优于规模扩张，结合关键Token搜索（PTS）算法优化DPO训练，显著提升推理能力并降低幻觉。
-
发表了文章 2025-09-18
I-ViT: 用于高效视觉Transformer推理的纯整数量化——论文阅读
I-ViT是首个专为视觉Transformer设计的纯整数量化方案，通过Shiftmax、ShiftGELU和I-LayerNorm实现全整数推理，避免浮点运算。在保持模型精度的同时，显著提升推理效率，实现3.7倍以上加速，推动ViT在边缘设备的高效部署。
-
发表了文章 2025-09-17
SparseGPT：大规模语言模型的一次性精确剪枝——论文解读
SparseGPT提出首个可高效剪枝百亿参数大模型的一次性精确方法，通过稀疏回归与近似求解器实现高稀疏度下仍保持精度，支持半结构化稀疏与量化联合压缩，显著降低推理成本。
-
发表了文章 2025-09-14
H4H：面向AR/VR应用的NPU-CIM异构系统混合卷积-Transformer架构搜索——论文阅读
H4H是一种面向AR/VR应用的混合卷积-Transformer架构，基于NPU-CIM异构系统，通过神经架构搜索实现高效模型设计。该架构结合卷积神经网络（CNN）的局部特征提取与视觉Transformer（ViT）的全局信息处理能力，提升模型性能与效率。通过两阶段增量训练策略，缓解混合模型训练中的梯度冲突问题，并利用异构计算资源优化推理延迟与能耗。实验表明，H4H在相同准确率下显著降低延迟和功耗，为AR/VR设备上的边缘AI推理提供了高效解决方案。
-
发表了文章 2025-09-16
模型量化技术简要详解
模型量化技术通过将高精度浮点数转换为低精度整数，在保持模型性能的同时显著提升计算效率并降低内存占用。其核心在于权衡精度与效率，广泛应用于大模型部署，尤其在边缘设备和移动平台中发挥重要作用。
-
发表了文章 2025-09-12
EdgeShard：通过协作边缘计算实现高效的大语言模型推理——论文解读
EdgeShard是一种基于协作边缘计算的大语言模型（LLM）推理框架，旨在解决LLM在云端部署面临的延迟高、带宽压力大和隐私泄露等问题。通过将LLM分片部署在多个边缘设备上，结合云边协同与设备间协作，EdgeShard实现了高效的模型推理。其核心创新包括：联合设备选择与模型划分优化、支持流水线并行与微批处理、提出EdgeShard-No-Bubbles策略以减少设备空闲时间，从而显著提升推理吞吐量并降低延迟。实验表明，EdgeShard在异构边缘设备上可实现高达50%的延迟降低和2倍的吞吐量提升，支持全精度模型推理而无精度损失，为资源受限的边缘环境提供了高效的LLM部署方案。
-
发表了文章 2025-09-10
Mixture of Experts架构的简要解析
Mixture of Experts（MoE）架构起源于1991年，其核心思想是通过多个专门化的“专家”网络处理输入的不同部分，并由门控网络动态组合输出。这种架构实现了稀疏激活，仅激活部分专家，从而在模型规模与计算成本之间取得平衡。MoE的关键在于门控机制的设计，如线性门控、噪声Top-K门控等，确保模型能根据输入特征自适应选择专家。
-
发表了文章 2025-09-10
Transformer架构的简要解析
Transformer架构自2017年提出以来，彻底革新了人工智能领域，广泛应用于自然语言处理、语音识别等任务。其核心创新在于自注意力机制，通过计算序列中任意两个位置的相关性，打破了传统循环神经网络的序列依赖限制，实现了高效并行化与长距离依赖建模。该架构由编码器和解码器组成，结合多头注意力、位置编码、前馈网络等模块，大幅提升了模型表达能力与训练效率。从BERT到GPT系列，几乎所有现代大语言模型均基于Transformer构建，成为深度学习时代的关键技术突破之一。
-
发表了文章 2025-09-10
大语言模型的核心算法——简要解析
大语言模型的核心算法基于Transformer架构，以自注意力机制为核心，通过Q、K、V矩阵动态捕捉序列内部关系。多头注意力增强模型表达能力，位置编码（如RoPE）解决顺序信息问题。Flash Attention优化计算效率，GQA平衡性能与资源消耗。训练上，DPO替代RLHF提升效率，MoE架构实现参数扩展，Constitutional AI实现自监督对齐。整体技术推动模型在长序列、低资源下的性能突破。
-
发表了文章 2025-09-08
ProxylessNAS：直接在目标任务和硬件上进行神经架构搜索——论文解读
ProxylessNAS是一种直接在目标任务和硬件上进行神经架构搜索的方法，有效降低了传统NAS的计算成本。通过路径二值化和两路径采样策略，减少内存占用并提升搜索效率。相比代理任务方法，ProxylessNAS在ImageNet等大规模任务中展现出更优性能，兼顾准确率与延迟，支持针对不同硬件（如GPU、CPU、移动端）定制高效网络架构。
-
发表了文章 2025-09-07
MINUN: 微控制器上的精确机器学习推理——论文阅读
MINUN是一个专为微控制器设计的高效机器学习推理框架，能精确解决TinyML中的三大挑战：数字表示参数化、位宽分配优化和内存碎片管理。它支持如Arduino和STM32等低功耗设备，显著减少内存占用，同时保持模型精度。
-
发表了文章 2025-09-07
μNAS：面向微控制器的约束神经架构搜索——论文解读
μNAS是一种专为微控制器设计的神经架构搜索方法，旨在解决物联网设备中资源受限的挑战。通过多目标优化框架，μNAS能够在有限的内存和计算能力下，自动搜索出高效的神经网络结构。该方法结合了老化进化算法与贝叶斯优化，并引入结构化剪枝技术，实现模型压缩。实验表明，μNAS在多个数据集上均取得了优异的精度与资源使用平衡，显著优于现有方法，为边缘计算设备的智能化提供了可行路径。
-
发表了文章 2025-09-06
TensorFlow Lite Micro：嵌入式TinyML系统上的机器学习推理框架——论文深度解析
TensorFlow Lite Micro（TFLM）是专为嵌入式系统设计的轻量级机器学习推理框架，适用于仅有几十KB内存的微控制器。它通过极简架构、模块化设计和内存优化策略，在资源受限设备上高效运行TinyML模型，广泛应用于关键词检测、传感器分析、预测性维护等领域。TFLM支持跨平台部署，并允许硬件厂商提供定制优化，兼顾灵活性与性能。
-
发表了文章 2025-09-06
256KB内存约束下的设备端训练：算法与系统协同设计——论文解读
MIT与MIT-IBM Watson AI Lab团队提出一种创新方法，在仅256KB SRAM和1MB Flash的微控制器上实现深度神经网络训练。该研究通过量化感知缩放（QAS）、稀疏层/张量更新及算子重排序等技术，将内存占用降至141KB，较传统框架减少2300倍，首次突破设备端训练的内存瓶颈，推动边缘智能发展。
暂无更多信息
-
发表了文章
2025-09-27
汽车雷达系统的干扰缓解：现状调查与未来趋势——论文阅读
-
发表了文章
2025-09-27
汽车雷达在多径存在下的幽灵目标检测——论文阅读
-
发表了文章
2025-09-27
面向能效和低延迟的语音控制智能家居：离线语音识别与物联网集成方案——论文阅读
-
发表了文章
2025-09-27
智能家居环境中的AI决策解释：实现以人为中心的可解释性——论文阅读
-
发表了文章
2025-09-27
Sasha：使用大语言模型在智能家居中进行创造性目标导向推理——论文阅读
-
发表了文章
2025-09-27
边缘云系统的灵活可变速率图像特征压缩——论文阅读
-
发表了文章
2025-09-27
FrankenSplit：用于移动边缘计算的浅层变分瓶颈注入高效神经特征压缩——论文阅读
-
发表了文章
2025-09-26
DDMA-MIMO雷达多子带相干累积目标检测算法——论文阅读
-
发表了文章
2025-09-26
下一代汽车雷达系统调制方案的统一模型与综述
-
发表了文章
2025-09-26
WorldSimBench: 迈向作为世界模拟器的视频生成模型——论文阅读
-
发表了文章
2025-09-26
Stable Video Diffusion：将潜在视频扩散模型扩展到大规模数据集——论文阅读
-
发表了文章
2025-09-24
Phi-4 技术报告深度解读——论文阅读
-
发表了文章
2025-09-24
Phi-3 技术报告：手机本地运行的高能力语言模型
-
发表了文章
2025-09-24
EdgeMark：嵌入式人工智能工具的自动化与基准测试系统——论文阅读
-
发表了文章
2025-09-24
AI-ANNE: 将神经网络迁移到微控制器的深度探索——论文阅读
-
发表了文章
2025-09-21
隧道中毫米波MIMO信道特性的实验研究——论文阅读
-
发表了文章
2025-09-21
矩形隧道中MIMO信道特性的模态理论解释——论文解读
-
发表了文章
2025-09-18
I-ViT: 用于高效视觉Transformer推理的纯整数量化——论文阅读
-
发表了文章
2025-09-18
SparseGPT：大规模语言模型的一次性精确剪枝——论文解读
-
发表了文章
2025-09-17
NLP参数高效迁移学习：Adapter方法——论文简读
滑动查看更多
暂无更多信息
暂无更多信息