AI芯片

首页 标签 AI芯片
# AI芯片 #
关注
1312内容
新手入门:DGL在昇腾上的安装问题
本文介绍了在aarch64架构和Python 3.10环境下安装DGL(Deep Graph Library)的过程。首先通过`uname -a`确认硬件架构,接着使用`python --version`检查Python版本。为确保兼容性,从指定链接下载适合的whl包或通过pip安装dgl。过程中遇到了torchdata版本不兼容的问题,通过降级torchdata至0.7.1版本解决。此外,针对NPU芯片适配,重新安装了与CANN 8.0.RC2兼容的torch和torch_npu组件。最终成功导入dgl包并准备进行模型训练验证。
|
6月前
|
国产NAS也支持本地部署DeepSeek了:极空间Z423上手
极空间Z423 NAS新增本地部署DeepSeek大模型功能,支持7B和14B两种参数量级模型。本文通过实际测试展示了其性能表现:14B模型运行缓慢,Token输出速度低于每秒10个,而7B模型速度稍快但仍不理想。硬件资源占用高,温度显著上升,风扇噪音增大。作者建议优化交互逻辑、提供局域网接口及更好GPU支持,并预测未来NAS可能加入GPU或NPU以提升推理能力。此功能目前更像战略布局,为后续硬件升级铺垫。
ViT(Version Transformer)原始论文解读
虽然Transformer体系结构已经成为自然语言处理任务的事实上的标准,但它在计算机视觉方面的应用仍然有限。在视觉上,注意力要么与卷积网络结合应用
MindIE推理采样后处理参数temperature和top_k的引发的精度问题
在MindIE跑Qwen系列模型推理时,发现当后处理参数top_k较大且temperature=2时,Ascend npu和gpu上均出现模型输出精度问题。原因在于temperature增大导致logits值差距缩小,softmax后概率接近,难以选到正确token。通过减小top_k或top_p可避免此问题。总结:后处理顺序为temperature > top_k > softmax > top_p,temperature越大,logits差距越小,易引发精度问题。
【端智能】MNN CPU性能优化年度小结
2020年5月,MNN发布了1.0.0版本,作为移动端/服务端/PC均适用的推理引擎,在通用性与高性能方面处于业界领先水平。
免费试用