MindIE推理采样后处理参数temperature和top_k的引发的精度问题
在MindIE跑Qwen系列模型推理时,发现当后处理参数top_k较大且temperature=2时,Ascend npu和gpu上均出现模型输出精度问题。原因在于temperature增大导致logits值差距缩小,softmax后概率接近,难以选到正确token。通过减小top_k或top_p可避免此问题。总结:后处理顺序为temperature > top_k > softmax > top_p,temperature越大,logits差距越小,易引发精度问题。
关于小机 | 计算机百年趣味史(上)第8篇
小机即小型机(minicomputer),从名字上我们可以知道是体积会较小的机器,不过体积也是针对大机(mainframe)来说是,如果光从绝对体积上讲,那显然又不对。所以,小机是对特定时代一群类似机器的统称。我们来看下小机的关键历史。其历史时间是与大型机并行的。
DL:深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略
深度学习(Deep Learning, DL)或阶层学习(hierarchical learning)是机器学习的技术和研究领域之一,通过建立具有阶层结构的人工神经网络(Artifitial Neural Networks, ANNs),在计算系统中实现人工智能 。由于阶层ANN能够对输入信息进行逐层提取和筛选,因此深度学习具有表征学习(representation learning)能力 ,可以实现端到端的监督学习和非监督学习 。此外,深度学习也可参与构建强化学习(reinforcement learning)系统,形成深度强化学习 。
人工智能快速发展趋势下,中国该如何应对?
人工智能技术的迅猛发展为中国带来了巨大的机遇和挑战。中国应该积极应对人工智能的发展趋势,加强技术研发和人才培养,推动人工智能技术的应用和创新,加强人工智能技术的监管和管理,以实现经济社会的可持续发展。
什么是阿里云服务器?云服务器的优缺点
阿里云是阿里巴巴集团的旗舰云计算品牌,它为全球各种规模的企业提供了云计算服务。阿里云服务器是阿里云的一项核心业务,它是一种可靠的云服务解决方案,具有许多优势。