MindIE BenchMark
MindIE Benchmark工具通过部署昇腾服务化配套包,以终端命令方式测试大语言模型在不同配置下的推理性能和精度。它支持Client和Engine两种推理模式:Client模式适用于多用户并发场景,兼容多种接口;Engine模式直接调用底层API,测量NPU卡的真实性能。该工具支持多个数据集进行精度和性能测试,如CEval 5-shot、CMMLU、GSM8K等,并将结果保存为本地csv文件。评测方法包括调用大模型输入题目,解析返回结果并与正确答案比较,计算平均分和其他指标如准确率、EM等。
《解锁AI芯片新境界:提升专用人工智能芯片通用性与灵活性的热点技术》
在人工智能快速发展的背景下,专用AI芯片虽在特定任务上表现出色,但提升其通用性和灵活性成为关键。热点技术包括:可重构架构(如FPGA),支持动态调整硬件结构;混合精度计算,根据任务需求调整计算精度;多模态处理,融合视觉、语音等数据;软件定义硬件,通过编程实现功能灵活配置;硬件虚拟化,将物理资源虚拟化为多个独立逻辑单元;异构集成,结合CPU、GPU、NPU等单元协同工作。这些技术共同推动AI芯片的广泛应用和性能提升。
阿里云与麒麟软件签署全面合作协议
近日,麒麟软件与阿里云签署全面合作协议。双方明确建立长期、稳定的战略合作伙伴关系,在操作系统+人工智能领域展开深度合作,共同推动信息产业技术高速发展。
《解码AI大模型涌现能力:从量变到质变的智能跃迁》
人工智能大模型的涌现能力是当今科技的焦点。其产生依赖于四大关键因素:1) 海量数据提供丰富的训练素材,涵盖多样化的文本和图像;2) 强大算力如GPU、TPU加速模型训练,突破性能瓶颈;3) 精妙架构如Transformer引入自注意力机制,提升语义理解;4) 过参数化与优化策略使模型不断进化,展现未曾预设的能力。这些因素协同作用,推动大模型在复杂任务中表现出色,为未来带来更多可能。