阿里AI 硬件基准测试AI Matrix亮相AIIA人工智能开发者大会、2018中国计算机大会

简介: 2018年9月,阿里巴巴正式发布了第一版AI硬件测评的Benchmarks --- AI Matrix。

image.png

今年9月,阿里巴巴正式发布了第一版AI硬件测评的Benchmarks --- AI Matrix。

其两个主要定位,一方面面向于阿里巴巴以及行业AI软硬件开发者做硬件选型和测评,为芯片应用产品化提供输入,它是一项可以为硬件打分的测试集。另一方面,希望将 AI Matrix作为AI 硬件的基准测试,让更多的开发者一起参与。

在近日举行的AIIA人工智能开发者大会、2018 中国计算机大会 (CNCC2018)两场大会上,阿里巴巴AI Matrix架构师魏巍在开源推进组论坛分享了AI Matrix的发展近况,从AI Matrix的创立目标、应用内容、以及接下来的推进计划,希望有更多志同道合的开发者能一起加入。

image.png

“阿里巴巴在数据和算法上有明显的积累和优势,同时有非常丰富的业务应用场景。而厂商的产品设计和规划,必须要结合应用场景需求,做到Domain Specific软硬件的完美结合,这就要定出一套合理的评估衡量标准,这样的Benchmark是AI硬件产品化一个硬需求。” 阿里巴巴AI Matrix构架师魏巍表示。

阿里巴巴的大规模业务需求就已经对Benchmarks提出了前所未有的挑战,AI Matrix团队认为,Benchmarks不应该仅仅是一些简单的搜集和罗列,不仅需要有代表性,能够真实的反映业务的情况,而且要有灵活性和适应性,能够跟踪业务的变化,随之不断的推陈出新。

因此,AI Matrix 架构师魏巍设定了平台化,灵活性,专业性以及可移植性四个主要方向,并创新性地提出了合成模型StatsNet来帮助开发者实现信息及时灵活以及轻量级地落地,促进AI加速器及时准确的迭代。

合成模型是AIMatrix中的重要一环,它利用统计的方法并结合基因算法寻找最优解,从而自动化的生成一个能从统计量上代表整个模型池的深度神经网络模型。关于合成模型的方法论也得到了相关领域内专家的认同,论文的poster也由架构师魏巍在达拉斯举行的SC18超算大会上分享给大家。

image.png

AI Matrix可以帮助阿里巴巴以及开发者解决以下四个关键性问题:

  1. 通过调研和集群信息收集,真实反应阿里巴巴AI应用和模型使用的现实情况
  2. 基于现有信息,对包括AI加速器解决方案的评估和选型制定一个标准
  3. 利用这些头部用例进一步推进软硬件融合,提高硬件的利用率
  4. 结合行业前沿的算法,对AI加速器的架构瓶颈给出建议

AI Matrix的定位将不仅仅是一个简单的测试集,而是在将来提供完整的工具链以及解决方案。在定位上,除了在做好Benchmark本身最基本的评测功能之外,阿里巴巴也会把它拓展到应用和资源优化的领域,不仅做到Domain Specific软硬件结合,同时也能做到Agile Design架构的快速迭代。

根据权威的行业分析报告,AI芯片的市场将会从今年的70亿美金增长到2025年600亿美金的市场。我们相信AI Matrix将会帮助芯片厂商更好贴合应用需求,改进和提高AI 芯片具备更好的产品化能力和竞争力。

目录
相关文章
|
14天前
|
人工智能 数据管理 API
阿里云百炼又获大奖!阿里云百炼入选 2024 最受开发者欢迎的 AI 应用开发平台榜15强
2024年最受开发者欢迎的AI应用开发平台榜单发布,阿里云百炼入选15强。持续推动AI开发者生态建设,提供开放平台、培训支持、行业解决方案,注重数据安全与合规,致力于生态合作与共赢,加速企业数智化转型。
|
14天前
|
人工智能 缓存 异构计算
云原生AI加速生成式人工智能应用的部署构建
本文探讨了云原生技术背景下,尤其是Kubernetes和容器技术的发展,对模型推理服务带来的挑战与优化策略。文中详细介绍了Knative的弹性扩展机制,包括HPA和CronHPA,以及针对传统弹性扩展“滞后”问题提出的AHPA(高级弹性预测)。此外,文章重点介绍了Fluid项目,它通过分布式缓存优化了模型加载的I/O操作,显著缩短了推理服务的冷启动时间,特别是在处理大规模并发请求时表现出色。通过实际案例,展示了Fluid在vLLM和Qwen模型推理中的应用效果,证明了其在提高模型推理效率和响应速度方面的优势。
云原生AI加速生成式人工智能应用的部署构建
|
1月前
|
人工智能 安全 JavaScript
Open Interpreter:AI 赋能终端!在终端中对话AI模型进行编程,通过运行代码来完成各种计算机操作任务
Open Interpreter 是一个让语言模型运行代码的强大工具,提供了一个类似 ChatGPT 的界面,支持多种编程语言和丰富的功能。
93 7
Open Interpreter:AI 赋能终端!在终端中对话AI模型进行编程,通过运行代码来完成各种计算机操作任务
|
28天前
|
机器学习/深度学习 人工智能 监控
探索人工智能的伦理困境:我们如何确保AI的道德发展?
在人工智能(AI)技术飞速发展的今天,其伦理问题也日益凸显。本文将探讨AI伦理的重要性,分析当前面临的主要挑战,并提出相应的解决策略。我们将通过具体案例和代码示例,深入理解如何在设计和开发过程中嵌入伦理原则,以确保AI技术的健康发展。
35 11
|
28天前
|
机器学习/深度学习 人工智能 自然语言处理
智能化软件测试:AI驱动的自动化测试策略与实践####
本文深入探讨了人工智能(AI)在软件测试领域的创新应用,通过分析AI技术如何优化测试流程、提升测试效率及质量,阐述了智能化软件测试的核心价值。文章首先概述了传统软件测试面临的挑战,随后详细介绍了AI驱动的自动化测试工具与框架,包括自然语言处理(NLP)、机器学习(ML)算法在缺陷预测、测试用例生成及自动化回归测试中的应用实例。最后,文章展望了智能化软件测试的未来发展趋势,强调了持续学习与适应能力对于保持测试策略有效性的重要性。 ####
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
自然语言处理(NLP)是AI的重要分支,旨在让计算机理解人类语言
自然语言处理(NLP)是AI的重要分支,旨在让计算机理解人类语言。本文探讨了深度学习在NLP中的应用,包括其基本任务、优势、常见模型及具体案例,如文本分类、情感分析等,并讨论了Python的相关工具和库,以及面临的挑战和未来趋势。
66 1
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
自动化测试的新篇章:利用AI提升软件质量
【10月更文挑战第35天】在软件开发的海洋中,自动化测试犹如一艘救生艇,它帮助团队确保产品质量,同时减少人为错误。本文将探索如何通过集成人工智能(AI)技术,使自动化测试更加智能化,从而提升软件测试的效率和准确性。我们将从AI在测试用例生成、测试执行和结果分析中的应用出发,深入讨论AI如何重塑软件测试领域,并配以实际代码示例来说明这些概念。
61 3
|
26天前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能与未来医疗:AI技术在疾病诊断中的应用前景####
本文探讨了人工智能(AI)在现代医疗领域,尤其是疾病诊断方面的应用潜力和前景。随着技术的不断进步,AI正逐渐改变传统医疗模式,提高诊断的准确性和效率。通过分析当前的技术趋势、具体案例以及面临的挑战,本文旨在为读者提供一个全面的视角,理解AI如何塑造未来医疗的面貌。 ####
|
1月前
|
机器学习/深度学习 人工智能 搜索推荐
人工智能与未来医疗:AI技术如何重塑医疗健康领域###
【10月更文挑战第21天】 一场由AI驱动的医疗革命正在悄然发生,它以前所未有的速度和深度改变着我们对于疾病预防、诊断、治疗及健康管理的认知。本文探讨了AI在医疗领域的多维度应用,包括精准医疗、药物研发加速、远程医疗普及以及患者个性化治疗体验的提升,揭示了这场技术变革背后的深远意义与挑战。 ###
230 6
|
2月前
|
人工智能 自动驾驶 数据安全/隐私保护
人工智能的伦理困境:我们如何确保AI的道德发展?
【10月更文挑战第21天】随着人工智能(AI)技术的飞速发展,其在各行各业的应用日益广泛,从而引发了关于AI伦理和道德问题的讨论。本文将探讨AI伦理的核心问题,分析当前面临的挑战,并提出确保AI道德发展的建议措施。