2022云栖精选-RISC-V边缘AI芯片的开源生态和应用落地

简介: 何含嘉楠科技

lQLPJxbcF2cqNBvMiM0FeLCMz4ifcSGHeANpqgFLAEAA_1400_136.png

image.png

上图为当前市面上较为典型的边缘 AI SoC 芯片基本框架。加入了 AI NPU 加速器单元后, AI算法的处理以及前后的数据加速,使其相较于传统的 SoC 芯片具备了更高的设计复杂度,各个模块之间需要相互协同生态推广开发难度也越来越高

image.png

当前,芯片开发者最常面临的困境:比如无法通过便捷的渠道购买到芯片,如何选择合适的芯片平台,如何从原厂获得完整的数据文件包括竞争力手册文档等。另外,使用过程中发现的问题也难以向芯片原厂反馈,工作成果无法沉淀共享。

因此,开发者们都希望能有一个对开发者长期友好的芯片厂商,能有一个特别乐意开源开放的芯片厂商。而嘉楠科技在过去三年里,一直在方面积极地努力。

image.png

嘉楠科技公司的定位是数字新基建算力提供商。2016 年开始启动 AI 业务线的研发2018作为业内首家交付了基于RISC-V 架构的第一颗 AI 产品K210第一代 AI 芯片的神经网络加速器达到 1 tops/w出色能效比。

image.png

上图为嘉楠勘智 AI 业务线的整体 roadmap 2018 年推出 k210 后, 2021 7 月推出了面向专业 AIoT 领域的 k510 最高具备2.45T kpu 算力,RISC-V 核心也提升双核 800M,配有 800MP扩展,支持2 1080p 的摄像头输入。

明年即将推出 K230,相对于前两代产品,在整体计算性能上会有 3-5 倍提升。

蓝色部分为未来我们将针对消费 IOT专业 IOT 和边缘计算三个领域的IOT分支。

image.png

K210是全球首款RISC-V 架构的商用边缘 AI 芯片目前已经完成了对主流嵌入式 OS 的应用,包括 LinuxRTT-RTOSFREE-RTOS等。对主流的深度学习框架也通过不断迭代实现了较为完整的支持。2020 4 月, Linux 通过了 k210 加入 Linux 内核的申请。

image.png

K510是目前在市面上比较少见的高精度端侧AI推理芯片主要面向中高阶IOT的智能硬件应用领域具备双核 64 RISC-V CPU 以及800Mhz DSP 扩展,也支持FPU扩展。K510 也是市面上面非常少见的、带有 AI 算力且同时能够支持完整 Linux 应用的AI 推理芯片。

image.png

我们应该从多维度协同推进AIOT生态。RISC-V 全系列 CPU 的核心处理器的应用以及 AI 算力的长期延展和长期开源是需要坚持的核心点。只有坚持核心算力的扩展,开发者才能在芯片原厂长期推出的产品上更好地利用继承性,更好地做迭代整体来看,可以分为以下几点:

第一,SoC算力能力的持续发展,包括由低到高的产品布局。当前AI领域在端侧得非常泛化,面临丰富的应用场景,不同等级的智能硬件应用走进了千家万户。

第二,系统软硬件和编译工具链路的开放演进。

第三,生态的上下游伙伴形成长期稳定的合作关系。基于稳定的产品可迭代的软件,才能构建出稳定的生态环境。

第四,降低 AI 芯片开发者使用门槛,加快成果的产出速度,加快商业方案导入的速度,形成正向的反馈和循环。

image.png

上图左侧为RISC-V处理器核心的性能演进,右图为KPU处理器核心的性能演进。在过 5 年,嘉楠科技基于RISC-V 和资源 kpu 生态的演进,提供了三代产品10 倍以上的算力性能迭代和演进,可以满足 IoT大量生态用户不断提升的算力需要,能够开发更多样、更复杂的 AI 场景示例

image.png

当前,所有 AI 芯片的开发都需要对应专门针对 AI 的算法模型,包括不同的机器学习框架编译工具,才能比较常见的 AI 模型 deploy AI 芯片上。

在过的三代的产品我们保证了工具链前后的继承性,在保证继承性的同时也实现了对框架TF PyTorch ONNX算法框架的支持。

image.png

系统软件方面,嘉楠科技在不同芯片平台上建立开源工程两代芯片产品都已github上进行了完整开源,包括所有软件的 SDK 公共分支和开发分支可以实时看到所有SDK 的迭代过程,轻松获取全部开发代码以及所有AI 开发示例特殊方案的开发组件。

另外,我们也在淘宝上面向一线开发者开放了低门槛的芯片采购和开发采购渠道。

image.png

通过和龙蜥社区以及其他上下游伙伴的长期合作,我们基于 k210 k510 孵化出了大量第三方开发者硬件形态。

image.png

嘉楠科技构建了软硬件全栈的开源开放的生态系统从硬件参考设计芯片级、板级到模组级,到系统工具链 AI 算法 demo 以及最上层的商业化Turnkey 方案,均已实现了面向用户非常完整的软硬件协同的开源能力 github 上孵化了 650+开源项目,全球开发者数量超 1 万名。

庞大的开发者和爱好者基础也同样为嘉楠科技带来了商业回报。目前,我们的 210 510芯片累计已出货超200万颗,销往20+国家。

嘉楠科技将会在更大范围的产品线上坚持开源开发者和所有RISC-V 爱好者实现生态的共赢。

image.png

CanMVK210是由01Studio设计研发,基于嘉楠科技边缘计算芯片 K210(RSIC-V架构,64位双核)CanMV开源项目的一款开发板,硬件采用一体化设计(K210核心板、摄像头、LCD集成在一个PCB),即拿即用。该产品在上架当天即达到近1000台的销量。

image.png

K510 CRB为基于K510 CORE核心板扩展的嵌入式参考开发板(Customer Reference Board),该平台能够加速客户产品开发和导入速度产品已于今年 5 月在淘宝店铺上线。截至目前市场上已有五六百名开发者依托于该硬件平台实现生态的 demo 以及产品方案的开发。

K510 CRB也是目前市面上不多见的、能够在端侧支持高精度的 FP 16 算力的 AI 芯片在做 AI demo 的开发时,可以实现训练模型到实际部署模型的低精度损失,简化开发者在开发过程中的复杂度。

lQLPJxbcF2cqM2TM-M0CnrCgW_7LDpyh1wNpqgFKAPsA_670_248.png

相关文章
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术深度解析:从基础到应用的全面介绍
人工智能(AI)技术的迅猛发展,正在深刻改变着我们的生活和工作方式。从自然语言处理(NLP)到机器学习,从神经网络到大型语言模型(LLM),AI技术的每一次进步都带来了前所未有的机遇和挑战。本文将从背景、历史、业务场景、Python代码示例、流程图以及如何上手等多个方面,对AI技术中的关键组件进行深度解析,为读者呈现一个全面而深入的AI技术世界。
40 10
|
1天前
|
机器学习/深度学习 人工智能
Leffa:Meta AI 开源精确控制人物外观和姿势的图像生成框架,在生成穿着的同时保持人物特征
Leffa 是 Meta 开源的图像生成框架,通过引入流场学习在注意力机制中精确控制人物的外观和姿势。该框架不增加额外参数和推理成本,适用于多种扩散模型,展现了良好的模型无关性和泛化能力。
26 11
Leffa:Meta AI 开源精确控制人物外观和姿势的图像生成框架,在生成穿着的同时保持人物特征
|
6天前
|
人工智能 API 语音技术
TEN Agent:开源的实时多模态 AI 代理框架,支持语音、文本和图像的实时通信交互
TEN Agent 是一个开源的实时多模态 AI 代理框架,集成了 OpenAI Realtime API 和 RTC 技术,支持语音、文本和图像的多模态交互,具备实时通信、模块化设计和多语言支持等功能,适用于智能客服、实时语音助手等多种场景。
76 15
TEN Agent:开源的实时多模态 AI 代理框架,支持语音、文本和图像的实时通信交互
|
7天前
|
机器学习/深度学习 人工智能 自然语言处理
转载:【AI系统】AI的领域、场景与行业应用
本文概述了AI的历史、现状及发展趋势,探讨了AI在计算机视觉、自然语言处理、语音识别等领域的应用,以及在金融、医疗、教育、互联网等行业中的实践案例。随着技术进步,AI模型正从单一走向多样化,从小规模到大规模分布式训练,企业级AI系统设计面临更多挑战,同时也带来了新的研究与工程实践机遇。文中强调了AI基础设施的重要性,并鼓励读者深入了解AI系统的设计原则与研究方法,共同推动AI技术的发展。
转载:【AI系统】AI的领域、场景与行业应用
|
2天前
|
机器学习/深度学习 人工智能 算法
探索AI在医疗诊断中的应用与挑战
【10月更文挑战第21天】 本文深入探讨了人工智能(AI)技术在医疗诊断领域的应用现状与面临的挑战,旨在为读者提供一个全面的视角,了解AI如何改变传统医疗模式,以及这一变革过程中所伴随的技术、伦理和法律问题。通过分析AI技术的优势和局限性,本文旨在促进对AI在医疗领域应用的更深层次理解和讨论。
|
7天前
|
人工智能 安全 PyTorch
SPDL:Meta AI 推出的开源高性能AI模型数据加载解决方案,兼容主流 AI 框架 PyTorch
SPDL是Meta AI推出的开源高性能AI模型数据加载解决方案,基于多线程技术和异步事件循环,提供高吞吐量、低资源占用的数据加载功能,支持分布式系统和主流AI框架PyTorch。
36 10
SPDL:Meta AI 推出的开源高性能AI模型数据加载解决方案,兼容主流 AI 框架 PyTorch
|
7天前
|
人工智能 安全 测试技术
EXAONE 3.5:LG 推出的开源 AI 模型,采用 RAG 和多步推理能力降低模型的幻觉问题
EXAONE 3.5 是 LG AI 研究院推出的开源 AI 模型,擅长长文本处理,能够有效降低模型幻觉问题。该模型提供 24 亿、78 亿和 320 亿参数的三个版本,支持多步推理和检索增强生成技术,适用于多种应用场景。
50 9
EXAONE 3.5:LG 推出的开源 AI 模型,采用 RAG 和多步推理能力降低模型的幻觉问题
|
6天前
|
数据采集 人工智能 编解码
书生·万象InternVL 2.5:上海 AI Lab 开源的多模态大语言模型,超越了目前许多商业模型
书生·万象InternVL 2.5是由上海AI实验室OpenGVLab团队推出的开源多模态大语言模型系列。该模型在多模态理解基准(MMMU)上表现优异,超越了许多商业模型,适用于图像和视频分析、视觉问答、文档理解和多语言处理等多个领域。
44 7
书生·万象InternVL 2.5:上海 AI Lab 开源的多模态大语言模型,超越了目前许多商业模型
|
6天前
|
机器学习/深度学习 人工智能 自然语言处理
MMAudio:开源 AI 音频合成项目,根据视频或文本生成同步的音频
MMAudio 是一个基于多模态联合训练的高质量 AI 音频合成项目,能够根据视频内容或文本描述生成同步的音频。该项目适用于影视制作、游戏开发、虚拟现实等多种场景,提升用户体验。
44 7
MMAudio:开源 AI 音频合成项目,根据视频或文本生成同步的音频
|
7天前
|
机器学习/深度学习 人工智能 物联网
AI赋能大学计划·大模型技术与应用实战学生训练营——电子科技大学站圆满结营
12月05日,由中国软件行业校园招聘与实习公共服务平台携手阿里魔搭社区共同举办的AI赋能大学计划·大模型技术与产业趋势高校行AIGC项目实战营·电子科技大学站圆满结营。
AI赋能大学计划·大模型技术与应用实战学生训练营——电子科技大学站圆满结营

热门文章

最新文章