2022云栖精选-RISC-V边缘AI芯片的开源生态和应用落地

简介: 何含嘉楠科技

lQLPJxbcF2cqNBvMiM0FeLCMz4ifcSGHeANpqgFLAEAA_1400_136.png

image.png

上图为当前市面上较为典型的边缘 AI SoC 芯片基本框架。加入了 AI NPU 加速器单元后, AI算法的处理以及前后的数据加速,使其相较于传统的 SoC 芯片具备了更高的设计复杂度,各个模块之间需要相互协同生态推广开发难度也越来越高

image.png

当前,芯片开发者最常面临的困境:比如无法通过便捷的渠道购买到芯片,如何选择合适的芯片平台,如何从原厂获得完整的数据文件包括竞争力手册文档等。另外,使用过程中发现的问题也难以向芯片原厂反馈,工作成果无法沉淀共享。

因此,开发者们都希望能有一个对开发者长期友好的芯片厂商,能有一个特别乐意开源开放的芯片厂商。而嘉楠科技在过去三年里,一直在方面积极地努力。

image.png

嘉楠科技公司的定位是数字新基建算力提供商。2016 年开始启动 AI 业务线的研发2018作为业内首家交付了基于RISC-V 架构的第一颗 AI 产品K210第一代 AI 芯片的神经网络加速器达到 1 tops/w出色能效比。

image.png

上图为嘉楠勘智 AI 业务线的整体 roadmap 2018 年推出 k210 后, 2021 7 月推出了面向专业 AIoT 领域的 k510 最高具备2.45T kpu 算力,RISC-V 核心也提升双核 800M,配有 800MP扩展,支持2 1080p 的摄像头输入。

明年即将推出 K230,相对于前两代产品,在整体计算性能上会有 3-5 倍提升。

蓝色部分为未来我们将针对消费 IOT专业 IOT 和边缘计算三个领域的IOT分支。

image.png

K210是全球首款RISC-V 架构的商用边缘 AI 芯片目前已经完成了对主流嵌入式 OS 的应用,包括 LinuxRTT-RTOSFREE-RTOS等。对主流的深度学习框架也通过不断迭代实现了较为完整的支持。2020 4 月, Linux 通过了 k210 加入 Linux 内核的申请。

image.png

K510是目前在市面上比较少见的高精度端侧AI推理芯片主要面向中高阶IOT的智能硬件应用领域具备双核 64 RISC-V CPU 以及800Mhz DSP 扩展,也支持FPU扩展。K510 也是市面上面非常少见的、带有 AI 算力且同时能够支持完整 Linux 应用的AI 推理芯片。

image.png

我们应该从多维度协同推进AIOT生态。RISC-V 全系列 CPU 的核心处理器的应用以及 AI 算力的长期延展和长期开源是需要坚持的核心点。只有坚持核心算力的扩展,开发者才能在芯片原厂长期推出的产品上更好地利用继承性,更好地做迭代整体来看,可以分为以下几点:

第一,SoC算力能力的持续发展,包括由低到高的产品布局。当前AI领域在端侧得非常泛化,面临丰富的应用场景,不同等级的智能硬件应用走进了千家万户。

第二,系统软硬件和编译工具链路的开放演进。

第三,生态的上下游伙伴形成长期稳定的合作关系。基于稳定的产品可迭代的软件,才能构建出稳定的生态环境。

第四,降低 AI 芯片开发者使用门槛,加快成果的产出速度,加快商业方案导入的速度,形成正向的反馈和循环。

image.png

上图左侧为RISC-V处理器核心的性能演进,右图为KPU处理器核心的性能演进。在过 5 年,嘉楠科技基于RISC-V 和资源 kpu 生态的演进,提供了三代产品10 倍以上的算力性能迭代和演进,可以满足 IoT大量生态用户不断提升的算力需要,能够开发更多样、更复杂的 AI 场景示例

image.png

当前,所有 AI 芯片的开发都需要对应专门针对 AI 的算法模型,包括不同的机器学习框架编译工具,才能比较常见的 AI 模型 deploy AI 芯片上。

在过的三代的产品我们保证了工具链前后的继承性,在保证继承性的同时也实现了对框架TF PyTorch ONNX算法框架的支持。

image.png

系统软件方面,嘉楠科技在不同芯片平台上建立开源工程两代芯片产品都已github上进行了完整开源,包括所有软件的 SDK 公共分支和开发分支可以实时看到所有SDK 的迭代过程,轻松获取全部开发代码以及所有AI 开发示例特殊方案的开发组件。

另外,我们也在淘宝上面向一线开发者开放了低门槛的芯片采购和开发采购渠道。

image.png

通过和龙蜥社区以及其他上下游伙伴的长期合作,我们基于 k210 k510 孵化出了大量第三方开发者硬件形态。

image.png

嘉楠科技构建了软硬件全栈的开源开放的生态系统从硬件参考设计芯片级、板级到模组级,到系统工具链 AI 算法 demo 以及最上层的商业化Turnkey 方案,均已实现了面向用户非常完整的软硬件协同的开源能力 github 上孵化了 650+开源项目,全球开发者数量超 1 万名。

庞大的开发者和爱好者基础也同样为嘉楠科技带来了商业回报。目前,我们的 210 510芯片累计已出货超200万颗,销往20+国家。

嘉楠科技将会在更大范围的产品线上坚持开源开发者和所有RISC-V 爱好者实现生态的共赢。

image.png

CanMVK210是由01Studio设计研发,基于嘉楠科技边缘计算芯片 K210(RSIC-V架构,64位双核)CanMV开源项目的一款开发板,硬件采用一体化设计(K210核心板、摄像头、LCD集成在一个PCB),即拿即用。该产品在上架当天即达到近1000台的销量。

image.png

K510 CRB为基于K510 CORE核心板扩展的嵌入式参考开发板(Customer Reference Board),该平台能够加速客户产品开发和导入速度产品已于今年 5 月在淘宝店铺上线。截至目前市场上已有五六百名开发者依托于该硬件平台实现生态的 demo 以及产品方案的开发。

K510 CRB也是目前市面上不多见的、能够在端侧支持高精度的 FP 16 算力的 AI 芯片在做 AI demo 的开发时,可以实现训练模型到实际部署模型的低精度损失,简化开发者在开发过程中的复杂度。

lQLPJxbcF2cqM2TM-M0CnrCgW_7LDpyh1wNpqgFKAPsA_670_248.png

相关文章
|
5月前
|
人工智能 中间件 数据库
沐曦 GPU 融入龙蜥,共筑开源 AI 基础设施新底座
沐曦自加入社区以来,一直与龙蜥社区在推动 AIDC OS 的开源社区建设等方面保持合作。
|
5月前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
642 31
|
5月前
|
设计模式 人工智能 自然语言处理
3个月圈粉百万,这个AI应用在海外火了
不知道大家还记不记得,我之前推荐过一个叫 Agnes 的 AI 应用,也是当时在 WAIC 了解到的。
634 2
|
5月前
|
人工智能 运维 Java
Spring AI Alibaba Admin 开源!以数据为中心的 Agent 开发平台
Spring AI Alibaba Admin 正式发布!一站式实现 Prompt 管理、动态热更新、评测集构建、自动化评估与全链路可观测,助力企业高效构建可信赖的 AI Agent 应用。开源共建,现已上线!
6236 92
|
5月前
|
人工智能 安全 Serverless
再看 AI 网关:助力 AI 应用创新的关键基础设施
AI 网关作为云产品推出已有半年的时间,这半年的时间里,AI 网关从内核到外在都进行了大量的进化,本文将从 AI 网关的诞生、AI 网关的产品能力、AI 网关的开放生态,以及新推出的 Serverless 版,对其进行一个全面的介绍,期望对正在进行 AI 应用落地的朋友,在 AI 基础设施选型方面提供一些参考。
984 77
|
5月前
|
人工智能 缓存 运维
【智造】AI应用实战:6个agent搞定复杂指令和工具膨胀
本文介绍联调造数场景下的AI应用演进:从单Agent模式到多Agent协同的架构升级。针对复杂指令执行不准、响应慢等问题,通过意图识别、工具引擎、推理执行等多Agent分工协作,结合工程化手段提升准确性与效率,并分享了关键设计思路与实践心得。
864 20
【智造】AI应用实战:6个agent搞定复杂指令和工具膨胀
|
5月前
|
人工智能 自然语言处理 Shell
我们开源了一款 AI 驱动的用户社区
KoalaQA 是一款开源的 AI 驱动用户社区,支持智能问答、语义搜索、自动运营与辅助创作,助力企业降低客服成本,提升响应效率与用户体验。一键部署,灵活接入大模型,快速构建专属售后服务社区。
519 5
我们开源了一款 AI 驱动的用户社区
|
5月前
|
人工智能 安全 数据可视化
Dify让你拖拽式搭建企业级AI应用
Dify是开源大模型应用开发平台,融合BaaS与LLMOps理念,通过可视化工作流、低代码编排和企业级监控,支持多模型接入与RAG知识库,助力企业快速构建安全可控的AI应用,实现从原型到生产的高效落地。
Dify让你拖拽式搭建企业级AI应用
|
5月前
|
自然语言处理 数据挖掘 关系型数据库
ADB AI指标分析在广告营销场景的方案及应用
ADB Analytic Agent助力广告营销智能化,融合异动与归因分析,支持自然语言输入、多源数据对接及场景模板化,实现从数据获取到洞察报告的自动化生成,提升分析效率与精度,推动数据驱动决策。

热门文章

最新文章