AI算子开发需要什么技能

简介: AI算子开发需要什么技能?

大家好啊,我是董董灿。

如果说深度学习是人工智能的灵魂,那算法绝对是深度学习的灵魂。

在越来越火的AI大模型GPT4屡创新高的过程中,算法工程师绝对发挥了中流砥柱的作用。

而在国内,算法工程师,早就是深度学习中的卷王职位了。

很早之前网上就流传着一些算法工程师的传奇:毕业去大厂做算法,白菜价30-40w起步!

image.png

这让工作了很多年的老工程师们都愤愤不平,纷纷大呼薪资被倒挂。

虽然这几年市场冷静了一些,但不可否认的是,算法工程师,依然是香饽饽,而且依旧很卷。而在与算法相关的岗位中,有一个独特的存在,不少同学却不清楚这个岗位是做什么的,更别提这个岗位需要什么技能了。

那就是AI 算子开发工程师。

今天,就来聊一聊这个职位。

image.png

AI算子开发是做什么的?

算子——Operator,这里指的是神经网络中完成特定功能的一些算法的节点。比如在CNN网络中,一个卷积节点就属于一个卷积算子。

往大了讲,甚至一个CNN网络也可以称作一个大算子,只不过这个大算子比较复杂。

AI算子开发的岗位主要集中在与AI芯片相关的公司的招聘需求中。

那这个职位具体是做什么的呢?

做过深度学习或者使用框架搭过神经网络的同学都知道,一个神经网络就是由一层层的算子构成的。
但在使用框架搭网络的过程,基本上是搭积木似的调用算子接口。

比如在 tensorflow 中调用一个卷积,一行代码就可以搞定:

tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, data_format=None, name=None)

看似很简单,但在这个过程中,你根本看不到这个卷积算法是如何实现的。

你唯一知道的是,给定了一个输入,这一行代码做了卷积运算。

而卷积运算的实际执行过程,恰恰就是算子开发工程师需要做的事:把卷积的运算,在更底层实现出来。

如果在x86的架构下实现,可能就是直接用循环嵌套的方式来实现了,比如:

#include <stdio.h>
#define N 4 // 输入数组大小
#define K 3 // 卷积核大小
void conv2d(float input[N][N],
            float kernel[K][K],
            float output[N-K+1][N-K+1]) {
  int i, j, m, n;    
  float sum;    
  // 遍历输出数组    
  for (i = 0; i < N-K+1; i++) {        
    for (j = 0; j < N-K+1; j++) {            
      sum = 0;            
      // 遍历卷积核            
      for (m = 0; m < K; m++) {                
        for (n = 0; n < K; n++) {                    
          // 对应元素相乘并累加                    
          sum += input[i+m][j+n] * kernel[m][n];                
        }            
      }            
      output[i][j] = sum; // 存储卷积结果        
    }    
  }
}

这是因为x86的架构和指令集并没有针对卷积这一算法做特殊的指令设计,因此我们要想实现这个功能,基本上也只能根据卷积的运算逻辑,来一层层的循环遍历完成。

而AI芯片作为一种专用AI加速部件,会为卷积这一运算单独设计硬件来完成计算,相对应的,也会设计单独的卷积指令。

因此,在AI芯片上,一个卷积的运算实现,可能就用一条指令,就可以完成很多个数据的乘累加操作,不需要再像上面的代码一样,写那么多循环来遍历卷积核。

当然实现出来只是第一步,更重要的是要优化。利用硬件架构的特性来完成算子的性能优化,从而实现计算加速。

算子开发需要什么技能?

了解了算子开发是干什么的,那大概就知道需要什么技能了。

首先,一定要对算法本身很熟悉,甚至是了熟于心才行。因为算子开发是要真正实现这个算法,而不是在框架侧简单的进行一行python代码的调用。

要在芯片上实现一个算法,需要知道算法的每一个细节,只有这样,才能完成一个算法的功能交付。

其次,还需要对AI芯片的架构特别了解。需要知道芯片上有哪些硬件模块可以实现这个算法,这些硬件模块之间有什么依赖关系,如何并行、如何同步、如何做优化等,做到了这一点,才能完成一个算法的性能交付。

可以说,算子开发,是一个软硬兼具的岗位。

除此之外,C++/python语言也是不可少的。

因此,算子开发需要的技能,可以大概有3方面:扎实的算法基础、扎实的硬件知识(计算机体系结构相关)以及扎实的编程技能。

算子开发的岗位待遇如何?

我从boss直聘上找了一个比较有代表性的职位描述和薪资。

image.png

这是北京某公司招聘的5年经验算子岗位的职位和薪资描述。感兴趣的同学可以去Boss直聘上搜一搜看看。

我个人感觉,算子开发岗的薪资与纯算法岗位其实差不多,但是对算法的要求应该是没有纯算法岗位高的。

因为AI算子开发需要的能力不单单是算法能力,还需要一些硬件知识,甚至是编译器知识。

在现在纯算法工程师越来越卷,恨不得把leetcode刷一遍都不一定过得了纯算法岗面试的情况下,如果你具备算法+硬件+编程能力的技能,不妨试试算子开发岗。

没准,你很合适呢?

相关文章
|
16天前
|
人工智能 开发框架 Java
重磅发布!AI 驱动的 Java 开发框架:Spring AI Alibaba
随着生成式 AI 的快速发展,基于 AI 开发框架构建 AI 应用的诉求迅速增长,涌现出了包括 LangChain、LlamaIndex 等开发框架,但大部分框架只提供了 Python 语言的实现。但这些开发框架对于国内习惯了 Spring 开发范式的 Java 开发者而言,并非十分友好和丝滑。因此,我们基于 Spring AI 发布并快速演进 Spring AI Alibaba,通过提供一种方便的 API 抽象,帮助 Java 开发者简化 AI 应用的开发。同时,提供了完整的开源配套,包括可观测、网关、消息队列、配置中心等。
711 10
|
18天前
|
人工智能 IDE 程序员
期盼已久!通义灵码 AI 程序员开启邀测,全流程开发仅用几分钟
在云栖大会上,阿里云云原生应用平台负责人丁宇宣布,「通义灵码」完成全面升级,并正式发布 AI 程序员。
|
26天前
|
人工智能 Cloud Native Serverless
来云栖大会!探展云上开发,沉浸式体验云原生 + AI 新奇玩法
计算馆将展示中国最先进的云计算产业链全景,从底层硬件到数据创新,从云计算基础设施到数据管理服务、人工智能平台和模型服务,全景式呈现 AI 时代云计算最新技术形态和产品进展。计算馆有哪些推荐?往下看!
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
突破AI大模型工业化开发,生成式AI迎来全链条服务商
突破AI大模型工业化开发,生成式AI迎来全链条服务商
突破AI大模型工业化开发,生成式AI迎来全链条服务商
|
2月前
|
人工智能 自然语言处理 Java
Spring AI,Spring团队开发的新组件,Java工程师快来一起体验吧
文章介绍了Spring AI,这是Spring团队开发的新组件,旨在为Java开发者提供易于集成的人工智能API,包括机器学习、自然语言处理和图像识别等功能,并通过实际代码示例展示了如何快速集成和使用这些AI技术。
Spring AI,Spring团队开发的新组件,Java工程师快来一起体验吧
|
14天前
|
机器学习/深度学习 人工智能 开发框架
智能ai量化高频策略交易软件、现货合约跟单模式开发技术规则
该项目涵盖智能AI量化高频策略交易软件及现货合约跟单模式开发,融合人工智能、量化交易与软件工程。软件开发包括需求分析、技术选型、系统构建、测试部署及运维;跟单模式则涉及功能定义、策略开发、交易执行、终端设计与市场推广,确保系统高效稳定运行。
|
15天前
|
机器学习/深度学习 人工智能 自然语言处理
首席营销官不可或缺的五项AI技能
首席营销官不可或缺的五项AI技能
|
2月前
|
人工智能 分布式计算 数据处理
Big Data for AI实践:面向AI大模型开发和应用的大规模数据处理套件
文叙述的 Big Data for AI 最佳实践,基于阿里云人工智能平台PAI、MaxCompute自研分布式计算框架MaxFrame、Data-Juicer等产品和工具,实现了大模型数据采集、清洗、增强及合成大模型数据的全链路,解决企业级大模型开发应用场景的数据处理难题。
|
2月前
|
人工智能 自然语言处理 测试技术
AI协助开发:未来软件工程的变革
在科技飞速发展的今天,人工智能(AI)已成为软件开发领域的变革力量。AI不仅能自动生成与优化代码、提高开发效率及代码质量,还能实现自动化测试、快速定位错误,确保软件的稳定性与可靠性。通过自然语言处理技术,AI简化了需求分析过程;在项目管理上,AI能优化任务分配,提升团队协作效率。尽管AI的应用带来了诸如数据隐私等新挑战,但随着技术的进步,AI将持续深化参与软件开发的各个环节,为开发人员提供强有力的支持,推动行业向前发展。
|
2月前
|
机器学习/深度学习 人工智能 搜索推荐
AI低代码平台:创新开发新选择
Zoho Creator、Airtable、Appian、Creatio Atlas及织信等低代码平台,通过集成AI功能如预测分析、情感分析、自动化文案创作等,显著提升了开发效率与智能化水平。例如,Zoho Creator利用AI预测客户需求并分析情绪;Airtable借助OpenAI模型自动生成代码与文案;Appian通过AI技能自动处理文档与邮件;Creatio Atlas运用AI优化决策流程并提供个性化推荐;织信则集成ChatGPT与Stable Diffusion,实现智能开发与图像生成。这些平台不仅支持多种业务场景,还简化了应用程序开发流程。
85 5

热门文章

最新文章