《AIGC+软件开发新范式》--03.微调工程师岗位可能并不存在, 但使用 AI 编码工具已经成为刚需(2)

简介: 在AI 热度持续上升的当下,阿里云推出AI智能编码助手—通义灵码。通义灵码是一款基于阿里云通义代码大模型打造的智能编码助手,基于海量优秀开源代数据集和编程教科书训练,为开发者带来高效、流畅的编码体验。

本文来源于阿里云社区电子书《AIGC+软件开发新范式》


《AIGC+软件开发新范式》--03.微调工程师岗位可能并不存在, 但使用 AI 编码工具已经成为刚需(1):https://developer.aliyun.com/article/1537627


观点 4:


通过公共云平台获取算力是算力紧缺的当下值得企业认真考虑的解决方案,短期内我们可能很难摆脱“大力出奇迹”的规律。


陈鑫(神秀):在代码领域,我们观察到一个明显的趋势:具有较大参数量的模型(例如 72B)在推理能力和理解能力上,尤其是处理长上下文方面,表现得比小参数模型要好得多。


例如,当你要求模型为 1,000 行代码生成注释或单元测试时,小参数模型可能在处理前一两百行代码时还能保持正常,但随后性能会逐渐下降,甚至可能出现偷懒、忘记任务或开始出错的情况,而参数量较大的模型则能更好地处理这些问题。


我认为在一段时间内,尤其是在代码领域,我们无法摆脱“大力出奇迹”的规律。对于一些简单的任务,使用非常大的参数模型可能并不必要。例如,在通义灵码平台上,线上也并不全是使用千亿参数的模型。我们有不同参数规模的模型,如百亿参数、几十亿参数的模型,并且会根据任务的不同,将任务调度到相应的模型上。我们也在尝试形成各种专家模型的组合,并计划进行 DevOps 整个全链路的智能化改造。这有点类似于企业的流程再造,只是 DevOps 的软件生产流程与企业生产流程相似。在这个流程中,并不是所有的任务都需要使用非常大的参数模型。我们可以通过组合各种不同参数规模的模型,以及训练出的下游任务能力,来完成流程的改造。


我认为,使用多大规模的模型是需要企业去不断尝试的。但首先,我们需要解决算力问题。一旦解决了初始的算力问题,我们就可以开始逐步前进。至于后续的芯片问题,我相信最终也会得到解决。包括许多互联网大厂和国内顶尖的芯片制造企业,现在都在努力去创造一些改变。


观点 5:


微调工程师岗位可能并不存在,但微调是一项必备技能,了解业务并将其需求转化为真正的 Prompt 才是真正的价值点。


陈鑫(神秀):如果你想要进行微调,但不理解业务,那么你的价值就会非常有限。如果将微调定义为一个岗位,那么这个岗位应该具有深厚的价值,并且需要长期的积累和能力。


如果这个岗位的价值和能力很容易被替代,或者很容易学习,那么它可能就不会成为一个独立的岗位。以我们的例子来说,通义灵码本身就包含了一个非常简单的微调训练平台。这是因为我们把工程师在微调代码模型的所有经验都内置到了平台中,并且添加了一些配置。一个工程师通过一两天的培训,基本上就能掌握这些概念,开始进行微调工作。在代码领域,至少在我看来,这个门槛并没有大家想象的那么高。但在其他领域,门槛可能会更高。


对于专家知识来说,如何选择合适的数据、如何处理数据、如何解决出现的问题、如何校正训练不佳的模型、如何通过不断实验训练出符合预期的模型,以及是否清楚自己训练模型的目的,这些都是微调工程师需要考虑的问题。例如,如果你想要微调模型以理解特定的 SDK 库,并在代码补全时生成可以直接调用企业内部 SDK 或 API 的代码,那么你需要考虑如何教会模型实现这一点,构造什么样的数据,如何标注数据,以及如何筛选和处理数据。这些问题可能不是一个简单的微调工程师就能解决的。


未来,像原来的效能工程师或者中台的资深研发人员可能都需要具备微调的能力,将自己的代码资产训练到大模型中,让整个公司的人都能使用。所以,未来每个人都需要具备理解模型、处理数据和进行微调的能力,如果这成为一个必备技能,那么就不会存在一个专门称为“微调工程师”的岗位了。

观点 6:


2024 年,Agent 将率先在 B 端落地。今年下半年,我们预计将看到大量 Agent 相关的实践和落地 案例。


陈鑫(神秀):在关于 AI Agent 的话题,我认为今年它肯定会非常火热,甚至在代码领域也会受到关注。根据当前的趋势,我们可以预见这个过程将分为几个步骤。首先,大家会开始采用能够进行代码生成或续写的模型。接下来,会进行企业个性化的定制。正如我们之前讨论的微调,实际上已经涉及到了这个过程。然后,我们会进一步扩展这些模型的能力,目标是提高整个软件生产链条的效率。为了实现这一目标,我们肯定会利用 AI Agent 技术。


在没有模型的时候,我们需要训练这个“大脑”,然后通过像通义灵码这样的平台,专注于完成最核心、价值最大的任务。完成这些任务后,接下来就是构建 AI Agent。我们会搭建好平台,让各个企业基于这个平台构建自己的 AI Agent。研发领域的场景可能有上百甚至几百个,如果每个企业都进行个性化定制,那将是成千上万的需求,这显然不是一个团队能够独立完成的。


现在,各方面的技术探索已经非常成熟,我认为今年确实是 AI Agent 落地的关键一年。经过去年一年对模型和参数的优化,今年我们应该开始考虑企业个性化以及 AI Agent 的实际应用。我们已经看到,2024 年将有大量行业领先的客户开始在代码生成或代码助手领域落地。一旦他们起到了带头作用,相关的实践经验将会被大家所看到。


目前,我们在网上很少看到关于 AI Agent 实践的案例,这是因为整个行业还没有发展到那一步。预计 6 月份之后,将会有实践经验出现,下半年将会有大量 AI Agent 落地的场景和效果展示的文章,我对 AI Agent 的发展前景抱有极大的期望,这也是我们今年建设的重点。

相关文章
|
7天前
|
机器学习/深度学习 人工智能 搜索推荐
AI与娱乐产业:电影制作的新工具
随着科技的发展,人工智能(AI)逐渐渗透到电影制作中,带来了前所未有的创新。本文探讨了AI在剧本创作、场景构建、特效制作、动作捕捉、音频处理、剪辑及市场调研等领域的应用,以及其对提升效率、激发创意和拓宽视野的影响,展望了AI在未来电影产业中的重要作用。
|
1月前
|
人工智能 搜索推荐 程序员
AI 搜索引擎工具集合
AI 搜索引擎工具集合
AI 搜索引擎工具集合
|
1月前
|
人工智能 自然语言处理 算法
几款宝藏级AI阅读工具推荐!论文分析、文档总结必备神器!
【10月更文挑战第8天】几款宝藏级AI阅读工具推荐!论文分析、文档总结必备神器!
66 1
几款宝藏级AI阅读工具推荐!论文分析、文档总结必备神器!
|
19天前
|
机器学习/深度学习 人工智能 自然语言处理
NotebookLM与NotebookLlama 了解下 | AI工具
在AI技术飞速发展的今天,Google和Meta分别推出了基于大型语言模型的笔记本应用——NotebookLM和NotebookLlama。这两款产品不仅提供了强大的文档处理和编码支持,还在文档和编码领域引领了创新。NotebookLM强调个性化和隐私保护,而NotebookLlama则以开源和高度定制性著称。本文将深入解析这两款产品并进行对比分析。【10月更文挑战第16天】
99 2
|
29天前
|
人工智能 自然语言处理
从迷茫到精通:揭秘模型微调如何助你轻松驾驭AI新热点,解锁预训练模型的无限潜能!
【10月更文挑战第13天】本文通过简单的问题解答形式,结合示例代码,详细介绍了模型微调的全流程。从选择预训练模型、准备新任务数据集、设置微调参数,到进行微调训练和评估调优,帮助读者全面理解模型微调的技术细节和应用场景。
67 6
|
26天前
|
人工智能 自然语言处理 数据挖掘
Claude 3.5:一场AI技术的惊艳飞跃 | AIGC
在这个科技日新月异的时代,人工智能(AI)的进步令人惊叹。博主体验了Claude 3.5 Sonnet的最新功能,对其卓越的性能、强大的内容创作与理解能力、创新的Artifacts功能、视觉理解与文本转录能力、革命性的“computeruse”功能、广泛的应用场景与兼容性以及成本效益和易用性深感震撼。这篇介绍将带你一窥其技术前沿的魅力。【10月更文挑战第12天】
57 1
|
29天前
|
人工智能 自然语言处理 自动驾驶
【通义】AI视界|微软和 OpenAI 将向媒体提供1000万美元资助,推动其使用AI工具
本文概览了近期科技领域的五大热点事件,包括微软与OpenAI联手资助媒体使用AI工具、OpenAI任命前白宫官员为首任首席经济学家、特斯拉FSD系统遭调查、英伟达市值逼近全球第一、以及AMD新一代锐龙9000X3D系列处理器即将上市的消息。更多资讯,请访问通义官网。
|
1月前
|
机器学习/深度学习 人工智能 数据可视化
21款改变世界的AI工具:释放无限创意!
本文收集了21款令人惊叹的人工智能工具,每一款工具都为用户带来了创新与便捷。从数据分析、文档编写、语音克隆到图像升频,这些工具涵盖了多领域的应用。无论是自动化工作流的 n8n,还是开源替代 Notion 的 AppFlowy,这些工具都旨在通过 AI 提高生产力、简化流程,甚至激发更多创意。本文详细介绍了每个工具的用途、功能特点以及使用场景,是你探索 AI 世界的必备指南。
52 0
|
8天前
|
人工智能 自然语言处理 数据可视化
什么是AIGC?如何使用AIGC技术辅助办公?
2分钟了解AIGC技术及其如何提高日常办公效率!
42 4
什么是AIGC?如何使用AIGC技术辅助办公?
|
4月前
|
存储 自然语言处理 API
通义万相AIGC技术Web服务体验评测
随着人工智能技术的不断进步,图像生成技术已成为创意产业的一大助力。通义万相AIGC技术,作为阿里云推出的一项先进技术,旨在通过文本到图像、涂鸦转换、人像风格重塑及人物写真创建等功能,加速艺术家和设计师的创作流程。本文将详细评测这一技术的实际应用体验。
189 4

热门文章

最新文章