浅谈AI大语言模型的企业落地(二)- AI狂潮下企业的机遇和挑战

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,5000CU*H 3个月
简介: AI狂潮下企业的机遇和挑战

接下来的文字小马尽量做到通俗易懂,老少皆宜,相对科研更注重应用。说起来小马也只是站在巨人肩膀上的学习者,斗胆花拳绣腿,班门弄斧一番。以下文章可能会有些许观点,仅代表个人观点,欢迎互相交流学习。

一、江湖

上一篇我们聊到chatgpt掀起了AI狂潮。就在这股狂潮下大家都纷纷涌进风口,国内大模型正在紧锣密鼓研发中,半年多时间国内出现了“百模大战”的局面,BAT等头部互联网公司和人工智能公司基本都对外宣布了自己的大模型。细心的同学会发现光听名字就很博大精深,如百度的文心一言,百川智能的百川,科大讯飞的星火,阿里的通义千问,腾讯的混元,华为的盘古,哈工大的chatGLM,等等。具体名录也可参看这里:中国大模型,如果对大模型不了解的小伙伴还可以点击里面的链接进行体验。

江湖再起,几乎大家都想对标gpt,都号称能媲美80%效果等云云。但实际效果其实大家都有目共睹,前路漫漫吾将上下而求索,也许未来的路任重而道远。

大公司都在研究大模型,那普通企业也研究大模型?显然不是那么回事,有稍微了解过chatgpt的小伙伴应该都知道,训练一个大模型的成本是多少。可以说训练成本和人力成本都不是很适合普通企业。那有小伙伴问了,chatgpt很牛X,那不训练出一个类似的大模型还能有啥搞头呢?AI这波红利说什么也是不能放过的呀。今年下半年,国内陆陆续续很多公司都在研究AI的应用,相信不久就会有各种AI产品如雨后春笋般问世。

随着chatgpt概念的普及和国内大语言模型平台的开放,大语言模型已经进入了第二阶段--应用落地阶段。这一革命性技术的发展为企业带来无限可能,大语言模型的应用落地离不开核心基础,包括大模型服务平台、开源模型和生态发展,大模型企业应用的成功需要与实际应用场景相结合进行个性化微调并采用灵活的接入方式。在解决企业需求时,大模型应用可能涉及多种模型和技术组合,因此需要灵活接入各类模型和技术。作为强人工智能的代表,大模型的接入方式多样化,除了目前常用的文字交流外,智能语言和数字人也将成为大模型接入的重要入口。随着大模型应用的推广,未来每个业务后台都将配备一个机器人bot为用户提供智能服务,这些bot将无处不在,为企业和用户带来更便捷、高效的体验。大语言模型的应用落地标志着人工智能的新篇章。企业可以借助这一革命性技术来提升服务质量、提高效率,并为用户提供更个性化、智能化的体验,让我们期待大语言模型为各行各业带来更多惊喜和变革吧。

二、揭开面纱

好了,我们的第一波概念来了,什么是AI,什么是大语言模型,什么是AIGC。
image.png

AI

人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是新一轮科技革命和产业变革的重要驱动力量。

人工智能是智能学科重要的组成部分,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器人,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来,理论和技术日益成熟,应用领域也不断扩大,可以设想,未来人工智能带来的科技产品,将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能,但能像人那样思考、也可能超过人的智能。【百度百科】

我们看到AI的领域其实是非常广泛的,我们所说的chatgpt只是属于其中的一种领域——自然语言处理。鉴于chatgpt是本次浪潮的引爆者,我们本次系列文章也正是主要针对该领域展开。

自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。简单说就是NLP是一种专业分析人类语言的人工智能。

大语言模型(LLM)

大语言模型(LLM)是指使用大量文本数据训练的深度学习模型,可以生成自然语言文本或理解语言文本的含义。大语言模型可以处理多种自然语言任务,如文本分类、问答、对话等,是通向人工智能的一条重要途径。LLM属于NLP领域中的一类模型。NLP领域的模型还有Word2vec, Fasttext, Glove, Elmo, Bert, Flair pre-train Word Embedding等等。

为什么会有大模型和小模型之分呢?这是根据参数级别划分的。在深度学习领域,大模型通常是指具有数百万到数十亿参数的神经网络模型。在chatgpt涌现惊人的能力之前,其实业界是很不看好大模型的。那个时候bert还是王者的存在,因为并没有人相信大力能出奇迹,而chatgpt见证了一种可能,因此具有类比蒸汽机诞生的意义。

AIGC

生成式人工智能——AIGC(Artificial Intelligence Generated Content),是指基于生成对抗网络、大型预训练模型等人工智能的技术方法,通过已有数据的学习和识别,以适当的泛化能力生成相关内容的技术。AIGC技术的核心思想是利用人工智能算法生成具有一定创意和质量的内容。通过训练模型和大量数据的学习,AIGC可以根据输入的条件或指导,生成与之相关的内容。例如,通过输入关键词、描述或样本,AIGC可以生成与之相匹配的文章、图像、音频等。【百度百科】

上一篇文章中我们谈到的Midjourney生成图片,GPT-4生成图片,chatgpt生成文字内容,都是属于AIGC技术。相应的AIGC应用场景还有文字创作、音频创作、视频创作、绘画创作、代码生成、游戏开发(智能NPC、辅助设计工具、自己产出游戏世界观 )、3D制作等等领域。

三、机遇

概念一波回来,我们回到正题。不妨先来看看科大讯飞如何在产品上结合的大模型。如果进入官网,你会发现基本的能力都已经帮你罗列了,多模交互、代码能力、文本生成、数学能力、语言理解、知识问答、逻辑推理,这里的每一个能力都足以颠覆传统行业。这些能力能用在什么业务应用场景呢,如何结合到产品如何落地到业务?对的,这部分可能就是大家最关心的,如图。

image.png

落地应用场景


大家各取所需,比如服务行业可以借助问答来支持客服工作,写手可以借助文本创作来产出内容等等,如果你需要营销文案它也可以瞬间代劳,效率加倍。最直接的体验就是最近某音上出现的AI直播机器人。我们会看到AI的提效与创新能力正在给各行各业带来莫大的机遇。

那问题来了,前面说了普通企业直接自己训练大模型是不大合适的,那只能购买人家提供的服务吗?比如付费讯飞开放的api或者chatgpt开放的api?其实也未尝不可,只不过费用这块要稍加斟酌,而且如果是openai的api还需要考虑接口的稳定性,毕竟境外接口有风险。

任何问题都难不倒我们的智慧。我们还可以用开源大模型。对的,开源免费是中小型企业的福音。借助开源模型的微调和逻辑实现大多数就能符合垂直领域的业务需求。比如医疗领域的智能问答,我们就可以借助对开源大模型chatGLM的微调来使大模型具有医疗垂直领域的知识,如果觉得微调的路径太长也可以借助langchain框架本地知识库匹配结合大模型的方式来快速实现垂直领域的知识问答;再比如平面设计师可以借助对Midjourney的模型微调让模型达到自己想要的创作效果。

一切似乎又开始因为AI存在着无限的可能。

四、挑战

引用以前课本里的一句话说就是,AI既是机遇也是挑战。尽管我们不打算深耕大模型的训练,但是算力仍然是各个企业的最大难点,再者就是人才资源,这些都是需要面对的挑战。

因为要做这些,首选要具备基本的AI基础,要掌握基本的机器学习知识,否则微调的参数调整都可能够喝一壶了。而且微调也是一个“炼丹”工作,路径也会有点长,时间成本不可忽视。其中的坑不计其数,小到挑选适合业务的大模型大到模型C端部署,从机器选购、模型部署、数据集选择规范、微调、逻辑调整、云平台部署等到最终达成效果,哪一个不是一门学问(罪孽深重)。如果面对C端部署,那和训练又是另外一回事了,训练的时候我们注重的是模型的能力,部署我们注重的则是模型的性能和体验,就要考虑到模型的压缩优化,诸如量化、蒸馏、剪枝,没有两把刷子哪一个是好惹的?尽管优化如斯,大模型目前所呈现出的推理速度和部分单线程排队阻塞处理请求的性质直接决定着部署成本还是不容小觑。假设需要部署的大模型推理需要的配置为26G,那么以部署腾讯云为例,部署单个模型(非集群)需要采购机器型号:GN10Xp.5XLARGE80,GPU 32G,1TB存储,10M带宽,费用大约13000元/月。小马整理了一份目前主流大模型分别需要的硬件资源配置的表格供参考(如下图),以及不同配置云部署所需的机器成本参看连接:云服务器定价。对成本比较关心的小伙伴可以参看这里以对成本能有基本的认知。

image.png

模型推理配置要求


话又说回来,如果AI带来的提效和创新的价值远大于成本投入,谁还会选择丢掉这块肥肉呢?如果不能大胆尝试拥抱AI变革必将落后于时代并逐渐被新的生产力所取代。

接下来的文章小马将以简单例子详细介绍具体如何实现AI到业务应用的落地,希望能抛砖引玉。

相关文章
|
8天前
|
人工智能 自然语言处理 测试技术
用图灵测试检验AI尤其是大语言模型,真的科学吗?
【9月更文挑战第25天】《Does GPT-4 Pass the Turing Test?》一文评估了先进AI模型GPT-4的图灵测试表现。尽管GPT-4在某些对话中成功迷惑了参与者,但其整体成功率仅为41%,低于人类的63%。图灵测试作为评估AI语言能力的工具依然有效,但存在局限性,如无法评估AI的认知机制且受主观判断影响。此外,测试还引发了关于AI智能及伦理的讨论。
28 6
|
19天前
|
人工智能 自然语言处理 Serverless
阿里云函数计算 x NVIDIA 加速企业 AI 应用落地
阿里云函数计算与 NVIDIA TensorRT/TensorRT-LLM 展开合作,通过结合阿里云的无缝计算体验和 NVIDIA 的高性能推理库,开发者能够以更低的成本、更高的效率完成复杂的 AI 任务,加速技术落地和应用创新。
|
1月前
|
人工智能 自然语言处理 搜索推荐
AI战略丨SaaS 遇见 AI, 企业教培开启新范式
“我们会不断完善整体的工程能力,争取以最低的成本,帮助用户训练他们所需要的、好用的 AI 产品。”
|
2月前
|
人工智能 并行计算 芯片
在大模型AI的下一个战场,为中小创新企业重构竞争格局
在大模型AI的下一个战场,为中小创新企业重构竞争格局
|
3天前
|
人工智能 自然语言处理 运维
钉钉x昇腾:用AI一体机撬动企业数字资产智能化
大模型在过去两年迅速崛起,正加速应用于各行各业。尤其在办公领域,其主要模态——文字和图片,成为了数字化办公的基础内容,催生了公文写作、表格生成、文本翻译等多种应用场景,显著提升了工作效率。然而,AI引入办公场景也带来了数据安全与成本等问题。为此,钉钉与昇腾联合推出的“钉钉专属AI一体机解决方案”,通过本地化部署解决了数据安全、成本高昂及落地难等痛点,实现了从硬件到软件的深度协同优化,为企业提供了开箱即用的AI服务,推动了办公场景的智能化升级。
21 11
|
6天前
|
人工智能 搜索推荐 vr&ar
【通义】AI视界|美国司法部AI新规:AI犯错,企业承担
本文介绍了最新科技动态,包括Sora视频模型即将迎来重大升级,提升生成速度和质量;Meta发布十年秘密研发的Orion AR眼镜,展现未来计算平台新形态;Runway推出电影扶持计划,资助500万美元支持电影人;Notion AI全新发布,整合多项功能提高生产力;美国司法部发布AI新规,明确企业需对其AI系统的违法行为负责。更多内容,请访问通义官网体验。
|
8天前
|
机器学习/深度学习 人工智能 监控
CEO和CIO如何在企业中引领AI革命 扮演战略领航者的角色
CEO和CIO如何在企业中引领AI革命 扮演战略领航者的角色
|
2月前
|
人工智能 运维 自然语言处理
从海量信息中脱颖而出:Workflow智能分析解决方案,大语言模型为AI科技文章打造精准摘要评分体系(总篇章)
【8月更文挑战第10天】从海量信息中脱颖而出:Workflow智能分析解决方案,大语言模型为AI科技文章打造精准摘要评分体系(总篇章)
从海量信息中脱颖而出:Workflow智能分析解决方案,大语言模型为AI科技文章打造精准摘要评分体系(总篇章)
|
2月前
|
存储 人工智能 供应链
AI赋能电商中小企业的三大制胜策略
AI赋能电商中小企业的三大制胜策略
AI赋能电商中小企业的三大制胜策略
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
下一篇
无影云桌面