AI 助理
备案控制台
开发者社区 人工智能 文章 正文

OpenVINO™ 加速PC及小型设备LLM性能 | OpenVINO™ DEVCON 2024 第五期

2024-09-10 56
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 时隔一月，OpenVINO™ DEVCON 中国 · 系列工作坊 2024 如期上新啦！

时隔一月，OpenVINO™ DEVCON 中国 · 系列工作坊 2024 如期上新啦！

OpenVINO™ DEVCON 中国 · 系列工作坊 2024 汇聚英特尔技术专家及行业领先的技术大咖，通过洞悉行业趋势、分享技术干货、演示 Demo 操作为开发者们提供一个系统进阶与技术提升的平台。

工作坊研讨会将定期举办

三大亮点集结，切勿错过

  • 实时掌握 AI 领域的前沿动态。
  • 实战演练，将知识转化为解决方案，实现技术的完美融合。
  • 与行业专家面对面，获取专业见解，开拓技术视野。

如何在客户端 PC 和边缘设备上高效运行 LLM ？参与第五期线上线下同步直播活动，您可以了解英特尔如何使这些大语言模型更小、更高效地在本地实现 AI 推理：

对话式语音 AI Agent

▪ AI 语音助理原型：基于 OpenVINO™ 开发和优化的基于 LLM 的 AI Agent

▪ LLM 性能优化：针对 AI PC 和边缘设备优化 LLM，平衡计算资源与功耗，满足不同应用场景需求

▪ 灵活部署：利用模型量化等技术优化模型，减小模型尺寸和计算需求，适应 AI PC 和边缘设备要求相芯科技数字人解决方案

▪ 基于客户端 PC、Intel AI 算力及 OpenVINO™ 技术，支持文本转语音与 1080p-25fps 视频输出，适用于电商、在线购物、教育与社交平台

▪ 使用 OpenVINO™ 基于 Intel iGPU 或独立 GPU 进行性能优化和推理加速，并加速运行在 CPU 上的 TTS 引擎，将文本转换为流畅的中英文语音

灵感碰撞，创意无界

▪ 我们将向您展示基于 OpenVINO™ 的优秀AI作品，这些作品见证了科技博主以及 AIGC 大赛中开发者的思维火花与创新力量，还体现了开发者对未来AI发展的前瞻性思考

实践面对面

▪ 主题：如何在 AI PC 上一步步优化你的聊天机器人

▪ 通过动手操作，您将获得第一手 OpenVINO™ 使用经验，深入了解如何在实际项目中运用 OpenVINO™ 的先进技术，加速您的 AI 开发之旅

探索AI，启迪未来

▪ 探索英特尔 AI 前沿技术，您将有机会走进英特尔科技中心，亲眼见证先进的产品和技术解决方案，启发您的创新思维

注：您可扫描图中二维码，报名第五期活动，并可观看往期回放。您也可以在本公众号底部菜单——【了解联盟】——【最新活动】中，报名和观看回放。

我们诚挚邀请您参加 OpenVINO™ DEVCON 中国 · 系列工作坊 2024 第五期线上线下同步直播活动，与业界技术专家交流前沿技术资讯，学习如何在客户端 PC 和边缘设备上高效运行 LLM，快速提升技术实力，实现更大创新！

文章标签：
人工智能
开发者
语音技术
异构计算
机器人
关键词：
LLM性能
ModelScope内容运营小助手
目录
相关文章
楠竹11
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
LLM群体智能崛起，数学性能暴增11.6%！谷歌DeepMind四大机构联手新作
【10月更文挑战第17天】近日，谷歌、DeepMind等四大机构联合发布论文，展示大型语言模型（LLMs）在数学问题解决上的显著进步。通过引入元认知知识，研究人员开发了提示引导的交互程序，使LLMs能为数学问题分配合理技能标签并进行语义聚类。实验结果显示，GPT-4在GSM8K和MATH数据集上的准确性分别提升了11.6%和7.52%，展现出巨大潜力。这一成果不仅为AI领域提供了新思路，也为数学教育带来了启示。
楠竹11
43 4
楠竹11
|
26天前
|
自然语言处理 算法
RAG真能提升LLM推理能力？人大最新研究：数据有噪声，RAG性能不升反降
随着大型语言模型（LLM）在自然语言处理领域的广泛应用，检索增强生成（RAG）技术因能引入新知识和减少幻觉而受到关注。然而，RAG对LLM推理能力的实际提升效果仍存争议。中国人民大学的一项研究表明，RAG虽能辅助LLM推理，但在处理含噪信息和深度推理时面临挑战。为此，研究团队提出了DPrompt tuning方法，旨在解决噪声问题并提升RAG性能。
楠竹11
48 12
kaixin321-44007
|
1月前
|
自然语言处理 开发者
多模态大模型LLM、MLLM性能评估方法
针对多模态大模型（LLM）和多语言大模型（MLLM）的性能评估，本文介绍了多种关键方法和标准，包括模态融合率（MIR）、多模态大语言模型综合评估基准（MME）、CheckList评估方法、多模态增益（MG）和多模态泄露（ML），以及LLaVA Bench。这些方法为评估模型的多模态和多语言能力提供了全面的框架，有助于研究者和开发者优化和改进模型。
kaixin321-44007
112 5
楠竹11
|
1月前
|
机器学习/深度学习 自然语言处理
完全使用自生成数据实现LLM自我纠正，DeepMind新突破SCoRe：纠正性能提升15.9%
【10月更文挑战第27天】Google DeepMind 研究人员开发了 SCoRe 方法，利用多回合在线强化学习显著提升大型语言模型（LLM）的自我纠正能力。该方法分为两个阶段：第一阶段通过强化学习减少行为崩溃，第二阶段使用奖励塑造优化两次尝试的性能。实验结果显示，SCoRe 在数学和编程任务上分别提升了 4.4% 和 12.2% 的自我纠正性能。
楠竹11
50 3
楠竹11
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
LLM群体智能崛起，数学性能暴增11.6%！谷歌DeepMind四大机构联手新作
【10月更文挑战第16天】最新研究显示，大型语言模型（LLMs）在数学问题解决上取得显著进展。谷歌、DeepMind等机构的研究人员通过引入元认知知识，使LLMs能更好地理解和解决数学问题，其在GSM8K和MATH数据集上的准确率分别提升了11.6%和7.52%。这一成果不仅为AI领域开辟了新路径，也为数学教育带来了新的可能性。
楠竹11
47 3
楠竹11
|
3月前
|
机器学习/深度学习 搜索推荐
CIKM 2024：LLM蒸馏到GNN，性能提升6.2%！Emory提出大模型蒸馏到文本图
【9月更文挑战第17天】在CIKM 2024会议上，Emory大学的研究人员提出了一种创新框架，将大型语言模型（LLM）的知识蒸馏到图神经网络（GNN）中，以克服文本图（TAGs）学习中的数据稀缺问题。该方法通过LLM生成文本推理，并训练解释器模型理解这些推理，再用学生模型模仿此过程。实验显示，在四个数据集上性能平均提升了6.2%，但依赖于LLM的质量和高性能。论文链接：https://arxiv.org/pdf/2402.12022
楠竹11
99 7
楠竹11
|
3月前
|
测试技术
LLM数学性能暴涨168%，微软14人团队力作！合成数据2.0秘诀曝光，智能体生成教学
【9月更文挑战第14天】微软研究团队发布了一篇介绍新型框架"AgentInstruct"的论文，该框架旨在通过自动生成高质量合成数据，推动语言模型发展。AgentInstruct仅需原始数据源即可创建多样化的合成数据，减少人工工作量。研究团队基于此框架构建了含2500万训练对的数据集，展示了其在多种技能教学中的潜力。经微调后的Mistral-7b模型演进为Orca-3，在多个基准测试中显著超越同类模型。尽管如此，AgentInstruct仍面临创建流程耗时及合成数据复杂性不足等问题。论文详情见：https://arxiv.org/pdf/2407.03502
楠竹11
84 2
楠竹11
|
4月前
|
数据采集 自然语言处理 测试技术
CMU&清华新作：让LLM自己合成数据来学习，特定任务性能同样大幅提升
【8月更文挑战第24天】近期研究提出SELF-GUIDE，一种创新方法，旨在通过大型语言模型（LLMs）自动生成特定任务数据并用于自我微调，以克服其在特定任务上的性能局限。SELF-GUIDE分为三个阶段：数据合成、模型微调及性能评估。通过向目标LLM提供适当提示生成高质量合成数据，并用于微调以提升特定任务表现。实验证明，该方法在Natural Instructions V2等多个基准测试中显著提升了分类与生成任务性能。SELF-GUIDE不仅有效提高性能，还具备高数据效率，减少对外部数据依赖。然而，生成数据质量受限于LLM能力，且并非适用于所有任务。
楠竹11
77 4
汀丶人工智能
|
7月前
|
机器学习/深度学习 缓存 算法
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
汀丶人工智能
2109 4
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
楠竹11
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
LLM性能最高60%提升！谷歌ICLR 2024力作：让大语言模型学会“图的语言”
【5月更文挑战第1天】谷歌在ICLR 2024提出新方法，使大语言模型（LLM）性能提升高达60%，通过结合图神经网络（GNN），LLM学会理解与生成“图的语言”，打破处理复杂任务的局限。此创新模型适用于社交网络分析等领域，但面临计算资源需求大和模型解释性问题。研究强调需确保LLM在道德和法律框架内使用。论文链接：https://openreview.net/pdf?id=IuXR1CCrSi
楠竹11
256 3

热门文章

最新文章

  • 1
    如何在 TensorRT-LLM 中支持 Qwen 模型
  • 2
    LLM大模型实战 —— DB-GPT阿里云部署指南
  • 3
    【Hello AI】推理引擎DeepGPU-LLM-提供免费的高性能、低延迟推理服务
  • 4
    大模型升级与设计之道：ChatGLM、LLAMA、Baichuan及LLM结构解析（上）
  • 5
    【大模型】小样本学习的概念及其在微调 LLM 中的应用
  • 6
    30分钟，通过ModelScope平台和开源LLM打造个人知识库 QA Bot（2）
  • 7
    LangChain Agent：赋予 LLM 行动力的神秘力量
  • 8
    LLM系列 | 11: 基于ChatGPT构建智能客服系统(query分类&安全检查&防注入)
  • 9
    大语言模型的预训练[6]：思维链(Chain-of-thought，CoT)定义原理详解以及在LLM上应用
  • 10
    Graph + LLM｜图数据库技术如何助力行业大语言模型应用落地
  • 1
    LLM上下文窗口突破200万！无需架构变化+复杂微调，轻松扩展8倍
    186
  • 2
    通过阿里云 Milvus 和 LangChain 快速构建 LLM 问答系统
    1431
  • 3
    OpenSearch LLM智能问答版全新升级
    2093
  • 4
    【大模型】描述与 LLM 相关的个人项目或感兴趣的领域
    117
  • 5
    【大模型】使用哪些资源来了解 LLM 的最新进展？
    198
  • 6
    LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关
    1048
  • 7
    LLM 大模型学习必知必会系列(一)：大模型基础知识篇
    1521
  • 8
    【AIGC】基于检索增强技术（RAG）构建大语言模型（LLM）应用程序
    467
  • 9
    开箱黑盒LLM！谷歌大一统框架Patchscopes实战教程来了
    83
  • 10
    【大模型】如何确保负责任地开发和部署 LLM？
    93

    • 相关课程

    更多
  • 云原生AI套件：一键训练大模型及部署GPU共享推理服务
  • AMD 全新 EPYC，引领下一代数据分析强劲性能
  • AMD全新EPYC，引领下一代数据分析强劲性能
  • 服务器硬件基础
  • 云原生AI套件：五分钟微调宝可梦风格StableDiffusion

    • 相关电子书

    更多
  • PAI灵骏智算 构建全链路LLM服务的最佳实践
  • 基于英特尔®FPGA的数据分析可重构加速
  • 基于英特尔®SPGA的数据分析可重构加速

    • 相关实验场景

    更多
  • 【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
  • 在SAE控制台极速部署个人LLM效能工具
  • 在云上部署ChatGLM2-6B大模型（GPU版）
  • 【玩转ComfyUI】基于函数计算一键部署AI生图平台 ComfyUI
  • 基于阿里云E-HPC平台的WRF气象预报实验
  • 免费撸A10显卡！在PAI-DSW里用FaceChain训练专属形象照
    • 下一篇
    DataWorks售前咨询