OpenVINO™ 加速PC及小型设备LLM性能 | OpenVINO™ DEVCON 2024 第五期

简介: 时隔一月,OpenVINO™ DEVCON 中国 · 系列工作坊 2024 如期上新啦!

时隔一月,OpenVINO™ DEVCON 中国 · 系列工作坊 2024 如期上新啦!

OpenVINO™ DEVCON 中国 · 系列工作坊 2024 汇聚英特尔技术专家及行业领先的技术大咖,通过洞悉行业趋势、分享技术干货、演示 Demo 操作为开发者们提供一个系统进阶与技术提升的平台。

工作坊研讨会将定期举办

三大亮点集结,切勿错过

  • 实时掌握 AI 领域的前沿动态。
  • 实战演练,将知识转化为解决方案,实现技术的完美融合。
  • 与行业专家面对面,获取专业见解,开拓技术视野。

如何在客户端 PC 和边缘设备上高效运行 LLM ?参与第五期线上线下同步直播活动,您可以了解英特尔如何使这些大语言模型更小、更高效地在本地实现 AI 推理:

对话式语音 AI Agent

▪ AI 语音助理原型:基于 OpenVINO™ 开发和优化的基于 LLM 的 AI Agent

▪ LLM 性能优化:针对 AI PC 和边缘设备优化 LLM,平衡计算资源与功耗,满足不同应用场景需求

▪ 灵活部署:利用模型量化等技术优化模型,减小模型尺寸和计算需求,适应 AI PC 和边缘设备要求相芯科技数字人解决方案

▪ 基于客户端 PC、Intel AI 算力及 OpenVINO™ 技术,支持文本转语音与 1080p-25fps 视频输出,适用于电商、在线购物、教育与社交平台

▪ 使用 OpenVINO™ 基于 Intel iGPU 或独立 GPU 进行性能优化和推理加速,并加速运行在 CPU 上的 TTS 引擎,将文本转换为流畅的中英文语音

灵感碰撞,创意无界

▪ 我们将向您展示基于 OpenVINO™ 的优秀AI作品,这些作品见证了科技博主以及 AIGC 大赛中开发者的思维火花与创新力量,还体现了开发者对未来AI发展的前瞻性思考

实践面对面

▪ 主题:如何在 AI PC 上一步步优化你的聊天机器人

▪ 通过动手操作,您将获得第一手 OpenVINO™ 使用经验,深入了解如何在实际项目中运用 OpenVINO™ 的先进技术,加速您的 AI 开发之旅

探索AI,启迪未来

▪ 探索英特尔 AI 前沿技术,您将有机会走进英特尔科技中心,亲眼见证先进的产品和技术解决方案,启发您的创新思维

注:您可扫描图中二维码,报名第五期活动,并可观看往期回放。您也可以在本公众号底部菜单——【了解联盟】——【最新活动】中,报名和观看回放。

我们诚挚邀请您参加 OpenVINO™ DEVCON 中国 · 系列工作坊 2024 第五期线上线下同步直播活动,与业界技术专家交流前沿技术资讯,学习如何在客户端 PC 和边缘设备上高效运行 LLM,快速提升技术实力,实现更大创新!

相关文章
|
22天前
|
机器学习/深度学习 搜索推荐
CIKM 2024:LLM蒸馏到GNN,性能提升6.2%!Emory提出大模型蒸馏到文本图
【9月更文挑战第17天】在CIKM 2024会议上,Emory大学的研究人员提出了一种创新框架,将大型语言模型(LLM)的知识蒸馏到图神经网络(GNN)中,以克服文本图(TAGs)学习中的数据稀缺问题。该方法通过LLM生成文本推理,并训练解释器模型理解这些推理,再用学生模型模仿此过程。实验显示,在四个数据集上性能平均提升了6.2%,但依赖于LLM的质量和高性能。论文链接:https://arxiv.org/pdf/2402.12022
47 7
|
24天前
|
测试技术
LLM数学性能暴涨168%,微软14人团队力作!合成数据2.0秘诀曝光,智能体生成教学
【9月更文挑战第14天】微软研究团队发布了一篇介绍新型框架"AgentInstruct"的论文,该框架旨在通过自动生成高质量合成数据,推动语言模型发展。AgentInstruct仅需原始数据源即可创建多样化的合成数据,减少人工工作量。研究团队基于此框架构建了含2500万训练对的数据集,展示了其在多种技能教学中的潜力。经微调后的Mistral-7b模型演进为Orca-3,在多个基准测试中显著超越同类模型。尽管如此,AgentInstruct仍面临创建流程耗时及合成数据复杂性不足等问题。论文详情见:https://arxiv.org/pdf/2407.03502
32 2
|
2月前
|
数据采集 自然语言处理 测试技术
CMU&清华新作:让LLM自己合成数据来学习,特定任务性能同样大幅提升
【8月更文挑战第24天】近期研究提出SELF-GUIDE,一种创新方法,旨在通过大型语言模型(LLMs)自动生成特定任务数据并用于自我微调,以克服其在特定任务上的性能局限。SELF-GUIDE分为三个阶段:数据合成、模型微调及性能评估。通过向目标LLM提供适当提示生成高质量合成数据,并用于微调以提升特定任务表现。实验证明,该方法在Natural Instructions V2等多个基准测试中显著提升了分类与生成任务性能。SELF-GUIDE不仅有效提高性能,还具备高数据效率,减少对外部数据依赖。然而,生成数据质量受限于LLM能力,且并非适用于所有任务。
43 4
|
5月前
|
机器学习/深度学习 缓存 算法
LLM 大模型学习必知必会系列(十二):VLLM性能飞跃部署实践:从推理加速到高效部署的全方位优化[更多内容:XInference/FastChat等框架]
LLM 大模型学习必知必会系列(十二):VLLM性能飞跃部署实践:从推理加速到高效部署的全方位优化[更多内容:XInference/FastChat等框架]
LLM 大模型学习必知必会系列(十二):VLLM性能飞跃部署实践:从推理加速到高效部署的全方位优化[更多内容:XInference/FastChat等框架]
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
LLM性能最高60%提升!谷歌ICLR 2024力作:让大语言模型学会“图的语言”
【5月更文挑战第1天】谷歌在ICLR 2024提出新方法,使大语言模型(LLM)性能提升高达60%,通过结合图神经网络(GNN),LLM学会理解与生成“图的语言”,打破处理复杂任务的局限。此创新模型适用于社交网络分析等领域,但面临计算资源需求大和模型解释性问题。研究强调需确保LLM在道德和法律框架内使用。论文链接:https://openreview.net/pdf?id=IuXR1CCrSi
219 3
|
5月前
|
机器学习/深度学习 缓存
RNN又行了!DeepMind新发布的Griffin可以与同级别的LLM性能相当
Hawk和Griffin是DeepMind推出的新型循环神经网络(RNNs),2月刚刚发布在arxiv上。Hawk通过使用门控线性递归(gated linear recurrences)超越了Mamba的性能,而Griffin则是一种混合型模型,结合了门控线性递归和局部注意力(local attention),与Llama-2的性能相当,但使用的训练数据明显较少。Griffin在处理比训练时更长的序列时表现出色。这两种模型在硬件效率方面与Transformer相当,但在推理过程中具有更低的延迟和更高的吞吐量。Griffin的规模已扩展到了140亿个(14B)参数。
137 3
|
5月前
|
自然语言处理 测试技术
【大模型】描述一些评估 LLM 性能的技术
【5月更文挑战第5天】【大模型】描述一些评估 LLM 性能的技术
|
5月前
|
人工智能 分布式计算 算法
英特尔助力龙蜥加速 AI 应用及 LLM 性能
英特尔至强服务器平台加速大语言模型应用。
|
2月前
|
人工智能 自然语言处理
公理训练让LLM学会因果推理:6700万参数模型比肩万亿参数级GPT-4
【8月更文挑战第3天】新论文提出“公理训练”法,使仅有6700万参数的语言模型掌握因果推理,性能媲美万亿级GPT-4。研究通过大量合成数据示例教授模型因果公理,实现有效推理并泛化至复杂图结构。尽管面临合成数据需求大及复杂关系处理限制,此法仍为语言模型的因果理解开辟新途径。[链接: https://arxiv.org/pdf/2407.07612]
55 1
|
19天前
|
存储 机器学习/深度学习 物联网
CGE:基于Causal LLM的Code Embedding模型
CodeFuse-CGE 项目在外滩大会展出,吸引众多技术与产品从业者的关注。“文搜代码”功能备受好评,模型表现令人期待。CodeFuse-CGE 采用大语言模型,通过 LoRA 微调提取文本与代码嵌入,实现在多个 NL2Code 基准测试中超越现有 SOTA 模型。现已开源 CGE-Large 与 CGE-Small 两种模型,欢迎访问 GitHub 页并支持本项目。[项目地址](https://github.com/codefuse-ai/CodeFuse-CGE)
42 1

热门文章

最新文章