前端大模型应用笔记(二):最新llama3.2小参数版本1B的古董机测试 - 支持128K上下文,表现优异,和移动端更配

本文涉及的产品
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_基础版,每接口每天50万次
NLP自然语言处理_高级版,每接口累计50万次
简介: llama3.1支持128K上下文,6万字+输入,适用于多种场景。模型能力超出预期,但处理中文时需加中英翻译。测试显示,其英文支持较好,中文则需改进。llama3.2 1B参数量小,适合移动端和资源受限环境,可在阿里云2vCPU和4G ECS上运行。

llama3.1开始就支持了128K上下文,差不多有5万字的输入,可用于很多场景啦!模型能力比预想会好不少,但处理中文时,切记加上中英翻译!

话不多说,先抛出一个benchMark,对比了下最近比较火的Gemma2 2B和 Phi-3.5。

944664bb1cf747ac99ffe38365d95387.png

测试环境

  • windows 10
  • Intel(R) Core(TM) i5-9500 CPU @ 3.00GHz   3.00 GHz
  • 内存 32.0 GB (31.9 GB 可用)
  • 集成显卡
  • 非stream输出
  • ollama 0.3.12
  • 模型全称 : llama3.2:1b

因为设备比较差,基本上是CPU被榨干,100%的跑,输出时间还可接受,5-30s,设备越好提示词越短响应更快!

文本理解测试

这部分主要是测试模型的上下文长度支持情况

prompt使用了论文Attention is all you need 1706.03762 (arxiv.org) ,整个输入达到40kb,远没达到上下文长度上线,毕竟token长度是会比英文字符少不少。但我怕老古董设备扛不住蓝屏啊

summarize following paper: \n  {{论文内容}}

得到的回复 (....代表省略的部分)

The text appears to be a written representation of a visual attention visualization in the context of natural language processing (NLP) and machine translation. Here's a breakdown of what each section might represent:.......... By highlighting specific examples of attention work at various levels of language processing, these illustrations provide a deeper insight into the capabilities of neural machine translation models.

我特意搜索了关键字,对比了内容,整个回复未出现截断,真的是支持超大的上下文,一开始我还以为看错了嘞,毕竟是一个1B的模型。


中文知识简测 - 中文缺点意思

提示: 西红柿炒鸡蛋的做法

回复:西红柿炒鸡蛋是一道 flavorful 和营养丰富的 breakfast Dish,特别适合 brunch 或早餐。以下是这个recipes 的步骤:\n\n### Ingredients:\n\n- 2 个鸡蛋\n- 1/2 杯西红柿(可以使用半个)\n- 1 tablespoon 高脂奶油或低脂牛乳油\n- 1 问题小的生姜,切碎\n- 1 问题小的蒜汁脆末,切碎\n- 1/4 问题小的黄 hành丝,切碎.... Enjoy your delicious and nutritious Wester Nogarcie Egg!

(...省略了一部分)可以看到中英文混杂,可能修改提示词会有改进,但对于中文的支持应该一般,查看了默认语言八种并没中文,毕竟中文有点复杂,很多模型也是对中文掌握不佳,期待微调版本,但其实也可以外挂一个翻译模型(毕竟翻译模型现在都可以做的很小)

逻辑推理简测

提示:The ratio of the inner angles of the triangle is 2:3:4, so what are the degrees of the inner angles of each corner of the triangle?(三角形内角比例为2:3:4,那么三角形各个角的内角各为多少度?)

回答:To find the degrees of the inner angles of each corner of the triangle, we need to know that the sum of all interior angles in a triangle is 180 degrees.\n\nLet's assume the ratio of the angles is 2x:3x:4x. We can set up an equation based on this:\n\n2x + 3x + 4x = 180\n\nCombine like terms:\n\n9x = 180\n\nDivide by 9:\n\nx = 20\n\nNow that we have x, we can find the degrees of each angle:\n\n* The smallest angle is 2x = 2(20) = 40 degrees\n* The medium-sized angle is 3x = 3(20) = 60 degrees\n* The largest angle is 4x = 4(20) = 80 degrees\n\nSo, the degrees of the inner angles of each corner of the triangle are 40, 60, and 80 degrees.(中文回答错误)

从这里可以看出对于英文的支持确实比较好,我把中文问题翻译成英文,它就回答正确了,但中文提问一开始分析的对,后面就越来越错了...

如何使用

1. 翻译模型 +

可以作为一个更人性的翻译助手

2. 知识库 +

可以用于深度搜索总结

3. 多模态+

让其它模型转化成文字,再本地处理

4. 隐私数据处理

非隐私数据可交由其它大模型处理,尤其是复杂的部分,然后让它结合隐私输出给出最后的结果

总结

llama3.2 1B因为其参数量很小,对于运行需求也不高,所以会很适合在移动端执行部分任务。不要期待它万能,但应该也是有很多场景下可用的,如果在阿里云上运行2vCPU和4G的ECS就可以跑起来啦!

目录
打赏
0
1
1
0
57
分享
相关文章
【11】flutter进行了聊天页面的开发-增加了即时通讯聊天的整体页面和组件-切换-朋友-陌生人-vip开通详细页面-即时通讯sdk准备-直播sdk准备-即时通讯有无UI集成的区别介绍-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
【11】flutter进行了聊天页面的开发-增加了即时通讯聊天的整体页面和组件-切换-朋友-陌生人-vip开通详细页面-即时通讯sdk准备-直播sdk准备-即时通讯有无UI集成的区别介绍-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
137 90
【11】flutter进行了聊天页面的开发-增加了即时通讯聊天的整体页面和组件-切换-朋友-陌生人-vip开通详细页面-即时通讯sdk准备-直播sdk准备-即时通讯有无UI集成的区别介绍-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
【08】flutter完成屏幕适配-重建Android,增加GetX路由,屏幕适配,基础导航栏-多版本SDK以及gradle造成的关于fvm的使用(flutter version manage)-卓伊凡换人优雅草Alex-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
【08】flutter完成屏幕适配-重建Android,增加GetX路由,屏幕适配,基础导航栏-多版本SDK以及gradle造成的关于fvm的使用(flutter version manage)-卓伊凡换人优雅草Alex-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
115 20
【08】flutter完成屏幕适配-重建Android,增加GetX路由,屏幕适配,基础导航栏-多版本SDK以及gradle造成的关于fvm的使用(flutter version manage)-卓伊凡换人优雅草Alex-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
详解智能编码在前端研发的创新应用
接下来,人与智能体的交互将变得更为紧密,比如 N 年以后是否可以逐渐过渡。这个逐渐过渡的过程实际上是温和的,从依赖人类到依赖超大规模算力的转变,可能会取代我们的一些职责。这不仅仅是简单的叠加关系。对于AI和超大规模算力,这是否意味着我们可以大幅度提升软件质量,是否可以缩短研发周期并提高效率,还有创造出更优质的软件并持续发展,这无疑是肯定的。
【09】flutter首页进行了完善-采用android studio 进行真机调试开发-增加了直播间列表和短视频人物列表-增加了用户中心-卓伊凡换人优雅草Alex-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
【09】flutter首页进行了完善-采用android studio 进行真机调试开发-增加了直播间列表和短视频人物列表-增加了用户中心-卓伊凡换人优雅草Alex-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
36 4
【09】flutter首页进行了完善-采用android studio 进行真机调试开发-增加了直播间列表和短视频人物列表-增加了用户中心-卓伊凡换人优雅草Alex-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
智能编码在前端研发的创新应用
在前端开发领域,智能编码技术正引领一场变革,通过大模型的强大能力将自然语言需求直接转化为高效、可靠的代码实现。
深入理解前端路由:原理、实现与应用
本书《深入理解前端路由:原理、实现与应用》全面解析了前端路由的核心概念、工作原理及其实现方法,结合实际案例探讨了其在现代Web应用中的广泛应用,适合前端开发者和相关技术人员阅读。
深入理解前端中的 “this” 指针:从基础概念到复杂应用
本文全面解析前端开发中“this”指针的运用,从基本概念入手,逐步探讨其在不同场景下的表现与应用技巧,帮助开发者深入理解并灵活掌握“this”的使用。
前端中对象的深度应用与最佳实践
前端对象应用涉及在网页开发中使用JavaScript等技术创建和操作对象,以实现动态交互效果。通过定义属性和方法,对象可以封装数据和功能,提升代码的组织性和复用性,是现代Web开发的核心技术之一。
打造高效前端应用
打造高效前端应用
44 1

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等