前端大模型应用笔记(二):最新llama3.2小参数版本1B的古董机测试 - 支持128K上下文,表现优异,和移动端更配

本文涉及的产品
NLP自然语言处理_基础版,每接口每天50万次
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_高级版,每接口累计50万次
简介: llama3.1支持128K上下文,6万字+输入,适用于多种场景。模型能力超出预期,但处理中文时需加中英翻译。测试显示,其英文支持较好,中文则需改进。llama3.2 1B参数量小,适合移动端和资源受限环境,可在阿里云2vCPU和4G ECS上运行。

llama3.1开始就支持了128K上下文,差不多有5万字的输入,可用于很多场景啦!模型能力比预想会好不少,但处理中文时,切记加上中英翻译!

话不多说,先抛出一个benchMark,对比了下最近比较火的Gemma2 2B和 Phi-3.5。

944664bb1cf747ac99ffe38365d95387.png

测试环境

  • windows 10
  • Intel(R) Core(TM) i5-9500 CPU @ 3.00GHz   3.00 GHz
  • 内存 32.0 GB (31.9 GB 可用)
  • 集成显卡
  • 非stream输出
  • ollama 0.3.12
  • 模型全称 : llama3.2:1b

因为设备比较差,基本上是CPU被榨干,100%的跑,输出时间还可接受,5-30s,设备越好提示词越短响应更快!

文本理解测试

这部分主要是测试模型的上下文长度支持情况

prompt使用了论文Attention is all you need 1706.03762 (arxiv.org) ,整个输入达到40kb,远没达到上下文长度上线,毕竟token长度是会比英文字符少不少。但我怕老古董设备扛不住蓝屏啊

summarize following paper: \n  {{论文内容}}

得到的回复 (....代表省略的部分)

The text appears to be a written representation of a visual attention visualization in the context of natural language processing (NLP) and machine translation. Here's a breakdown of what each section might represent:.......... By highlighting specific examples of attention work at various levels of language processing, these illustrations provide a deeper insight into the capabilities of neural machine translation models.

我特意搜索了关键字,对比了内容,整个回复未出现截断,真的是支持超大的上下文,一开始我还以为看错了嘞,毕竟是一个1B的模型。


中文知识简测 - 中文缺点意思

提示: 西红柿炒鸡蛋的做法

回复:西红柿炒鸡蛋是一道 flavorful 和营养丰富的 breakfast Dish,特别适合 brunch 或早餐。以下是这个recipes 的步骤:\n\n### Ingredients:\n\n- 2 个鸡蛋\n- 1/2 杯西红柿(可以使用半个)\n- 1 tablespoon 高脂奶油或低脂牛乳油\n- 1 问题小的生姜,切碎\n- 1 问题小的蒜汁脆末,切碎\n- 1/4 问题小的黄 hành丝,切碎.... Enjoy your delicious and nutritious Wester Nogarcie Egg!

(...省略了一部分)可以看到中英文混杂,可能修改提示词会有改进,但对于中文的支持应该一般,查看了默认语言八种并没中文,毕竟中文有点复杂,很多模型也是对中文掌握不佳,期待微调版本,但其实也可以外挂一个翻译模型(毕竟翻译模型现在都可以做的很小)

逻辑推理简测

提示:The ratio of the inner angles of the triangle is 2:3:4, so what are the degrees of the inner angles of each corner of the triangle?(三角形内角比例为2:3:4,那么三角形各个角的内角各为多少度?)

回答:To find the degrees of the inner angles of each corner of the triangle, we need to know that the sum of all interior angles in a triangle is 180 degrees.\n\nLet's assume the ratio of the angles is 2x:3x:4x. We can set up an equation based on this:\n\n2x + 3x + 4x = 180\n\nCombine like terms:\n\n9x = 180\n\nDivide by 9:\n\nx = 20\n\nNow that we have x, we can find the degrees of each angle:\n\n* The smallest angle is 2x = 2(20) = 40 degrees\n* The medium-sized angle is 3x = 3(20) = 60 degrees\n* The largest angle is 4x = 4(20) = 80 degrees\n\nSo, the degrees of the inner angles of each corner of the triangle are 40, 60, and 80 degrees.(中文回答错误)

从这里可以看出对于英文的支持确实比较好,我把中文问题翻译成英文,它就回答正确了,但中文提问一开始分析的对,后面就越来越错了...

如何使用

1. 翻译模型 +

可以作为一个更人性的翻译助手

2. 知识库 +

可以用于深度搜索总结

3. 多模态+

让其它模型转化成文字,再本地处理

4. 隐私数据处理

非隐私数据可交由其它大模型处理,尤其是复杂的部分,然后让它结合隐私输出给出最后的结果

总结

llama3.2 1B因为其参数量很小,对于运行需求也不高,所以会很适合在移动端执行部分任务。不要期待它万能,但应该也是有很多场景下可用的,如果在阿里云上运行2vCPU和4G的ECS就可以跑起来啦!

目录
打赏
0
1
1
0
57
分享
相关文章
软件测试中的自动化策略与工具应用
在软件开发的快速迭代中,自动化测试以其高效、稳定的特点成为了质量保证的重要手段。本文将深入探讨自动化测试的核心概念、常见工具的应用,以及如何设计有效的自动化测试策略,旨在为读者提供一套完整的自动化测试解决方案,帮助团队提升测试效率和软件质量。
OS-Copilot参数功能全面测试报告
作为一名运维工程师,我主要负责云资源的运维和管理。通过使用OS Copilot的-t/-f/管道功能,我顺利解决了环境快速搭建的问题,例如Tomcat的快速部署。具体步骤包括购买ECS服务器、配置安全组、远程登录并安装OS Copilot。使用-f参数成功安装并启动Tomcat,自动配置JDK,并通过|管道功能验证了生成内容的正确性。整个过程非常流畅,极大提升了工作效率。
46 12
探秘电商API:从测试到应用的深度解析与实战指南
电商API是电子商务背后的隐形引擎,支撑着从商品搜索、购物车更新到支付处理等各个环节的顺畅运行。它通过定义良好的接口,实现不同系统间的数据交互与功能集成,确保订单、库存和物流等信息的实时同步。RESTful、GraphQL和WebSocket等类型的API各自适用于不同的应用场景,满足多样化的需求。在测试方面,使用Postman、SoapUI和jMeter等工具进行全面的功能、性能和安全测试,确保API的稳定性和可靠性。未来,随着人工智能、大数据和物联网技术的发展,电商API将进一步智能化和标准化,为用户提供更个性化的购物体验,并推动电商行业的持续创新与进步。
54 4
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面,旨在通过综合策略提升程序性能,满足实际需求。
99 1
软件测试中的自动化测试框架选择与应用##
在快速迭代的软件开发周期中,选择合适的自动化测试框架对于提高软件质量和开发效率至关重要。本文探讨了当前流行的几种自动化测试框架的特点和适用场景,旨在为软件开发团队提供决策依据。 ##
接口测试新选择:Postman替代方案全解析
在软件开发中,接口测试工具至关重要。Postman长期占据主导地位,但随着国产工具的崛起,越来越多开发者转向更适合中国市场的替代方案——Apifox。它不仅支持中英文切换、完全免费不限人数,还具备强大的可视化操作、自动生成文档和API调试功能,极大简化了开发流程。
大前端之前端开发接口测试工具postman的使用方法-简单get接口请求测试的使用方法-简单教学一看就会-以实际例子来说明-优雅草卓伊凡
大前端之前端开发接口测试工具postman的使用方法-简单get接口请求测试的使用方法-简单教学一看就会-以实际例子来说明-优雅草卓伊凡
44 10
大前端之前端开发接口测试工具postman的使用方法-简单get接口请求测试的使用方法-简单教学一看就会-以实际例子来说明-优雅草卓伊凡
以项目登录接口为例-大前端之开发postman请求接口带token的请求测试-前端开发必学之一-如果要学会联调接口而不是纯写静态前端页面-这个是必学-本文以优雅草蜻蜓Q系统API为实践来演示我们如何带token请求接口-优雅草卓伊凡
以项目登录接口为例-大前端之开发postman请求接口带token的请求测试-前端开发必学之一-如果要学会联调接口而不是纯写静态前端页面-这个是必学-本文以优雅草蜻蜓Q系统API为实践来演示我们如何带token请求接口-优雅草卓伊凡
25 5
以项目登录接口为例-大前端之开发postman请求接口带token的请求测试-前端开发必学之一-如果要学会联调接口而不是纯写静态前端页面-这个是必学-本文以优雅草蜻蜓Q系统API为实践来演示我们如何带token请求接口-优雅草卓伊凡
接口测试工具攻略:轻松掌握测试技巧
在互联网快速发展的今天,软件系统的复杂性不断增加,接口测试工具成为确保系统稳定性的关键。它如同“翻译官”,模拟请求、解析响应、验证结果、测试性能并支持自动化测试,确保不同系统间信息传递的准确性和完整性。通过Apifox等工具,设计和执行测试用例更加便捷高效。接口测试是保障系统稳定运行的第一道防线。

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等