llama3.1开始就支持了128K上下文，差不多有5万字的输入，可用于很多场景啦！模型能力比预想会好不少，但处理中文时，切记加上中英翻译！
话不多说，先抛出一个benchMark，对比了下最近比较火的Gemma2 2B和 Phi-3.5。
测试环境
- windows 10
- Intel(R) Core(TM) i5-9500 CPU @ 3.00GHz 3.00 GHz
- 内存 32.0 GB (31.9 GB 可用)
- 集成显卡
- 非stream输出
- ollama 0.3.12
- 模型全称 ： llama3.2:1b
因为设备比较差，基本上是CPU被榨干，100%的跑，输出时间还可接受，5-30s，设备越好提示词越短响应更快！
文本理解测试
这部分主要是测试模型的上下文长度支持情况
prompt使用了论文Attention is all you need 1706.03762 (arxiv.org) ，整个输入达到40kb，远没达到上下文长度上线，毕竟token长度是会比英文字符少不少。但我怕老古董设备扛不住蓝屏啊
summarize following paper: \n {{论文内容}}
得到的回复 (....代表省略的部分）
The text appears to be a written representation of a visual attention visualization in the context of natural language processing (NLP) and machine translation. Here's a breakdown of what each section might represent:.......... By highlighting specific examples of attention work at various levels of language processing, these illustrations provide a deeper insight into the capabilities of neural machine translation models.
我特意搜索了关键字，对比了内容，整个回复未出现截断，真的是支持超大的上下文，一开始我还以为看错了嘞，毕竟是一个1B的模型。
中文知识简测 - 中文缺点意思
提示: 西红柿炒鸡蛋的做法
回复：西红柿炒鸡蛋是一道 flavorful 和营养丰富的 breakfast Dish，特别适合 brunch 或早餐。以下是这个recipes 的步骤：\n\n### Ingredients：\n\n- 2 个鸡蛋\n- 1/2 杯西红柿（可以使用半个）\n- 1 tablespoon 高脂奶油或低脂牛乳油\n- 1 问题小的生姜，切碎\n- 1 问题小的蒜汁脆末，切碎\n- 1/4 问题小的黄 hành丝，切碎.... Enjoy your delicious and nutritious Wester Nogarcie Egg！
（...省略了一部分）可以看到中英文混杂，可能修改提示词会有改进，但对于中文的支持应该一般，查看了默认语言八种并没中文，毕竟中文有点复杂，很多模型也是对中文掌握不佳，期待微调版本，但其实也可以外挂一个翻译模型（毕竟翻译模型现在都可以做的很小）
逻辑推理简测
提示：The ratio of the inner angles of the triangle is 2:3:4, so what are the degrees of the inner angles of each corner of the triangle?（三角形内角比例为2：3：4，那么三角形各个角的内角各为多少度？）
回答：To find the degrees of the inner angles of each corner of the triangle, we need to know that the sum of all interior angles in a triangle is 180 degrees.\n\nLet's assume the ratio of the angles is 2x:3x:4x. We can set up an equation based on this:\n\n2x + 3x + 4x = 180\n\nCombine like terms:\n\n9x = 180\n\nDivide by 9:\n\nx = 20\n\nNow that we have x, we can find the degrees of each angle:\n\n* The smallest angle is 2x = 2(20) = 40 degrees\n* The medium-sized angle is 3x = 3(20) = 60 degrees\n* The largest angle is 4x = 4(20) = 80 degrees\n\nSo, the degrees of the inner angles of each corner of the triangle are 40, 60, and 80 degrees.（中文回答错误）
从这里可以看出对于英文的支持确实比较好，我把中文问题翻译成英文，它就回答正确了，但中文提问一开始分析的对，后面就越来越错了...
如何使用
1. 翻译模型 +
可以作为一个更人性的翻译助手
2. 知识库 +
可以用于深度搜索总结
3. 多模态+
让其它模型转化成文字，再本地处理
4. 隐私数据处理
非隐私数据可交由其它大模型处理，尤其是复杂的部分，然后让它结合隐私输出给出最后的结果
总结
llama3.2 1B因为其参数量很小，对于运行需求也不高，所以会很适合在移动端执行部分任务。不要期待它万能，但应该也是有很多场景下可用的，如果在阿里云上运行2vCPU和4G的ECS就可以跑起来啦！
