LLM大模型知识整理大全

简介: 本文介绍了多个大模型训练和部署工具及教程。使用unsloth支持llama3,显存占用约8G;GPT4ALL加载训练好的大模型;llama.cpp进行4bit量化后可用CPU运行。MAID手机App和MLC软件可在安卓设备上本地运行大模型或调用API。FASTGPT用于客制化大模型和AI私有化客服。相关教程链接已提供。


参考教程:

https://www.bilibili.com/video/BV1kC411n7hD


使用 unsloth,支持llama3

占用显存大概8G




使用GPT4ALL加载训练好的大模型


https://gpt4all.io/index.html


llama.cpp进行4bit量化, 量化后的大模型可以用CPU跑




参考教程:https://www.bilibili.com/video/BV1G7tQehEBE

MAID手机app,可以在安卓上本地跑大模型,或者调用家里台式机的ollama接口api,也可以调用收费的api

MLC这个软件也可以实现,看起来也挺好用的。https://www.bilibili.com/video/BV1QZ421N7Yt/



FASTGPT客制化大模型,AI私有化客服: https://blog.csdn.net/pythonhy/article/details/143480847




大模型的进化过程

1、DeepSeek-R1-Zero不存在顿悟时刻?华人团队揭秘:或只因强化学习https://baijiahao.baidu.com/s?id=1823478340863788362&wfr=spider&for=pc

2、思维连CoT : 大模型思维链(Chain-of-Thought)技术原理

https://www.zhihu.com/tardis/bd/art/629087587?source_id=1001

CoT分为几个重要的类型, 带有例子的, 不带例子的。

3、manus刷屏的背后是真技术还是纯自嗨。提到了manus使用了CoT技术。 https://baijiahao.baidu.com/s?id=1825904190304734799&wfr=spider&for=pc








目录
打赏
0
12
12
1
98
分享
相关文章
LLM2LLM:LLM2LLM:用 LLM 来增强 LLM !通过教师模型合成数据,增强学生模型的训练数据集
LLM2LLM 是一种创新的迭代数据增强技术,通过教师模型生成合成数据,显著提升大语言模型在数据稀缺任务中的性能。
278 90
LLM2LLM:LLM2LLM:用 LLM 来增强 LLM !通过教师模型合成数据,增强学生模型的训练数据集
HippoRAG 2:开源RAG框架革新知识检索,多跳推理+持续学习全搞定
HippoRAG 2 是俄亥俄州立大学推出的检索增强生成框架,通过个性化PageRank算法和知识图谱技术,显著提升了RAG系统在复杂问答任务中的表现。
261 2
HippoRAG 2:开源RAG框架革新知识检索,多跳推理+持续学习全搞定
多模态大模型LLM、MLLM性能评估方法
针对多模态大模型(LLM)和多语言大模型(MLLM)的性能评估,本文介绍了多种关键方法和标准,包括模态融合率(MIR)、多模态大语言模型综合评估基准(MME)、CheckList评估方法、多模态增益(MG)和多模态泄露(ML),以及LLaVA Bench。这些方法为评估模型的多模态和多语言能力提供了全面的框架,有助于研究者和开发者优化和改进模型。
508 5
大模型进阶微调篇(三):微调GPT2大模型实战
本文详细介绍了如何在普通个人电脑上微调GPT2大模型,包括环境配置、代码实现和技术要点。通过合理设置训练参数和优化代码,即使在无独显的设备上也能完成微调,耗时约14小时。文章还涵盖了GPT-2的简介、数据集处理、自定义进度条回调等内容,适合初学者参考。
1077 6
大模型Prompt-Tuning技术进阶
近年来,随着Prompt-Tuning技术的崛起,研究者们发现,在拥有超过10亿参数的大规模模型上,采用Prompt-Tuning相较于传统的Fine-tuning方法能带来显著的性能提升。特别是在小样本甚至零样本学习场景下,Prompt-Tuning能够极大地激发模型的潜力。这一成就的取得主要归功于三个关键因素:模型庞大的参数量、训练过程中使用的海量语料,以及精心设计的预训练任务。
斯坦福新研究:RAG能帮助LLM更靠谱吗?
【6月更文挑战第8天】斯坦福大学研究表明,检索增强生成(RAG)技术可提升大型语言模型(LLM)的准确性,但在不正确或矛盾的检索信息下,LLM可能产生误导性答案。研究发现,提供准确检索信息时,LLM准确率可达94%,但错误信息可能导致LLM重复错误。LLM对信息的依赖和内部知识的冲突是关键问题,提示技术的选择也会影响其行为。研究强调使用RAG需谨慎,并指出需要进一步探索LLM在复杂情况下的表现。
129 7
【大模型】描述与 LLM 相关的个人项目或感兴趣的领域
【5月更文挑战第9天】【大模型】描述与 LLM 相关的个人项目或感兴趣的领域
【网安AIGC专题11.7】17ASAP如何更好地改进少样本提示:在LLMs的prompt中添加语义信息,来提高代码摘要生成+代码补全任务的性能。CodeSearchNet数据集(下)
【网安AIGC专题11.7】17ASAP如何更好地改进少样本提示:在LLMs的prompt中添加语义信息,来提高代码摘要生成+代码补全任务的性能。CodeSearchNet数据集(下)
224 0

物联网

+关注

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等