❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
- 模型版本：提供 24 亿、78 亿和 320 亿参数的三个版本，适应不同应用场景。
- 长文本处理：支持长达 32K tokens 的上下文处理，有效降低模型幻觉问题。
- 多步推理：结合检索增强生成技术，提升模型在复杂场景中的准确性。
正文（附运行示例）
EXAONE 3.5 是什么
EXAONE 3.5 是 LG AI 研究院推出的开源 AI 模型，包含 24 亿、78 亿和 320 亿参数的三个版本。该模型擅长长文本处理，在基准测试中表现优异，特别是在实际应用、长文本处理和数学方面。
EXAONE 3.5 采用检索增强生成技术和多步推理能力，有效降低错误信息，提高准确性。LG 计划进一步扩展其 AI 能力，并推出企业级 AI 智能体服务 ChatEXAONE，具备复杂的查询分析和用户自定义搜索功能，配备加密和隐私保护技术，确保在公司内部安全使用。
EXAONE 3.5 的主要功能
- 多版本模型支持：提供三种不同参数规模的模型，适应不同的应用场景和计算资源限制。
- 指令遵循能力：在实际场景中具有卓越的指令遵循能力，在多个基准测试中取得最高分。
- 长上下文理解：在长文本处理方面表现出色，有效理解和处理长达 32K tokens 的上下文。
- 双语能力：优秀的韩语和英语双语能力，特别是在韩国和英语的基准测试中表现突出。
- 检索增强生成技术：基于参考文档或网络搜索结果生成答案。
- 多步推理能力：具备多步推理能力，有效降低“幻觉”现象，提高答案的准确性。
EXAONE 3.5 的技术原理
- Transformer 架构：基于最新的仅解码器（decoder-only）Transformer 架构，用于处理序列数据。
- 长上下文处理：采用长上下文微调技术，将最大上下文长度从 EXAONE 3.0 的 4,096 tokens 扩展到 32,768 tokens。
- 预训练和后训练：
- 预训练：第一阶段用大型训练语料库进行预训练，第二阶段针对需要加强的领域进行数据收集和预训练，特别是增强长上下文理解能力。
- 后训练：包括监督式微调（SFT）和偏好优化，加强模型的指令遵循能力和与人类偏好的一致性。
- 数据合规性：在数据收集、模型训练和信息提供过程中进行 AI 合规性审查，最小化法律风险。
- 检索增强生成（RAG）技术：结合检索和生成，让模型能处理更长的上下文，在复杂场景中应用。
如何运行 EXAONE 3.5
以下是一个简单的 Python 示例，展示如何使用 EXAONE 3.5 模型：
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct"
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.bfloat16,
trust_remote_code=True,
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
# 选择你的提示
prompt = "Explain how wonderful you are" # 英文示例
# prompt = "스스로를 자랑해 봐" # 韩文示例
messages = [
{
"role": "system", "content": "You are EXAONE model from LG AI Research, a helpful assistant."},
{
"role": "user", "content": prompt}
]
input_ids = tokenizer.apply_chat_template(
messages,
tokenize=True,
add_generation_prompt=True,
return_tensors="pt"
)
output = model.generate(
input_ids.to("cuda"),
eos_token_id=tokenizer.eos_token_id,
max_new_tokens=128,
do_sample=False,
)
print(tokenizer.decode(output[0]))
资源
- 项目官网：https://lgresearch.ai/blog/view
- GitHub 仓库：https://github.com/LG-AI-EXAONE/EXAONE-3.5
- HuggingFace 模型库：https://huggingface.co/collections/LGAI-EXAONE/exaone-35
- arXiv 技术论文：https://arxiv.org/pdf/2412.04862
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
