通古大模型:古籍研究者狂喜!华南理工开源文言文GPT:AI自动断句+写诗翻译,24亿语料喂出来的学术神器

简介: 通古大模型由华南理工大学开发,专注于古籍文言文处理,具备强大的古文句读、文白翻译和诗词创作功能。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🎭 「校勘古籍被逗号逼疯?华南理工用AI复活文言文:24亿字训练的通古大模型,让《资治通鉴》开口说人话!」

大家好,我是蚝油菜花。你是否经历过——

  • 📜 面对无标点古籍,断句错一次论文重写三天
  • 🖋️ 想引用《楚辞》却怕翻译失真被导师划红线
  • 🧐 查个典故翻遍二十五史,眼镜度数飙升200度...

今天要揭秘的 通古大模型 ,可能是文科生最需要的AI外挂!这个由华南理工大学实验室打造的文言文GPT,基于 24.1亿字古籍语料 训练,不仅实现:

  • ✅ 精准智能断句(误差率<2%)
  • ✅ 文白互译保真(支持双向转换)
  • ✅ 诗词格律生成(平仄押韵全自动)

更用 检索增强技术 解决"AI瞎编典故"的行业痛点。汉语言系学生用它写论文,古籍馆用它数字化《四库全书》——原来穿越千年的对话,真的可以一键实现!

🚀 快速阅读

通古大模型是专注于古籍文言文处理的人工智能语言模型。

  1. 主要功能:支持古文句读、文白翻译、诗词创作、古籍赏析和古籍检索与问答。
  2. 技术原理:基于百川2-7B-Base进行增量预训练,结合24.1亿古籍语料和400万古籍对话数据,采用冗余度感知微调(RAT)技术和检索增强生成(RAG)技术。

通古大模型是什么

通古大模型

通古大模型是由华南理工大学深度学习与视觉计算实验室(SCUT-DLVCLab)开发的专注于古籍文言文处理的语言模型。该模型基于百川2-7B-Base进行增量预训练,使用24.1亿古籍语料进行无监督训练,并结合400万古籍对话数据进行指令微调。通过这些技术手段,通古大模型能够有效提升古籍任务的性能,帮助用户更便捷地理解和翻译古籍文献。

通古大模型不仅在古文句读、文白翻译等方面表现出色,还能够生成符合古诗词格律的作品,辅助用户进行古籍整理和数字化工作。通过检索增强生成(CCU-RAG)技术,模型减少了知识密集型任务中的幻觉问题,提高了生成内容的准确性和可靠性。

通古大模型的主要功能

  • 古文句读:自动为古文添加标点符号,解决古籍中常见的断句问题,帮助用户更好地理解古文内容。
  • 文白翻译:支持文言文与白话文之间的双向翻译,将晦涩的古文翻译为现代文,同时也可将现代文转换为文言文,方便用户进行古籍阅读和研究。
  • 诗词创作:生成符合古诗词格律和风格的诗歌,用户可以根据需求提供主题或关键词,模型生成相应的诗词作品。
  • 古籍赏析:对古籍中的经典篇章进行赏析,解读其文学价值、历史背景和文化内涵,辅助用户深入学习古籍。
  • 古籍检索与问答:结合检索增强技术,快速检索古籍内容,根据用户的问题提供准确的答案,帮助用户高效获取古籍信息。
  • 辅助古籍整理:识别古籍中的文字错误、缺漏等问题,提供修复建议,辅助古籍整理和数字化工作。

通古大模型的技术原理

  • 基础模型架构:通古大模型基于百川2-7B-Base进行增量预训练。百川2-7B-Base是一个强大的预训练语言模型,为通古大模型提供了基础的语言理解和生成能力。
  • 无监督增量预训练:模型在24.1亿古籍语料上进行无监督增量预训练,使模型学习古籍的语言风格和结构,为后续的古籍处理任务奠定基础。
  • 多阶段指令微调:通古大模型采用了多阶段指令微调技术,提出了冗余度感知微调(RAT)方法。在提升下游任务性能的同时,保留了基座模型的能力。通过指令微调,模型能更好地适应古籍处理的具体任务,如古文翻译、句读等。
  • 检索增强生成(RAG)技术:通古大模型结合了检索增强生成(RAG)技术,减少知识密集型任务中的幻觉问题。核心是将信息检索与文本生成相结合,通过从外部知识库中检索相关信息,作为上下文输入给语言模型,生成更准确、更符合上下文的答案。

如何运行通古大模型

1. 安装依赖

首先,确保你已经安装了必要的依赖库:

pip install torch transformers

2. 加载模型

接下来,加载通古大模型并设置系统消息和用户查询:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "SCUT-DLVCLab/TongGu-7B-Instruct"
model = AutoModelForCausalLM.from_pretrained(model_path, device_map='auto', torch_dtype=torch.bfloat16, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

system_message = "你是通古,由华南理工大学DLVCLab训练而来的古文大模型。你具备丰富的古文知识,为用户提供有用、准确的回答。"
user_query = "翻译成白话文:大学之道,在明明德,在亲民,在止于至善。"
prompt = f"{system_message}\n<用户> {user_query}\n<通古> "

3. 生成回复

最后,生成模型的回复并输出结果:

inputs = tokenizer(prompt, return_tensors='pt')
generate_ids = model.generate(
    inputs.input_ids.cuda(), 
    max_new_tokens=128
)
generate_text = tokenizer.batch_decode(
    generate_ids, 
    skip_special_tokens=True,
    clean_up_tokenization_spaces=False
)[0][len(prompt):]

print(generate_text)

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
人工智能 中间件 数据库
沐曦 GPU 融入龙蜥,共筑开源 AI 基础设施新底座
沐曦自加入社区以来,一直与龙蜥社区在推动 AIDC OS 的开源社区建设等方面保持合作。
|
人工智能 运维 Java
Spring AI Alibaba Admin 开源!以数据为中心的 Agent 开发平台
Spring AI Alibaba Admin 正式发布!一站式实现 Prompt 管理、动态热更新、评测集构建、自动化评估与全链路可观测,助力企业高效构建可信赖的 AI Agent 应用。开源共建,现已上线!
9199 131
|
人工智能 自然语言处理 Shell
我们开源了一款 AI 驱动的用户社区
KoalaQA 是一款开源的 AI 驱动用户社区,支持智能问答、语义搜索、自动运营与辅助创作,助力企业降低客服成本,提升响应效率与用户体验。一键部署,灵活接入大模型,快速构建专属售后服务社区。
1103 5
我们开源了一款 AI 驱动的用户社区
|
人工智能 搜索推荐 UED
一个牛逼的国产AI自动化工具,开源了 !
AiPy是国产开源AI工具,结合大语言模型与Python,支持本地部署。用户只需用自然语言描述需求,即可自动生成并执行代码,轻松实现数据分析、清洗、可视化等任务,零基础也能玩转编程,被誉为程序员的智能助手。
|
消息中间件 人工智能 安全
云原生进化论:加速构建 AI 应用
本文将和大家分享过去一年在支持企业构建 AI 应用过程的一些实践和思考。
2848 98
|
人工智能 安全 中间件
阿里云 AI 中间件重磅发布,打通 AI 应用落地“最后一公里”
9 月 26 日,2025 云栖大会 AI 中间件:AI 时代的中间件技术演进与创新实践论坛上,阿里云智能集团资深技术专家林清山发表主题演讲《未来已来:下一代 AI 中间件重磅发布,解锁 AI 应用架构新范式》,重磅发布阿里云 AI 中间件,提供面向分布式多 Agent 架构的基座,包括:AgentScope-Java(兼容 Spring AI Alibaba 生态),AI MQ(基于Apache RocketMQ 的 AI 能力升级),AI 网关 Higress,AI 注册与配置中心 Nacos,以及覆盖模型与算力的 AI 可观测体系。
2198 93
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
1222 30
|
设计模式 人工智能 自然语言处理
3个月圈粉百万,这个AI应用在海外火了
不知道大家还记不记得,我之前推荐过一个叫 Agnes 的 AI 应用,也是当时在 WAIC 了解到的。
1142 2
|
存储 人工智能 NoSQL
AI大模型应用实践 八:如何通过RAG数据库实现大模型的私有化定制与优化
RAG技术通过融合外部知识库与大模型,实现知识动态更新与私有化定制,解决大模型知识固化、幻觉及数据安全难题。本文详解RAG原理、数据库选型(向量库、图库、知识图谱、混合架构)及应用场景,助力企业高效构建安全、可解释的智能系统。

热门文章

最新文章