构建自己 AI 翻译助手取代谷歌翻译

本文涉及的产品
文本翻译,文本翻译 100万字符
文档翻译,文档翻译 1千页
NLP自然语言处理_高级版,每接口累计50万次
简介: 构建自己 AI 翻译助手取代谷歌翻译

本文分享一种方式通过使用 Hugging Face LLM 和 Python 不受限制地翻译长文档。

在全球化的今天,与来自不同国家和文化的人交流变得越来越重要,而对于技术人员来说,阅读英文资料是常见的需求。通常语言障碍往往会降低学习英文资料的效率。虽然谷歌翻译成为弥补这一不足的流行工具,但它有其局限性,特别是在准确翻译较长的文本时。

真的很烦把一小部分文本复制/粘贴到谷歌翻译中,等待结果,复制到文件中,重复的复制、粘贴,所以为什么不使用现在最流行的方式 AI 助理来解决问题?

有人可能担心使用第三方服务翻译敏感信息的隐私和安全问题。在本文中,将探索使用 Hugging Face 构建自己的人工智能翻译应用程序的替代解决方案。通过构建自己的翻译应用程序,确保数据的隐私和安全,同时还可以实现较长文本的体面准确翻译。

最终应用的结果是这样的:

image.png

安装依赖项

需要的包并不多,访问 Hugging Face 模型、创建大块的长文本和图形界面。但首先,作为良好实践,为新的 Python 项目创建一个虚拟环境。创建一个全新的目录 AI_Translator 并运行 venv 创建指令:


python3 -m venv venv

激活虚拟环境:


source venv/bin/activate #for mac
venv\Scripts\activate  #for windows users

激活 venv 后安装下面依赖性:


pip  install mkl mkl-include   # Mac 用户的 CPU 使用率需要
pip install torch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0  # 核心
pip install transformers
pip install langchain==0.0.173
pip install streamlit
pip install streamlit-extras

如果要使用的模型使用 Tensorflow 来创建权重,则还必须安装 Tensorflow


pip install tensorflow

下载语言模型

应用程序的核心是语言翻译模型,这里的目标语言(中文)和原始文本语言(English),翻译模型是按照特定顺序训练的:

image.png

上面是一个翻译的模型:从英文到中文。 在Hugging Face Hub 翻译模型中,通常只有一对和一对的翻译,而这是个特定的顺序。从英文到中文(en-to-zh) 。

可以在 Helsinki 语言技术研究组的 Hugging Face 库中找到一组适合的翻译模型。

这里有 1440 个语言模型,想要一个从英文到中文的翻译模型:所以需要查找到以 en-to-zh 结尾的模型。

正如图中所看到的,这个模型卡片告诉我们在 PyTorch 和 Tensorflow 中都有可用的权重。

  1. 创建子文件夹 model_zh
  2. 转到模型卡的文件选项卡并下载下面列出的所有文件:对于目录 model_zh 中的中文模型下载,需要下载如下:


README.md
config.json
generation_config.json
pytorch_model.bin
source.spm
target.spm
tokenizer_config.json
vocab.json

一旦所有文件都下载到它们的相关子文件夹中,准备工作就完成了。

测试模型

如果模型的权重为 .h5 格式,则需要安装 tensorflow(如上例所示)


pip install tensorflow

调用模型时需要指定 tensorflow 框架,使用参数 from_tf=True,如下:


repo_id = "Helsinki-NLP/opus-mt-en-zh"
model_tt0zh = AutoModelForSeq2SeqLM.from_pretrained(repo_id, from_tf=True)

创建一个名为 test-en-zh.py 的新文件:在开始创建用户界面之前,将使用它来测试带有 pytorch 模型的翻译管道的功能。该文件的代码如下(随后将进行解释)


import torch
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
from transformers import pipeline
import datetime
#LOCAL MODEL EN-IT
#---------------------------------
#  Helsinki-NLP/opus-mt-en-zh
Model_ZH = './model_zh/'   #torch
#---------------------------------
English = "Imagine a world where AI-driven technologies enable us to communicate more effectively, analyze enormous amounts of textual data, and make informed decisions in just seconds. A world where chatbots comprehend our intentions and respond with human-like clarity. This world is no longer a far-off dream, but an approaching reality, due to the remarkable advancements in AI technologies such as ChatGPT and LangChain. In this article, we will dive into the groundbreaking innovations of ChatGPT and LangChain, examine their potential applications, and uncover how they are transforming the AI landscape."
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM     
tokenizer_tt0zh = AutoTokenizer.from_pretrained(Model_ZH)  
print('===>初始化AI语言模型...')
#repo_id = "Helsinki-NLP/opus-mt-en-zh"
#model_tt0zh = AutoModelForSeq2SeqLM.from_pretrained(repo_id, from_tf=True)
model_tt0zh = AutoModelForSeq2SeqLM.from_pretrained(Model_ZH)  #Helsinki-NLP/opus-mt-en-zh
print("===>pipeline")
TToZH = pipeline("translation", model=model_tt0zh, tokenizer=tokenizer_tt0zh)
print("===>翻译正在进行中")
start = datetime.datetime.now() 
finaltext = TToZH(English)
stop = datetime.datetime.now() 
elapsed = stop - start
print(f'===>翻译完成于: {elapsed}...\n')
print(finaltext[0]['translation_text'])
print(f"\n===>翻译内容包含单词 {len(English.split(' '))} 个")

导入模型交互的核心:pytorchtransformers 库。然后为本地下载的模型设置检查点,存储它的路径 Model_ZH = './model_zh/'

要翻译的字符串存储在变量 English 中。然后,为分词器、模型和要执行的管道初始化对转换器库的调用:请注意,为分词器和模型传递了路径(Model_ZH 变量)。管道实例化为:


TToZH = pipeline("translation", model=model_tt0zh, tokenizer=tokenizer_tt0zh)

如果运行代码,将看到如下内容:

image.png

创建前端界面

创建一个名为 translationer.py 的新文件,在这里将使用 Streamlit 库来创建 Web 界面。

Streamlit 是一个无需了解任何前端技术(如 HTML 和 CSS)即可构建 Web 应用程序的库。如果想了解更多信息,请在此处查看清晰的文档


import streamlit as st
import torch
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
from transformers import pipeline
from langchain.text_splitter import CharacterTextSplitter
import datetime
############# 在前端显示图像 #################
st.set_page_config(page_title="私人AI翻译助理",
                   page_icon='♾️',
                   layout="centered",  #or wide
                   initial_sidebar_state="expanded",
                   menu_items={
                        'Get Help': 'https://docs.streamlit.io/library/api-reference',
                        'Report a bug': "https://www.extremelycoolapp.com/bug",
                        'About': "一个懂你的AI翻译助理"
                                },
                   )
# 
#LOCAL MODEL EN-ZH
#---------------------------------
#  Helsinki-NLP/opus-mt-en-zh
Model_ZH = './model_zh/'   #torch
#---------------------------------

上述代码主要导入库、模型和 streamlit 页面的一般设置。如果模型是 .h5 模型,请记住导入 tensorflow


### HEADER section
st.header("私人AI翻译助理:帮你把英文翻译成中文")
English = st.text_area("", height=240, key="original",placeholder="请输入或者黏贴英文内容...")
col1, col2, col3 = st.columns([2,5,2])
btn_translate = col2.button("✅ 开始翻译", use_container_width=True, type="primary", key='start')

基本结构在这里完成,创建了 3 列并指定了 3 的比率。


col1, col2, col3 = st.columns([2,5,2])
btn_translate = col2.button("✅ 开始翻译", use_container_width=True, type="primary", key='start')

只有在按下名为 btn_translate 的按钮时才会调用翻译管道。

arduino

复制代码

if btn_translate:
    if English:
    else:
        st.warning("请输入您需要翻译的文本内容!", icon="⚠️")

2 个嵌套的 if 语句检查单击的按钮(如果 btn_translate)以及英文文本是否为空,即变量 English 是否为空。后面使用 text-splitter 将长文本分成更小的部分,这样就不会溢出最大数量的标记。

pipeline 的调用和上一节测试代码一样,只是需要迭代。将文本分块,因此必须为每个块获取翻译管道的结果,然后将它们拼接起来:


# 遍历块并连接翻译
finaltext = ''
start = datetime.datetime.now() #not used now but useful
print('[bold yellow] 翻译进行中...')
for item in texts:
   line = TToIT(item.page_content)[0]['translation_text']
   finaltext = finaltext+line+'\n'

最后,可以在 text_area 部件中显示翻译的最终文本:


st.text_area(label="中文翻译:", value=finaltext, height=350)

完整的代码如下:


import streamlit as st
import torch
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
from transformers import pipeline
from langchain.text_splitter import CharacterTextSplitter
import datetime
############# 在前端显示图像 #################
st.set_page_config(page_title="私人AI翻译助理",
                   page_icon='♾️',
                   layout="centered",  #or wide
                   initial_sidebar_state="expanded",
                   menu_items={
                        'Get Help': 'https://docs.streamlit.io/library/api-reference',
                        'Report a bug': "https://www.extremelycoolapp.com/bug",
                        'About': "一个懂你的AI翻译助理"
                                },
                   )
# 
#LOCAL MODEL EN-ZH
#---------------------------------
#  Helsinki-NLP/opus-mt-en-zh
Model_ZH = './model_zh/'   #torch
#---------------------------------
### HEADER section
st.header("私人AI翻译助理:帮你把英文翻译成中文")
English = st.text_area("", height=240, key="original",placeholder="请输入或者黏贴英文内容...")
col1, col2, col3 = st.columns([2,5,2])
btn_translate = col2.button("✅ 开始翻译", use_container_width=True, type="primary", key='start')
if btn_translate:
    if English:
        Model_ZH = './model_zh/'   #torch
        with st.spinner('AI翻译助理准备中...'):
            st.success(' AI翻译助理开始翻译', icon="🆗")
            # 用于分块的文本分离器函数
            text_splitter = CharacterTextSplitter(        
                separator = "\n\n",
                chunk_size = 300,
                chunk_overlap  = 0,
                length_function = len,
            )
            # 将文档分块
            st.success(' 文档块文本...', icon="🆗")
            texts = text_splitter.create_documents([English])
            from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
            # 初始化翻译从英文到中文
            tokenizer_tt0zh = AutoTokenizer.from_pretrained(Model_ZH)
            st.success(' 初始AI语言模型...', icon="🆗")
            model_tt0zh = AutoModelForSeq2SeqLM.from_pretrained(Model_ZH)  #Helsinki-NLP/opus-mt-en-zh  or #Helsinki-NLP/opus-mt-it-zh
            TToZH = pipeline("translation", model=model_tt0zh, tokenizer=tokenizer_tt0zh)
            # 遍历块并连接翻译
            finaltext = ''
            start = datetime.datetime.now()
            print('[bold yellow]翻译进行中...')
            for item in texts:
                line = TToZH(item.page_content)[0]['translation_text']
                finaltext = finaltext+line+'\n'
            stop = datetime.datetime.now() 
            elapsed = stop - start
            st.success(f'翻译完成于 {elapsed}', icon="🆗")
            print(f'[bold underline green1] Translation generated in [reverse dodger_blue2]{elapsed}[/reverse dodger_blue2]...')
            st.text_area(label="中文翻译:", value=finaltext, height=350)
            st.markdown(f'翻译完成于: **{elapsed}**')
            st.markdown(f"翻译内容包含单词 {len(English.split(' '))} 个")
    else:
        st.warning("请输入您需要翻译的文本内容!", icon="⚠️")

接下来执行命令:


streamlit run translationer.py

打开浏览器就可以体验自己构建的 AI 翻译助理了。

image.png

image.png

image.png


目录
打赏
0
2
0
0
20
分享
相关文章
exo:22.1K Star!一个能让任何人利用日常设备构建AI集群的强大工具,组成一个虚拟GPU在多台设备上并行运行模型
exo 是一款由 exo labs 维护的开源项目,能够让你利用家中的日常设备(如 iPhone、iPad、Android、Mac 和 Linux)构建强大的 AI 集群,支持多种大模型和分布式推理。
153 100
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
179 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
Eino:字节跳动开源基于Golang的AI应用开发框架,组件化设计助力构建AI应用
Eino 是字节跳动开源的大模型应用开发框架,帮助开发者高效构建基于大模型的 AI 应用。支持组件化设计、流式处理和可视化开发工具。
65 27
AnythingLLM:34K Star!一键上传文件轻松打造个人知识库,构建只属于你的AI助手,附详细部署教程
AnythingLLM 是一个全栈应用程序,能够将文档、资源转换为上下文,支持多种大语言模型和向量数据库,提供智能聊天功能。
208 12
预定下一个诺奖级AI?谷歌量子纠错AlphaQubit登Nature,10万次模拟实验创新里程碑
谷歌的量子纠错算法AlphaQubit近日登上《自然》杂志,被誉为量子计算纠错领域的重大突破。量子比特易受环境噪声干扰,导致计算错误,而AlphaQubit通过神经网络学习噪声模式,显著提升纠错准确性。实验结果显示,它在Sycamore处理器和Pauli+模拟器上表现优异,优于现有解码算法。尽管面临资源需求高等挑战,AlphaQubit为实用化量子计算带来新希望,并可能推动其他领域创新。论文详见:https://www.nature.com/articles/s41586-024-08148-8
18 5
谷歌发布双思维AI Agent:像人类一样思考,重大技术突破!
谷歌近日推出基于“快慢思维”理论的双思维AI Agent系统,模仿人类大脑的两种思维模式:快速直观的Talker(系统1)和深思熟虑的Reasoner(系统2)。Talker负责日常对话与快速响应,Reasoner则处理复杂推理任务。该系统模块化设计,灵活高效,已在睡眠教练等场景中展现应用潜力,但仍面临工作负载平衡与推理准确性等挑战。论文详情见:https://arxiv.org/abs/2410.08328v1
17 1
两步构建 AI 总结助手,实现智能文档摘要
本方案将运用函数计算 FC,构建一套高可用性的 Web 服务,以满足用户多样化的需求。当用户发起请求时,系统内部会自动将包含文本和提示词的信息传递给百炼模型服务,百炼平台将根据后台配置调用相应的大模型服务,对文本数据进行智能识别与解析,最终将总结结果返回给用户。
Chainlit:一个开源的异步Python框架,快速构建生产级对话式 AI 应用
Chainlit 是一个开源的异步 Python 框架,帮助开发者在几分钟内构建可扩展的对话式 AI 或代理应用,支持多种工具和服务集成。
102 9
登上Nature的AI芯片设计屡遭质疑,谷歌发文反击,Jeff Dean:质疑者连预训练都没做
2020年,谷歌的AlphaChip在Nature上发表并开源,其深度强化学习方法能生成超越人类水平的芯片布局,引发AI在芯片设计领域的研究热潮。然而,ISPD 2023的一篇论文对其性能提出质疑,指出未按Nature论文方法运行、计算资源不足等问题。谷歌DeepMind团队回应,强调AlphaChip已在多代TPU和Alphabet芯片中成功应用,并批驳ISPD论文的主要错误。此外,针对Igor Markov的“元分析”和无根据猜测,谷歌提供了详细的时间线和非机密部署情况,澄清事实并重申AlphaChip的开放性和透明度。
33 13

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等