【AIGC】通过人工智能总结PDF文档摘要服务的构建

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 【5月更文挑战第9天】使用Python和预训练的AI模型,结合Gradio前端框架,创建了一个文本及PDF摘要聊天机器人。通过加载"FalconsAI/text_summarization"模型,实现文本和PDF的预处理,包括PDF合并与文本提取。聊天机器人接收用户输入,判断是文本还是PDF,然后进行相应的摘要生成。用户可以通过运行`app.py`启动机器人,访问`localhost:7860`与之交互,快速获取内容摘要。这个工具旨在帮助忙碌的人们高效获取信息。

[toc]


我们生活在一个快速发展的社会中,每个人都在奔跑!我们似乎总是没有时间阅读、了解自己和享受一些高质量的内容。在这种氛围中,我们只能希望有什么东西能帮上忙,而这个东西可以是人工智能。

构建聊天界面以汇总文本和 PDF,我们可以快速利用我们的 python 知识来实现和部署文本摘要聊天机器人,使用预训练的 AI 模型和前端框架 gradio。

1.实现模型加载

首先,我们在 python 脚本中导入pipeline,负责加载和调用 AI 模型:

from transformers import pipeline

model_checkpoint = "FalconsAI/text_summarization"
summarizer = pipeline("summarization", model=model_checkpoint)

我们选择了一个相对较小的模型。

2.定义预处理函数

如果它们被批量上传,则合并 pdf......

def merge_pdfs(pdfs: list):
    merger = PdfMerger()
    for pdf in pdfs:
        merger.append(pdf)
    merger.write(f"{pdfs[-1].split('.')[0]}_results.pdf")
    merger.close()
    return f"{pdfs[-1].split('.')[0]}_results.pdf"

将合并的 pdf 转换为大小合适的文本字符串:

def pdf2string(pdfpath):
    loader = PyPDFLoader(pdfpath)
    documents = loader.load()

    ### Split the documents into smaller chunks for processing
    text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
    texts = text_splitter.split_documents(documents)
    fulltext = ""
    for text in texts:
        fulltext += text.page_content+"\n\n\n"
    return fulltext

现在我们已经实现了预处理功能,让我们用 Gradio 设计我们的聊天机器人。

3.构建对话机器人

我们想要一个管理聊天记录的函数,将文本消息与pdf文档分开,代码如下:

def add_message(history, message):
    if len(message["files"]) > 0:
        history.append((message["files"], None))
    if message["text"] is not None and message["text"] != "":
       history.append((message["text"], None))
    return history, gr.MultimodalTextbox(value=None, interactive=False)

返回history包含如下内容:

  • 上传文件的路径元组(如下所示:“/path/to/file1.pdf”、“path/to/file2.pdf...”))和 None(表示来自聊天机器人的消息,尚未写入)
  • 包含我们消息的文本字符串(例如:“In this article, we will see why cats are so overwhelmingly cute...”)和None(代表来自聊天机器人的消息,尚未编写)

让我们看看如何使用历史记录来生成文本:

def bot(history):
    global histr
    if not history is None:
        if type(history[-1][0]) != tuple:
            text = history[-1][0]
            response = summarizer(text, max_length=int(len(text.split(" "))*0.5), min_length=int(len(text.split(" "))*0.05), do_sample=False)[0]
            response = response["summary_text"]
            history[-1][1] = ""
            for character in response:
                history[-1][1] += character
                time.sleep(0.05)
                yield history
        if type(history[-1][0]) == tuple:
            filelist = []
            for i in history[-1][0]:
                filelist.append(i)
            finalpdf = merge_pdfs(filelist)
            text = pdf2string(finalpdf)
            response = summarizer(text, max_length=int(len(text.split(" "))*0.5), min_length=int(len(text.split(" "))*0.05), do_sample=False)[0]
            response = response["summary_text"]
            history[-1][1] = ""
            for character in response:
                history[-1][1] += character
                time.sleep(0.05)
                yield history
    else:
        history = histr
        bot(history)

正如你所看到的,我们检查历史中最后一个元组的第一个元素(history[-1][0])是否是一个元组:

  • 如果它是一个元组,我们将所有 pdf 合并到其中,将它们转换为字符串,并将文本通过管道传递到摘要器,作为输出,返回一个文本,其中包含原始文档中少于 50% 但超过 5% 的单词
  • 如果是文本字符串,我们直接汇总该字符串。

我们将输出摘要流式传输为聊天机器人响应

现在构建多模态聊天机器人:

with gr.Blocks() as demo:
    chatbot = gr.Chatbot(
        [[None, "Hi, I'm **ai-summarizer**, your personal summarization assistant"]],
        label="ai-summarizer",
        elem_id="chatbot",
        bubble_full_width=False,
    )

    chat_input = gr.MultimodalTextbox(interactive=True, file_types=["pdf"], placeholder="Enter message or upload file...", show_label=False)

    chat_msg = chat_input.submit(add_message, [chatbot, chat_input], [chatbot, chat_input])
    bot_msg = chat_msg.then(bot, chatbot, chatbot, api_name="bot_response")
    bot_msg.then(lambda: gr.MultimodalTextbox(interactive=True), None, [chat_input])

启动函数

demo.queue()

if __name__ == "__main__":
    demo.launch(server_name="0.0.0.0", share=False)

执行app.py

python3 app.py

模型加载完毕之后,在 localhost:7860 上能够看到聊天机器人,现在我们的摘要助手正在工作了,我们可以通过它来总结我们的文档了!

小结

本节我们学习了基于AI对PDF文件学习汇总,希望对初学者有所帮助。

小编是一名热爱人工智能的专栏作者,致力于分享人工智能领域的最新知识、技术和趋势。这里,你将能够了解到人工智能的最新应用和创新,探讨人工智能对未来社会的影响,以及探索人工智能背后的科学原理和技术实现。欢迎大家点赞,评论,收藏,让我们一起探索人工智能的奥秘,共同见证科技的进步!

目录
相关文章
|
18天前
|
数据挖掘 程序员 数据安全/隐私保护
解锁PDF潜力:9个Python库让你的文档处理更高效
程序员晚枫分享了Python处理PDF的9个第三方库,包括PyPDF2、pdfrw、ReportLab、pikepdf、pdfplumber、pdfminer.six、PyMuPDF、popdf和borb,各具优缺点。选择时需考虑应用场景、功能需求、库的维护状态和开源协议。例如,pdfplumber擅长内容提取,而ReportLab和PyMuPDF适用于创建和修改内容。
|
5天前
|
人工智能 自然语言处理 数据库
探索人工智能的世界:构建智能问答系统之实战篇
【6月更文挑战第8天】本文档介绍了如何使用Python进行Milvus数据库操作,包括环境安装、基本操作如连接数据库、创建集合、插入和查询向量数据、创建索引、删除数据等。此外,还展示了使用LangChain库与HuggingFaceEmbeddings集成,简化操作。最后,演示了如何结合openai模型定制交互式问答系统。整个过程旨在帮助读者理解如何将预训练模型与数据库集成以实现特定任务。
|
6天前
|
人工智能 数据库 Docker
探索人工智能的世界:构建智能问答系统之环境篇
【6月更文挑战第7天】在本教程中,作者指导读者如何搭建项目环境,包括安装Python 3.10、Docker Desktop和Visual Studio Code。安装Python时可按默认设置进行,Docker Desktop用于管理数据库容器,提供更好的开发和测试环境。Visual Studio Code是一个推荐的源代码编辑器。虽然尝试使用cursor开发时遇到问题,但最终选择了使用VS Code。但建议本地开发。配置文件部分,提供了`docker-compose.yaml`、`Dockerfile`和`pyproject.toml`的示例,用于构建和管理项目容器。
探索人工智能的世界:构建智能问答系统之环境篇
|
11天前
|
Java 数据安全/隐私保护
Java使用PDFBox开发包实现对PDF文档内容编辑与保存
Java使用PDFBox开发包实现对PDF文档内容编辑与保存
25 7
|
14天前
使用LabVIEW打开默认应用程序中的文档(PDF,Word,Excel,Html)
使用LabVIEW的"Open a Document on Disk.vi",存于<LabVIEW>\vi.lib\Platform\browser.llb,可让默认应用打开硬盘文档。此VI仅基础打开功能,高级控制推荐LabVIEW Report Generation Toolkit或ActiveX。注意:避免版本升级问题,最好将VI复制到vi.lib外的目录。
|
20天前
|
机器学习/深度学习 存储 人工智能
构建未来:人工智能在持续学习系统中的进化
【5月更文挑战第29天】 随着人工智能(AI)技术的蓬勃发展,机器学习模型正变得越来越复杂。然而,真正的智能不仅仅体现在完成任务的能力上,更在于不断学习和适应新环境的能力。本文将探讨如何通过创新的学习算法和系统设计,实现AI的持续学习,并分析这一进化对技术未来的意义。
|
21天前
|
机器学习/深度学习 人工智能 监控
构建未来:人工智能在持续学习系统中的进化
【5月更文挑战第28天】 随着机器学习技术的不断进步,人工智能(AI)已经从静态算法演变为具备自我更新能力的动态系统。本文探讨了AI在设计自适应学习机制方面的最新进展,重点分析了持续学习系统如何通过累积知识和优化策略来提升性能。我们审视了多个关键领域,包括神经网络架构的创新、数据效率的学习策略以及模型泛化能力的增强。此外,文章还提出了一系列挑战和未来的研究方向,旨在推动智能系统的自主学习和决策能力,以适应不断变化的环境。
|
22天前
|
机器学习/深度学习 存储 人工智能
构建未来:人工智能在持续学习系统中的进化基于人工智能的图像识别技术在自动驾驶中的应用
【5月更文挑战第27天】 在人工智能(AI)的浩瀚领域中,持续学习系统(Lifelong Learning Systems)代表着一种前沿探索,致力于模拟人类学习新任务的能力同时保留旧知识。本文深入探讨了这些系统的最新进展,包括它们如何通过深度学习、转移学习和元学习策略来优化知识存储与技能提炼。我们还将分析持续学习在现实世界应用中面临的挑战,并提出可能的解决方案,以期推动该领域的进一步发展。
|
25天前
|
机器学习/深度学习 人工智能 算法
构建未来:人工智能在持续学习系统中的进化
【5月更文挑战第24天】 本文聚焦于人工智能(AI)技术中一个关键且迅速发展的分支——持续学习系统。不同于传统的静态机器学习模型,持续学习系统能够适应新数据的到来,不断更新知识库,实现长期的累积学习。文章首先概述了持续学习的理论基础及其在现代AI领域的重要性;随后,详细探讨了该领域的最新进展,包括算法创新、神经网络架构的优化以及数据处理策略;最后,分析了持续学习面临的挑战和未来的发展方向。本研究旨在为AI专业人士提供深入见解,并激发对AI持续学习能力提升的新思路。
|
26天前
|
机器学习/深度学习 人工智能 算法
构建未来:人工智能在持续学习系统中的进化
【5月更文挑战第23天】 探索人工智能如何通过模拟生物神经网络和复杂算法,实现自我优化与知识积累。本文将深入分析自学习AI系统的关键技术,包括深度学习、增强学习及未监督学习,并探讨这些技术如何推动AI从静态的知识库向动态的、持续发展的认知实体转变。通过具体案例,揭示自学习系统在处理大数据、进行预测分析以及在自动驾驶、医疗诊断等领域的应用前景。最终讨论了此类系统面临的挑战,如数据隐私、算法偏见和伦理问题,并提出潜在的解决策略。