利用阿里云GPU加速服务器实现pdf转换为markdown格式

本文涉及的产品
无影云电脑企业版,4核8GB 120小时 1个月
无影云电脑个人版,1个月黄金款+200核时
资源编排,不限时长
简介: 随着AI模型的发展,GPU需求日益增长,尤其是个人学习和研究。直接购置硬件成本高且更新快,建议选择阿里云等提供的GPU加速型服务器。

自从AI模型出现之后现在需要使用GPU来需求日益增多,尤其是个人想要学习,研究,训练模型。如果自己直接购置硬件,无疑是一笔大开销,加上这些显卡等硬件更新迭代也是快的,
所以前期只是学习,或者验证一下自己的思路,个人来看不值得直接花大价钱来买来硬件设备。常言道:买不如租,所以这是使用阿里云等提供的GPU加速型服务器不失为一个不错的方案。
比如这次来说,我使用开源项目 Marker 可以快速准确地将 PDF 转换为 markdown、JSON 和 HTML。

购置服务器

注意:

  • 选择 抢占式实列(按照实际来选)
  • 选择 规格对应 是 A10 的
  • 其中如果有需要可以勾选自动安装显卡驱动的选项,整体安装速度还行
  • 另外因为需要下载国外的训练好的模型数据,为了减少网络干扰因素,所以选择海外地区的服务器

配置截图

安装依赖环境

这里安装的Linux系统是 Alibaba Cloud Linux

mkdir pdftomarkdown
cd pdftomarkdown

# 需要使用python10+,安装最新版本
dnf install python3.11 

python3.11 -m venv venv

source venv/bin/activate

## 安装软件
## 如果检测到显卡驱动,会自动安装对应的依赖包,这个对pdf解析精度是会有大大的帮助的
pip install marker-pdf


### 单个文件识别
marker_single /path/to/file

更多的使用方式可以参考这里

问题总结

下载 huggingface 模型数据失败

download from huggingface.co timedout

需要科学上网,所以直接选择 东京 地区的服务器可以解决 https://huggingface.co/

需要安装底层库

对应的是 libX11 和 libXext 没有找到的问题报错

dnf install libX11 libXext

推荐

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
相关文章
|
6天前
|
人工智能 文字识别 数据挖掘
MarkItDown:微软开源的多格式转Markdown工具,支持将PDF、Word、图像和音频等文件转换为Markdown格式
MarkItDown 是微软开源的多功能文档转换工具,支持将 PDF、PPT、Word、Excel、图像、音频等多种格式的文件转换为 Markdown 格式,具备 OCR 文字识别、语音转文字和元数据提取等功能。
64 9
MarkItDown:微软开源的多格式转Markdown工具,支持将PDF、Word、图像和音频等文件转换为Markdown格式
|
21天前
|
编解码 人工智能 文字识别
用PDF转换图片的方式弥补通义千问在扫描版PDF支持方面的缺失
当前通义千问Web版和本地版qwen-VL在处理扫描版PDF时均无法直接识别,导致实际应用中处理大量扫描PDF的需求难以满足。为此,通过使用Python的pdf2image库,可将PDF文件转换为图片,再进行OCR处理,实现解决方案。文中提供了具体的代码示例,展示了如何将PDF文件的每一页转换成图片,并保存至指定文件夹,为后续的OCR处理做好准备。
|
2月前
|
人工智能 计算机视觉 Python
ChatGPT编程省钱、方便小示例——实现PDF转成PNG文件
ChatGPT编程省钱、方便小示例——实现PDF转成PNG文件
37 1
|
6月前
|
JSON API 开发工具
|
7月前
|
存储 XML 人工智能
在线转换多种矢量和文档格式 - 免费
本文介绍了款强大的在线云库工具,支持多种矢量图形、设计文件、办公文档和字体格式的转换,如AI、CDR、SVG等。该工具具备高效转换、简便操作、高质量输出、跨平台兼容和批量处理等技术优势,适用于设计、工程、办公和网页设计等领域,提升工作效率。无论是在跨平台协作还是处理大量文件时,都是理想的选择。
161 0
在线转换多种矢量和文档格式 - 免费
|
7月前
|
Linux iOS开发 MacOS
免费PDF转换和编辑工具 PDFgear 2.1.4
PDFgear是跨平台的PDF阅读与转换利器,支持Windows、MacOS和Linux。它提供多种阅读模式和丰富功能,如注释、签名、表单填写,可在不同设备上轻松编辑和转换PDF。软件界面简洁,操作直观,处理文件快速稳定,支持多种格式互转。
175 7
免费PDF转换和编辑工具 PDFgear 2.1.4
|
Windows
阿里云的在线文档中,通常不提供直接导出为PDF或其他文档格式的功能
阿里云的在线文档中,通常不提供直接导出为PDF或其他文档格式的功能
646 1
|
7月前
Shutter Encoder(多媒体转换工具) v18.0中文免费版
Shutter Encoder是一款强力的免费视频转换器,基于ffmpeg,所以功能十分的强大,对于视频格式的支持也非常的完善,常用的格式基本都支持,除了转换功能,经常需要用到的视频画面大小调整、批量转换、视频裁切、视频裁剪功能都有。
108 3
|
Windows
文档翻译——免费版(word格式、pdf格式)
有时需要看英文论文,奈何英语水平不太好,看完10几页的文档很吃力;于是到网上找了一大堆方法,一个一个尝试,还好有几个勉强能用的;这里分享一下。 PS:虽然有网页翻译,但是我不太喜欢一段一段复制。本文分享的方法,目前测试过都是免费的。
165 1
|
Web App开发 存储 JSON
csdn 文章批量转换markdown格式下载至本地
csdn 文章批量转换markdown格式下载至本地