- 大家好，我是同学小张，日常分享AI知识和实战案例
- 欢迎 点赞 + 关注 👏，持续学习，持续干货输出。
- +v: jasper_8017 一起交流💬，一起进步💪。
- 微信公众号也可搜【同学小张】 🙏
本站文章一览：
有时候，我们想要将一些网页数据下载到本地，一般有两种做法。
第一种，打开网页，将网页中的内容复制粘贴到本地新建的一个空白文档中。
第二种，打开网页，右键 —> 打印，另存为PDF，如下图
第二种将网页保存成PDF的方法，能更好地保证网页内容的完整性和格式，看起来也比较美观，操作起来也比较方便。但是当URL数量多起来之后，这个重复的工作就比较枯燥了。
本文将探索自动化把URL列表所对应的网页打印成PDF文件的实现方法，内含完整代码，可直接运行使用，建议收藏备用。
1. 自动化方法探索
1.1 通过 pdfkit
参考：https://blog.csdn.net/dchzxl/article/details/125363204
1.1.0 环境准备
1.1.0.1 安装 pdfkit
pip install pdfkit
1.1.0.2 安装 wkhtmltopdf
下载地址：https://wkhtmltopdf.org/downloads.html
1.1.1 实现代码
import pdfkit path_wk = r'd:\\wkhtmltopdf\\bin\\wkhtmltopdf.exe' #你的wkhtmltopdf安装位置 config = pdfkit.configuration(wkhtmltopdf = path_wk) url = 'https://mp.weixin.qq.com/s/2m8MrsCxf5boiH4Dzpphrg' # 你要转的网页链接 pdfkit.from_url(url, r'D:\\GitHub\\LEARN_LLM\\WeChat\\pdfkit_test.pdf', configuration=config) # 你要保存到的路径及pdf名字 • 1 • 2 • 3 • 4 • 5 • 6
1.1.2 实现效果
有的网页可以打印成功：
但有的网页打印出来内容是空白：
没细研究，是需要补充什么参数才能打印全？
1.1.3 踩坑
遇到上面这个错，一般是from_url设置的文件保存路径不存在。
1.2 通过 selenium
1.2.1 实现代码
import os,json,time from selenium import webdriver from selenium.webdriver.common.keys import Keys chrome_options = webdriver.ChromeOptions() settings = { "recentDestinations": [{ "id": "Save as PDF", "origin": "local", "account": "" }], "selectedDestinationId": "Save as PDF", "version": 2, "isHeaderFooterEnabled": False, # "customMargins": {}, # "marginsType": 2, # "scaling": 100, # "scalingType": 3, # "scalingTypePdf": 3, "isLandscapeEnabled":False,#landscape横向，portrait 纵向，若不设置该参数，默认纵向 "isCssBackgroundEnabled": True, "mediaSize": { "height_microns": 297000, "name": "ISO_A4", "width_microns": 210000, "custom_display_name": "A4 210 x 297 mm" }, } chrome_options.add_argument('--enable-print-browser') #chrome_options.add_argument('--headless') #headless模式下，浏览器窗口不可见，可提高效率 prefs = { 'printing.print_preview_sticky_settings.appState': json.dumps(settings), 'savefile.default_directory': 'D:\GitHub\LEARN_LLM\WeChat' #此处填写你希望文件保存的路径 } chrome_options.add_argument('--kiosk-printing') #静默打印，无需用户点击打印页面的确定按钮 chrome_options.add_experimental_option('prefs', prefs) driver = webdriver.Chrome(options=chrome_options) driver.get('https://mp.weixin.qq.com/s/2m8MrsCxf5boiH4Dzpphrg') driver.maximize_window() time.sleep(3) driver.execute_script('document.title="my_test_file1.pdf";window.print();') #利用js修改网页的title，该title最终就是PDF文件名，利用js的window.print可以快速调出浏览器打印窗口，避免使用热键ctrl+P driver.close()
1.2.2 实现效果
内容出来了：
但是图片不全：
1.2.3 代码改进
这是从网上找的另一段程序，主要是在打印前增加了从页面顶端滑动页面到底端的过程。
import os,json,time from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.action_chains import ActionChains def print_url_to_pdf(url, save_root, file_name='demo.pdf', scroll_distance=500, scroll_interval=0.5, headless=False): """ save_root: pdf 保存目录，建议绝对路径 file_name：pdf保存名称 scroll_distance：每次向下滑动距离，模拟浏览页面，获得全部页面元素 scroll_interval：滑动一次后，间隔时间 headless：是否可见窗口，True, 不可见；False，可见，调试时可设为可见 """ chrome_options = webdriver.ChromeOptions() settings = { "recentDestinations": [{ "id": "Save as PDF", "origin": "local", "account": "" }], "selectedDestinationId": "Save as PDF", "version": 2, "isHeaderFooterEnabled": False, # "customMargins": {}, # "marginsType": 2, # "scaling": 100, # "scalingType": 3, # "scalingTypePdf": 3, "isLandscapeEnabled":False,#landscape横向，portrait 纵向，若不设置该参数，默认纵向 "isCssBackgroundEnabled": True, "mediaSize": { "height_microns": 297000, "name": "ISO_A4", "width_microns": 210000, "custom_display_name": "A4 210 x 297 mm" }, } chrome_options.add_argument('--enable-print-browser') if headless: chrome_options.add_argument('--headless') #headless模式下，浏览器窗口不可见，可提高效率 prefs = { 'printing.print_preview_sticky_settings.appState': json.dumps(settings), 'savefile.default_directory': save_root #此处填写你希望文件保存的路径 } chrome_options.add_argument('--kiosk-printing') #静默打印，无需用户点击打印页面的确定按钮 chrome_options.add_experimental_option('prefs', prefs) driver = webdriver.Chrome(options=chrome_options) print('-'*100) print(f'now: url: {url}') driver.get(url) # 获取当前所有窗口的句柄 handles = driver.window_handles # 切换到最后一个窗口（假设最后一个窗口是要操作的窗口） driver.switch_to.window(handles[-1]) # 获取当前视口的高度 viewport_height = driver.execute_script("return window.innerHeight;") # 获取滚动条的位置 current_scroll_position = driver.execute_script("return window.scrollY;") # 定义滚动的距离和间隔时间 scroll_distance = 200 # 每次滚动的距离 scroll_interval = 0.5 # 每次滚动的间隔时间（秒） # 计算需要滚动的次数 num_scrolls = int((driver.execute_script("return document.body.scrollHeight;") - current_scroll_position) / scroll_distance) print('scroll pages...') # 循环滚动页面 for _ in range(num_scrolls): driver.execute_script(f"window.scrollBy(0, {scroll_distance});") time.sleep(scroll_interval) # # 执行 JavaScript 代码，将页面滚动到底部 # driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") # 等待页面加载完成 # 添加适当的等待时间或条件，确保页面已完全加载 time.sleep(5) driver.maximize_window() #利用js修改网页的title，该title最终就是PDF文件名， # 利用js的window.print可以快速调出浏览器打印窗口，避免使用热键ctrl+P path = os.path.join(save_root, file_name) print(f'save pdf: {path}') driver.execute_script(f'document.title="{file_name}";window.print();') driver.close() def download_urls(url_list, name_list, save_root): for url, name in zip(url_list, name_list): print_url_to_pdf(url, save_root, name) time.sleep(5) url_list =[ 'https://mp.weixin.qq.com/s/2m8MrsCxf5boiH4Dzpphrg' ] name_list = [ 'test.pdf' ] save_root = 'D:\\GitHub\\LEARN_LLM\\WeChat\\' download_urls(url_list, name_list, save_root)
1.2.4 改进后效果
图片也正常生成了PDF：
图片能正常生成PDF的原因，其实就是在代码改进中，增加了页面加载的时间（页面从顶端滑到底部需要时间），这个过程中，图片就已经加载完了，然后打印，才能将图片打印出来。
1.2.5 踩坑
- 错误：TypeError: WebDriver.init() got multiple values for argument ‘options’
- 原因：selenium 4.10.0的接口变化导致。
- 解决：
## driver = webdriver.Chrome("./chromedriver", options=chrome_options) # 报错的代码 driver = webdriver.Chrome(options=chrome_options)
2. 该工作的意义与用途畅想
本文的代码实现的功能就是将URL背后的网页转换成PDF保存到本地。
可以畅想一下，有了这个功能，我们可以干些什么。最起码，我去探索本文内容的初衷是：
（1）爬取URL背后网页的信息，作为AI大模型RAG应用的知识库。
（2）给应用一个URL，应用自动帮我总结里面的要点，摘要，并且可以进行针对此文档的问答
（3）最基本的数据收集功能，将自己看到的好的文章，URL丢到应用中，自动分类存放。
这只是一点点的作用。
你会用来做什么呢？
如果觉得本文对你有帮助，麻烦点个赞和关注呗 ~~~
- 大家好，我是 同学小张，日常分享AI知识和实战案例
- 欢迎 点赞 + 关注 👏，持续学习，持续干货输出。
- +v: jasper_8017 一起交流💬，一起进步💪。
- 微信公众号也可搜【同学小张】 🙏
本站文章一览：
