Puppeteer是一个流行的Node.js库,在开发者中广泛使用的用于网页爬取和自动化任务的工具。它提供两种操作模式，即headfull和headless。在headfull模式下，Puppeteer控制的Chrome或Chromium浏览器是有界面的，也就是可以看到浏览器运行的情况。在此模式下，可以使用浏览器的开发者工具进行调试。这种模式非常适合在本地进行开发和调试。而在headless模式下，它在后台运行，没有用户界面，这种模式非常适合在服务器上运行，因为没有界面，所以可以节省很多资源。该工具还提供缓存资源的选项，这可以帮助减少页面加载时间并提高性能。此外，Puppeteer允许开发人员在页面中执行JavaScript代码，并使用代理更改请求的IP地址，这对于匿名请求或从不同区域访问内容很有用。
代码示例：
constpuppeteer=require('puppeteer'); (async () => { // 爬虫加强版代理IP和端口号constproxyUrl='http://www.16yun.cn:8080'; // 代理用户名和密码constproxyAuth='16YUN:16IP'; constbrowser=awaitpuppeteer.launch({ headless: true, args: [ // 通过代理 IP 和端口号访问网站`--proxy-server=${proxyUrl}`, // 使用代理用户名和密码进行认证`--proxy-auth=${proxyAuth}` ] }); constpage=awaitbrowser.newPage(); awaitpage.goto('https://www.xiaohongshu.com/video'); constvideoLinks=awaitpage.evaluate(async () => { constlinks= []; constvideoItems=document.querySelectorAll('a.video-item'); awaitPromise.allSettled(Array.from(videoItems).map(async (link) => { consttitle=link.querySelector('p.title').textContent.trim(); constdescription=link.querySelector('p.desc').textContent.trim(); constresponse=awaitfetch(link.href); consttext=awaitresponse.text(); constvideoUrl=text.match(/"videoUrl":"(.*?)"/)[1]; links.push({ url: link.href, title, description, videoUrl }); })); returnlinks; }); console.log(videoLinks); awaitbrowser.close(); })();
以上的代码是使用 Puppeteer 框架的 headless 模式，通过爬虫加强版代理 IP 访问小红书的视频页面，获取视频的简介信息。代码中使用了异步方式处理页面元素，以提高爬虫的效率，同时还增加了对代理用户名和密码的认证。最终，代码将获取到的视频简介信息输出到控制台中。这个代码示例可以用于学习 Puppeteer 爬虫的基础知识，并且可以用于获取小红书的视频简介等类似数据。
