如何采集javascript动态加载网页

简介: 从一个运行 javascript 的网站加载所有数据来加载内容,目前的问题是当运行启动代码时它无法加载 javascript 内容,因为用户应该向下滚动才能加载。如何编写启动代码来滚动整页呈现 javacript 并返回 html呢?为了加载运行JavaScript来加载内容的网站上的所有数据,可以修改Splash代码以模拟滚动并确保整个页面呈现,从而能够检索所需的HTML内容

44.png

从一个运行 javascript 的网站加载所有数据来加载内容,目前的问题是当运行启动代码时它无法加载 javascript 内容,因为用户应该向下滚动才能加载。如何编写启动代码来滚动整页呈现 javacript 并返回 html呢?

为了加载运行JavaScript来加载内容的网站上的所有数据,可以修改Splash代码以模拟滚动并确保整个页面呈现,从而能够检索所需的HTML内容。以下是可以采用的示例方法:

functionmain(splash, args)
--亿牛云(动态转发隧道)爬虫代理加强版--设置代理IP和认证信息localproxy="www.16yun.cn"localproxy_port=12345localusername="16YUN"localpassword="16IP"--设置代理splash:set_proxy{
host=proxy,
port=proxy_port,
username=username,
password=password,
    }
assert(splash:go(args.url))  --导航到目标URLassert(splash:wait(args.wait))  --等待初始内容加载--设置滚动参数localscroll_delay=1--调整每次滚动之间的延迟localscroll_steps=10--调整滚动步数localscroll_height=splash:evaljs("document.body.scrollHeight")
--滚动到页面底部localscroll_to_bottom=splash:jsfunc([[
function() {
window.scrollTo(0, document.body.scrollHeight);
  }
]])
for_=1, scroll_stepsdoscroll_to_bottom()  --滚动到页面底部splash:wait(scroll_delay)  --等待页面滚动end--在滚动后等待最终内容加载assert(splash:wait(args.wait))
return {
html=splash:html()  --返回HTML内容}
end

在上述代码中,我们使用爬虫代理IP提高访问成功率,同时使用Splash脚本API导航到目标URL并等待初始内容加载。然后,我们定义滚动的参数,包括每次滚动之间的延迟、滚动步数和页面的初始滚动高度。

接下来,我们使用jsfunc创建一个JavaScript函数(scroll_to_bottom()),通过将垂直滚动位置设置为文档高度,将页面滚动到底部。我们在循环中使用此函数多次模拟滚动,每次滚动后等待页面滚动并加载新内容。

在最后一次滚动后,我们等待额外的内容加载,然后返回完全呈现页面的HTML内容。

请根据您所针对的具体网站调整scroll_delay和scroll_steps的值,以确保足够的滚动和内容加载。

相关文章
|
3月前
|
存储 JavaScript 前端开发
使用JavaScript构建动态交互式网页:从基础到实践
【10月更文挑战第12天】使用JavaScript构建动态交互式网页:从基础到实践
197 1
|
4月前
|
编解码 前端开发 JavaScript
javascript检测网页缩放演示代码
javascript检测网页缩放演示代码
|
4月前
|
Web App开发 JavaScript 前端开发
添加浮动按钮点击滚动到网页底部的纯JavaScript演示代码 IE9、11,Maxthon 1.6.7,Firefox30、31,360极速浏览器7.5.3.308下测试正常
添加浮动按钮点击滚动到网页底部的纯JavaScript演示代码 IE9、11,Maxthon 1.6.7,Firefox30、31,360极速浏览器7.5.3.308下测试正常
|
20天前
|
数据采集 Web App开发 JavaScript
如何使用Selenium处理JavaScript动态加载的内容?
如何使用Selenium处理JavaScript动态加载的内容?
|
2月前
|
缓存 JavaScript 前端开发
JavaScript 与 DOM 交互的基础及进阶技巧,涵盖 DOM 获取、修改、创建、删除元素的方法,事件处理,性能优化及与其他前端技术的结合,助你构建动态交互的网页应用
本文深入讲解了 JavaScript 与 DOM 交互的基础及进阶技巧,涵盖 DOM 获取、修改、创建、删除元素的方法,事件处理,性能优化及与其他前端技术的结合,助你构建动态交互的网页应用。
61 5
|
2月前
|
JavaScript
js实现简洁实用的网页计算器功能源码
这是一款使用js实现简洁实用的网页计算器功能源码。可实现比较基本的加减乘除四则运算功能,界面简洁实用,是一款比较基本的js运算功能源码。该源码可兼容目前最新的各类主流浏览器。
31 2
|
3月前
|
存储 JavaScript 前端开发
【JavaScript】网页交互的灵魂舞者
本文介绍了 JavaScript 的三种引入方式(行内、内部、外部)和基础语法,包括变量、数据类型、运算符、数组、函数和对象等内容。同时,文章还详细讲解了 jQuery 的基本语法和常用方法,如 `text()`、`html()`、`val()`、`attr()` 和 `css()` 等,以及如何插入和删除元素。通过示例代码和图解,帮助读者更好地理解和应用这些知识。
42 1
【JavaScript】网页交互的灵魂舞者
用CSS+JavaScript打造网页中的选项卡
用CSS+JavaScript打造网页中的选项卡
|
4月前
|
Web App开发 前端开发 JavaScript
HTML/CSS/JS学习笔记 Day3(HTML--网页标签 下)
HTML/CSS/JS学习笔记 Day3(HTML--网页标签 下)
|
3月前
|
Web App开发 缓存 前端开发
前端RAG:使用Transformers.js手搓纯网页版RAG(二)- 基于qwen1.5-0.5B
本文继续探讨了RAG的后半部分,通过在浏览器中运行qwen1.5-0.5B模型实现了增强搜索全流程。然而,由于浏览器与模型性能限制,该方案更适合研究、离线及高隐私场景。文章提供了完整的前端代码,让读者能够动手尝试。此外,详细介绍了代码框架、知识库准备、模型初始化及问答实现等步骤,并展示了实际运行效果。受限于当前技术,除非在离线或高隐私环境下,网页大模型的应用仍需进一步优化。
137 0