如何采集javascript动态加载网页

简介: 从一个运行 javascript 的网站加载所有数据来加载内容,目前的问题是当运行启动代码时它无法加载 javascript 内容,因为用户应该向下滚动才能加载。如何编写启动代码来滚动整页呈现 javacript 并返回 html呢?为了加载运行JavaScript来加载内容的网站上的所有数据,可以修改Splash代码以模拟滚动并确保整个页面呈现,从而能够检索所需的HTML内容

44.png

从一个运行 javascript 的网站加载所有数据来加载内容,目前的问题是当运行启动代码时它无法加载 javascript 内容,因为用户应该向下滚动才能加载。如何编写启动代码来滚动整页呈现 javacript 并返回 html呢?

为了加载运行JavaScript来加载内容的网站上的所有数据,可以修改Splash代码以模拟滚动并确保整个页面呈现,从而能够检索所需的HTML内容。以下是可以采用的示例方法:

functionmain(splash, args)
--亿牛云(动态转发隧道)爬虫代理加强版--设置代理IP和认证信息localproxy="www.16yun.cn"localproxy_port=12345localusername="16YUN"localpassword="16IP"--设置代理splash:set_proxy{
host=proxy,
port=proxy_port,
username=username,
password=password,
    }
assert(splash:go(args.url))  --导航到目标URLassert(splash:wait(args.wait))  --等待初始内容加载--设置滚动参数localscroll_delay=1--调整每次滚动之间的延迟localscroll_steps=10--调整滚动步数localscroll_height=splash:evaljs("document.body.scrollHeight")
--滚动到页面底部localscroll_to_bottom=splash:jsfunc([[
function() {
window.scrollTo(0, document.body.scrollHeight);
  }
]])
for_=1, scroll_stepsdoscroll_to_bottom()  --滚动到页面底部splash:wait(scroll_delay)  --等待页面滚动end--在滚动后等待最终内容加载assert(splash:wait(args.wait))
return {
html=splash:html()  --返回HTML内容}
end

在上述代码中,我们使用爬虫代理IP提高访问成功率,同时使用Splash脚本API导航到目标URL并等待初始内容加载。然后,我们定义滚动的参数,包括每次滚动之间的延迟、滚动步数和页面的初始滚动高度。

接下来,我们使用jsfunc创建一个JavaScript函数(scroll_to_bottom()),通过将垂直滚动位置设置为文档高度,将页面滚动到底部。我们在循环中使用此函数多次模拟滚动,每次滚动后等待页面滚动并加载新内容。

在最后一次滚动后,我们等待额外的内容加载,然后返回完全呈现页面的HTML内容。

请根据您所针对的具体网站调整scroll_delay和scroll_steps的值,以确保足够的滚动和内容加载。

相关文章
|
2月前
|
数据采集 Web App开发 JavaScript
JavaScript爬虫进阶攻略:从网页采集到数据可视化
JavaScript爬虫进阶攻略:从网页采集到数据可视化
|
2月前
|
移动开发 前端开发 JavaScript
编程笔记 html5&css&js 005 网页上都有哪内容、形式和操作
编程笔记 html5&css&js 005 网页上都有哪内容、形式和操作
|
4月前
|
前端开发 JavaScript
百度搜索:蓝易云【用JavaScript和HTML实现一个精美的计算器网页】
该计算器网页使用HTML定义了页面结构,CSS样式使其具有精美的外观,而JavaScript脚本实现了计算器的逻辑。用户可以通过按钮输入数字和操作符,并通过“=”按钮来进行计算,计算结果会显示在文本框中。
45 6
|
4月前
|
JavaScript 前端开发 算法
JavaScript实现网页关灯效果
JavaScript实现网页关灯效果
30 0
|
5天前
|
JavaScript 前端开发
JS实现网页页面的框架(demo)
JS实现网页页面的框架(demo)
9 1
|
27天前
|
JavaScript 前端开发 iOS开发
js实用方法记录-动态加载css/js
js实用方法记录-动态加载css/js
19 0
|
5月前
|
前端开发 JavaScript
前端js代码一句话模拟Ctrl+A全选网页内容效果document.execCommand(‘selectAll‘);
前端js代码一句话模拟Ctrl+A全选网页内容效果document.execCommand(‘selectAll‘);
|
1月前
|
JavaScript
【vue】 vue2 修改网页标题和图标logo、全局路径、跨域vue.config.js
【vue】 vue2 修改网页标题和图标logo、全局路径、跨域vue.config.js
58 0
|
2月前
|
数据采集 JSON JavaScript
如何处理动态网页(例如使用 JavaScript 生成的内容)?
如何处理动态网页(例如使用 JavaScript 生成的内容)?
20 0
|
2月前
|
JavaScript 前端开发 UED
JS自动跳转手机移动网页
JS自动跳转手机移动网页
460 0