请问Java_爬虫,怎么抓取Js动态生成数据的页面?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

请问Java_爬虫,怎么抓取Js动态生成数据的页面?

2016-03-23 13:35:25 6768 1

很多网站是用jsJquery 生成数据的,到后台获取到数据以后,用 document.write()或者("#id").html="" 的方式 写到页面中,这个时候用浏览器查看源码是看不到数据的。

HttpClient是不行的,看网上说HtmlUnit,说 可以获取后台js加载完后的完整页面,但是我按照文章上说的 写了 ,都不好使。一般的代码是这样写的:

String url = "http://xinjinqiao.tprtc.com/admin/main/flrpro.do";
        try {
            WebClient webClient = new WebClient(BrowserVersion.FIREFOX_10);
            //设置webClient的相关参数
            webClient.getOptions().setJavaScriptEnabled(true);
            webClient.getOptions().setCssEnabled(false);
            webClient.setAjaxController(new NicelyResynchronizingAjaxController());
            //webClient.getOptions().setTimeout(50000);
            webClient.getOptions().setThrowExceptionOnScriptError(false);
            //模拟浏览器打开一个目标网址
            HtmlPage rootPage = webClient.getPage(url);
            System.out.println("为了获取js执行的数据 线程开始沉睡等待");
            Thread.sleep(3000);//主要是这个线程的等待 因为js加载也是需要时间的
            System.out.println("线程结束沉睡");
            String html = rootPage.asText();
            System.out.println(html);
        } catch (Exception e) {
        }

其实根本不好使。

其中典型的就是这个链接的页面,怎么能在java程序中获取其中的数据?

http://xinjinqiao.tprtc.com/admin/main/flrpro.do

取消 提交回答
全部回答(1)
相关问答

1

回答

利用java爬虫,爬系统后台技术问题:报错 

2020-06-04 21:04:12 380浏览量 回答数 1

1

回答

Java爬虫已获取图片链接但是无法下载图片 报错

2020-05-27 10:00:15 765浏览量 回答数 1

1

回答

java爬虫的基本架构是什么?

2020-04-05 14:48:32 465浏览量 回答数 1

2

回答

相对于Python开发爬虫,Java有什么优势?

2020-04-03 19:36:04 762浏览量 回答数 2

2

回答

JAVA + jsoup + httpUnit 爬虫报错

2020-01-03 20:01:12 724浏览量 回答数 2

1

回答

[@talishboy][¥20]Java Web项目如何防爬虫?

2018-12-16 19:28:05 1573浏览量 回答数 1

1

回答

java爬虫代码怎么实现

2018-05-10 20:08:59 2487浏览量 回答数 1

1

回答

ECS服务器上运行Java写的爬虫,出错,想知道是firefox版本和selinum不匹配,还是没有图形界面的原因

2017-07-24 09:46:00 3064浏览量 回答数 1

1

回答

如何使现有的Java多线程代码都可以获得异步的性能?

2022-05-12 20:30:29 208浏览量 回答数 1

1

回答

java 可以对规则进行预处理, 可以提高哪些性能?

2022-05-08 15:46:13 134浏览量 回答数 1
+关注
文章
问答
问答排行榜
最热
最新
相关电子书
更多
Python第五讲——关于爬虫如何做js逆向的思路
立即下载
JS 语言在引擎级别的执行过程
立即下载
编程语言如何演化—— 以 JS 的 private 为例
立即下载