Spider抓取动态内容(JavaScript指向的页面)-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Spider抓取动态内容(JavaScript指向的页面)

2016-03-10 16:52:10 1809 1

PHP新手,在写爬虫练手,一般情况下跟踪链接不是很难,但是如果是动态页面就束手无策了。

也许分析协议(但是怎么分析?),模拟执行JavaScript脚本(怎么弄?),……

另外可能写一个通用的爬取AJAX页面的Spider或许是比较复杂的问题,没有听说或相关开源项目。

下面是问题描述:

比如一个页面的下一页(ajax函数中有一个得到url对应数据放到content标签部分):

javascript: 下一页
对应的JavaScript代码可能是:

function Down(index)
{
    $("#pageindex").val(parseInt(index)+1);
    ajaxpage(parseInt(index)+1);
}

function ajaxpage(index)
{
    $.ajax({
    type:"post",
    url:"class.aspx",
 data:"Option=select&cid="+$("#classid").val()+"&asc="+$("#orderselect>option:selected").val()+"&keyword="+escape($("#textfield").val())+"&PI="+index,
    success:function(data)
    {
        $("#content").html(data);
    },
    error: function(data) { 
             alert("连接超时,稍后再试!");
    }
}
取消 提交回答
全部回答(1)
  • a123456678
    2019-07-17 18:57:56

    对于ajax的请求,一般都会返回json或者xml格式的数据,打开网页的时候你可以用firebug来查看后台发送的ajax请求的格式,程序中设置请求的头信息,有的网站还需要设置cookie信息,不然不会返回数据,cooike的信息firebug都能查得到的。然后在发送请求,一般都会成功。
    技术稍微过关的网站都会设置请求的频率限制,所以,注意发送请求的频率。

    0 0
相关问答

1

回答

javascript怎样在一个页面中加三个js

2016-03-18 10:01:06 1626浏览量 回答数 1

1

回答

JavaScript数组中的负索引是否应有助于数组长度?

2020-02-08 19:35:37 321浏览量 回答数 1

1

回答

如何使用JavaScript将长数组拆分为较小的数组

2020-02-08 19:45:34 277浏览量 回答数 1

1

回答

为什么将带有数组的“ for(列表中的可变项)”视为JavaScript中的不良做法?

2020-02-08 20:07:00 194浏览量 回答数 1

1

回答

如何在Javascript中获取数组键?

2020-02-08 20:25:51 236浏览量 回答数 1

1

回答

Javascript按两个字段对数组进行排序

2020-02-08 20:32:20 270浏览量 回答数 1

2

回答

在Javascript中,将NodeList转换为数组的最佳方法是什么

2020-02-08 20:37:57 524浏览量 回答数 2

2

回答

有没有办法使用JavaScript以相反的顺序在数组上使用map()?

2020-02-08 21:51:58 494浏览量 回答数 2

1

回答

js怎么把数组转成json字符串数组对象

2018-05-10 20:00:18 1230浏览量 回答数 1

2

回答

关于javascript中给数组新注册方法的后遗症

2016-07-18 10:09:53 1915浏览量 回答数 2
+关注
0
文章
14879
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载