使用代码获得知乎文章的标题和 url

简介: 使用代码获得知乎文章的标题和 url

我有个需求:将我知乎主页下全部 2514 篇文章的名称和链接使用代码解析出来。

https://www.zhihu.com/people/jerrywang_sap/posts

使用 postman 测试,发现不需要任何 Authentication,就可以直接返回该网页的 HTML 源代码:

这个 class type 为 ContentItem 和 ArticleItem 的 div,其子节点 a 就包含了文章的 url. 标题也可以解析出来。

知乎文章的数据加载,没有采取延迟加载,而是通过分页方式进行:

为简单起见,可以在代码里硬编码总的页数为 126:

为什么通过 jsDOM 解析出来的 a tag 只有 30 个元素:

而通过浏览器打开的页面,a 标签有 140 个。

我用postman 以及 request API 取回来的知乎页面,a 标签个数只有30.

可能与 user agent 相关。

浏览器里取回的网页大小:363KB

postman 取回的大小:

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36

注意,好像也是客户端渲染。服务器推送过来的网页,只有2条文章:

真正的文章 api 原来在这里:

每页包含20条文章:

使用 postman 发请求:

遇到错误消息:

{
    "error": {
        "code": 10002,
        "message": "10002:请求参数异常,请升级客户端后重试"
    }
}

网上搜索了一下,发现知乎引入了反爬虫机制。所以我放弃这条路了。

相关文章
|
2月前
|
数据处理
Axios 默认配置 简化URL 简化代码 多台服务器接口配置
Axios 默认配置 简化URL 简化代码 多台服务器接口配置
|
存储 Swift
Swift - Cell自适应+代码约束(SnapKit)横竖屏支持平铺+根据URL获取图片size
Swift - Cell自适应+代码约束(SnapKit)横竖屏支持平铺+根据URL获取图片size
174 0
|
安全 测试技术 Python
Tornado框架的异步代码单元支持同步获取URL在项目里实战的心得和方法
Tornado框架的异步代码单元支持同步获取URL在项目里实战的心得和方法
111 0
|
前端开发 JavaScript
tp5中前端js代码中ajax请求url问题
tp5中前端js代码中ajax请求url问题
132 0
|
数据采集 缓存 搜索推荐
SAP 电商云 Spartacus UI 有状态 的 url 和 title 属性的赋值代码
SAP 电商云 Spartacus UI 有状态 的 url 和 title 属性的赋值代码
91 0
SAP 电商云 Spartacus UI 有状态 的 url 和 title 属性的赋值代码
|
NoSQL 算法 Redis
URL 去重的 6 种方案!(附详细代码)下
URL 去重的 6 种方案!(附详细代码)下
158 0
URL 去重的 6 种方案!(附详细代码)下
|
SQL 存储 数据库
URL 去重的 6 种方案!(附详细代码)中
URL 去重的 6 种方案!(附详细代码)中
114 0
URL 去重的 6 种方案!(附详细代码)中
|
存储 SQL NoSQL
URL 去重的 6 种方案!(附详细代码)上
URL 去重的 6 种方案!(附详细代码)上
227 0
URL 去重的 6 种方案!(附详细代码)上
|
存储 SQL NoSQL
URL 去重的 6 种方案!(附详细代码)
URL 去重的 6 种方案!(附详细代码)
284 0
URL 去重的 6 种方案!(附详细代码)
|
30天前
Copy网页中F12里的请求url到postman,并且把所有参数都带过来
Copy网页中F12里的请求url到postman,并且把所有参数都带过来
21 0

相关产品

  • 云迁移中心