使用 wget 下载需要 cookie 认证的网站

简介: 1、使用火狐,安装 Export Cookies 插件2、登录网站,点菜单"工具-Export Cookies..",保存 cookies.txt 到自己的文件夹3、把 cookies.txt 文件名改成 cookie.

1、使用火狐,安装 Export Cookies 插件

2
、登录网站,点菜单"工具-Export Cookies..",保存 cookies.txt 到自己的文件夹

3
、把 cookies.txt 文件名改成 cookie.txt

4
、打开终端进入自己的文件夹,输入命令:

wget --referer=http://192.168.1.250 --cookies=on --load-cookies=cookie.txt -keep-session-cookies --save-cookies=cookie.txt http://192.168.1.250/space-1461-do-album-id-109.html

 

 

wget -r -p -np -k http://xxx.com/xxx

-r,  --recursive
(递归)          specify recursive download.(指定递归下载)
-k,  --convert-links
(转换链接)      make links in downloaded HTML point to local files.(将下载的HTML页面中的链接转换为相对链接即本地链接)
-p,  --page-requisites
(页面必需元素)    get all images, etc. needed to display HTML page.(下载所有的图片等页面显示所需的内容)
-np, --no-parent
(不追溯至父级)          don't ascend to the parent directory.

另外断点续传用-nc参数 日志 -o参数

-c 断点续传
-r
递归下载,下载指定网页某一目录下(包括子目录)的所有文件
-nd
递归下载时不创建一层一层的目录,把所有的文件下载到当前目录
-np
递归下载时不搜索上层目录,如wget -c -r www.xxx.org/pub/path/
没有加参数-np,就会同时下载path的上一级目录pub下的其它文件
-k
将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数
-L
递归时不进入其它主机,如wget -c -r www.xxx.org/ 
如果网站内有一个这样的链接: 
www.yyy.org
,不加参数-L,就会像大火烧山一样,会递归下载www.yyy.org网站
-p
下载网页所需的所有文件,如图片等
-A
指定要下载的文件样式列表,多个样式用逗号分隔
-i
后面跟一个文件,文件内指明要下载的URL

目录
相关文章
|
5月前
|
存储 搜索推荐 安全
企业出海如何做好网站Cookie合规
确保企业出海网站合规,理解Cookie在用户登录和个性化体验中的关键作用。通过Cookie携带用户信息,实现免登录和个性化服务。GDPR对Cookie使用提出限制,要求用户同意原则。第三方Cookie用于广告追踪,涉及用户画像。GDPR规定了同意条件和操作方法,企业需采用合规的交互设计。九智汇提供的Cookie自动化同意管理系统帮助企业统一管理多地网站Cookie,满足监管合规。
140 0
|
2月前
|
数据安全/隐私保护
在某网站的登录页面登录时如果选择“记住用户名”,登录成功后会跳转到一个中间层(页面代码将登录的用户名和密码存在cookie),中间页面中存在一个超链接,单击超链接可以链接到第三个页面查看信息。若选择“
该博客文章通过示例代码和运行结果截图,展示了网站登录过程中如何通过中间层页面使用cookies技术实现“记住用户名”功能,并在点击超链接后查看保存的用户名和密码信息。
在某网站的登录页面登录时如果选择“记住用户名”,登录成功后会跳转到一个中间层(页面代码将登录的用户名和密码存在cookie),中间页面中存在一个超链接,单击超链接可以链接到第三个页面查看信息。若选择“
|
2月前
|
数据安全/隐私保护
|
4月前
|
安全 Java Maven
如何使用jsoup实现网站登录,cookie保存,查询信息
【6月更文挑战第11天】如何使用jsoup实现网站登录,cookie保存,查询信息
116 1
|
4月前
|
安全 Java Maven
使用jsoup实现网站登录,cookie保存,查询信息
【6月更文挑战第7天】使用jsoup实现网站登录,cookie保存,查询信息
63 0
|
5月前
|
存储 JSON 算法
登录认证-登录校验-会话技术方案选择和对比(cookie、session和JWT令牌)
登录认证-登录校验-会话技术方案选择和对比(cookie、session和JWT令牌)
131 0
|
存储 安全 Java
网站安全测试,会话 cookie 中缺少 HttpOnly 属性
可能会窃取或操纵客户会话和 cookie,它们可能用于模仿合法用户,从而使黑客能够以该用户身份查看或变更用户记录以及执行事务 “HttpOnly”属性的会话 cookie。由于此会话 cookie 不包含“HttpOnly”属性,因此 注入站点的恶意脚本可能访问此 cookie,并窃取它的值。任何存储在会话令牌中的 信息都可能被窃取,并在稍后用于身份盗窃或用户伪装。
616 0
|
Java 数据安全/隐私保护
WEB核心【记录网站登录人数,记录用户名案例】Cookie技术实现
本篇讲两个案例(记录网站登录人数,记录用户名案例)用会话技术cookie进行实现。
WEB核心【记录网站登录人数,记录用户名案例】Cookie技术实现
|
数据安全/隐私保护 网络架构 存储
快速理解 session/token/cookie 认证方式
目录 目录 cookie session token cookie Web Application 一般以 HTTP 协议作为传输协议, 但 HTTP 协议是无状态的.
1416 0
|
Web App开发
清除Chrome浏览器特定网站的Cookie
清除Chrome浏览器特定网站的Cookie
280 0
清除Chrome浏览器特定网站的Cookie