一文详解 URLEncode

简介: 使用浏览器进行Http网络请求时,若请求query中包含中文,中文会被编码为 `%+16进制+16进制`形式,但你真的深入了解过,为什么要进行这种转义编码吗?编码的原理又是什么?

使用浏览器进行Http网络请求时,若请求query中包含中文,中文会被编码为 %+16进制+16进制形式,但你真的深入了解过,为什么要进行这种转移编码吗?编码的原理又是什么?

例如,浏览器中进行百度搜索“你好”时,链接地址会被自动编码:
(编码前)https://www.baidu.com/s?wd=你好
(编码后)https://www.baidu.com/s?wd=%E4%BD%A0%E5%A5%BD
出现以上情况是网络请求前,浏览器对请求URL进行了URL编码(URL Encoding)

URL编码(URL Encoding):也称作百分号编码(Percent Encoding), 是特定上下文的统一资源定位符 URL的编码机制。URL编码(URL Encoding)也适用于统一资源标志符(URI)的编码,同样用于 application/x-www-form-urlencoded MIME准备数据。

一、为什么需要URL Encoding

在URL的最初设计时,希望可以通过书面转录,比如写在餐巾纸上告诉另外一人,因此URI的构成字符必须是可写的ASCII字符。
中文不在ASCII字符中,因此中文出现在URL地址中时,需要进行编码;同时可书写的ASCII字符中,存在一些不安全字符也需要转码,如空格(空格容易被忽略,也容易意想不到的原因引入)。

不安全字符

不安全字符

二、编码原理

编码的原理可以表述为:
将需要转码的字符,按指定编码方式(默认使用UTF-8编码)转化为字节流,每个字节按16进制表示,并添加%组成一个percent编码。

例如:汉字 “你好”

  • UTF-8字节流打印为:-28 -67 -96 -27 -91 -67
  • 对应的16进制表示为:E4 BD A0 E5 A5 BD
  • URLEncode编译后为:%E4%BD%A0%E5%A5%BD

2.1、哪些字符需要转码

上文中提到需要转码的字符,那么哪些字符是需要转码的字符?
这里涉及到两个概念:Reserved(保留字符)Unreserved(非保留字符)

  • Reserved(保留字符)是那些具有特殊含义的字符,例如:"/"字符用于URL不同部分的分界符;
  • Unreserved(非保留字符)没有特殊含义,包含希腊字母 / 数字 / "-" / "." / "_" / "~"

保留字符&非保留字符

回到刚才的问题,哪些字符是需要转码的字符?

  • 1、除了Reserved(保留字符)Unreserved(非保留字符)之外的所有字符,均需要percent编码;
  • 2、某些情况下Reserved(保留字符)也需要进行percent编码:
    Reserved(保留字符)不用于URL分隔符,而是用于其他的位置,不代表某种特性的含义时,需要进行percent编码。例如:保留字符用于URL请求query后面的value中时,要对此时用到的Reserved(保留字符)做percent编码;

2.2、注意:空格的编码有 “+”和“%20”两种

结论:

  • 1、空格编码为+的情况:

提交表单时请求时Content-Type:application/x-www-form-urlencoded的情况下,URL请求查询字符串中出现空格时,需替换为+

  • 2、其他情况空格编码为%20

依据:

按照 rfc3986 标准,空格在进行编码时,编码后对应为%20

空格ASCII表16进制表示对应为20

但根据W3C标准:,提交表单时请求时Content-Type:application/x-www-form-urlencoded情况下,URL请求查询字符串中出现空格时,需替换为+

W3C中空格替换为+号依据

三、参考

rfc3986:
https://tools.ietf.org/html/rfc3986

rfc1738:
https://www.ietf.org/rfc/rfc1738.txt

W3C标准:
https://www.w3.org/TR/html4/interact/forms.html#h-17.13.4.1

维基百科:百分号编码:
https://zh.wikipedia.org/wiki/%E7%99%BE%E5%88%86%E5%8F%B7%E7%BC%96%E7%A0%81

= THE END =

文章首发于公众号”CODING技术小馆“,如果文章对您有帮助,可关注我的公众号。
文章首发于公众号”CODING技术小馆“,如果文章对您有帮助,可关注我的公众号。
文章首发于公众号”CODING技术小馆“,如果文章对您有帮助,可关注我的公众号。

目录
相关文章
|
存储 SQL 数据库
一文教你使用ClickHouse的字典(dictionary)
在本文中,我们将借此机会提示用户:字典在加速查询方面的强大作用 - 尤其是包含JOIN的查询,以及一些使用技巧。此外,本文中的所有示例都可以在我们的play.clickhouse.com环境中复现(参见 blogs 数据库)。
 一文教你使用ClickHouse的字典(dictionary)
Leecode 面试题 01.06. 字符串压缩
Leecode 面试题 01.06. 字符串压缩
47 0
|
Python
Python使用quote、unquote、urlencode、urldecode对url编码解码
Python使用quote、unquote、urlencode、urldecode对url编码解码
312 0
|
数据采集 Python
Python爬虫:urlencode带参url的拼接
Python爬虫:urlencode带参url的拼接
345 0
|
JSON JavaScript Java
json中斜杠引发的惨案
最近遇到一个问题,一个json语句中包含了"/",但是toString之后发现与原字符串不一样了!这里将我研究的整个过程记录一下。
475 0
|
算法 Android开发 索引
一文详解 Base64编码原理
Base64 是一种 编码方式,最早出现在电子邮件传输协议中。 电子邮件问世之初,传递消息时只支持 ASCII 字符,后来随着电子邮件的广泛使用,传递非ASCII字符内容的需求增加,例如:传输中文、传输文件(图片、视频)。
185 0
一文详解 Base64编码原理
|
存储 算法 安全
一文详解 MD5 信息摘要算法
对于软件研发人员来说 MD5 不是一个陌生的词汇,平时的软件研发中,经常使用 MD5 校验消息是否被篡改、验证文件完整性,甚至将MD5当作加密算法使用。MD5虽不陌生,但不是所有研发人员都了解其算法原理,通过这篇文章详细学习MD5 摘要算法。
284 0
一文详解 MD5 信息摘要算法
|
图形学
一文详解 .obj .mtl 文件格式
obj文件是3D模型文件格式。由Alias|Wavefront公司为3D建模和动画软件"Advanced Visualizer"开发的一种标准,适合用于3D软件模型之间的互导,也可以通过Maya读写。
1009 0
|
安全
一文助你分清encodeURI与encodeURIComponent
帮助你区别 encodeURI 与 encodeURIComponent 的使用场景
798 0
|
SQL 关系型数据库 程序员