计算机网络 | 图解 DNS & HTTPDNS 原理

前言

• DNS 往往是网络请求的第一步，在计算机网络面试中，DNS 也是除 HTTP、TCP 之外较重点考察的知识，其重要性可想而知。
• 在这篇文章里，我将梳理图解 DNS & HTTPDNS 的原理知识。如果能帮上忙，请务必点赞加关注，这真的对我非常重要。

系列文章

• 《计算机网络 | 图解 DNS & HTTPDNS 原理》

相关文章

• 《密码学 | 高屋建瓴！摘要、签名与数字证书都是什么？》

目录

1. DNS 原理

1.1 DNS 简介

域名（Domain Name，Domain） 是一个在互联网上标识主机或主机组的名称，相当于 IP 地址的别名，相对于晦涩难记的 IP 地址，域名更显得易于记忆。

域名系统（Domain Name System，DNS） 则是将域名解析 IP 地址的一项互联网基础服务，提供该服务的服务器称为 域名服务器（Domain Name Server）。

1.2 DNS 解析过程

互联网上的域名系统是一个分布式的系统，结构上是一个四层的树状层次结构，如下图所示：

• 本地域名服务器（Local Name Server，local DNS）：如果通过 DHCP 配置，local DNS 由互联网服务提供商（ISP，如联通、电信）提供；
  
• 根域名服务器（Root Name Server）：当 local DNS 查询不到解析结果时，第一步会向它进行查询，并获取顶级域名服务器的IP地址。全球一共有 13 个根域名服务器（除了它们的镜像），它们并不直接用于域名解析，仅用于指出可查询的顶级域名服务器。这个网站记录了现有的 13 个根域名服务器：www.internic.net/domain/name…；
  
• 顶级域名服务器（Top-level Name Server）：负责管理在该顶级域名服务器下注册的二级域名，例如**.com 顶级域名服务器**，而 baidu.com 权威服务器是注册在 .com 的权威域名服务器；
  
• 权威域名服务器（Authoritative Name Server）：在特定区域内具有唯一性，负责维护该区域内的域名与 IP 地址的映射关系。在 DNS 应答报文中，标志位 AA 标识本次 DNS 记录是否来自权威域名服务器，否则可能来自缓存。
  

DNS 解析分为 递归查询 和 迭代查询 两种方式。其中，客户端与 Local DNS 之间一般采用递归查询，而 DNS 服务器之间一般采用迭代查询。

**提示：**如果 DNS 服务器之间使用递归查询，对根域名服务器的负担就太重了，而如果客户端与本地域名服务器之间使用迭代查询，DNS 服务对于客户端就显得不透明了。

• 递归查询：

所谓递归查询，与我们经常提及的递归函数的思想是一致的，即：**如果 DNS 服务器查不到该域名，那么它将重新以客户端的身份向其他 DNS 服务器发送查询请求报文，客户端只要等待最终结果即可。**用伪代码呈现可能比较好理解，类似这样：

fun dns(client: String, server: String, domain: String): String {
    if (server 查询 domain 成功) {
        return "ip"
    }
    // server 以客户端身份递归查询
    return dns(server, "其他 DNS 服务器", domain)
}
复制代码

• 迭代查询：

所谓迭代查询，即：**如果 DNS 服务器查不到该域名，它不会替客户端完成后续的查询工作，而是回复下一步应当向哪一个域名服务器进行查询，随后客户端重新向这个新的 DNS 服务器发送查询请求。**用伪代码呈现可能比较好理解，类似这样：

fun dns(client: String, server: String, domain: String): String {
    while (true) {
        if (server 查询 domain 成功) {
            return "ip"
        } else {
            // client 继续以客户端身份迭代查询
            server = "其他 DNS 服务器"
        }
    }
}
复制代码

下面以查询www.baidu.com为例，阐述一次 DNS 解析过程：

• 0、首先检查 DNS 缓存，下一节我们会讲，如果缓存老化或未命中，客户端需要向 local DNS 发送查询请求报文
  
• 1、客户端向 local DNS 发送查询报文 query www.baidu.com，local DNS 首先检查自身缓存，如果存在记录则直接返回结果，查询结束；如果缓存老化或未命中，则：
  
• 2、local DNS 向根域名服务器发送查询报文 query www.baidu.com，返回 .com 顶级域名服务器的地址（如果查无记录）
  
• 3、local DNS 向 .com 顶级域名服务器发送查询报文 query www.baidu.com，返回baidu.com所在的权威域名服务器的地址（如果查无记录）
  
• 4、local DNS 向 baidu.com 权威域名服务器发送查询报文 query www.baidu.com，得到 ip 地址，存入自身缓存并返回给客户端
  

1.3 DNS 报文

由于下一节我们将实战抓取 DNS 包，所以这一节我们先介绍 DNS 报文格式。DNS 协议定义了三种报文，查询报文 & 应答报文 & 更新报文，它们的总体上结构是一致的。

• 报文首部（Header）

• 1、事务 ID（Transaction ID）：用来关联 DNS 查询与应答，DNS客户端每次发送查询请求都会使用不同的 ID，而服务器在响应中重复这个 ID
• 2、标志（Flags）：报文的标志字段，详见下图
• 3、问题数（Question Count）：指定问题部分条目数
• 4、回答资源记录数（Answer Resource Record count）：指定应答部分中回答资源条目数
• 5、权威资源记录数（Authority Resource Record count）:指定权威资源记录数
• 6、附加资源记录数（Additional Resource Record count）：指定附加资源记录数

• 问题（Question）

问题用于表达具体查询的问题，问题个数与报文首部中的 **问题数（Question Count）**字段一致。需要注意的是，按照 DNS 查询的目的，DNS 解析可以分为 正向解析 和 反向解析 两种，正向解析将域名解析为 IP 地址，而反向解析则恰恰相反，用于将 IP 地址解析域名。问题条目中 查询类型 是比较重要的字段，这里仅列出 5 个比较常用的类型：

NS 和 CNAME 不好理解，这里解释下：

CNAME（Canonical NAME） 是规范名称或别名，用于将一个域名指向另一个域名。具体方法是：将一个域名作为 A 记录 指向 IP 地址，而其他域名作为别名指向 A 记录的域名，此时如果需要更改 IP 地址，就不需要更改每个域名的映射了，只需要修改 A 记录 ，而 CNAME 记录将自动指向新的 IP 地址。在 第 1.4 节 DNS 解析实战 中你将直接看到 CNAME 的应用。

NS（Name Server） ：域名服务器记录，用来指定该域名由哪个 DNS 服务器来进行解析

• 资源记录（Resource Record）

回答资源记录、权威资源记录和附加资源记录的格式相同，其中 TTL（Time to Live，单位秒） 表示资源记录的生存时间，也就是允许缓存的时间。0 表示该记录只能用于当前响应，不允许被缓存。

1.4 DNS 报文的传输协议

DNS 协议在传输层同时使用 TCP 和 UDP 协议，占用的是 53 端口，那么在什么情况下使用这两种协议？

• 在区域传输时使用 TCP 协议

主辅域名服务器在进行区域传送时（主辅域名服务器用于平衡负载），需要传送的数据比简单的查询 & 应答报文的数据量要大得多了。使用 UDP 传输不可靠，所以采用应用于传输大量数据，可靠性更高的 TCP 协议。

• 在域名解析时使用 UDP 协议

为了得到一个域名的 IP 地址，往往会向多个域名服务器查询，如果使用 TCP 协议，那么每次请求都会存在三次握手连接时延，这样使 DNS 服务变得很慢。

需要注意的是，DNS 协议规定 UDP 报文段的最大长度为 512 字节，如果 DNS 报文段过长时会被截断（此时 DNS 报文头中标志位 TC（Truncation）置为 1），多余的数据会直接丢弃。这是因为 UDP 是无连接的，无法确定哪几个 UDP 包是属于同一个 DNS 报文段的。

1.5 DNS 解析实战

计算机网络是在实践中发展起来的学科，仅停留在学习理论知识的层面是不够的，下面我们将在实践中学习 DNS 解析。在这里，我们是用 WireShark 抓取查询www.baidu.com的 DNS 请求，具体步骤如下：

• 步骤一：设置 WireShark 过滤条件

在过滤条件栏输入条件：icmp || dns，如下图：

• 步骤二：终端 ping www.baidu.com

在终端输入ping www.baidu.com，如下图：

• 步骤三：查看 DNS 查询 & 应答报文

返回 WireShark，查看抓取的消息，可以看到两条 DNS 报文消息，一条为查询报文，另一条为应答报文，如下图：

现在我们具体查看这两条 DNS 报文消息，有了上一节的铺垫，相信阅读这两段报文已经很简单了。先看 DNS 协议的报文段部分，下层协议的报文段后面讲：

• 查询报文：

在这个报文里提出了一个问题，即：查询 www.baidu.com 的 IPv4 地址（A 记录），标记位指出以下信息：这是一个查询报文；这是一次正向解析；报文未截断；要求服务器执行递归查询；

• 应答报文：

• 传输层 & 网络层：

从图中还验证了 DNS 在进行域名解析时使用 UDP 协议，端口号为 53，与上一小节的分析一致。另外，还可以看出 IP 包的第一跳是发送给局域网路由器，而不是直接发送给 local DNS 服务器，这也合理。

1.6 DNS 缓存

一次完整的 DNS 查询过程需要访问多台 DNS 服务器才能得到最终的结果，这肯定会带来一定的时延。为了改善时延，DNS 服务并不是每次请求都要去访问 DNS 服务器，而是访问过一次后将 DNS 记录缓存在本地。具体来说，DNS 服务是一个多级的缓存：

浏览器缓存 -> 操作系统缓存 -> 路由器缓存 -> local DNS 缓存 -> DNS 查询

缓存并不是永久有效的，前面提到过 DNS 应答报文中的 TTL（Time to Live）值，它决定了 DNS 记录在缓存中的有效时间。需要注意的是，TTL 只是一个参考值，实际使用的缓存有效时间不一定等于该值，甚至是固定值。这也引发 DNS 缓存也存在一些“副作用”，我后文再说。

2. DNS 存在的问题

经过上一节的 DNS 理论知识学习和实践探索，相信大家对 DNS 已经建立起了一定的认识。那么，DNS 是一个完备的服务吗，在实践中它有存在什么问题呢？这一节我们来讨论这个问题。

2.1 DNS 查询时延

从第一节的分析可以看出，一次完整的 DNS 查询过程需要访问多台 DNS 服务器才能得到最终的结果，这肯定会带来一定的时延。从实践来看，这个时间还不容小觑。

提示： 有赞技术团队指出，DNS 解析时延的波动较大，好的情况几毫秒、十几毫秒就完成了，差的时候，可能需要花很多时间：《有赞webview加速平台探索与建设》

—— 有赞移动组

2.2 缓存一致性

DNS 缓存的存在虽然减少了时延，却是以牺牲一致性（consistency）为代价的。具体来说：Local DNS 是分地区、分运营商的，在域名解析缓存的处理上，实现策略就不统一了。有时候 Local DNS 的解析结果 可能不是最近、最优的节点，有的时候并不会遵从 TTL 的限制，而是设置一个固定时间。这就会导致域名指向新的 IP 地址后，一些客户端依然访问了缓存中 旧的 IP 地址。

除了运营商的缓存策略外，缓存投毒也是降低 DNS 可用性的原因。攻击者可以通过 DNS 劫持，利用 DNS 的缓存机制不对应答数据做检查的漏洞，诱骗 DNS 服务器缓存较大 TTL 的虚假 DNS 记录，从而长期欺骗客户端。

2.3 DNS 劫持（中间人攻击）

由于 DNS 缺乏 加密、认证、完整性保护的安全机制，容易引发网络完全问题。最常见的域名劫持攻击是针对 DNS 报文首部的 事务 ID 进行欺骗，由于事务 ID 在查询报文和应答报文中是匹配的，因此伪装 DNS 服务器可以提前将事务 ID 相同的伪造报文发送到客户端，以实现域名劫持（前提是合法的报文还未到达），把目标网站域名解析到错误的 IP 地址。

提示： 获取事务 ID 的方法主要采用 网络监听与序列号猜测，具体可翻阅《计算机网路安全原理》 （第 8 章）—— 吴礼发 著

2.4 调度不精准问题

由于存在缓存、转发、NAT 等问题，权威的 DNS 服务器可能会误判客户端所在的位置和运营商，从而导致解析出跨运营商访问的 IP 地址，用户的访问速度降低。

3. HTTPDNS 原理

虽然 DNS 存在不少问题，但也不能因噎废食放弃整套域名系统，解决方案无非是不走寻常路，换一种方式获取 IP 地址 —— HTTPDNS。

3.1 HTTPDNS 简介

与传统的 DNS 解析不同，HTTPDNS 是自己搭建基于 HTTP 协议的服务器，当客户端需要 DNS 解析的时候，不再向 local 发送 DNS 查询报文，而是直接通过请求直接访问 HTTPDNS 接口。而服务端则根据客户端的位置和所属运营商，返回就近的 IP 地址。

当然了，基于容灾考虑，当出现 HTTPDNS 不可用时会触发降级策略，使用运营商 LocalDNS 进行域名解析。

3.2 HTTPDNS 优势

相对与 DNS，HTTPDNS 的主要优点如下：

• 降低时延缩短了查询链路，不像 DNS 查询那样需要访问多台 DNS 服务器才能得到最终的结果；
  
• 域名防劫持域名解析请求直接发送至HTTPDNS服务器，绕过运营商 Local DNS，避免域名劫持问题；
  
• 调度精准由于 DNS 服务器端获取的是真实客户端 IP 而非 Local DNS 的 IP，能够精确基于客户端位置、运营商信息，获得最精准的解析结果，让客户端就近接入业务节点
  
• 快速生效域名解析结果变更时，HTTPDNS 服务没有传统DNS 服务多级缓存的影响，域名更新能够更快地覆盖到全量客户端。

3.3 HTTPDNS 正向效益

目前，腾讯、阿里和百度都有自己的 HTTPDNS 解决方案，笔者收集了他们公示的使用效益，具体如下：

• 腾讯

• 官方文档 ：覆盖超4亿+用户，减少了超过60%的由于域名劫持导致的用户访问失败，减少了22%的用户平均延迟；
• 官方博客：用户平均访问延迟下降超过10%，访问失败率下降了超过五分之一；

• 百度

• 官方博客：iOS劫持率由0.12%降低到0.0002%，Android劫持率由0.25%降低到0.05%，第二点的收益不明显，原因在于Feed业务主要目标群体在国内，百度在国内节点布局相对丰富，服务整体质量也较高；

• 阿里 未查及...
  

4. 总结

应试方面，建议重点掌握四层 DNS 解析过程 & HTTPDNS 原理、理解知晓 DNS 存在的问题、DNS 报文格式重点理解 TTL、几种查询类型。