计算机网络 | 图解 DNS & HTTPDNS 原理

本文涉及的产品
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
全局流量管理 GTM,标准版 1个月
简介: 计算机网络 | 图解 DNS & HTTPDNS 原理

前言


  • DNS 往往是网络请求的第一步,在计算机网络面试中,DNS 也是除 HTTP、TCP 之外较重点考察的知识,其重要性可想而知。
  • 在这篇文章里,我将梳理图解 DNS & HTTPDNS 的原理知识。如果能帮上忙,请务必点赞加关注,这真的对我非常重要。


系列文章



相关文章



目录

image.png

1. DNS 原理


1.1 DNS 简介


域名(Domain Name,Domain) 是一个在互联网上标识主机或主机组的名称,相当于 IP 地址的别名,相对于晦涩难记的 IP 地址,域名更显得易于记忆。


域名系统(Domain Name System,DNS) 则是将域名解析 IP 地址的一项互联网基础服务,提供该服务的服务器称为 域名服务器(Domain Name Server)


1.2 DNS 解析过程


互联网上的域名系统是一个分布式的系统,结构上是一个四层的树状层次结构,如下图所示:

image.png


  • 本地域名服务器(Local Name Server,local DNS):如果通过 DHCP 配置,local DNS 由互联网服务提供商(ISP,如联通、电信)提供;
  • 根域名服务器(Root Name Server):当 local DNS 查询不到解析结果时,第一步会向它进行查询,并获取顶级域名服务器的IP地址。全球一共有 13 个根域名服务器(除了它们的镜像),它们并不直接用于域名解析,仅用于指出可查询的顶级域名服务器。这个网站记录了现有的 13 个根域名服务器:www.internic.net/domain/name…
  • 顶级域名服务器(Top-level Name Server):负责管理在该顶级域名服务器下注册的二级域名,例如**.com 顶级域名服务器**,而 baidu.com 权威服务器是注册在 .com 的权威域名服务器;
  • 权威域名服务器(Authoritative Name Server):在特定区域内具有唯一性,负责维护该区域内的域名与 IP 地址的映射关系。在 DNS 应答报文中,标志位 AA 标识本次 DNS 记录是否来自权威域名服务器,否则可能来自缓存。


DNS 解析分为 递归查询迭代查询 两种方式。其中,客户端与 Local DNS 之间一般采用递归查询,而 DNS 服务器之间一般采用迭代查询。


**提示:**如果 DNS 服务器之间使用递归查询,对根域名服务器的负担就太重了,而如果客户端与本地域名服务器之间使用迭代查询,DNS 服务对于客户端就显得不透明了。


  • 递归查询:


所谓递归查询,与我们经常提及的递归函数的思想是一致的,即:**如果 DNS 服务器查不到该域名,那么它将重新以客户端的身份向其他 DNS 服务器发送查询请求报文,客户端只要等待最终结果即可。**用伪代码呈现可能比较好理解,类似这样:


fun dns(client: String, server: String, domain: String): String {
    if (server 查询 domain 成功) {
        return "ip"
    }
    // server 以客户端身份递归查询
    return dns(server, "其他 DNS 服务器", domain)
}
复制代码
  • 迭代查询:


所谓迭代查询,即:**如果 DNS 服务器查不到该域名,它不会替客户端完成后续的查询工作,而是回复下一步应当向哪一个域名服务器进行查询,随后客户端重新向这个新的 DNS 服务器发送查询请求。**用伪代码呈现可能比较好理解,类似这样:


fun dns(client: String, server: String, domain: String): String {
    while (true) {
        if (server 查询 domain 成功) {
            return "ip"
        } else {
            // client 继续以客户端身份迭代查询
            server = "其他 DNS 服务器"
        }
    }
}
复制代码


下面以查询www.baidu.com为例,阐述一次 DNS 解析过程:


  • 0、首先检查 DNS 缓存,下一节我们会讲,如果缓存老化或未命中,客户端需要向 local DNS 发送查询请求报文
  • 1、客户端local DNS 发送查询报文 query www.baidu.comlocal DNS 首先检查自身缓存,如果存在记录则直接返回结果,查询结束;如果缓存老化或未命中,则:
  • 2、local DNS根域名服务器发送查询报文 query www.baidu.com,返回 .com 顶级域名服务器的地址(如果查无记录)
  • 3、local DNS.com 顶级域名服务器发送查询报文 query www.baidu.com,返回baidu.com所在的权威域名服务器的地址(如果查无记录)
  • 4、local DNSbaidu.com 权威域名服务器发送查询报文 query www.baidu.com,得到 ip 地址,存入自身缓存并返回给客户端

image.png

1.3 DNS 报文


由于下一节我们将实战抓取 DNS 包,所以这一节我们先介绍 DNS 报文格式。DNS 协议定义了三种报文,查询报文 & 应答报文 & 更新报文,它们的总体上结构是一致的。

image.png

  • 报文首部(Header)


  • 1、事务 ID(Transaction ID):用来关联 DNS 查询与应答,DNS客户端每次发送查询请求都会使用不同的 ID,而服务器在响应中重复这个 ID
  • 2、标志(Flags):报文的标志字段,详见下图
  • 3、问题数(Question Count):指定问题部分条目数
  • 4、回答资源记录数(Answer Resource Record count):指定应答部分中回答资源条目数
  • 5、权威资源记录数(Authority Resource Record count):指定权威资源记录数
  • 6、附加资源记录数(Additional Resource Record count):指定附加资源记录数

image.png

  • 问题(Question)


问题用于表达具体查询的问题,问题个数与报文首部中的 **问题数(Question Count)**字段一致。需要注意的是,按照 DNS 查询的目的,DNS 解析可以分为 正向解析反向解析 两种,正向解析将域名解析为 IP 地址,而反向解析则恰恰相反,用于将 IP 地址解析域名。问题条目中 查询类型 是比较重要的字段,这里仅列出 5 个比较常用的类型:


QTYPE 描述
A(1) 将域名解析为 IPv4 地址
NS(2) 查询域名服务
CNAME(5) 规范名称
PTR(12) IP 地址解析为域名
AAAA(28) 将域名解析为 IPv6 地址


image.png

NSCNAME 不好理解,这里解释下:


CNAME(Canonical NAME) 是规范名称或别名,用于将一个域名指向另一个域名。具体方法是:将一个域名作为 A 记录 指向 IP 地址,而其他域名作为别名指向 A 记录的域名,此时如果需要更改 IP 地址,就不需要更改每个域名的映射了,只需要修改 A 记录 ,而 CNAME 记录将自动指向新的 IP 地址。在 第 1.4 节 DNS 解析实战 中你将直接看到 CNAME 的应用。


image.png

NS(Name Server) :域名服务器记录,用来指定该域名由哪个 DNS 服务器来进行解析


  • 资源记录(Resource Record)

回答资源记录、权威资源记录和附加资源记录的格式相同,其中 TTL(Time to Live,单位秒) 表示资源记录的生存时间,也就是允许缓存的时间。0 表示该记录只能用于当前响应,不允许被缓存。


image.png

1.4 DNS 报文的传输协议


DNS 协议在传输层同时使用 TCP 和 UDP 协议,占用的是 53 端口,那么在什么情况下使用这两种协议?


  • 在区域传输时使用 TCP 协议

主辅域名服务器在进行区域传送时(主辅域名服务器用于平衡负载),需要传送的数据比简单的查询 & 应答报文的数据量要大得多了。使用 UDP 传输不可靠,所以采用应用于传输大量数据,可靠性更高的 TCP 协议。

  • 在域名解析时使用 UDP 协议

为了得到一个域名的 IP 地址,往往会向多个域名服务器查询,如果使用 TCP 协议,那么每次请求都会存在三次握手连接时延,这样使 DNS 服务变得很慢。

需要注意的是,DNS 协议规定 UDP 报文段的最大长度为 512 字节,如果 DNS 报文段过长时会被截断(此时 DNS 报文头中标志位 TC(Truncation)置为 1),多余的数据会直接丢弃。这是因为 UDP 是无连接的,无法确定哪几个 UDP 包是属于同一个 DNS 报文段的。


1.5 DNS 解析实战


计算机网络是在实践中发展起来的学科,仅停留在学习理论知识的层面是不够的,下面我们将在实践中学习 DNS 解析。在这里,我们是用 WireShark 抓取查询www.baidu.com的 DNS 请求,具体步骤如下:


  • 步骤一:设置 WireShark 过滤条件


在过滤条件栏输入条件:icmp || dns,如下图:

image.png


在终端输入ping www.baidu.com,如下图:


image.png

  • 步骤三:查看 DNS 查询 & 应答报文

返回 WireShark,查看抓取的消息,可以看到两条 DNS 报文消息,一条为查询报文,另一条为应答报文,如下图:

image.png

现在我们具体查看这两条 DNS 报文消息,有了上一节的铺垫,相信阅读这两段报文已经很简单了。先看 DNS 协议的报文段部分,下层协议的报文段后面讲:


  • 查询报文:

image.png

在这个报文里提出了一个问题,即:查询 www.baidu.com 的 IPv4 地址(A 记录),标记位指出以下信息:这是一个查询报文;这是一次正向解析;报文未截断;要求服务器执行递归查询;


  • 应答报文:

image.png


  • 传输层 & 网络层:

从图中还验证了 DNS 在进行域名解析时使用 UDP 协议,端口号为 53,与上一小节的分析一致。另外,还可以看出 IP 包的第一跳是发送给局域网路由器,而不是直接发送给 local DNS 服务器,这也合理。


1.6 DNS 缓存


一次完整的 DNS 查询过程需要访问多台 DNS 服务器才能得到最终的结果,这肯定会带来一定的时延。为了改善时延,DNS 服务并不是每次请求都要去访问 DNS 服务器,而是访问过一次后将 DNS 记录缓存在本地。具体来说,DNS 服务是一个多级的缓存:

浏览器缓存 -> 操作系统缓存 -> 路由器缓存 -> local DNS 缓存 -> DNS 查询

缓存并不是永久有效的,前面提到过 DNS 应答报文中的 TTL(Time to Live)值,它决定了 DNS 记录在缓存中的有效时间。需要注意的是,TTL 只是一个参考值,实际使用的缓存有效时间不一定等于该值,甚至是固定值。这也引发 DNS 缓存也存在一些“副作用”,我后文再说。


2. DNS 存在的问题


经过上一节的 DNS 理论知识学习和实践探索,相信大家对 DNS 已经建立起了一定的认识。那么,DNS 是一个完备的服务吗,在实践中它有存在什么问题呢?这一节我们来讨论这个问题。


2.1 DNS 查询时延


从第一节的分析可以看出,一次完整的 DNS 查询过程需要访问多台 DNS 服务器才能得到最终的结果,这肯定会带来一定的时延。从实践来看,这个时间还不容小觑。

提示: 有赞技术团队指出,DNS 解析时延的波动较大,好的情况几毫秒、十几毫秒就完成了,差的时候,可能需要花很多时间:《有赞webview加速平台探索与建设》

—— 有赞移动组


2.2 缓存一致性


DNS 缓存的存在虽然减少了时延,却是以牺牲一致性(consistency)为代价的。具体来说:Local DNS 是分地区、分运营商的,在域名解析缓存的处理上,实现策略就不统一了。有时候 Local DNS 的解析结果 可能不是最近、最优的节点,有的时候并不会遵从 TTL 的限制,而是设置一个固定时间。这就会导致域名指向新的 IP 地址后,一些客户端依然访问了缓存中 旧的 IP 地址。


除了运营商的缓存策略外,缓存投毒也是降低 DNS 可用性的原因。攻击者可以通过 DNS 劫持,利用 DNS 的缓存机制不对应答数据做检查的漏洞,诱骗 DNS 服务器缓存较大 TTL 的虚假 DNS 记录,从而长期欺骗客户端。


2.3 DNS 劫持(中间人攻击)


由于 DNS 缺乏 加密、认证、完整性保护的安全机制,容易引发网络完全问题。最常见的域名劫持攻击是针对 DNS 报文首部的 事务 ID 进行欺骗,由于事务 ID 在查询报文和应答报文中是匹配的,因此伪装 DNS 服务器可以提前将事务 ID 相同的伪造报文发送到客户端,以实现域名劫持(前提是合法的报文还未到达),把目标网站域名解析到错误的 IP 地址。


提示: 获取事务 ID 的方法主要采用 网络监听与序列号猜测,具体可翻阅《计算机网路安全原理》 (第 8 章)—— 吴礼发 著


2.4 调度不精准问题


由于存在缓存、转发、NAT 等问题,权威的 DNS 服务器可能会误判客户端所在的位置和运营商,从而导致解析出跨运营商访问的 IP 地址,用户的访问速度降低。


3. HTTPDNS 原理


虽然 DNS 存在不少问题,但也不能因噎废食放弃整套域名系统,解决方案无非是不走寻常路,换一种方式获取 IP 地址 —— HTTPDNS。


3.1 HTTPDNS 简介


与传统的 DNS 解析不同,HTTPDNS 是自己搭建基于 HTTP 协议的服务器,当客户端需要 DNS 解析的时候,不再向 local 发送 DNS 查询报文,而是直接通过请求直接访问 HTTPDNS 接口。而服务端则根据客户端的位置和所属运营商,返回就近的 IP 地址。

当然了,基于容灾考虑,当出现 HTTPDNS 不可用时会触发降级策略,使用运营商 LocalDNS 进行域名解析。

image.png

3.2 HTTPDNS 优势


相对与 DNS,HTTPDNS 的主要优点如下:


  • 降低时延缩短了查询链路,不像 DNS 查询那样需要访问多台 DNS 服务器才能得到最终的结果;
  • 域名防劫持域名解析请求直接发送至HTTPDNS服务器,绕过运营商 Local DNS,避免域名劫持问题;
  • 调度精准由于 DNS 服务器端获取的是真实客户端 IP 而非 Local DNS 的 IP,能够精确基于客户端位置、运营商信息,获得最精准的解析结果,让客户端就近接入业务节点
  • 快速生效域名解析结果变更时,HTTPDNS 服务没有传统DNS 服务多级缓存的影响,域名更新能够更快地覆盖到全量客户端。


3.3 HTTPDNS 正向效益


目前,腾讯、阿里和百度都有自己的 HTTPDNS 解决方案,笔者收集了他们公示的使用效益,具体如下:


  • 腾讯
  • 官方文档 :覆盖超4亿+用户,减少了超过60%的由于域名劫持导致的用户访问失败,减少了22%的用户平均延迟;
  • 官方博客:用户平均访问延迟下降超过10%,访问失败率下降了超过五分之一;
  • 百度
  • 官方博客:iOS劫持率由0.12%降低到0.0002%,Android劫持率由0.25%降低到0.05%,第二点的收益不明显,原因在于Feed业务主要目标群体在国内,百度在国内节点布局相对丰富,服务整体质量也较高;
  • 阿里 未查及...


4. 总结


应试方面,建议重点掌握四层 DNS 解析过程 & HTTPDNS 原理、理解知晓 DNS 存在的问题、DNS 报文格式重点理解 TTL、几种查询类型。

目录
相关文章
|
3天前
|
安全 虚拟化
在数字化时代,网络项目的重要性日益凸显。本文从前期准备、方案内容和注意事项三个方面,详细解析了如何撰写一个优质高效的网络项目实施方案,帮助企业和用户实现更好的体验和竞争力
在数字化时代,网络项目的重要性日益凸显。本文从前期准备、方案内容和注意事项三个方面,详细解析了如何撰写一个优质高效的网络项目实施方案,帮助企业和用户实现更好的体验和竞争力。通过具体案例,展示了方案的制定和实施过程,强调了目标明确、技术先进、计划周密、风险可控和预算合理的重要性。
15 5
|
5天前
|
SQL 安全 网络安全
网络安全的护城河:漏洞防御与加密技术的深度解析
【10月更文挑战第37天】在数字时代的浪潮中,网络安全成为守护个人隐私与企业资产的坚固堡垒。本文将深入探讨网络安全的两大核心要素——安全漏洞和加密技术,以及如何通过提升安全意识来强化这道防线。文章旨在揭示网络攻防战的复杂性,并引导读者构建更为稳固的安全体系。
16 1
|
14天前
|
SQL 安全 测试技术
网络安全的盾牌与剑——漏洞防御与加密技术解析
【10月更文挑战第28天】 在数字时代的浪潮中,网络空间安全成为我们不可忽视的战场。本文将深入探讨网络安全的核心问题,包括常见的网络安全漏洞、先进的加密技术以及提升个人和组织的安全意识。通过实际案例分析和代码示例,我们将揭示黑客如何利用漏洞进行攻击,展示如何使用加密技术保护数据,并强调培养网络安全意识的重要性。让我们一同揭开网络安全的神秘面纱,为打造更加坚固的数字防线做好准备。
34 3
RS-485网络中的标准端接与交流电端接应用解析
RS-485,作为一种广泛应用的差分信号传输标准,因其传输距离远、抗干扰能力强、支持多点通讯等优点,在工业自动化、智能建筑、交通运输等领域得到了广泛应用。在构建RS-485网络时,端接技术扮演着至关重要的角色,它直接影响到网络的信号完整性、稳定性和通信质量。
|
3天前
|
网络协议 网络安全 网络虚拟化
本文介绍了十个重要的网络技术术语,包括IP地址、子网掩码、域名系统(DNS)、防火墙、虚拟专用网络(VPN)、路由器、交换机、超文本传输协议(HTTP)、传输控制协议/网际协议(TCP/IP)和云计算
本文介绍了十个重要的网络技术术语,包括IP地址、子网掩码、域名系统(DNS)、防火墙、虚拟专用网络(VPN)、路由器、交换机、超文本传输协议(HTTP)、传输控制协议/网际协议(TCP/IP)和云计算。通过这些术语的详细解释,帮助读者更好地理解和应用网络技术,应对数字化时代的挑战和机遇。
22 3
|
3天前
|
存储 网络协议 安全
30 道初级网络工程师面试题,涵盖 OSI 模型、TCP/IP 协议栈、IP 地址、子网掩码、VLAN、STP、DHCP、DNS、防火墙、NAT、VPN 等基础知识和技术,帮助小白们充分准备面试,顺利踏入职场
本文精选了 30 道初级网络工程师面试题,涵盖 OSI 模型、TCP/IP 协议栈、IP 地址、子网掩码、VLAN、STP、DHCP、DNS、防火墙、NAT、VPN 等基础知识和技术,帮助小白们充分准备面试,顺利踏入职场。
13 2
|
22天前
|
存储 安全 网络安全
网络安全的屏障与钥匙:漏洞防御与加密技术深度解析
【10月更文挑战第20天】在数字世界的迷宫中,网络安全是守护我们数据宝藏的坚固盾牌和锋利钥匙。本篇文章将带您穿梭于网络的缝隙之间,揭示那些潜藏的脆弱点—网络安全漏洞,同时探索如何通过现代加密技术加固我们的数字堡垒。从基本概念到实战策略,我们将一同揭开网络安全的神秘面纱,提升您的安全意识,保护个人信息不受侵犯。
51 25
|
6天前
|
运维 物联网 网络虚拟化
网络功能虚拟化(NFV):定义、原理及应用前景
网络功能虚拟化(NFV):定义、原理及应用前景
21 3
|
17天前
|
边缘计算 自动驾驶 5G
|
11天前
|
SQL 安全 算法
网络安全的屏障与钥匙:漏洞防护与加密技术解析
【10月更文挑战第31天】在数字世界的海洋中,网络安全是航船的坚固屏障,而信息安全则是守护宝藏的金钥匙。本文将深入探讨网络安全的薄弱环节——漏洞,以及如何通过加密技术加固这道屏障。从常见网络漏洞的类型到最新的加密算法,我们不仅提供理论知识,还将分享实用的安全实践技巧,帮助读者构建起一道更加坚不可摧的防线。
21 1

相关产品

  • 云解析DNS
  • 推荐镜像

    更多