初始网络原理

本文涉及的产品
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
数据传输服务 DTS,同步至 ClickHouse 1个月
简介: 了解IP,端口,协议,协议分层,封装分用等知识

 目录

网络发展史

独立模式

网络互连

局域网LAN

广域网WAN

网络通信基础

IP地址

端口号

认识协议

五元组

协议分层

OSI七层模型

TCP/IP五层(或四层)

网络设备所在分层

封装和分用


网络发展史


独立模式

独立模式:计算机之间相互独立;

网络互连

随着时代的发展,越来越需要计算机之间互相通信,共享软件和数据,即以多个计算机协同工作来完成业务,就有了网络互连。

网络互连:将多台计算机连接在一起,完成数据共享。

数据共享本质是网络数据传输,即计算机之间通过网络来传输数据,也称为网络通信

根据网络互连的规模不同,可以划分为局域网和广域网。

局域网LAN

局域网,即 Local Area Network,简称LAN。

Local 即标识了局域网是本地,局部组建的一种私有网络。

局域网内的主机之间能方便的进行网络通信,又称为内网;局域网和局域网之间在没有连接的情况下,是无法通信的。

局域网组建网络的方式有很多种:

1)基于网线直连

image.gif编辑

2)基于集线器组建

只能单一线路分发。

集线器是一种网络设备。

image.gif编辑

3)基于交换机组建

image.gif编辑

4)基于交换机和路由器组建

image.gif编辑

广域网WAN

广域网,即 Wide Area Network,简称WAN。

通过路由器,将多个局域网连接起来,在物理上组成很大范围的网络,就形成了广域网。广域网内部的局域网都属于其子网。

image.gif编辑

如果有北、中、南等分公司,甚至海外分公司,把这些分公司以专线方式连接起来,即称为“广域网”。

如果属于全球化的公共型广域网,则称为互联网(又称公网,外网),属于广域网的一个子集。

有时在不严格的环境下说的广域网,其实是指互联网。

所谓 "局域网" 和 "广域网" 只是一个相对的概念。比如,我们有 "天朝特色" 的广域网,也可以看做一个比较大的局域网。

网络通信基础


网络互连的目的是进行网络通信,也即是网络数据传输,更具体一点,是网络主机中的不同进程间,基于网络传输数据。

那么,在组建的网络中,如何判断到底是从哪台主机,将数据传输到那台主机呢?这就需要使用IP地址来标识。

IP地址

概念

IP地址主要用于标识网络主机、其他网络设备(如路由器)的网络地址。简单说,IP地址用于定位主机的网络地址

就像我们发送快递一样,需要知道对方的收货地址,快递员才能将包裹送到目的地。

格式

IP地址是一个32位的二进制数,通常被分割为4个“8位二进制数”(也就是4个字节),如:01100100.00000100.00000101.00000110。

通常用“点分十进制”的方式来表示,即 a.b.c.d 的形式(a,b,c,d都是0~255之间的十进制整数)。如:100.4.5.6。

特殊IP

127.*的IP地址用于本机环回(loop back)测试,通常是127.0.0.1

本机环回主要用于本机到本机的网络通信(系统内部为了性能,不会走网络的方式传输),对于开发网络通信的程序(即网络编程)而言,常见的开发方式都是本机到本机的网络通信。

补充

    1. A类网段:10.0.0.1 - 10.255.255.254
    2. B类网段:172.16.0.1 - 172.31.255.254
    3. C类网段:192.168.0.1 - 192.168.255.254

    内网IP在当前内网中不能重复,但是在不同的内网中可以重复。

    公网IP在整个互联网不能重复。

    以目前IPv4协议,IP地址总共有42亿个。

    IPv4的IP地址个数不太够用,现在国内大力在推IPv6。

    端口号

    概念

    在网络通信中,IP地址用于标识主机网络地址,端口号可以标识主机中发送数据、接收数据的进程。简单说:端口号用于定位主机中的进程

    类似发送快递时,不光需要指定收货地址(IP地址),还需要指定收货人(端口号)。

    格式

    端口号是0~65535范围的数字,在网络通信中,进程可以通过绑定一个端口号,来发送及接收网络数据。

    注意事项

    两个不同的进程,不能绑定同一个端口号,但一个进程可以绑定多个端口号。

    认识协议

    概念

    协议,网络协议的简称,网络协议是网络通信(即网络数据传输)经过的所有网络设备都必须共同遵从的一组约定、规则。如怎么样建立连接、怎么样互相识别等。只有遵守这个约定,计算机之间才能相互通信交流。通常由三要素组成:

    1. 语法:即数据与控制信息的结构或格式;

    类似打电话时,双方要使用同样的语言:普通话

    2. 语义:即需要发出何种控制信息,完成何种动作以及做出何种响应;

    语义主要用来说明通信双方应当怎么做。用于协调与差错处理的控制信息。 类似打电话时,说话的内容。一方道:你瞅啥?另一方就得有对应的响应:瞅你咋的!

    3. 时序,即事件实现顺序的详细说明。

    时序定义了何时进行通信,先讲什么,后讲什么,讲话的速度等。比如是采用同步传输还是 异步传输。 女生和男生的通话,总是由男生主动发起通话,而总是在男生恋恋不舍的时候,由女生要求 结束通话。

    协议(protocol)最终体现为在网络上传输的数据包的格式

    作用

    为什么需要协议?

    就好比见网友,彼此协商胸口插支玫瑰花见面,这就是一种提前的约定,也可以称之为协议。

    计算机之间的传输媒介是光信号和电信号。通过 "频率" 和 "强弱" 来表示 0 和 1 这样的信息。要想传递 各种不同的信息,就需要约定好双方的数据格式。

      • 计算机生产厂商有很多;
      • 计算机操作系统,也有很多;
      • 计算机网络硬件设备,还是有很多;
      • 如何让这些不同厂商之间生产的计算机能够相互顺畅的通信? 就需要有人站出来,约定一个 共同的标准,大家都来遵守,这就是网络协议

      知名协议的默认端口

      系统端口号范围为 0 ~ 65535,其中:0 ~ 1023 为知名端口号,这些端口预留给服务端程序绑定广泛使 用的应用层协议,如:

        • 22端口:预留给SSH服务器绑定SSH协议
        • 21端口:预留给FTP服务器绑定FTP协议
        • 23端口:预留给Telnet服务器绑定Telnet协议
        • 80端口:预留给HTTP服务器绑定HTTP协议
        • 443端口:预留给HTTPS服务器绑定HTTPS协议

        需要补充的是:

        以上只是说明 0 ~ 1023 范围的知名端口号用于绑定知名协议,但某个服务器也可以使用其他 1024 ~ 65535 范围内的端口来绑定知名协议。

        例:餐厅的VIP包房是给会员使用,但会员也可以不坐包房,坐其他普通座位。

        五元组

        在TCP/IP协议中,用五元组来标识一个网络通信:

          1. 源IP:标识源主机
          2. 源端口号:标识源主机中该次通信发送数据的进程
          3. 目的IP:标识目的主机
          4. 目的端口号:标识目的主机中该次通信接收数据的进程
          5. 协议号:标识发送进程和接收进程双方约定的数据格式

          五元组在网络通信中的作用,类似于发送快递:

          image.gif编辑

          可以在cmd中,输入 netstat -ano 查看网络数据传输中的五元组信息:

          image.gif编辑

          如果需要过滤(一般是通过端口号或进程PID过滤),可以使用 netstat -ano | findstr 过滤字符串

          协议分层

          对于网络协议来说,往往分成几个层次进行定义。

          什么是协议分层

          协议分层类似于打电话时,定义不同的层次的协议:

          image.gif编辑

          分层的作用

          为什么需要网络协议的分层?

          分层最大的好处,类似于面向接口编程:定义好两层间的接口规范,让双方遵循这个规范来对接。

          在代码中,类似于定义好一个接口,一方为接口的实现类(提供方,提供服务),一方为接口的使用类 (使用方,使用服务):

            • 对于使用方来说,并不关心提供方是如何实现的,只需要使用接口即可
            • 对于提供方来说,利用封装的特性,隐藏了实现的细节,只需要开放接口即可。

            这样能更好的扩展和维护,如下图:

            image.gif编辑

            OSI七层模型

            OSI:即Open System Interconnection,开放系统互连

              • OSI 七层网络模型是一个逻辑上的定义和规范:把网络从逻辑上分为了7层。
              • OSI 七层模型是一种框架性的设计方法,其最主要的功能使就是帮助不同类型的主机实现数据传 输;
              • 它的最大优点是将服务接口协议这三个概念明确地区分开来,概念清楚,理论也比较完整。通 过七个层次化的结构模型使不同的系统不同的网络之间实现可靠的通讯。

              OSI 七层模型划分为以下七层:

              image.gif编辑

              image.gif编辑

              OSI 七层模型既复杂又不实用:所以 OSI 七层模型没有落地、实现。

              实际组建网络时,只是以 OSI 七层模型设计中的部分分层,也即是以下 TCP/IP 五层(或四层)模型来 实现。

              TCP/IP五层(或四层)

              模型 TCP/IP是一组协议的代名词,它还包括许多协议,组成了TCP/IP协议簇。

              TCP/IP通讯协议采用了5层的层级结构,每一层都呼叫它的下一层所提供的网络来完成自己的需求。

                • 应用层:负责应用程序间沟通,如简单电子邮件传输(SMTP)、文件传输协议(FTP)、网络远 程访问协议(Telnet)等。我们的网络编程主要就是针对应用层。
                • 传输层:负责两台主机之间的数据传输。如传输控制协议 (TCP),能够确保数据可靠的从源主机发 送到目标主机。
                • 网络层:负责地址管理和路由选择。例如在IP协议中,通过IP地址来标识一台主机,并通过路由表 的方式规划出两台主机之间的数据传输的线路(路由)。路由器(Router)工作在网路层。 数
                • 链路层:负责设备之间的数据帧的传送和识别。例如网卡设备的驱动、帧同步(就是说从网线 上检测到什么信号算作新帧的开始)、冲突检测(如果检测到冲突就自动重发)、数据差错校验等工 作。有以太网、令牌环网,无线LAN等标准。交换机(Switch)工作在数据链路层。
                • 物理层:负责光/电信号的传递方式。比如现在以太网通用的网线(双绞 线)、早期以太网采用的的 同轴电缆(现在主要用于有线电视)、光纤,现在的wifi无线网使用电磁波等都属于物理层的概念。 物理层的能力决定了最大传输速率、传输距离、抗干扰性等。集线器(Hub)工作在物理层。

                image.gif编辑

                物理层我们考虑的比较少。因此很多时候也可以称为 TCP/IP四层模型。

                网络设备所在分层

                  • 对于一台主机,它的操作系统内核实现了从传输层到物理层的内容,也即是TCP/IP五层模型的下 四层;
                  • 对于一台路由器,它实现了从网络层到物理层,也即是TCP/IP五层模型的下三层;
                  • 对于一台交换机,它实现了从数据链路层到物理层,也即是TCP/IP五层模型的下两层;
                  • 对于集线器,它只实现了物理层;

                  注意我们这里说的是传统意义上的交换机和路由器,也称为二层交换机(工作在TCP/IP五层模型的下两层)、三层路由器(工作在TCP/IP五层模型的下三层)。

                  封装和分用

                    • 不同的协议层对数据包有不同的称谓,在传输层叫做段(segment),在网络层叫做数据报 (datagram),在链路层叫做帧(frame)。
                    • 应用层数据通过协议栈发到网络上时,每层协议都要加上一个数据首部(header),称为封装 (Encapsulation)。
                    • 首部信息中包含了一些类似于首部有多长,载荷(payload)有多长,上层协议是什么等信息。
                    • 数据封装成帧后发到传输介质上,到达目的主机后每层协议再剥掉相应的首部,根据首部中 的 "上层协议字段" 将数据交给对应的上层协议处理。

                    下图为数据封装的过程:

                    image.gif编辑

                    下图为数据分用的过程:

                    image.gif编辑


                    相关实践学习
                    自建数据库迁移到云数据库
                    本场景将引导您将网站的自建数据库平滑迁移至云数据库RDS。通过使用RDS,您可以获得稳定、可靠和安全的企业级数据库服务,可以更加专注于发展核心业务,无需过多担心数据库的管理和维护。
                    Sqoop 企业级大数据迁移方案实战
                    Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。 本课程主要讲解了Sqoop的设计思想及原理、部署安装及配置、详细具体的使用方法技巧与实操案例、企业级任务管理等。结合日常工作实践,培养解决实际问题的能力。本课程由黑马程序员提供。
                    相关文章
                    |
                    21天前
                    |
                    安全 测试技术 虚拟化
                    VMware-三种网络模式原理
                    本文介绍了虚拟机三种常见网络模式(桥接模式、NAT模式、仅主机模式)的工作原理与适用场景。桥接模式让虚拟机如同独立设备接入局域网;NAT模式共享主机IP,适合大多数WiFi环境;仅主机模式则构建封闭的内部网络,适用于测试环境。内容简明易懂,便于理解不同模式的优缺点与应用场景。
                    158 0
                    |
                    6月前
                    |
                    机器学习/深度学习 存储 算法
                    NoProp:无需反向传播,基于去噪原理的非全局梯度传播神经网络训练,可大幅降低内存消耗
                    反向传播算法虽是深度学习基石,但面临内存消耗大和并行扩展受限的问题。近期,牛津大学等机构提出NoProp方法,通过扩散模型概念,将训练重塑为分层去噪任务,无需全局前向或反向传播。NoProp包含三种变体(DT、CT、FM),具备低内存占用与高效训练优势,在CIFAR-10等数据集上达到与传统方法相当的性能。其层间解耦特性支持分布式并行训练,为无梯度深度学习提供了新方向。
                    222 1
                    NoProp:无需反向传播,基于去噪原理的非全局梯度传播神经网络训练,可大幅降低内存消耗
                    |
                    19天前
                    |
                    机器学习/深度学习 人工智能 算法
                    卷积神经网络深度解析:从基础原理到实战应用的完整指南
                    蒋星熠Jaxonic带你深入卷积神经网络(CNN)核心技术,从生物启发到数学原理,详解ResNet、注意力机制与模型优化,探索视觉智能的演进之路。
                    239 11
                    |
                    1月前
                    |
                    机器学习/深度学习 算法 搜索推荐
                    从零开始构建图注意力网络:GAT算法原理与数值实现详解
                    本文详细解析了图注意力网络(GAT)的算法原理和实现过程。GAT通过引入注意力机制解决了图卷积网络(GCN)中所有邻居节点贡献相等的局限性,让模型能够自动学习不同邻居的重要性权重。
                    138 0
                    从零开始构建图注意力网络:GAT算法原理与数值实现详解
                    |
                    3月前
                    |
                    机器学习/深度学习 人工智能 PyTorch
                    零基础入门CNN:聚AI卷积神经网络核心原理与工业级实战指南
                    卷积神经网络(CNN)通过局部感知和权值共享两大特性,成为计算机视觉的核心技术。本文详解CNN的卷积操作、架构设计、超参数调优及感受野计算,结合代码示例展示其在图像分类、目标检测等领域的应用价值。
                    184 7
                    |
                    5月前
                    |
                    监控 应用服务中间件 Linux
                    掌握并发模型:深度揭露网络IO复用并发模型的原理。
                    总结,网络 I/O 复用并发模型通过实现非阻塞 I/O、引入 I/O 复用技术如 select、poll 和 epoll,以及采用 Reactor 模式等技巧,为多任务并发提供了有效的解决方案。这样的模型有效提高了系统资源利用率,以及保证了并发任务的高效执行。在现实中,这种模型在许多网络应用程序和分布式系统中都取得了很好的应用成果。
                    136 35
                    |
                    5月前
                    |
                    机器学习/深度学习 算法 测试技术
                    图神经网络在信息检索重排序中的应用:原理、架构与Python代码解析
                    本文探讨了基于图的重排序方法在信息检索领域的应用与前景。传统两阶段检索架构中,初始检索速度快但结果可能含噪声,重排序阶段通过强大语言模型提升精度,但仍面临复杂需求挑战
                    141 0
                    图神经网络在信息检索重排序中的应用:原理、架构与Python代码解析
                    |
                    4月前
                    |
                    安全 Java 程序员
                    分析Muduo网络库源码中的TcpServer组件工作原理
                    简言之,TcpServer 在 Muduo 中的角色,就是一位终极交通指挥员,它利用现代计算机网络的魔法,确保数据如同车辆一般,在信息高速公路上自由、安全、高效地流动。
                    46 0
                    |
                    7月前
                    |
                    机器学习/深度学习 数据可视化 PyTorch
                    深入解析图神经网络注意力机制:数学原理与可视化实现
                    本文深入解析了图神经网络(GNNs)中自注意力机制的内部运作原理,通过可视化和数学推导揭示其工作机制。文章采用“位置-转移图”概念框架,并使用NumPy实现代码示例,逐步拆解自注意力层的计算过程。文中详细展示了从节点特征矩阵、邻接矩阵到生成注意力权重的具体步骤,并通过四个类(GAL1至GAL4)模拟了整个计算流程。最终,结合实际PyTorch Geometric库中的代码,对比分析了核心逻辑,为理解GNN自注意力机制提供了清晰的学习路径。
                    495 7
                    深入解析图神经网络注意力机制:数学原理与可视化实现
                    |
                    8月前
                    |
                    网络协议 安全 网络安全
                    应用程序中的网络协议:原理、应用与挑战
                    网络协议是应用程序实现流畅运行和安全通信的基石。了解不同协议的特点和应用场景,以及它们面临的挑战和应对策略,对于开发者和用户都具有重要意义。在未来,随着技术的不断发展,网络协议也将不断优化和创新,为数字世界的发展提供更强大的支持。
                    232 1