[Python]网络编程基础(二)

简介: [Python]网络编程基础(二)

3. TCP 的特点

  1. 面向连接
  • 通信双方必须先建立好连接才能进行数据的传输,数据传输完成后,双方必须断开此连接,以释放系统资源。
  1. 可靠传输
  • TCP 采用发送应答机制
  • 发送数据,对方接收到后,对方操作系统底层会告诉发送方数据接收到了。
  • 超时重传
  • 发送数据后,如果对方的操作系统没有回复数据已经接收到了,会重新发送一次数据。
  • 错误校验
  • 接收的数据的顺序和发送的数据的顺序不一致,会自动进行调整 。
  • 流量控制和阻塞管理
  • 发送数据后,对方不能及时接收,对方会先将数据放在网卡缓存区(内存有上限)中,发送的数据将网卡的内存占满后就不能继续发送,除非接收方将缓存区中的数据接收完成,才能继续发送。

socket 的介绍

1. socket 的概念

socket (简称 套接字) 是进程之间通信一个工具,好比现实生活中的插座,所有的家用电器要想工作都是基于插座进行,进程之间想要进行网络通信需要基于这个 socket

socket 效果图:

2. socket 的作用

负责进程之间的网络数据传输,好比数据的搬运工。

3. socket 使用场景

跟网络相关的应用程序或者软件都使用到了 socket 。

TCP 网络应用程序开发流程

1. TCP 网络应用程序开发流程的介绍

TCP 网络应用程序开发分为:

(1)TCP 客户端程序开发

(2)TCP 服务端程序开发

说明:

客户端程序是指运行在用户设备上的程序

服务端程序是指运行在服务器设备上的程序,专门为客户端提供数据服务。

2. TCP 客户端程序开发流程的介绍

步骤说明:

(1)创建客户端套接字对象

(2)和服务端套接字建立连接

(3)发送数据

(4)接收数据

(5)关闭客户端套接字

3. TCP 服务端程序开发流程的介绍

步骤说明:

(1)创建服务端端套接字对象

(2)绑定端口号

(3)设置监听

(4)等待接受客户端的连接请求

(5)接收数据

(6)发送数据

(7)关闭套接字

TCP客户端程序开发

1 TCP 客户端程序开发步骤

  1. 创建客户端套接字对象
  2. 和服务端套接字建立连接
  3. 发送数据
  4. 接收数据
  5. 关闭客户端套接字

2 socket 类的介绍

导入 socket 模块

import socket

创建客户端 socket 对象

socket.socket(AddressFamily, Type)

参数说明:

(1)AddressFamily 表示IP地址类型, 分为IPv4和IPv6

(2)Type 表示传输协议类型

方法说明:

(1)connect((host, port)) 表示和服务端套接字建立连接, host是服务器ip地址,port是应用程序的端口号

(2)send(data) 表示发送数据,data是二进制数据

(3)recv(buffersize) 表示接收数据, buffersize是每次接收数据的长度

3 TCP 客户端程序开发示例代码

import socket
if __name__=='__main__':
    # 1. 创建客户端套接字对象
    # socket.AF_INET: ipv4 地址类型
    # socket.SOCK_STREAM: tcp 传输协议类型
    tcp_client_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    # 2. 和服务端套接字建立连接
    tcp_client_socket.connect(('127.0.0.1', 9090))
    # 3. 发送数据
    send_content = 'hello'
    # 字符串编码为二进制数据
    send_data = send_content.encode('gbk')
    # 发送数据
    tcp_client_socket.send(send_data)
    # 4. 接收数据
    # 1024: 每次接收的最大字节数
    recv_data = tcp_client_socket.recv(1024)
    # 对二进制数据进行解码
    recv_content = recv_data.decode('gbk')
    print(recv_content)
    # 5. 关闭客户端套接字
    tcp_client_socket.close()

TCP服务端程序开发

1 开发 TCP 服务端程序开发步骤回顾

  1. 创建服务端端套接字对象
  2. 绑定端口号
  3. 设置监听
  4. 等待接受客户端的连接请求
  5. 接收数据
  6. 发送数据
  7. 关闭套接字

2 socket 类的介绍

导入 socket 模块

import socket

创建服务端 socket 对象

socket.socket(AddressFamily, Type)

参数说明:

(1)AddressFamily 表示IP地址类型, 分为TPv4和IPv6

(2)Type 表示传输协议类型

方法说明:

(1)bind((host, port)) 表示绑定端口号, host 是 ip 地址,port 是端口号,ip 地址一般不指定,表示本机的任何一个ip地址都可以。

(2)listen (backlog) 表示设置监听,backlog参数表示最大等待建立连接的个数。

(3)accept() 表示等待接受客户端的连接请求

(4)send(data) 表示发送数据,data 是二进制数据

(5)recv(buffersize) 表示接收数据, buffersize 是每次接收数据的长度

3 TCP 服务端程序开发示例代码

import socket
if __name__=='__main__':
    # 1.创建tcp服务端套接字对象
    # socket.AF_INET: ipv4 地址类型
    # socket.SOCK_STREAM: tcp 传输协议类型
    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    # 2.绑定端口号
    # 第一个参数表示ip地址,一般不用指定,表示本机的任何一个ip即可
    # 第二个参数表示端口号
    tcp_server_socket.bind(('', 9090))
    # 3.设置监听
    # 128: 表示最大等待建立连接的个数
    tcp_server_socket.listen(128)
    # 4.等待接受客户端的连接请求
    # 代码会阻塞,直到有客户端建立连接
    # 建立连接后,返回一个元组类型的数据
    # 元组的第一个元素为新的套接字(用于客户端与服务端的通信),第二个元素为(ip地址,端口号)
    # tcp_server_socket 只用于与客户端建立连接,不用于与客户端之间收发信息
    new_client, ip_pork = tcp_server_socket.accept()
    print("客户端的ip地址和端口号:", ip_pork)
    # 5.接收数据
    # 收发信息使用新的套接字
    recv_data = new_client.recv(1024)
    # 二进制数据解码为字符串数据
    recv_content = recv_data.decode('gbk')
    print(recv_content)
    # 6.发送数据
    # 字符串数据编码为二进制数据
    new_client.send('server: hello, client!'.encode('gbk'))
    # 7.关闭套接字
    new_client.close()
    tcp_server_socket.close()

说明:

当客户端和服务端建立连接后,服务端程序退出后端口号不会立即释放,需要等待大概1-2分钟。

解决办法有两种:

  1. 更换服务端端口号
  2. 设置端口号复用(推荐大家使用),也就是说让服务端程序退出后端口号立即释放

设置端口号复用的代码如下:

# 参数1: socket.SOL_SOCKET 表示当前套接字
# 参数2: 设置端口号复用选项 socket.SO_REUSEADDR 表示复用端口号
# 参数3: True 确定复用
tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, True)
import socket
if __name__=='__main__':
    # 1.创建tcp服务端套接字对象
    # socket.AF_INET: ipv4 地址类型
    # socket.SOCK_STREAM: tcp 传输协议类型
    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    # 设置端口号复用
    tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, True)
    # 2.绑定端口号
    # 第一个参数表示ip地址,一般不用指定,表示本机的任何一个ip即可
    # 第二个参数表示端口号
    tcp_server_socket.bind(('', 9090))
    # 3.设置监听
    # 128: 表示最大等待建立连接的个数
    tcp_server_socket.listen(128)
    # 4.等待接受客户端的连接请求
    # 代码会阻塞,直到有客户端建立连接
    # 建立连接后,返回一个元组类型的数据
    # 元组的第一个元素为新的套接字(用于客户端与服务端的通信),第二个元素为(ip地址,端口号)
    # tcp_server_socket 只用于与客户端建立连接,不用于与客户端之间收发信息
    new_client, ip_pork = tcp_server_socket.accept()
    print("客户端的ip地址和端口号:", ip_pork)
    # 5.接收数据
    # 收发信息使用新的套接字
    recv_data = new_client.recv(1024)
    # 二进制数据解码为字符串数据
    recv_content = recv_data.decode('gbk')
    print(recv_content)
    # 6.发送数据
    # 字符串数据编码为二进制数据
    new_client.send('server: hello, client!'.encode('gbk'))
    # 7.关闭套接字
    new_client.close()
    tcp_server_socket.close()

TCP网络应用程序的注意点

  1. 当 TCP 客户端程序想要和 TCP 服务端程序进行通信的时候必须要先建立连接
  2. TCP 客户端程序一般不需要绑定端口号,因为客户端是主动发起建立连接的。没有绑定端口号,客户端的端口号每次都是随机生成的。
  3. TCP 服务端程序必须绑定端口号,否则客户端找不到这个 TCP 服务端程序。
  4. listen 的套接字是被动套接字(监听的套接字,等待连接的套接字),只负责接收新的客户端的连接请求,不能收发消息。
  5. 当 TCP 客户端程序和 TCP 服务端程序连接成功后, TCP 服务器端程序会产生一个新的套接字收发客户端消息使用该套接字
  6. 关闭 accept 返回的套接字意味着和这个客户端已经通信完毕
  7. 关闭 listen 的套接字意味着服务端的套接字关闭了,会导致新的客户端不能连接服务端,但是之前已经接成功的客户端还能正常通信。因为监听的套接字关闭后,新客户端不能建立连接进行通信,而之前建立连接后生成的通信套接字未关闭,所以可以继续通信。
  8. 客户端的套接字调用 close后,服务器端的 recv 会解阻塞返回的数据长度为0服务端可以通过返回数据的长度来判断客户端是否已经下线,反之服务端关闭套接字,客户端的 recv 也会解阻塞,返回的数据长度也为0。一方调用close,对方接收到的数据长度为0。

多任务版TCP服务端程序开发

1 具体实现步骤

  1. 编写一个TCP服务端程序,循环等待接受客户端的连接请求
  2. 当客户端和服务端建立连接成功,创建子线程,使用子线程专门处理客户端的请求,防止主线程阻塞
  3. 把创建的子线程设置成为守护主线程,防止主线程无法退出

2 循环等待接受客户端的连接请求

但是目前多个客户端连接服务端,服务端只能按顺序逐个处理与客户端的信息通讯。因为目前执行任务还是单线程。

while True:
     service_client_socket, ip_port = tcp_server_socket.accept()
import socket
if __name__ == '__main__':
    # 1.创建tcp服务端套接字对象
    # socket.AF_INET: ipv4 地址类型
    # socket.SOCK_STREAM: tcp 传输协议类型
    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    # 设置端口号复用
    # 参数1: socket.SOL_SOCKET 表示当前套接字
    # 参数2: 设置端口号复用选项 socket.SO_REUSEADDR 表示复用端口号
    # 参数3: True 确定复用
    tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, True)
    # 2.绑定端口号
    # 第一个参数表示ip地址,一般不用指定,表示本机的任何一个ip即可
    # 第二个参数表示端口号
    tcp_server_socket.bind(('', 9090))
    # 3.设置监听
    # 128: 表示最大等待建立连接的个数
    tcp_server_socket.listen(128)
    # 4.等待接受客户端的连接请求
    # 代码会阻塞,直到有客户端建立连接
    # 建立连接后,返回一个元组类型的数据
    # 元组的第一个元素为新的套接字(用于客户端与服务端的通信),第二个元素为(ip地址,端口号)
    # tcp_server_socket 只用于与客户端建立连接,不用于与客户端之间收发信息
    # 循环等待接收客户端的连接请求
    while True:
        new_client, ip_pork = tcp_server_socket.accept()
        print("客户端的ip地址和端口号:", ip_pork)
        # 5.接收数据
        # 收发信息使用新的套接字
        recv_data = new_client.recv(1024)
        # 二进制数据解码为字符串数据
        recv_content = recv_data.decode('gbk')
        print(recv_content)
        # 6.发送数据
        # 字符串数据编码为二进制数据
        new_client.send('server: hello, client!'.encode('gbk'))
        # 7.关闭套接字
        # 关闭与客户端进行通信的套接字
        new_client.close()
    # tcp服务端套接字可以不需要关闭,因为服务端程序需要一直运行
    # 关闭与客户端建立连接的套接字
    # tcp_server_socket.close()

3 当客户端和服务端建立连接成功,创建子线程处理客户端的请求

while True:
     service_client_socket, ip_port = tcp_server_socket.accept() 
     sub_thread = threading.Thread(target=handle_client_request, args=(service_client_socket, ip_port))
     sub_thread.start()
import socket
import threading
# 处理客户端的请求操作
def handle_client_request(new_client, ip_pork):
    print("客户端的ip地址和端口号:", ip_pork)
    # 5.接收数据
    # 循环接收客户端发送的信息
    # 收发信息使用新的套接字
    while True:
        recv_data = new_client.recv(1024)
        if recv_data:
            # 二进制数据解码为字符串数据
            recv_content = recv_data.decode('gbk')
            print(recv_content)
            # 6.发送数据
            # 字符串数据编码为二进制数据
            new_client.send('server: hello, client!'.encode('gbk'))
        else:
            # 如果客户端断开链接,即服务端收到的信息的长度为0,退出循环不在接收客户端的信息
            print("客户端下线了:", ip_pork)
            break
    # 7.关闭套接字
    # 关闭与客户端进行通信的套接字
    new_client.close()
if __name__ == '__main__':
    # 1.创建tcp服务端套接字对象
    # socket.AF_INET: ipv4 地址类型
    # socket.SOCK_STREAM: tcp 传输协议类型
    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    # 设置端口号复用
    # 参数1: socket.SOL_SOCKET 表示当前套接字
    # 参数2: 设置端口号复用选项 socket.SO_REUSEADDR 表示复用端口号
    # 参数3: True 确定复用
    tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, True)
    # 2.绑定端口号
    # 第一个参数表示ip地址,一般不用指定,表示本机的任何一个ip即可
    # 第二个参数表示端口号
    tcp_server_socket.bind(('', 9090))
    # 3.设置监听
    # 128: 表示最大等待建立连接的个数
    tcp_server_socket.listen(128)
    # 4.等待接受客户端的连接请求
    # 代码会阻塞,直到有客户端建立连接
    # 建立连接后,返回一个元组类型的数据
    # 元组的第一个元素为新的套接字(用于客户端与服务端的通信),第二个元素为(ip地址,端口号)
    # tcp_server_socket 只用于与客户端建立连接,不用于与客户端之间收发信息
    # 循环等待接收客户端的连接请求
    while True:
        new_client, ip_pork = tcp_server_socket.accept()
        # 客户端与服务端连接成功后,创建子线程处理客户端的请求操作,防止阻塞主线程
        print("客户端连接成功:", ip_pork)
        # 创建子线程,不同子线程处理不同的客户端的请求操作
        sub_thread = threading.Thread(target=handle_client_request, args=(new_client, ip_pork))
        # 启动子线程
        sub_thread.start()
    # tcp服务端套接字可以不需要关闭,因为服务端程序需要一直运行
    # 关闭与客户端建立连接的套接字
    # tcp_server_socket.close()

4 把创建的子线程设置成为守护主线程,防止主线程无法退出

while True:
     service_client_socket, ip_port = tcp_server_socket.accept() 
     sub_thread = threading.Thread(target=handle_client_request, args=(service_client_socket, ip_port))
     sub_thread.setDaemon(True) 
     sub_thread.start()
import socket
import threading
# 处理客户端的请求操作
def handle_client_request(new_client, ip_pork):
    print("客户端的ip地址和端口号:", ip_pork)
    # 5.接收数据
    # 循环接收客户端发送的信息
    # 收发信息使用新的套接字
    while True:
        recv_data = new_client.recv(1024)
        if recv_data:
            # 二进制数据解码为字符串数据
            recv_content = recv_data.decode('gbk')
            print(recv_content)
            # 6.发送数据
            # 字符串数据编码为二进制数据
            new_client.send('server: hello, client!'.encode('gbk'))
        else:
            # 如果客户端断开链接,即服务端收到的信息的长度为0,退出循环不在接收客户端的信息
            print("客户端下线了:", ip_pork)
            break
    # 7.关闭套接字
    # 关闭与客户端进行通信的套接字
    new_client.close()
if __name__ == '__main__':
    # 1.创建tcp服务端套接字对象
    # socket.AF_INET: ipv4 地址类型
    # socket.SOCK_STREAM: tcp 传输协议类型
    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    # 设置端口号复用
    # 参数1: socket.SOL_SOCKET 表示当前套接字
    # 参数2: 设置端口号复用选项 socket.SO_REUSEADDR 表示复用端口号
    # 参数3: True 确定复用
    tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, True)
    # 2.绑定端口号
    # 第一个参数表示ip地址,一般不用指定,表示本机的任何一个ip即可
    # 第二个参数表示端口号
    tcp_server_socket.bind(('', 9090))
    # 3.设置监听
    # 128: 表示最大等待建立连接的个数
    tcp_server_socket.listen(128)
    # 4.等待接受客户端的连接请求
    # 代码会阻塞,直到有客户端建立连接
    # 建立连接后,返回一个元组类型的数据
    # 元组的第一个元素为新的套接字(用于客户端与服务端的通信),第二个元素为(ip地址,端口号)
    # tcp_server_socket 只用于与客户端建立连接,不用于与客户端之间收发信息
    # 循环等待接收客户端的连接请求
    while True:
        new_client, ip_pork = tcp_server_socket.accept()
        # 客户端与服务端连接成功后,创建子线程处理客户端的请求操作,防止阻塞主线程
        print("客户端连接成功:", ip_pork)
        # 创建子线程,不同子线程处理不同的客户端的请求操作
        sub_thread = threading.Thread(target=handle_client_request, args=(new_client, ip_pork))
        # 设置守护主线程
        sub_thread.setDaemon(True)
        # 启动子线程
        sub_thread.start()
    # tcp服务端套接字可以不需要关闭,因为服务端程序需要一直运行
    # 关闭与客户端建立连接的套接字
    # tcp_server_socket.close(

socket之send和recv原理剖析

1. 认识TCP socket的发送和接收缓冲区

当创建一个TCP socket对象的时候会有一个发送缓冲区和一个接收缓冲区,这个发送和接收缓冲区指的就是内存中的一片空间。

2. send原理剖析

send是不是直接把数据发给服务端?

不是,要想发数据,必须得通过网卡发送数据应用程序是无法直接通过网卡发送数据的,它需要调用操作系统接口,也就是说,应用程序把发送的数据先写入到发送缓冲区(内存中的一片空间),再由操作系统控制网卡把发送缓冲区的数据发送给服务端网卡 。

3. recv原理剖析

recv是不是直接从客户端接收数据?

不是,应用软件是无法直接通过网卡接收数据的,它需要调用操作系统接口,由操作系统通过网卡接收数据,把接收的数据写入到接收缓冲区(内存中的一片空间),应用程序再从接收缓存区获取客户端发送的数据。

4. send和recv原理剖析图

说明:

发送数据是发送到发送缓冲区

接收数据是从接收缓冲区获取

不管是recv还是send都不是直接接收到对方的数据和发送数据到对方,发送数据会写入到发送缓冲区,接收数据是从接收缓冲区来读取,发送数据和接收数据最终是由操作系统控制网卡来完成。



相关文章
|
3天前
|
数据采集 存储 JSON
Python网络爬虫教程概览
【6月更文挑战第21天】Python网络爬虫教程概览:安装requests和BeautifulSoup库抓取网页;使用HTTP GET请求获取HTML,解析标题;利用CSS选择器提取数据;处理异步内容可选Selenium;遵循爬虫策略,处理异常,尊重法律与网站规定。
8 1
|
1天前
|
机器学习/深度学习 人工智能 算法
海洋生物识别系统+图像识别+Python+人工智能课设+深度学习+卷积神经网络算法+TensorFlow
海洋生物识别系统。以Python作为主要编程语言,通过TensorFlow搭建ResNet50卷积神经网络算法,通过对22种常见的海洋生物('蛤蜊', '珊瑚', '螃蟹', '海豚', '鳗鱼', '水母', '龙虾', '海蛞蝓', '章鱼', '水獭', '企鹅', '河豚', '魔鬼鱼', '海胆', '海马', '海豹', '鲨鱼', '虾', '鱿鱼', '海星', '海龟', '鲸鱼')数据集进行训练,得到一个识别精度较高的模型文件,然后使用Django开发一个Web网页平台操作界面,实现用户上传一张海洋生物图片识别其名称。
21 7
海洋生物识别系统+图像识别+Python+人工智能课设+深度学习+卷积神经网络算法+TensorFlow
|
1天前
|
机器学习/深度学习 人工智能 算法
【昆虫识别系统】图像识别Python+卷积神经网络算法+人工智能+深度学习+机器学习+TensorFlow+ResNet50
昆虫识别系统,使用Python作为主要开发语言。通过TensorFlow搭建ResNet50卷积神经网络算法(CNN)模型。通过对10种常见的昆虫图片数据集('蜜蜂', '甲虫', '蝴蝶', '蝉', '蜻蜓', '蚱蜢', '蛾', '蝎子', '蜗牛', '蜘蛛')进行训练,得到一个识别精度较高的H5格式模型文件,然后使用Django搭建Web网页端可视化操作界面,实现用户上传一张昆虫图片识别其名称。
28 7
【昆虫识别系统】图像识别Python+卷积神经网络算法+人工智能+深度学习+机器学习+TensorFlow+ResNet50
|
2天前
|
机器学习/深度学习 人工智能 算法
【球类识别系统】图像识别Python+卷积神经网络算法+人工智能+深度学习+TensorFlow
球类识别系统,本系统使用Python作为主要编程语言,基于TensorFlow搭建ResNet50卷积神经网络算法模型,通过收集 '美式足球', '棒球', '篮球', '台球', '保龄球', '板球', '足球', '高尔夫球', '曲棍球', '冰球', '橄榄球', '羽毛球', '乒乓球', '网球', '排球'等15种常见的球类图像作为数据集,然后进行训练,最终得到一个识别精度较高的模型文件。再使用Django开发Web网页端可视化界面平台,实现用户上传一张球类图片识别其名称。
18 7
【球类识别系统】图像识别Python+卷积神经网络算法+人工智能+深度学习+TensorFlow
|
8天前
|
数据采集 存储 数据挖掘
Python网络爬虫实战:抓取并分析网页数据
使用Python的`requests`和`BeautifulSoup`,本文演示了一个简单的网络爬虫,抓取天气网站数据并进行分析。步骤包括发送HTTP请求获取HTML,解析HTML提取温度和湿度信息,以及计算平均温度。注意事项涉及遵守robots.txt、控制请求频率及处理动态内容。此基础爬虫展示了数据自动收集和初步分析的基础流程。【6月更文挑战第14天】
80 9
|
3天前
|
缓存 前端开发 API
了解python中几个主流的网络框架
【6月更文挑战第21天】探索Python Web几个流行框架,了解各框架特性以适应不同场景需求。
23 1
|
6天前
|
Python
【干货】Python下载网络小说
【干货】Python下载网络小说
11 2
|
6天前
|
XML 数据库 数据格式
Python网络数据抓取(9):XPath
Python网络数据抓取(9):XPath
17 0
|
10天前
|
数据采集 前端开发 Python
Python3网络开发实战读后感
Python3网络开发实战读后感
|
9天前
|
存储 JSON 算法
Python中的并发编程(4)多线程发送网络请求
Python中的并发编程(4)多线程发送网络请求