Python中常用网络编程模块

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
简介: Python中常用网络编程模块

一、网络基础

网络由下往上分为:物理层、数据链路层、网络怪、传输层、会话层、表示层和应用层。

TCP/IP协议是传输层协议,主要解决数据如何在网络中传输;socket则是对TCP/IP协议的封装,它本身不是协议,而是一个调用接口;

HTTP、FTP是应用协议,主要解决如何包装数据;

TCP连接的三次握手:

  • 第一次握手:客户端发送syn包(syn=j)到服务器,并进入SYN_SEND状态,等待服务器确认;
  • 第二次握手:服务器收到syn包,必须确认客户的SYN(ack=j+1),同时自己也发送一个SYN包(syn=k),即SYN+ACK包,此时服务器进入SYN_RECV状态;
  • 第三次握手:客户端收到服务器的SYN+ACK包,向服务器发送确认包ACK(ack=k+1),此包发送完毕,客户端和服务器进入ESTABLISHED状态,完成三次握手。

利用Socket建立网络连接的步骤(一对套接字连接过程):
1、服务器监听:服务器端套接字并不定位具体的客户端套接字,而是处于等待连接的状态,实时监控网络状态,等待客户端的连接请求。
2、客户端请求:指客户端的套接字提出连接请求,要连接的目标是服务器端的套接字。
  为此,客户端的套接字必须首先描述它要连接的服务器的套接字,指出服务器端套接字的地址和端口号,然后就向服务器端套接字提出连接请求。
  3、连接确认:当服务器端套接字监听到或者说接收到客户端套接字的连接请求时,就响应客户端套接字的请求,建立一个新的线程,把服务器端套接字的描述发给客户端,一旦客户端确认了此描述,双方就正式建立连接。
而服务器端套接字继续处于监听状态,继续接收其他客户端套接字的连接请求。

TCP和UDP的区别:

  • TCP是面向连接的,连接经过了三次握手,很大程度的保证了连接的可靠性;
    -UDP传送数据前并不与对方建立连接,对收到的数据也不发送触诊信号,因此UDP的开销更小,数据传输速率更高。QQ是就采用的UPD协议传输,而相似的MSN采用的是TCP协议传输。

二、socket模块

网络服务都是建立在socket基础之上的,socket是网络连接端点,是网络的基础;每个socket都被绑定到指定的IP和端口上;

1、首先使用socket(family=AF_INET,type=SOCK_STREAM,proto)函数创建一个对象;

family 地址参数,还可以有AF_INET6,AF_UNIX;
type socket类型;
proto 协议类型,可选参数

创建成功后用bind('127.0.0.1',1051)绑定ip地址和端口,如果地址为空则表示本机;

2、socket对象方法:

bind('127.0.0.1',1051)    绑定ip地址和端口,如果地址为空则表示本机;
    listen(backlog)          监听所有socket对象创建的连接,backlog指定连接队列数,最小为1,最大一般为5;
    connect(address)
    connect_ex(address)      两个都可以连接到服务端,不同的是第一个返回一个错误,第二个返回一个异常;
    accept()              接收来自客户端的数据,返回一个新的socket对象和客户端地址;
    recv(bufsize,flags)      仅返回所接收的字符串;bufsize指定接收缓冲区的大小,flags为可选参数,表示接收标志;
    recvfrom(bufsize,flags)    返回所接收的字符串和地址;
    send(string,flags)       向已经连接的socket发送数据;
    sendall(string,flags)      与send不同的是将会一直发送完全部数据;
    sendto(string,flags,address)可以向一个未连接的socket发送数据;
    makefile(mode,bufsize)     将socket关联到文件对象上,两个参数都是可选的,mode文件模式,bufsize缓冲区大小;
    close()                 完成通信后,应使用close方法关闭网络连接;

服务器端实例

import socket
sock = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
sock.bind('127.0.0.1',20178)
sock.listen(5)
conn,address = sock.accept()
print('connect by ',address)
while True:
    data = conn.recv(100)
    if not data:break
    print(data)
    conn.send("anydata")
sock.close()

客户端实例

import socket
sock = socket.socket(socket.AF_INET,socket.SOCK_STREAM)  #与服务端相同
sock.connect('127.0.0.1',20178)
sock.send("data")
data = sock.recv(98)
print('recieved ',data)
sock.close()

可用select模块来实现多个并发的交互

# 服务端实例
import socket
import select
import queue

sock = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
sock.setblocking(False)   #设置为非阻塞服务
sock.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)
sock.bind('127.0.0.1',20178)
sock.listen(10)
rlists = [sock]
wlists = []
msg_que = {
   }
timeout = 20

while rlists:
    rs,ws,es = select.select(rlists,wlists,rlists,timeout)
    if not (rs or ws or es):
        print('timeout...')
        break
    for s in rs:
        if s is sock:
            conn,address = s.accept()
            conn.setblocking(False)
            rlists.append(conn)
            msg_que[conn] = queue.Queue()
        else:
            data = s.recv(1024)
            if data:
                print(data)
                msg_que[s].put(data)
                if s not in wlists:
                    wlists.append(s)
            else:
                if s in wlists:
                    wlists.remove(s)
                rlists.remove(s)
                s.close()
                del msg_que[s]
    for s in ws:
        try:
            msg = msg_que[s].get_nowait()
        except queue.Empty:
            wlists.remove(s)
    for s in es:
        print('except ',s.getpeername())
        if s in rlists:
            rlists.remove(s)
        if s in wlists:
            wlists.remove(s)
        s.close()
        del msg_que[s]

三、httplib模块

httplib模块内提供了HTTPConnection对象和HTTPRresponse对象;

当创建一个HTTPConnection对象时可用方法有:

1、request(method,url,body,headers) 向服务器发送请求;

  • method 方法,有"GET","POST"等待连接

  • body 发送的数据

  • headers 发送的HTTP头

2、getresponse() 返回一个HTTPResponse对象;

3、close() 关闭与服务器的连接;

4、send(data) 发送数据;

5、putrequest(request,selector,skip_host,skip_accep_encoding) 向服务器发送请求;

  • request 所发送的操作;

  • selector 进行操作的URL;

  • skip_host 若为True则禁止自动发送"POST";

  • skip_accep_encoding 若为True则禁止自动发送"Accept-Encoding:headers"

6、putheader(headers,argument,...)

  • headers 发送的HTTP头;

  • argument 发送的参数;

7、endheaders()

HTTPResponse 对象方法:

 1、read() 获得服务器的响应主体;

 2、getheader(name,default) 获取服务器响应的HTTP头;

 3、version() 查看HTTP协议的版本;

 4、status() 查看HTTP协议的状态;

 5、reason()

四、ftp模块

1、FTP(host,user,passwd,acct) 创建一个FTP连接对象,此对象的方法有:


FTP(host,user,passwd,acct)    创建一个FTP连接对象
    getwelcome()             获得FTP服务器的欢迎信息
    abort()                   中断文件传输
    sendcmd(command)          发送命令,command为一个字符串
    voidcmd(command)          发送命令,但没有返回值
    retrbinary(command,callback,maxblocksize,rest) 下载文件(二进制)
        command            由"RETR 文件名  组成"
        callback          回调函数
        maxblocksize      每次传输最大字节数
        rest              文件续传位置
    retrlines(command,callback)下载文件(ASCII)
    storbinary(command,file,blocksize)    以二进制上传文件;
    storlines(command,file)    以ASCII形式上传文件;
    dir()                   获取当前目录的内容列表;
    rename(fromname,toname)    重命名
    delete(filename)        删除文件
    cwd(pathname)            改变当前目录
    mkd(pathname)            创建目录
    rmd(dirname)            删除服务器上的目录
    size(filename)           获取文件大小
    set_pasv(boolean)        设置传输模式
    quit()                
    close()                  关闭服务器的连接
set_debuglevel(level)         设置调试级别
connect(host,port)            配置host
login(user,passwd,acct)       登录

附:可使用poplib模块和smtplib模块收发邮件

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
9天前
|
Python
Python中的异步编程:使用asyncio和aiohttp实现高效网络请求
【10月更文挑战第34天】在Python的世界里,异步编程是提高效率的利器。本文将带你了解如何使用asyncio和aiohttp库来编写高效的网络请求代码。我们将通过一个简单的示例来展示如何利用这些工具来并发地处理多个网络请求,从而提高程序的整体性能。准备好让你的Python代码飞起来吧!
27 2
|
16天前
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
60 6
|
6天前
|
Python
在Python中,可以使用内置的`re`模块来处理正则表达式
在Python中,可以使用内置的`re`模块来处理正则表达式
19 5
|
5天前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【垃圾识别系统】实现~TensorFlow+人工智能+算法网络
垃圾识别分类系统。本系统采用Python作为主要编程语言,通过收集了5种常见的垃圾数据集('塑料', '玻璃', '纸张', '纸板', '金属'),然后基于TensorFlow搭建卷积神经网络算法模型,通过对图像数据集进行多轮迭代训练,最后得到一个识别精度较高的模型文件。然后使用Django搭建Web网页端可视化操作界面,实现用户在网页端上传一张垃圾图片识别其名称。
25 0
基于Python深度学习的【垃圾识别系统】实现~TensorFlow+人工智能+算法网络
|
9天前
|
机器学习/深度学习 TensorFlow 算法框架/工具
利用Python和TensorFlow构建简单神经网络进行图像分类
利用Python和TensorFlow构建简单神经网络进行图像分类
29 3
|
14天前
|
数据采集 存储 XML
Python实现网络爬虫自动化:从基础到实践
本文将介绍如何使用Python编写网络爬虫,从最基础的请求与解析,到自动化爬取并处理复杂数据。我们将通过实例展示如何抓取网页内容、解析数据、处理图片文件等常用爬虫任务。
|
17天前
|
数据采集 前端开发 中间件
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第26天】Python是一种强大的编程语言,在数据抓取和网络爬虫领域应用广泛。Scrapy作为高效灵活的爬虫框架,为开发者提供了强大的工具集。本文通过实战案例,详细解析Scrapy框架的应用与技巧,并附上示例代码。文章介绍了Scrapy的基本概念、创建项目、编写简单爬虫、高级特性和技巧等内容。
40 4
|
16天前
|
Java 程序员 开发者
Python的gc模块
Python的gc模块
|
17天前
|
网络协议 物联网 API
Python网络编程:Twisted框架的异步IO处理与实战
【10月更文挑战第26天】Python 是一门功能强大且易于学习的编程语言,Twisted 框架以其事件驱动和异步IO处理能力,在网络编程领域独树一帜。本文深入探讨 Twisted 的异步IO机制,并通过实战示例展示其强大功能。示例包括创建简单HTTP服务器,展示如何高效处理大量并发连接。
39 1
|
18天前
|
数据采集 存储 机器学习/深度学习
构建高效的Python网络爬虫
【10月更文挑战第25天】本文将引导你通过Python编程语言实现一个高效网络爬虫。我们将从基础的爬虫概念出发,逐步讲解如何利用Python强大的库和框架来爬取、解析网页数据,以及存储和管理这些数据。文章旨在为初学者提供一个清晰的爬虫开发路径,同时为有经验的开发者提供一些高级技巧。
13 1