Python网络编程(weekly summary1)

简介:
网络的目的是什么?
    用于信息传输、接受  能把各个点、面、体的信息链接到一起 实现资源的共享
OSI模型:
    应用层:提供程序服务
    表示层:数据加密、优化、压缩
    会话层:建立链接、传输服务
    传输层:提供数据传输服务
    网络层:路由选择 网路互联
    连表层:链接交换
    物理层:硬件、接口、网卡规定等

    特点:
       将功能分开来达到高内聚低耦合
       让开发更为清晰

什么是网络协议?
    是为了完成计算机网络通讯而制定的规则、约定、标准
    
各模型使用的协议:
    应用层:TFTP(文件传输)、HTTP(超文本传输协议)、DNS(域名解析)、SMTP(邮件传输)
    传输层:TCP(面向有链接的可靠的传输服务)、UDP(面向无连接的不可的传输靠服务)
    网络层:IP(IP地址)常用IPV4:点分十进制   取值0~256之间(32位)  IPV6::128位
    物理层:IEEE


特殊IP:
   127.0.0.1      本机IP
   0.0.0.0        自动使用本地可用网卡IP
   192.168.1.0    代表网段
   192.168.1.1    通常为网关地址
   192.198.1.255  广播地址

端口:
  取值范围1~65535之间
  1~255      一些通用端口
  256~1023   系统端口
  1024~65535 自用端口

Linux命令:
     ifconfig   查看本机IP
     ping IP    查看延迟
     ps -aux    查看系统进程信息
     chmod      设置文件权限
     nice -9 ./hello.py  以9的优先级运行
     pstree     查看进程树
     ps -ajx    查看父子进程ID
Linux下文件类型:
      bcd -lsp
         b(快  设备文件)
         c(字符设备文件)
         d(目录)
         -(普通文件)
         l(链接文件)
         s(套接字文件)
         p(管道文件) 
ps -aux   查询结果的 STAT表示进程状态:
    D  等待态  阻塞  不可中断等待态
    S  等待态  睡眠  可中断等待态
    T  等待态  暂停  暂停执行
    R  运行态(就绪态)
    Z  僵尸
      +  前台进程(在终端运行)
      <  有较高优先级的进程
      N  较低优先级的进程
       s  回话组
       l  有子进程链接
    进程优先级:
        取值范围:-20~19   -20最高


Python socket模块
     socket.gethostname()  获取本机名
     socket.gethostbyname("主机名")   利用主机名获取IP
     soccket.gethostbtname(“IP”)  获取本地IP
IP的十六进制转换:
    socket.inet_aton(IP)       十进制转十六进制
    socket.inet_atoa(十六进制) 十六进制转十进制
    socket.gethostbyaddr('127.0.0.1')
      返回值:元组(主机, 别名,ip地址)
    socket.getservbyname("程序名")   获取程序端口


套接字:是通过编程语言提供的套接字编程借口

传输层服务:
    tcp:(SOCK_STREAM)
      面向有链接的可靠的传输服务   流式套接字
      1.创建套接字:
             socket = socket.socket()
      2.绑定地址:
             socket.bind
      3.设置监听:
             socket.listen()
      4.等待客户端链接:
            socket.accept()
      5.消息收发:
            socket.recv(4096)
            socket.send(“”)
      6.关闭套接字:
            socket.close()
      客户端:
         1.创建套接字
            socket.socket.socket()
         2.发起链接
               socket.connect(地址)
         3.消息收发
               socket.recv(1024)  收消息
               socket.send("")    发消息
               socket.sendall():
                   事物发消息 成功返回None 失败异常

         4.关闭套接字
                socket.close()
      recv特性:
           建立链接的另一端被断开,会返回一个空字符串  从缓冲区取内容
      send特性:
           另一端不纯在产生一个pipe Broken 异常  向缓冲区写内容
      缓冲区:
           减少和和磁盘交互协调数据收发  提高效率
      粘包:
           由于tcp是数据流套接字的原因每次发送的数据间
           没有边界一次取不完下次取数据时会形成粘包

    udp:(SOCK_DGRAM)
      面向无连接的不可靠的传输服务 数据报套接字
      1.创建套接字:
            socket = socket.socket(AF_INET,SOCK_DGRAM)
      2.绑定地址:
            socket.bind()
      3.收发消息:
            socket.recvfrom()
            socket.sento()
      4.关闭套接字:
            socket.close()
      客户端:
          1.创建套接字:
            socket = socket.socket()
          2.收发消息;
            socket.recvform()
            socket.sendto(“”, 地址)
          3.关闭套接字:
            socket.close()

sys.argv() 命令行获取参数
返回值:
    元组:sys.argv[0] 开始  空格隔开 引号隔开



套接字属性方法:
     套接字的属性:
            socket.type
     地址类型:
            socket.family
     套接字IO描述符:
            socket.fileno()
            系统IO描述符:
               sys.stdin = 0
               sys.stdout = 1
               sys.stderr = 2
     获取套接字地址:
             socket.getsockname()
     获取套接字客户端地址:
             socket.getpeername()
     设置端口重用:
             socket.setsockopt(SOL_SOCKET, SO_REUSEADDR, 1)
     获取套接字选项值:
             socket.getsockopt()
     设置为非阻塞状态:
             socket.setblocking(False)
     超时检测:
             socket.settimeout(sec)

HTTP协议(超文本传输协议):
     网站浏览器获取网页的一种协议
     并且所有的www.文件都必须遵守这个标准

HTTP请求:
      1.请求行:
            说明具体的请求类别和内容
           GET        /index.html    /HTTP/1.1
         请求类别      请求内容       协议版本

      请求类别:
         GET:              获取网络资源
         POST:           提交一定的附加数据
         HEAD:          获取响应头
         PUT:             更新服务器资源
         DELETE:        删除服务器资源
         CONNECT:   未使用
         TRACE:         用于测试
         OPTIONS:    获取服务器性能信息
      2.请求头:
            对请求的具体描述
      3.空行
      4.请求体:
            具体的参数或提交的内容
HTTP响应:
      1.响应行:反馈具体的响应情况
          HTTP/1.1     20       OK
          版本协议   响应码   附加信息
       响应吗:
           1xx:提示信息,表示请求已经接收
           2xx:响应成功
           3xx:响应需要定向(重新记载链接第三方链接)
           4xx:客户端错误
           5xx:服务器端错误
      2.响应头:
         对响应内容的具体描述
      3.空行
      4.响应体:
         将客户端请求内容进行返回

IO:
    在内存中存在数据交换的操作可以认为是IO操作(输入输出)
    IO密集程序:
         大量的IO操作,消耗CPU较少
    CPU密集程序:
         大量的内存CPU运算,IO相对较少
IO分类:
    阻塞IO:
       因为某些条件没有达成 导致程序堵塞 如:input函数
    非阻塞IO:
       改变阻塞函数的状态不让其阻塞
IO多路复用:
     通过一个监测
     监控多个IO事件的行为,
     哪个IO事件准备就绪就执行哪个IO事件
IO准备就绪:
     IO事件即将发生时的临界状态


select模块

      监控IO事件
      rs, ws, xs = select(rlist, wlist, xlist[, timeout])
      rlist:  等待处理的IO
      wlist:  主动处理的IO
      xlist:  出错希望去处理的IO

位运算:
   按照二进制位进行位运算操作
    & 按为与   |  按位或   ^  按位异或    << 左异    >>右移

poll方法实现IO多路复用:
   1.创建poll对象:
       p = select.poll
   2.注册关注的IO:
       p.register(s, POLLIN | PLLERR)
       不关注:
          p.unregister(s)
       事件类别:
          POLLIN  POLLOUT  POLLERR  POLLHUP   POLLPRI
            rlist           wlist          xlist          断开       紧急处理 
   3.监控IO:
       events = p.poll()
       功能:监控关注的IO事件
       返回值:
           返回发生IO事件
   events是一个列表[(fileno, evnet), (), ()....]
   每个就绪IO对应一个元组(描述符,就绪事件)
           IO地图:{s.fileno():s}
   4.处理IO事件

本地套接字:
   
   作用:
      用于本地文件不同程序间进行数据传输
   本地套接字传输流程:
      1.创建本地套接字对象
          sockfd = socket(AF_UNIX, SOCK_STREAM)
      2.绑定套接字文件,如果文件不存在则自动创建 存在则报错
         sockfd.bind(file)
      3.监听
         listen
      4.消息收发
         recv send

 
多任务编程:
     通过程序利用计算机的多个核心达到同时执行多个任务的目的
     因此达到提升程序运行效率的目的
     并行:
        多个计算机核心在同时处理多个任务,
        这时多个任务之间是并行关系
     并发:
        同时运行多个任务,内核在多个任务之间的不断切换,
        达到多个任务都会执行的处理效果
        此时多个任务之间是并发关系
     程序:
        可执行文件,是静态的,只占有磁盘
     进程:
        是一个动态过程  程序的运行过程

     CPU时间片:
         如果有个进程占有CPU此时我们称为该进程占有CPU的时间片
         多个进程任务或轮流占有CPU时间片并形成并发效果

    进程特征:
        进程是操作系统分配资源的最小单元
        每个进程拥有自己独立的运行空间(4个G的虚拟内存空间)
        进程之间相互独立各不影响
    进程的状态:
        三态:
            就绪状态:
                 进程具备执行条件,等待系统分配处理器资源进入运行态
            运行态:
                 进程占有CPU处于运行状态
            等待态:
                 进程暂时不具备运行条件,需要阻塞等待
 
        五态:
             在三态的基础上增加新建和终止态 
             新建:
                  创建一个新的程序,获取系统资源的过程
             终止:
                  进程执行结束,释放资源的过程

OS模块:
   判断一个文件是否存在:
       os.path.exists(file)
   删除文件:
       os.remove(file)
       os.unlink(file)
   创建进程:
       os.fork()
   获取进程id:
       os.getpid()
   获取父进程id:
       os.getppid()
   退出一个进程:
       os.exit()
       sys.exit(退出提示)
   sys.exit() 可以通过捕获 SystemExit异常退出
   

孤儿进程:
    当父进程优先于子进程退出,此时子进程就会成为孤儿进程
    孤儿进程会被系统指定进程收养  退出后会自动处理
僵尸进程:
    当子进程优先于父进程退出,父进程没有处理子进程的退出状态
    就会变成僵尸进程   僵尸进程会滞留PCB 消耗内存资源

如何避免僵尸进程的产生:
    1.父进程先退出
    2.父进程处理子进程状态

处理僵尸进程:   
       PID,status = os.wait():
           wait 在父进程中阻塞等待处理子进程的退出
           返回退的子进程的怕pid和退出状态
       pid,status = os.waitpid(pid,option):
           waitpid 在父进程阻塞等待处理子进程的退出
           参数 :
               pid   -1 表示等待任意子进程退出 
                     >0 表示等待对应PID号的子进程退出 option 
                      0 表示阻塞等待 WNOHANG 表示非阻塞 
           返回退的子进程的怕pid和退出状态
利用二级子进程:
      父进程创建子进程等待进程退出
      子进程创建下一个进程,然后立即退出
      二级子进程成为孤儿进程  处理具体工作

multiprocessing模块

   process()
     功能:
       创建进程对象
     参数:
       target:函数对象
       name 给进程新名称()
       args:元组 用来给target函数位置传参
       kwargs:字典 用来给target函数键值传参
   启动进程:
       p.start()
         调用绑定函数有子进程运行
   等待子进程退出:
       p.join([超时检测])
          不使用join回收可能后产生僵尸进程

   使用multiprocessing创建进程子进程同样复制父进程的全部内存空间
   之后有自己的独立空间 执行上互不干扰 子进程也有自己的PID特有资源等
   使用multiprocessing创建子进程,一般父进程功能就是只用来创建子进程
   回收子进程,返回事件交给子进程完成

相关文章
|
11天前
|
机器学习/深度学习 人工智能 算法
猫狗宠物识别系统Python+TensorFlow+人工智能+深度学习+卷积网络算法
宠物识别系统使用Python和TensorFlow搭建卷积神经网络,基于37种常见猫狗数据集训练高精度模型,并保存为h5格式。通过Django框架搭建Web平台,用户上传宠物图片即可识别其名称,提供便捷的宠物识别服务。
143 55
|
1月前
|
Python
Python中的异步编程:使用asyncio和aiohttp实现高效网络请求
【10月更文挑战第34天】在Python的世界里,异步编程是提高效率的利器。本文将带你了解如何使用asyncio和aiohttp库来编写高效的网络请求代码。我们将通过一个简单的示例来展示如何利用这些工具来并发地处理多个网络请求,从而提高程序的整体性能。准备好让你的Python代码飞起来吧!
77 2
|
1月前
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
113 6
|
21天前
|
机器学习/深度学习 人工智能 算法
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
宠物识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了37种常见的猫狗宠物种类数据集【'阿比西尼亚猫(Abyssinian)', '孟加拉猫(Bengal)', '暹罗猫(Birman)', '孟买猫(Bombay)', '英国短毛猫(British Shorthair)', '埃及猫(Egyptian Mau)', '缅因猫(Maine Coon)', '波斯猫(Persian)', '布偶猫(Ragdoll)', '俄罗斯蓝猫(Russian Blue)', '暹罗猫(Siamese)', '斯芬克斯猫(Sphynx)', '美国斗牛犬
113 29
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
|
21天前
|
机器学习/深度学习 人工智能 算法
深度学习入门:用Python构建你的第一个神经网络
在人工智能的海洋中,深度学习是那艘能够带你远航的船。本文将作为你的航标,引导你搭建第一个神经网络模型,让你领略深度学习的魅力。通过简单直观的语言和实例,我们将一起探索隐藏在数据背后的模式,体验从零开始创造智能系统的快感。准备好了吗?让我们启航吧!
54 3
|
26天前
|
网络安全 Python
Python网络编程小示例:生成CIDR表示的IP地址范围
本文介绍了如何使用Python生成CIDR表示的IP地址范围,通过解析CIDR字符串,将其转换为二进制形式,应用子网掩码,最终生成该CIDR块内所有可用的IP地址列表。示例代码利用了Python的`ipaddress`模块,展示了从指定CIDR表达式中提取所有IP地址的过程。
40 6
|
29天前
|
机器学习/深度学习 自然语言处理 语音技术
Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧
本文介绍了Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧,并通过TensorFlow和PyTorch等库展示了实现神经网络的具体示例,涵盖图像识别、语音识别等多个应用场景。
52 8
|
29天前
|
数据采集 XML 存储
构建高效的Python网络爬虫:从入门到实践
本文旨在通过深入浅出的方式,引导读者从零开始构建一个高效的Python网络爬虫。我们将探索爬虫的基本原理、核心组件以及如何利用Python的强大库进行数据抓取和处理。文章不仅提供理论指导,还结合实战案例,让读者能够快速掌握爬虫技术,并应用于实际项目中。无论你是编程新手还是有一定基础的开发者,都能在这篇文章中找到有价值的内容。
|
1月前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【垃圾识别系统】实现~TensorFlow+人工智能+算法网络
垃圾识别分类系统。本系统采用Python作为主要编程语言,通过收集了5种常见的垃圾数据集('塑料', '玻璃', '纸张', '纸板', '金属'),然后基于TensorFlow搭建卷积神经网络算法模型,通过对图像数据集进行多轮迭代训练,最后得到一个识别精度较高的模型文件。然后使用Django搭建Web网页端可视化操作界面,实现用户在网页端上传一张垃圾图片识别其名称。
84 0
基于Python深度学习的【垃圾识别系统】实现~TensorFlow+人工智能+算法网络
|
1月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
利用Python和TensorFlow构建简单神经网络进行图像分类
利用Python和TensorFlow构建简单神经网络进行图像分类
63 3