Python网络编程(weekly summary1)

简介:
网络的目的是什么?
    用于信息传输、接受  能把各个点、面、体的信息链接到一起 实现资源的共享
OSI模型:
    应用层:提供程序服务
    表示层:数据加密、优化、压缩
    会话层:建立链接、传输服务
    传输层:提供数据传输服务
    网络层:路由选择 网路互联
    连表层:链接交换
    物理层:硬件、接口、网卡规定等

    特点:
       将功能分开来达到高内聚低耦合
       让开发更为清晰

什么是网络协议?
    是为了完成计算机网络通讯而制定的规则、约定、标准
    
各模型使用的协议:
    应用层:TFTP(文件传输)、HTTP(超文本传输协议)、DNS(域名解析)、SMTP(邮件传输)
    传输层:TCP(面向有链接的可靠的传输服务)、UDP(面向无连接的不可的传输靠服务)
    网络层:IP(IP地址)常用IPV4:点分十进制   取值0~256之间(32位)  IPV6::128位
    物理层:IEEE


特殊IP:
   127.0.0.1      本机IP
   0.0.0.0        自动使用本地可用网卡IP
   192.168.1.0    代表网段
   192.168.1.1    通常为网关地址
   192.198.1.255  广播地址

端口:
  取值范围1~65535之间
  1~255      一些通用端口
  256~1023   系统端口
  1024~65535 自用端口

Linux命令:
     ifconfig   查看本机IP
     ping IP    查看延迟
     ps -aux    查看系统进程信息
     chmod      设置文件权限
     nice -9 ./hello.py  以9的优先级运行
     pstree     查看进程树
     ps -ajx    查看父子进程ID
Linux下文件类型:
      bcd -lsp
         b(快  设备文件)
         c(字符设备文件)
         d(目录)
         -(普通文件)
         l(链接文件)
         s(套接字文件)
         p(管道文件) 
ps -aux   查询结果的 STAT表示进程状态:
    D  等待态  阻塞  不可中断等待态
    S  等待态  睡眠  可中断等待态
    T  等待态  暂停  暂停执行
    R  运行态(就绪态)
    Z  僵尸
      +  前台进程(在终端运行)
      <  有较高优先级的进程
      N  较低优先级的进程
       s  回话组
       l  有子进程链接
    进程优先级:
        取值范围:-20~19   -20最高


Python socket模块
     socket.gethostname()  获取本机名
     socket.gethostbyname("主机名")   利用主机名获取IP
     soccket.gethostbtname(“IP”)  获取本地IP
IP的十六进制转换:
    socket.inet_aton(IP)       十进制转十六进制
    socket.inet_atoa(十六进制) 十六进制转十进制
    socket.gethostbyaddr('127.0.0.1')
      返回值:元组(主机, 别名,ip地址)
    socket.getservbyname("程序名")   获取程序端口


套接字:是通过编程语言提供的套接字编程借口

传输层服务:
    tcp:(SOCK_STREAM)
      面向有链接的可靠的传输服务   流式套接字
      1.创建套接字:
             socket = socket.socket()
      2.绑定地址:
             socket.bind
      3.设置监听:
             socket.listen()
      4.等待客户端链接:
            socket.accept()
      5.消息收发:
            socket.recv(4096)
            socket.send(“”)
      6.关闭套接字:
            socket.close()
      客户端:
         1.创建套接字
            socket.socket.socket()
         2.发起链接
               socket.connect(地址)
         3.消息收发
               socket.recv(1024)  收消息
               socket.send("")    发消息
               socket.sendall():
                   事物发消息 成功返回None 失败异常

         4.关闭套接字
                socket.close()
      recv特性:
           建立链接的另一端被断开,会返回一个空字符串  从缓冲区取内容
      send特性:
           另一端不纯在产生一个pipe Broken 异常  向缓冲区写内容
      缓冲区:
           减少和和磁盘交互协调数据收发  提高效率
      粘包:
           由于tcp是数据流套接字的原因每次发送的数据间
           没有边界一次取不完下次取数据时会形成粘包

    udp:(SOCK_DGRAM)
      面向无连接的不可靠的传输服务 数据报套接字
      1.创建套接字:
            socket = socket.socket(AF_INET,SOCK_DGRAM)
      2.绑定地址:
            socket.bind()
      3.收发消息:
            socket.recvfrom()
            socket.sento()
      4.关闭套接字:
            socket.close()
      客户端:
          1.创建套接字:
            socket = socket.socket()
          2.收发消息;
            socket.recvform()
            socket.sendto(“”, 地址)
          3.关闭套接字:
            socket.close()

sys.argv() 命令行获取参数
返回值:
    元组:sys.argv[0] 开始  空格隔开 引号隔开



套接字属性方法:
     套接字的属性:
            socket.type
     地址类型:
            socket.family
     套接字IO描述符:
            socket.fileno()
            系统IO描述符:
               sys.stdin = 0
               sys.stdout = 1
               sys.stderr = 2
     获取套接字地址:
             socket.getsockname()
     获取套接字客户端地址:
             socket.getpeername()
     设置端口重用:
             socket.setsockopt(SOL_SOCKET, SO_REUSEADDR, 1)
     获取套接字选项值:
             socket.getsockopt()
     设置为非阻塞状态:
             socket.setblocking(False)
     超时检测:
             socket.settimeout(sec)

HTTP协议(超文本传输协议):
     网站浏览器获取网页的一种协议
     并且所有的www.文件都必须遵守这个标准

HTTP请求:
      1.请求行:
            说明具体的请求类别和内容
           GET        /index.html    /HTTP/1.1
         请求类别      请求内容       协议版本

      请求类别:
         GET:              获取网络资源
         POST:           提交一定的附加数据
         HEAD:          获取响应头
         PUT:             更新服务器资源
         DELETE:        删除服务器资源
         CONNECT:   未使用
         TRACE:         用于测试
         OPTIONS:    获取服务器性能信息
      2.请求头:
            对请求的具体描述
      3.空行
      4.请求体:
            具体的参数或提交的内容
HTTP响应:
      1.响应行:反馈具体的响应情况
          HTTP/1.1     20       OK
          版本协议   响应码   附加信息
       响应吗:
           1xx:提示信息,表示请求已经接收
           2xx:响应成功
           3xx:响应需要定向(重新记载链接第三方链接)
           4xx:客户端错误
           5xx:服务器端错误
      2.响应头:
         对响应内容的具体描述
      3.空行
      4.响应体:
         将客户端请求内容进行返回

IO:
    在内存中存在数据交换的操作可以认为是IO操作(输入输出)
    IO密集程序:
         大量的IO操作,消耗CPU较少
    CPU密集程序:
         大量的内存CPU运算,IO相对较少
IO分类:
    阻塞IO:
       因为某些条件没有达成 导致程序堵塞 如:input函数
    非阻塞IO:
       改变阻塞函数的状态不让其阻塞
IO多路复用:
     通过一个监测
     监控多个IO事件的行为,
     哪个IO事件准备就绪就执行哪个IO事件
IO准备就绪:
     IO事件即将发生时的临界状态


select模块

      监控IO事件
      rs, ws, xs = select(rlist, wlist, xlist[, timeout])
      rlist:  等待处理的IO
      wlist:  主动处理的IO
      xlist:  出错希望去处理的IO

位运算:
   按照二进制位进行位运算操作
    & 按为与   |  按位或   ^  按位异或    << 左异    >>右移

poll方法实现IO多路复用:
   1.创建poll对象:
       p = select.poll
   2.注册关注的IO:
       p.register(s, POLLIN | PLLERR)
       不关注:
          p.unregister(s)
       事件类别:
          POLLIN  POLLOUT  POLLERR  POLLHUP   POLLPRI
            rlist           wlist          xlist          断开       紧急处理 
   3.监控IO:
       events = p.poll()
       功能:监控关注的IO事件
       返回值:
           返回发生IO事件
   events是一个列表[(fileno, evnet), (), ()....]
   每个就绪IO对应一个元组(描述符,就绪事件)
           IO地图:{s.fileno():s}
   4.处理IO事件

本地套接字:
   
   作用:
      用于本地文件不同程序间进行数据传输
   本地套接字传输流程:
      1.创建本地套接字对象
          sockfd = socket(AF_UNIX, SOCK_STREAM)
      2.绑定套接字文件,如果文件不存在则自动创建 存在则报错
         sockfd.bind(file)
      3.监听
         listen
      4.消息收发
         recv send

 
多任务编程:
     通过程序利用计算机的多个核心达到同时执行多个任务的目的
     因此达到提升程序运行效率的目的
     并行:
        多个计算机核心在同时处理多个任务,
        这时多个任务之间是并行关系
     并发:
        同时运行多个任务,内核在多个任务之间的不断切换,
        达到多个任务都会执行的处理效果
        此时多个任务之间是并发关系
     程序:
        可执行文件,是静态的,只占有磁盘
     进程:
        是一个动态过程  程序的运行过程

     CPU时间片:
         如果有个进程占有CPU此时我们称为该进程占有CPU的时间片
         多个进程任务或轮流占有CPU时间片并形成并发效果

    进程特征:
        进程是操作系统分配资源的最小单元
        每个进程拥有自己独立的运行空间(4个G的虚拟内存空间)
        进程之间相互独立各不影响
    进程的状态:
        三态:
            就绪状态:
                 进程具备执行条件,等待系统分配处理器资源进入运行态
            运行态:
                 进程占有CPU处于运行状态
            等待态:
                 进程暂时不具备运行条件,需要阻塞等待
 
        五态:
             在三态的基础上增加新建和终止态 
             新建:
                  创建一个新的程序,获取系统资源的过程
             终止:
                  进程执行结束,释放资源的过程

OS模块:
   判断一个文件是否存在:
       os.path.exists(file)
   删除文件:
       os.remove(file)
       os.unlink(file)
   创建进程:
       os.fork()
   获取进程id:
       os.getpid()
   获取父进程id:
       os.getppid()
   退出一个进程:
       os.exit()
       sys.exit(退出提示)
   sys.exit() 可以通过捕获 SystemExit异常退出
   

孤儿进程:
    当父进程优先于子进程退出,此时子进程就会成为孤儿进程
    孤儿进程会被系统指定进程收养  退出后会自动处理
僵尸进程:
    当子进程优先于父进程退出,父进程没有处理子进程的退出状态
    就会变成僵尸进程   僵尸进程会滞留PCB 消耗内存资源

如何避免僵尸进程的产生:
    1.父进程先退出
    2.父进程处理子进程状态

处理僵尸进程:   
       PID,status = os.wait():
           wait 在父进程中阻塞等待处理子进程的退出
           返回退的子进程的怕pid和退出状态
       pid,status = os.waitpid(pid,option):
           waitpid 在父进程阻塞等待处理子进程的退出
           参数 :
               pid   -1 表示等待任意子进程退出 
                     >0 表示等待对应PID号的子进程退出 option 
                      0 表示阻塞等待 WNOHANG 表示非阻塞 
           返回退的子进程的怕pid和退出状态
利用二级子进程:
      父进程创建子进程等待进程退出
      子进程创建下一个进程,然后立即退出
      二级子进程成为孤儿进程  处理具体工作

multiprocessing模块

   process()
     功能:
       创建进程对象
     参数:
       target:函数对象
       name 给进程新名称()
       args:元组 用来给target函数位置传参
       kwargs:字典 用来给target函数键值传参
   启动进程:
       p.start()
         调用绑定函数有子进程运行
   等待子进程退出:
       p.join([超时检测])
          不使用join回收可能后产生僵尸进程

   使用multiprocessing创建进程子进程同样复制父进程的全部内存空间
   之后有自己的独立空间 执行上互不干扰 子进程也有自己的PID特有资源等
   使用multiprocessing创建子进程,一般父进程功能就是只用来创建子进程
   回收子进程,返回事件交给子进程完成

相关文章
|
10月前
|
运维 监控 数据可视化
Python 网络请求架构——统一 SOCKS5 接入与配置管理
通过统一接入端点与标准化认证,集中管理配置、连接策略及监控,实现跨技术栈的一致性网络出口,提升系统稳定性、可维护性与可观测性。
|
机器学习/深度学习 算法 量子技术
GQNN框架:让Python开发者轻松构建量子神经网络
为降低量子神经网络的研发门槛并提升其实用性,本文介绍一个名为GQNN(Generalized Quantum Neural Network)的Python开发框架。
357 4
GQNN框架:让Python开发者轻松构建量子神经网络
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的眼疾识别系统实现~人工智能+卷积网络算法
眼疾识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了4种常见的眼疾图像数据集(白内障、糖尿病性视网膜病变、青光眼和正常眼睛) 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型,然后保存为为本地h5格式文件。最后使用Django框架搭建了一个Web网页平台可视化操作界面,实现用户上传一张眼疾图片识别其名称。
787 5
基于Python深度学习的眼疾识别系统实现~人工智能+卷积网络算法
|
10月前
|
机器学习/深度学习 大数据 关系型数据库
基于python大数据的青少年网络使用情况分析及预测系统
本研究基于Python大数据技术,构建青少年网络行为分析系统,旨在破解现有防沉迷模式下用户画像模糊、预警滞后等难题。通过整合多平台亿级数据,运用机器学习实现精准行为预测与实时干预,推动数字治理向“数据驱动”转型,为家庭、学校及政府提供科学决策支持,助力青少年健康上网。
|
11月前
|
JavaScript Java 大数据
基于python的网络课程在线学习交流系统
本研究聚焦网络课程在线学习交流系统,从社会、技术、教育三方面探讨其发展背景与意义。系统借助Java、Spring Boot、MySQL、Vue等技术实现,融合云计算、大数据与人工智能,推动教育公平与教学模式创新,具有重要理论价值与实践意义。
|
JSON 网络安全 数据格式
Python网络请求库requests使用详述
总结来说,`requests`库非常适用于需要快速、简易、可靠进行HTTP请求的应用场景,它的简洁性让开发者避免繁琐的网络代码而专注于交互逻辑本身。通过上述方式,你可以利用 `requests`处理大部分常见的HTTP请求需求。
904 51
|
12月前
|
运维 Linux 开发者
Linux系统中使用Python的ping3库进行网络连通性测试
以上步骤展示了如何利用 Python 的 `ping3` 库来检测网络连通性,并且提供了基本错误处理方法以确保程序能够优雅地处理各种意外情形。通过简洁明快、易读易懂、实操性强等特点使得该方法非常适合开发者或系统管理员快速集成至自动化工具链之内进行日常运维任务之需求满足。
711 18
|
12月前
|
数据采集 存储 数据可视化
Python网络爬虫在环境保护中的应用:污染源监测数据抓取与分析
在环保领域,数据是决策基础,但分散在多个平台,获取困难。Python网络爬虫技术灵活高效,可自动化抓取空气质量、水质、污染源等数据,实现多平台整合、实时更新、结构化存储与异常预警。本文详解爬虫实战应用,涵盖技术选型、代码实现、反爬策略与数据分析,助力环保数据高效利用。
629 0
|
存储 监控 算法
基于 Python 跳表算法的局域网网络监控软件动态数据索引优化策略研究
局域网网络监控软件需高效处理终端行为数据,跳表作为一种基于概率平衡的动态数据结构,具备高效的插入、删除与查询性能(平均时间复杂度为O(log n)),适用于高频数据写入和随机查询场景。本文深入解析跳表原理,探讨其在局域网监控中的适配性,并提供基于Python的完整实现方案,优化终端会话管理,提升系统响应性能。
344 4
|
调度 Python
探索Python高级并发与网络编程技术。
可以看出,Python的高级并发和网络编程极具挑战,却也饱含乐趣。探索这些技术,你将会发现:它们好比是Python世界的海洋,有穿越风暴的波涛,也有寂静深海的奇妙。开始旅途,探索无尽可能吧!
353 15

推荐镜像

更多