python 冷兵器合集

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: python中自带了一些命令行工具,可以用来快速处理一些工作。我把这些命令行工具称之为 冷兵器 ,没有趁手的工具时候可以顶替使用。这些工具都是python标准模块,具有 main 函数,直接使用 python -m 命令执行,多数可以使用 -h/--help查看帮助。

python中自带了一些命令行工具,可以用来快速处理一些工作。我把这些命令行工具称之为 冷兵器 ,没有趁手的工具时候可以顶替使用。这些工具都是python标准模块,具有 main 函数,直接使用 python -m 命令执行,多数可以使用 -h/--help查看帮助。


本文以python3版本为准


1. http 服务



启动一个http的静态文件服务


# python -m http.serve
r
Serving HTTP on :: port 8000 (http://[::]:8000/) ...


2. json 格式化



格式化json数据


# echo '{"amount":3.4}' | python -m json.tool
{
    "amount": 3.4
}


3. 可视化编辑器和shell



idlelib模块基于tkinter,可以作为编辑器和shell使用。文件编辑器效果。


python -m idlelib myapp/example.py


image.png


shell效果


python -m idlelib


image.png


image.pngimage.png


4. python 应用程序打包



构建myapp目录如下:


├── myapp
│   ├── example.py
│   └── hello.py
复制代码


代码分别如下:


# example.py
import hello
def main():
   print('Hello World')
   hello.say_hello("python")
if __name__=='__main__':
   main()
# hello.py
def say_hello(name):
  print("hello",name)


将整个myapp打包成应用程序,命令执行后会生成一个名叫 myapp.pyz 应用程序。


python -m zipapp myapp -m "example:main"


使用python直接运行应用程序


# python myapp.pyz
Hello World
hello python


5. ROT13 加密



rot13(rotate by 13 places)是一种简易的替换式密码,是凯撒密码的变种。rot13将原文偏移13位形成密文,因为英文总共26位,所以密文再偏移13位后会回到原文。公式: rot13(rot13(xxx))=xxx


# echo "xxx" | python -m encodings.rot_13
Tvir zr n fgne


作为一个小彩蛋,欢迎大家动手破译一下xxx的值


6. base64 编码



对一个字符串进行base64编码


# echo "haha" | python -m base64
aGFoYQo=
# echo "aGFoYQo=" | python -m base64 -d
haha


base64还支持对文件编码。编写测试代码


# sample.py
def main():
   print('Hello World👌')
if __name__=='__main__':
   main()


将代码编译成base64字符串


# python -m base64 sample.py
CmRlZiBtYWluKCk6CiAgIHByaW50KCdIZWxsbyBXb3JsZPCfkYwnKQogICAKaWYgX19uYW1lX189
PSdfX21haW5fXyc6CiAgIG1haW4oKQo=


执行编译后的代码


# echo "CmRlZiBtYWluKCk6CiAgIHByaW50KCdIZWxsbyBXb3JsZPCfkYwnKQogICAKaWYgX19uYW1lX189
PSdfX21haW5fXyc6CiAgIG1haW4oKQo=" | python -m base64 -d | python
Hello World👌


类似的可以使用uu(Unix-to-Unix encoding)编码代码:


# python -m uu sample.py
begin 644 sample.py
M"F1E9B!M86EN*"DZ"B @('!R:6YT*"=(96QL;R!7;W)L9/"?D8PG*0H@(" *
C:68@7U]N86UE7U\]/2=?7VUA:6Y?7R<Z"B @(&UA:6XH*0H
end


使用quopri(Encode and decode MIME quoted-printable data)编码代码:


# python -m quopri -t sample.py
def=20main():
=20=20=20print('Hello=20World=F0=9F=91=8C')
=20=20=20
if=20__name__=3D=3D'__main__':
=20=20=20main()


7. mime 识别



识别文件或者url的mime类型


# python -m mimetypes https://docs.python.org/3/library/mimetypes.html
type: text/html encoding: None  # html
# python -m mimetypes https://www.google.com/images/branding/googlelogo/2x/googlelogo_color_272x92dp.png
type: image/png encoding: None  # png
# python -m mimetypes sample.py
type: text/x-python encoding: None  # python文件
# python -m mimetypes sample.py.gz
type: text/x-python encoding: gzip  # python文件,gzip压缩


8. 查看python环境信息



python -m sysconfig
Platform: "macosx-10.9-x86_64"
Python version: "3.8"
Current installation scheme: "posix_prefix"
Paths:
  data = "/Users/yoo/work/yuanmahui/python/.venv"
  include = "/Library/Frameworks/Python.framework/Versions/3.8/include/python3.8"
  ...
Variables:
    ...
  PYTHON = "python"
  PYTHONFRAMEWORK = "Python"
  PYTHONFRAMEWORKDIR = "Python.framework"
  PYTHONFRAMEWORKINSTALLDIR = "/Library/Frameworks/Python.framework"
  ...


也可以使用下面命令查看系统路径


# python -m site
sys.path = [
    '/Users/yoo/work/yuanmahui/python/python-tools',
    '/Library/Frameworks/Python.framework/Versions/3.8/lib/python38.zip',
    '/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8',
    '/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/lib-dynload',
    '/Users/yoo/work/yuanmahui/python/.venv/lib/python3.8/site-packages',
]
USER_BASE: '/Users/yoo/Library/Python/3.8' (exists)
USER_SITE: '/Users/yoo/Library/Python/3.8/lib/python/site-packages' (exists)
ENABLE_USER_SITE: False


9. 编译脚本



compileall可以编译python脚本。myapp目录有2个py脚本


# ll myapp
total 16
-rw-r--r--  1 yoo  staff   118B  2 26 23:03 example.py
-rw-r--r--  1 yoo  staff    43B  2 26 23:03 hello.py


编译脚本


# python -m compileall myapp
Listing 'myapp'...
Compiling 'myapp/example.py'...
Compiling 'myapp/hello.py'...


查看编译结果


tree myapp -L 3
myapp
├── __pycache__
│   ├── example.cpython-38.pyc
│   └── hello.cpython-38.pyc
├── example.py
└── hello.py
1 directory, 4 files
复制代码


10. 压缩和解压



创建和解压tar包


# python -m tarfile -c myapp.tar myapp  # 创建myapp.tar 压缩包
# python -m tarfile -e myapp.tar myapp2 # 解压myapp.tar 到 myapp2目录


使用gzip压缩文件


# python -m gizp sample.py
# python -m gzip -d sample.py.gz


使用zip打包文件


# python -m zipfile -c myapp.zip myapp
# python -m zipfile -e myapp.zip myapp2


注意: zipfile和zipapp不一样, 后则是生成一个可以执行的app


11. telnet 工具



没有telnet工具的python容器中可以这样:


# python -m telnetlib -d redis 6379  # 连接redis
monitor
Telnet(redis,6379): send b'monitor\n'
Telnet(redis,6379): recv b'-NOAUTH Authentication required.\r\n'
-NOAUTH Authentication required.


还有 nntplib && ftplib 两个工具,应该很少使用,就不介绍了


12. 性能和调试工具



自带的timeit可以测试脚本的性能数据


# python -m timeit '"-".join([str(n) for n in range(100) if n%2 == 0])'  # 取模求偶数
20000 loops, best of 5: 12.5 usec per loop
# python -m timeit '"-".join([str(n) for n in range(0,100,2)])'  # 步进
50000 loops, best of 5: 8.85 usec per loop
# python -m timeit '"-".join([str(n) for n in range(100) if n&1 == 0])'  # 位运算判断奇偶
20000 loops, best of 5: 14.3 usec per loop


不科学1: 位运算竟然比取模慢?


如果不是一个字符串而是一个脚本:


def test_normal():
  tmp = ""
  for x in range(100):
    if x % 2 == 0:
      if tmp:
        tmp = tmp+"-"+str(x)
      else:
        tmp = str(x)
  return tmp
if __name__ == '__main__':
  print(test_normal())


可以下面方式变通使用


# python -m base64 test_string_join.py | python -m base64 -d | python -m timeit
50000000 loops, best of 5: 5.33 nsec per loop


不科学2: 50000000循环只需要5.33纳秒,而之前的用例20000循环需要12.5微秒


标准库中还有 pdb && profile && pstats 使用比较复杂,暂时就不介绍


pypy3 -m timeit '[{} for n in range(1000)]'
WARNING: timeit is a very unreliable tool. use pyperf or something else for real measurements
pypy3 -m pip install pyperf
pypy3 -m pyperf timeit '[{} for n in range(1000)]'
------------------------------------------------------------
100000 loops, average of 7: 7.3 +- 0.107 usec per loop (using standard deviation)
[tywork@liujunhong_szfsfz_work1 config]$ pypy3 -m pyperf timeit '[{} for n in range(1000)]'
........
Mean +- std dev: 8.42 us +- 0.25 us
[tywork@liujunhong_szfsfz_work1 config]$
[tywork@liujunhong_szfsfz_work1 config]$
[tywork@liujunhong_szfsfz_work1 config]$
[tywork@liujunhong_szfsfz_work1 config]$ pypy3 -m pyperf timeit '[dict() for n in range(1000)]'
.........
Mean +- std dev: 29.6 us +- 1.1 us


13. pydoc



本地服务方式查看python代码文档


# python -m pydoc -p 8080  # 启动一个web服务
Server ready at http://localhost:8080/
Server commands: [b]rowser, [q]uit
server> b


文档效果如图


image.png


14. test



执行python自带的测试用例,查看系统支持那些特性


# python -m test.regrtest -u cpu
== CPython 2.7.16 (default, Jun 5 2020, 22:59:21) [GCC 4.2.1 Compatible Apple LLVM 11.0.3 (clang-1103.0.29.20) (-macos10.15-objc-
==   Darwin-19.6.0-x86_64-i386-64bit little-endian
==   /private/var/folders/mv/3vgd3mdx2453clfcst7qlm280000gn/T/test_python_13470
== CPU count: 12
Run tests sequentially
0:00:00 load avg: 2.53 [  1/404] test_grammar
...
= Tests result: FAILURE ==
363 tests OK.
5 tests failed:
    test_import test_posix test_py_compile test_rlcompleter
    test_scriptpackages
36 tests skipped:
    test_al test_bsddb test_bsddb3 test_cd test_cl test_codecmaps_cn
    test_codecmaps_hk test_codecmaps_jp test_codecmaps_kr
    test_codecmaps_tw test_curses test_epoll test_gdb test_gdbm
    test_gl test_imgfile test_largefile test_linuxaudiodev test_msilib
    test_ossaudiodev test_poll test_py3kwarn test_smtpnet
    test_socketserver test_spwd test_startfile test_sunaudiodev
    test_timeout test_tk test_tools test_ttk_guionly test_urllib2net
    test_urllibnet test_winreg test_winsound test_zipfile64
2 skips unexpected on darwin:
    test_spwd test_tools
Total duration: 5 min 23 sec
Tests result: FAILUR


从测试用例,可以看到osx支持fork,不支持epool和poll。


0:00:47 load avg: 1.79 [138/404] test_fork1
...
0:00:39 load avg: 1.59 [125/404] test_epoll
test_epoll skipped -- test works only on Linux 2.6
...
0:02:42 load avg: 2.41 [257/404/1] test_poll
test_poll skipped -- select.poll not defined -- skipping test_poll
0:02:42 load avg: 2.41 [258/404/1] test_popen -- test_poll skipped


参考链接



相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
2月前
|
人工智能 数据可视化 数据挖掘
探索Python编程:从基础到高级
在这篇文章中,我们将一起深入探索Python编程的世界。无论你是初学者还是有经验的程序员,都可以从中获得新的知识和技能。我们将从Python的基础语法开始,然后逐步过渡到更复杂的主题,如面向对象编程、异常处理和模块使用。最后,我们将通过一些实际的代码示例,来展示如何应用这些知识解决实际问题。让我们一起开启Python编程的旅程吧!
|
2月前
|
存储 数据采集 人工智能
Python编程入门:从零基础到实战应用
本文是一篇面向初学者的Python编程教程,旨在帮助读者从零开始学习Python编程语言。文章首先介绍了Python的基本概念和特点,然后通过一个简单的例子展示了如何编写Python代码。接下来,文章详细介绍了Python的数据类型、变量、运算符、控制结构、函数等基本语法知识。最后,文章通过一个实战项目——制作一个简单的计算器程序,帮助读者巩固所学知识并提高编程技能。
|
2月前
|
Unix Linux 程序员
[oeasy]python053_学编程为什么从hello_world_开始
视频介绍了“Hello World”程序的由来及其在编程中的重要性。从贝尔实验室诞生的Unix系统和C语言说起,讲述了“Hello World”作为经典示例的起源和流传过程。文章还探讨了C语言对其他编程语言的影响,以及它在系统编程中的地位。最后总结了“Hello World”、print、小括号和双引号等编程概念的来源。
126 80
|
23天前
|
存储 缓存 Java
Python高性能编程:五种核心优化技术的原理与Python代码
Python在高性能应用场景中常因执行速度不及C、C++等编译型语言而受质疑,但通过合理利用标准库的优化特性,如`__slots__`机制、列表推导式、`@lru_cache`装饰器和生成器等,可以显著提升代码效率。本文详细介绍了这些实用的性能优化技术,帮助开发者在不牺牲代码质量的前提下提高程序性能。实验数据表明,这些优化方法能在内存使用和计算效率方面带来显著改进,适用于大规模数据处理、递归计算等场景。
58 5
Python高性能编程:五种核心优化技术的原理与Python代码
|
3月前
|
存储 索引 Python
Python编程数据结构的深入理解
深入理解 Python 中的数据结构是提高编程能力的重要途径。通过合理选择和使用数据结构,可以提高程序的效率和质量
172 59
|
2月前
|
Python
[oeasy]python055_python编程_容易出现的问题_函数名的重新赋值_print_int
本文介绍了Python编程中容易出现的问题,特别是函数名、类名和模块名的重新赋值。通过具体示例展示了将内建函数(如`print`、`int`、`max`)或模块名(如`os`)重新赋值为其他类型后,会导致原有功能失效。例如,将`print`赋值为整数后,无法再用其输出内容;将`int`赋值为整数后,无法再进行类型转换。重新赋值后,这些名称失去了原有的功能,可能导致程序错误。总结指出,已有的函数名、类名和模块名不适合覆盖赋新值,否则会失去原有功能。如果需要使用类似的变量名,建议采用其他命名方式以避免冲突。
52 14
|
2月前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
116 2
|
2月前
|
小程序 开发者 Python
探索Python编程:从基础到实战
本文将引导你走进Python编程的世界,从基础语法开始,逐步深入到实战项目。我们将一起探讨如何在编程中发挥创意,解决问题,并分享一些实用的技巧和心得。无论你是编程新手还是有一定经验的开发者,这篇文章都将为你提供有价值的参考。让我们一起开启Python编程的探索之旅吧!
65 10
|
2月前
|
机器学习/深度学习 人工智能 Java
Python 语言:强大、灵活与高效的编程之选
本文全面介绍了 Python 编程语言,涵盖其历史、特点、应用领域及核心概念。从 1989 年由 Guido van Rossum 创立至今,Python 凭借简洁的语法和强大的功能,成为数据科学、AI、Web 开发等领域的首选语言。文章还详细探讨了 Python 的语法基础、数据结构、面向对象编程等内容,旨在帮助读者深入了解并有效利用 Python 进行编程。
|
2月前
|
机器学习/深度学习 人工智能 数据挖掘
探索Python编程的奥秘
在数字世界的海洋中,Python如同一艘灵活的帆船,引领着无数探险者穿梭于数据的波涛之中。本文将带你领略Python编程的魅力,从基础语法到实际应用,一步步揭开Python的神秘面纱。
57 12

热门文章

最新文章