Python 性能分析的几个方法，找到你代码中的那个她

import random
 import string
 
 def generate_random_string(length):
     """生成一个由小写字母和数字组成的随机字符串。"""
     letters_and_digits = string.ascii_letters + string.digits
     return ''.join(random.choice(letters_and_digits) for _ in range(length))
 
 def generate_random_file(filename, num_lines, line_length):
     """生成一个指定数量和长度的随机行文件。"""
     with open(filename, 'w') as f:
         for i in range(num_lines):
             random_line = generate_random_string(line_length) + '\n'
             f.write(random_line)
 
 if __name__ == '__main__':
     #生成1000000行，每行1000个字符
     generate_random_file('random.txt', 1_000_000, 1000)

import re
 
 def baseline():
     num_total_matches = 0
     pattern1 = r"[0-9]{1}bob" # 正则表达式
     pattern2 = r"[0-9]{1}rob" # 正则表达式
     
     with open('random.txt', 'rt') as f:
         for line in f:
             line = line.lower()  # 将文本全部为小写。
             for pattern in [pattern1, pattern2]:
                 # 在字符串中找到模式的所有匹配项
                 matches = re.findall(pattern, line)
 
                 # 统计出现的次数
                 num_matches = len(matches)
                 num_total_matches += num_matches
             
     return num_total_matches

from profilehooks import profile
 
 # stdout=False -> don't print anything in the terminal
 # filname -> path to the output file with profiling results
 @profile(stdout=False, filename='baseline.prof')
 def baseline():
     ...

python -m gprof2dot -f pstats <profiling-results-file> | dot -Tpng -o output.png

import graphviz
     
 def make_png(input_file_name, output_file_name):
     dot = graphviz.Source.from_file(input_file_name)
     dot.render(outfile=output_file_name)
     
 if __name__ == '__main__':
     make_png('file.dot', 'file.svg')  # 还支持 .png、.jpg 等格式。

def single_pattern():
     num_total_matches = 0
     pattern = r"[0-9][rb]ob"  # 我们现在只有一个搜索
     
     with open('random.txt', 'rt') as f:
         for line in tqdm(f, total=1_000_000):
             line = line.lower()
             # 在字符串中找到模式的所有匹配项
             matches = re.findall(pattern, line)
 
             # 计算比赛的数量
             num_matches = len(matches)
             num_total_matches += num_matches
         
     return num_total_matches

def wasted_efforts():
     num_total_matches = 0
     # 我们使用编译后的正则表达式
     pattern1 = re.compile(r"[0-9]{1}rob", flags=re.IGNORECASE)
     # 我们还使用不区分大小写的情况。
     pattern2 = re.compile(r"[0-9]{1}bob", flags=re.IGNORECASE)
     
     with open('random.txt', 'rt') as f:
         # 我们将行加载到一个块中，并一次性处理。
         chunk = []
         for line in tqdm(f, total=1_000_000):
             chunk.append(line)
             
             if len(chunk) == 1000:
                 chunk_str = ''.join(chunk)
                 for pattern in [pattern1, pattern2]:
                     # 在字符串中找到模式的所有匹配项
                     matches = re.findall(pattern, chunk_str)
 
                     # 计算数量
                     num_matches = len(matches)
                     num_total_matches += num_matches
                     
                 chunk = []
 
     # 尽管我们修改了代码，但这段代码仍然和原始版本一样慢。
     return num_total_matches

from multiprocessing import Pool
 
 def calc_num_matches(string):
     # 我们为我们的池对象创建一个单独的函数
     # 并行应用于文件中的每一行
     pattern = r"[0-9]{1}[rb]ob"
     return len(re.findall(pattern, string))
 
 def chunks_single_pool():
     num_total_matches = 0
     
     pool = Pool(8)  # 进程数量应该小于或等于 CPU 核心数。
     
     with open('random.txt', 'rt') as f:
         chunk = []
         # 我们将行加载到列表中
         for line in tqdm(f, total=1_000_000):
             line = line.lower()
             chunk.append(line)
             
             if len(chunk) == 1000:
                 # 然后我们并行地将我们的 `calc_num_matches` 函数应用于每一行
                 num_ind_matches = pool.map(calc_num_matches, chunk)
                 # 将所有独立匹配项相加。
                 num_matches = sum(num_ind_matches)
                 num_total_matches += num_matches
 
                 chunk = []
     
     return num_total_matches