源码请到：自然语言处理练习: 学习自然语言处理时候写的一些代码 (gitee.com)
二、正则表达式
python中还内置了re模块，可以使用正则表达式来进行数据的预处理，首先贴几张正则表达式语法表（摘自Python核心编程3rd）
2.1 将符合正则表达式的字符串匹配式传入re模块的compile函数，注意字符串前加r表示不使用转义字符，或者每个/写作//。
示例：
pattern=re.compile(r'\d+') print("正则表达式:", re.findall(pattern, text))
2.2 match函数和serch函数
两个函数都是查找是否有符合正则表达式的字串，不同在于match函数是字串必须从字符串第一个开始就匹配，如果没有则返回none，search函数是从原字符串任意位置开始匹配都可以
示例：
print("match:", re.match(pattern, text)) print("serch:", re.search(pattern, text))
2.3 sub和subn函数
两个函数都是替换字符字串的功能，第二个函数会返回一个元组，元组中第二个参数表示替换了几处
示例：
print("sub:", re.sub(pattern, '*', text)) print("subn:", re.subn(pattern, '*', text))
2.4 split切片函数
通过匹配的正则表达式为依据进行切片
示例：
print("split", re.split(pattern, text))
