机器学习常用工具

机器学习常用工具

• jieba分词器
  • jieba.cut(content): 返回一个生成器, 迭代可以返回文本
  • jieba.lcut(content): 直接返回文本
  • jieba.cut_for_search(content): 搜索引擎模式
  • jieba.analyse
    • extract_tags(content, topK=, withWeight=)
• wordcloud
  • 使用步骤:
    • wordcloud=WordCloud(font_path="simhei.ttf",background_color="white",max_font_size=100)
    • word_frequence = {x[0]:x[1] for x in words_count.head(100).values}
    • wordcloud=wordcloud.fit_words(word_frequence)
    • plt.imshow()
• matplotlib
  • rcParams: 动态配置参数, 主要配置图像的分辨率与像素
    • matplotlib.rcParams[‘figure.figsize’]# 图片像素
    • matplotlib.rcParams[‘savefig.dpi’]# 分辨率
    • plt.savefig(‘plot123_2.png’, dpi=200)# 指定分辨率
• pandas
  • DataFrame的对象
    • set_index(): 指明最左列是什么, 默认是id号, 从0开始, 使用df.loc[0]等选择行的
    • reset_index(): 重置到id号的index
    • groupby(by=): 将行按照某一类合并在一起, 方便求和, 均值等
    • df[['col1', 'col2']].agg(['sum', 'mean'])
    • groupby与agg常常联合使用: df.groupby(by'col1')['col1'].agg(['sum', 'std', 'mean']) 方便:-)
    • apply: 传入一个函数参数, 对df中指定的列的每一个元素执行该函数
    • sort_values: 根据指定的列进行排序
    • sort_index: 根据index进行排序, 有set_index指定, 默认为id号, 从0开始
    • iloc: 只能参数int类型, index是从当前开始计算的
    • loc: 可以是bool类型和int类型, index是从原始数据得到的
  • read_table
  • read_csv
• collections
  • defaultdict(func): 设置一个🈶默认值的dict, 为func的返回值. 如: lambda :1, list, int, str
• gensim
  • 从宏观来看，gensim提供了一个发现文档语义结构的工具，通过检查词出现的频率。gensim读取一段语料，输出一个向量，表示文档中的一个词。
  • 使用的前提是有一个单词字典
  • doc2bow将字符串转为真正需要的向量, 该函数返回的值与corpora.Dictionary返回的对象经常一起作为lda, lsi和tfidf算法对象的参数传入(在gensim库中, 在jieba.analyse.extrag_tags不需要)
  • copy from others:
    • 如果要对文档的隐含结构进行推断，就需要一种数学上能处理的文档表示方法。一种方法是把每个文档表达为一个向量。有很多种表示方法，一种常见的方法是bag-of-words模型。在词袋模型中，每篇文档表示被表示成一个向量，代表字典中每个词出现的次数。例如，给定一个包含[‘coffee’,’milk’,’sugar’,’spoon’]的字典，一个包含[‘coffee milk coffee’]字符串的文档可以表示成向量[2,1,0,0]。向量各个元素的位置和字典的顺序相对应，向量的长度就是字典的长度。词袋模型的一个重要特点是，它完全忽略的单词在句子中出现的顺序，这也就是“词袋”这个名字的由来
  • 语料库corpus是一个多维度的向量, 有(id, count)组合
• 数据处理小伎俩
  • 如果li = ['I', 'am', '?'], 使用''.join(li)转为字符串
  • 要让一组数据的每一个元素关联一组ID, 可以使用corpora.Dictionary创建字典, key为key, val为ID号, 一般用于python的文本数据分析处理
  • 划分X与y, X = data[:, data.columns != y_label], y = data[:, data.columns == y_label]