-
自然语言处理（NLP）相关
Synonyms:中文近义词工具包基于维基百科中文和word2vec训练的近义词库&xff0c;封装为python包文件。Chinese_conversation_sentimentA Chinese sentiment dataset may be useful for sentiment analysis.中文突发事件...文章 2022-05-17 127浏览量 -
目前常用的自然语言处理开源项目/开发包大汇总
功能：获取近义词集合，句子相似度计算 性能：见网站 活跃度：～1k Star 结巴分词：Python中文分词组件 开发语言：Python 网址：fxsjy/jieba 开发机构： 协议：MIT授权协议 功能：中文分词 FNLP：FNLP主要是为中文...文章 2018-11-26 2786浏览量 -
Coding and Paper Letter（二十四）
27.Python库Synonyms，中文近义词工具包。Synonyms 28.R语言包vdiffr，vdiffr是包测试的扩展，可以轻松测试视觉回归。它提供了一个Shiny应用程序来管理失败的测试，并在视觉上将图形与其预期输出进行比较。vdiffr 29...文章 2018-09-24 1690浏览量 -
在数据增强、蒸馏剪枝下ERNIE3.0分类模型性能提升
unk_token UNK_TOKEN 分类问题中：推荐使用前三种即可，w2v词向量近义词替换可以不用，花费时间太长。python data_aug.py-unk 0.25-truncate 0.25-pos 0.5-w2v 0./train./outputdemo结果展示： 机器 背面 似乎 被 撕...文章 2022-11-12 86浏览量 -
基于PaddleHub的Fine-tune讯飞医疗搜索意图识别（上）
load:/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/nlpcda/data/同义词.txt done3.3 近义词增强参数&xff1a;base_file&xff1a;缺省时使用内置【同义同音字表】&xff0c;你可以设定/自己指定更加...文章 2023-01-01 46浏览量 -
【云栖号案例|互联网】小红唇APP通过大数据计算平台21...
近义词主要是为了优化搜索的体验，具体是把用户发布的内容、视频的名称、描述、用户的标签、评论等语料信息通过阿里云实时计算word2vec算法获取词向量，通过余弦相似度计算获取近义词，通过人工筛选、录入到搜索引擎...文章 2020-03-16 1755浏览量 -
文本相似度计算 中｜学习笔记
那就有可能是同义词或近义词。他要计算向量空间的话&xff0c;计算的词的相似性的话就比较科学&xff0c;准确度更高。三、基于知识组织基于知识组织的方法主要是两种。一种是基于本体的方法&xff0c;它进一步可以分为基于...文章 2022-11-22 22浏览量 -
能理解聊天记录的微信机器人(一)
在前面的知乎中的近义词系列里（一，二，三，四），我们介绍了一些基于文本理解的小应用，比如自动辨别近义词，文章的分类，索引和搜索。那么这个微信机器人系列，就会尝试把这些技术用到聊天群里面去，看能不能做出...文章 2017-08-02 2087浏览量 -
闲鱼是怎么让二手属性抽取准确率达到95%的？
近义词、近义表述不是特别多的情况（≤几十种到上百种），关键词呈对数正态分布/指数分布（即有很多高频且集中的关键词），建议方法：正则表达式+规则。近义词、近义表述非常多的情况（≥几百种到上千种），典型的如...文章 2021-01-19 1971浏览量 -
人工神经网络模型、手写数字识别、多层卷积网络、词...
生成vectors.bin文件，训练好词向量二进制文件，求近义词了，执行./distance vectors.bin。参考资料：《Python 自然语言处理》...文章 2018-03-13 1929浏览量 -
情感分析的新方法，使用word2vec对微博文本进行情感...
使用word2vec会得到vectors.bin词向量模型文件，对于文本聚类而言，word2vec提供了一个内部命令来获得近义词列表。我们只需要输入distance 命令便可实现词语之间相似性的比较，继而达到聚类目的。distance vectors....文章 2018-02-07 4118浏览量 -
文本相似度计算｜学习笔记（二）
近义词。那么这个计算向量空间的话就比较科学&xff0c;准确度更高。基于知识组织的方法基于知识组织的方法主要有两种&xff0c;一种是基于本体的方法。基于本体的方法&xff0c;进一步可以分为基于距离&xff0c;就是概念之间的...文章 2022-11-23 85浏览量 -
Spark编程指南V1.4.0(翻译)
注意：代码中的一些地方使用属于“分片（分区的近义词）”来保持向后兼容。Java 并行集合是通过对存在于驱动程序中的集合调用JavaSparkContext的parallelize方法来构建的。构建时会拷贝集合中的元素。创建一个能够被...文章 2017-10-12 1034浏览量 -
机器学习自然语言处理之英文NLTK（代码+原理）
而词形归并指的是利用词汇表以及词形分析方法返回词的原型的过程。既归并变形词的结尾&xff0c;例如“ing”或者“es”&xff0c;然后获得单词的原型&xff0c;例如对单词“wolves”进行词形归并&xff0c;将得到“wolf”输出。5...文章 2022-07-08 180浏览量 -
文本相似度计算｜学习笔记
近义词。那么这个计算向量空间的话就比较科学&xff0c;准确度更高。基于知识组织的方法基于知识组织的方法主要有两种&xff0c;一种是基于本体的方法。基于本体的方法&xff0c;进一步可以分为基于距离&xff0c;就是概念之间的...文章 2022-11-22 84浏览量 -
一切为了搜索
NGram和Edge NGram：连词分割 Synonym：添加近义词的term Token Filters：针对Tokenizer处理后的单词进行加工，例如转小写、删除或新增等analyze_api: POST_analyze {"analyzer":"standard",分词器"text...文章 2022-02-09 121浏览量 -
EasyNLP带你实现中英文机器阅读理解
mask时80%的概率替换为近义词、10%的概率替换为随机词、10%的概率保留为原始词。此外&xff0c;BERT原版的NSP模型长期为研究者们所诟病&xff0c;MacBERT模型中将NSP修改为SOP(Sentence Order Prediction)&xff0c;其正例为...文章 2022-09-28 161浏览量 -
【2019年大数据福利推荐】MaxCompute教程、案例视频...
大数据计算服务(MaxCompute，原名ODPS，...视频介绍：来自阿里云高级技术支持工程师，本次分享关于MaxCompute Tunnel上传的各种用法，如何使用Python UDF实现正则、如何使用shell实现批量上传、实现自定义分隔符等。...文章 2019-01-11 6088浏览量 -
数万字长文带你入门elasticsearch（一）
}Token Filterslowercase将所有term转换为小写stop删除stop wordsNGram和Edge NGram连词分割Synonym添加近义词的term对于Tokenizer输出的单词(term)进行增加、删除、修改等操作自带的如下&xff1a;Filter测试时可以...文章 2022-05-31 102浏览量 -
不懂Ruby的程序员，如何快速读懂Ruby代码
本问答的目标读者是不了解Ruby语言、但有别的编程语言经验的人。Ruby语言的代码可读性是很强的。本问答只把一些语法特点、以及别的语言...没有区别，这两个方法完全一样，是同义词。Ruby的标准API里有不少方法的用法是...文章 2013-01-22 934浏览量 -
不懂Ruby的程序员，如何快速读懂Ruby代码
if condition:这种和Python一样的写法（条件之后用冒号），为1.8版 {|a,b;x,y|}的写法（用分号隔开两类参数），一定是1.9版 Q：有些写法感觉很奇怪，比如5.times { puts"Ruby!}，怎么理解？这种写法其实很酷。Ruby...文章 2016-09-05 1873浏览量 -
mysql 数据库拆分与整合方案
全文检索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。...文章 2015-05-18 1753浏览量 -
作为程序员的他，大学四年一直自学，全靠这些实用工具...
接下来是近义词、词组和常用例句库&xff0c;完美匹配我的审美需求。内置的常用英汉词条多达 30 万个&xff0c;专业词条 40 万个&xff0c;专业词库覆盖医学、经济、工程、计算机等十多个领域&xff1b;支持海量第三方词典库&xff...文章 2021-12-01 99浏览量 -
其他事项
控制反转一般通过callback来实现,其目的是降低模块之间依赖性,控制反转,依赖反转和依赖注入是近义词,他们的主题是控制与依赖,目的是解耦,方法是翻转,而实现这一切的关键是抽象接口(包括 函数指针,抽象类,接口,C++中...文章 2017-10-14 1656浏览量 -
NLPer福利-中文语言理解基准测【CLUEbenchmark】（上...
python3 run_clue_task.py支持10个任务、9大模型、自定义任务&xff0c;见 PyCLUE toolkit生成提交文件分类任务: 在CLUE/baselines/models/bert目录下执行 bash run_classifier_xxx.sh predict 即可在output_dir下得到...文章 2022-05-22 291浏览量
