浅析中文分词与命名实体

【2020年11月分享】

背景介绍

1. 计算机、互联网服务越来越多的改变着人们的生活；
2. 信息时代，信息消费需求的数量越来越大，精度越来越高；
3. 信息的采集、加工、传递等技术提升需求迫切；
4. 信息大多以文字形式体现，文字处理，英文具有天然优势和既有技术领先优势，中文处理因为汉字语言的特殊性并没有外文那样简单，还存在很多的挑战。

中文信息处理是自然语言信息处理的一个分支，具体内容包括对字、词、句、篇章的分析、理解和生成等方面的技术。而中文分词和实体识别则是中文信息处理的基础和最常用的技术，本文重点是对一些基本感念做以介绍。

中文分词

把中文的汉字序列切分为有意义的词序列。

• 什么叫词
  最小的语义单位
• 歧义分类
  （1）交叉歧义
  例如： “技术和服务” 中的 “和服”， “南京市长江大桥” 中的 “市长”
  （2）组合歧义
  例如： “产量三年中将增长两倍”，“馒头好吃？那是面的质量好”
  （3）真歧义
  例如： “白天鹅在湖里游泳”，“乒乓球拍卖完了”
• 特殊词
  （1）新词
  随着时代发展新造或新生词语，例如：蜗居，微博
  （2）未登录词
  表达多样、自由，无法依靠词典收录解决的词类，例如：周杰伦，中新药业，樱桃沟
  （3）音译词
  例如： 奥巴马，阿姆斯特丹
• 分类体系
  （1）词性分类
  名、动、形、数、量、代、副
  （2）用途分类
  实词、名词、动词、形容词、虚词、副词、代词、叹词
  （3）应用分类
  人名、地名、机构名、数量词、时间词等

命名实体

文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。

• 常见命名实体
  人名、机构名、地名、产品名、时间、日期、货币和百分比
• 命名实体的识别
  命名实体识别的过程通常包括两部分
  （1）实体边界识别；
  （2） 确定实体类别（人名、地名、机构名或其他）。
• 命名实体的属性：
  各类实体属性不同，如：人名，包括年龄、身高、工作单位、职务、所属行业等
• 常见学术分类
  （1）三大类：实体类、时间类、数字类
  （2）七小类：人名、机构名、地名、时间、日期、货币、百分比

中文分词准确率问题

• 词语切分
  （1）歧义处理：交叉歧义、组合歧义
  （2）未登录词识别：人名识别、机构名识别、地名识别、数量词识别、时间词识别
  （3）新词识别：同现统计
• 词彩标注
  词的感情色彩标注，一般分为三类：褒义、贬义、中性，也就是我们现在在舆情应用中经常提到情感分析模型的正面、负面、中性的基础
• 词性和词义标准的准确性

命名实体的识别难点

• 实体边界
  确定命名实体在文本中的边界，给出其类型
• 属性标注
  通过属性表达识别，文本挖掘，给命名实体标注其重要属性，例如：人名 对应的重要属性，机构名 对应的重要属性
• 关系构建
  指命名实体与命名实体之间 或 命名实体与其他词的关系建立，例如：丁磊 与 网易公司，丁磊 与 互联网 ，狗不理包子 与 天津

中文信息技术体系

分词效果示例