判断数据属于多个类别的技巧

简介:

 在自主开发的多个系统中都用到了分类算法,每个数据都可能被分到几个类别中,对于详细的分值可以简单的放在一个冗余表,但是在原始数据表中还是要记录每条数据所属的类别。这就有几个比较棘手的问题,一是对于类别的查找,二是对于类别的添加。有以下几个解决方法:

  1)每个类别都记录成一个字段来标记是否属于:这样查找的时候后面要跟where条件,如果是查找多个类别就要带几个条件,查找效率一般。但添加类别的时候就比较麻烦,既要修改数据库字段,又要修改程序。 

  2)把类别都记录在一个字段:这样添加类别简单了,但是查找的时候就不太方便,如果每次值查找一个类别,那么用like还是可以接受,但如果同时查找多个类别,那sql就要写好几个like,这个效率自然更不能接受。有个折衷的办法,就是把这些类别按一定顺序排放,这样查找的时候一个like还可以处理。

  3)同样类别还是记录在一个字段:这个还可以利用全文索引来查询,这样也可以对该字段进行复合查询,但是mysql自带的fulltext索引只能用于myisam,如果用lucene或sphinx就需要额外配置,稍微麻烦点。

    上面几个方式我想了下感觉都不是很满意,今天突然想到之前做的算法题中有个常用的技巧,就是利用二机制来解决问题。对于类别是否属于就是一个0或1的标志,多个类别就记录多位即可。这个问题就迎刃而解了。

    假设目前分类有CBA三个类别,至于为什么倒过来,后面会有说明。现在有四条数据,所属类别分别为001, 010, 100, 101,最后一个数据是为了表示有的会被分到多个类别。

    类别的查找方法:既然转换成二进制,自然是考虑使用位运算,这里以mysql的函数语法为例。假设要查找A类的数据,那么条件为categories & b'001',这样数据1和数据4就会匹配上。查找属于多个类别的也很简单,查找属于A或B类,条件为categories &  b'011'。查找A且B类,条件为categories &  b'011' = b'011'。

    类别的添加方法:由于位运算的低位始终在后面,所以新添加的类别就要加到高位上,比如增加D类别,原数据分类就相当与默认都没分到D类中,原始数据也不用做任何修改。

    这个方法对于类别是否属于的判断非常高效,计算机只要做一次运算就能拿到结果,但mysql对于位数也是有限制,64位系统下最多只能有64位长度,使用时注意一下。将十进制转换成二进制形式可以使用函数bin(n)。



本文转自passover 51CTO博客,原文链接:http://blog.51cto.com/passover/654922,如需转载请自行联系原作者

相关文章
|
1月前
|
测试技术 C++
判断晨曦酒庄的酒桶能否恰好装满给定的葡萄酒
晨曦酒庄有 n 个酒桶,容量分别是从 1 到 n(升),他可以从中任意挑选 k 个酒桶,并且每个酒桶必须恰好装满。 现在迪卢克准备了 x 升葡萄酒,判断能否用 k 个酒桶装满。
16 1
|
8月前
|
机器学习/深度学习 数据采集 算法
快速找到离群值的三种方法
本文将介绍3个在数据集中查找离群值的Python方法
227 0
快速找到离群值的三种方法
|
9月前
|
算法 安全 机器人
算法提高:计算几何基础 | 判断包含关系
计算几何是计算机科学的一个重要分支,主要研究几何形体的数学描述和计算机描述,在现代工程和数学领域,以及计算机辅助设计、地理信息系统、图形学、机器人技术、超大规模集成电路设计和统计等诸多领域都有重要的用途。在 ACM 竞赛中,出题相对独立,曾出现过与图论、动态规划相结合的题,大多数计算几何问题用程序实现都比较复杂。常用算法包括经典的凸包求解、离散化及扫描线算法、旋转卡壳、半平面交等。本文介绍计算几何常用算法——包含关系。
107 0
|
10月前
|
人工智能 自然语言处理 Python
ChatIE:通过多轮问答问题实现实命名实体识别和关系事件的零样本信息抽取,并在NYT11-HRL等数据集上超过了全监督模型
ChatIE:通过多轮问答问题实现实命名实体识别和关系事件的零样本信息抽取,并在NYT11-HRL等数据集上超过了全监督模型
ChatIE:通过多轮问答问题实现实命名实体识别和关系事件的零样本信息抽取,并在NYT11-HRL等数据集上超过了全监督模型
|
10月前
|
数据采集 机器学习/深度学习 自然语言处理
实现文本数据数值化、方便后续进行回归分析等目的,需要对文本数据进行多标签分类和关系抽取
实现文本数据数值化、方便后续进行回归分析等目的,需要对文本数据进行多标签分类和关系抽取
148 0
|
12月前
|
机器学习/深度学习 算法
在对数据进行预处理时,怎样处理类别型特征?
在对数据进行预处理时,怎样处理类别型特征?
|
数据可视化 测试技术 智能硬件
5种数值评分标准总结 - 为预测模型找到正确的度量标准
5种数值评分标准总结 - 为预测模型找到正确的度量标准
186 0
5种数值评分标准总结 - 为预测模型找到正确的度量标准
rpcms获取指定分类下的文章的方法
往往网站首页是不同模块对不同分类的文章进行展示,在制作首页的时候发现不知道该如何获取指定分类下的文章。查看了rpcms默认模板的代码,发现是把最新文章、最热文章这种功能性的单独封装成函数了,如果想获取指定分类下的文章就需要改改了。在网上找了找,看到rpcms论坛上有整理好的函数,就用了下试试,挺好的,还支持子分类的获取。《模板常用的功能函数整理》上面还有很多其他常用函数,可以看看有没有需求。
|
机器学习/深度学习 算法
②特征选取之单变量统计、基于模型选择、迭代选择
特征选取之单变量统计、基于模型选择、迭代选择
297 0
②特征选取之单变量统计、基于模型选择、迭代选择
①特征选取之单变量统计、基于模型选择、迭代选择
特征选取之单变量统计、基于模型选择、迭代选择
263 0
①特征选取之单变量统计、基于模型选择、迭代选择