使用Neo4j进行关系挖掘实践
介绍
Neo4j是一种图数据库，它可以存储和查询复杂的实体和关系网络。它基于图论的原理，使用节点和边来表示数据和它们之间的联系。
企业和老板关系是一种典型的图数据，它可以用Neo4j来建模和分析。我们可以把企业作为节点，把老板作为节点，把老板拥有或管理企业的关系作为边，把企业之间的合作或竞争关系作为边。这样就构成了一个企业和老板关系图谱。
利用Neo4j，我们可以进行各种关系挖掘，比如：
- 查询某个企业的最终受益人或者实际控制人
- 查询某个老板拥有或管理哪些企业
- 查询某个企业的所有老板或高管
- 查询某两个老板是否有共同拥有或管理的企业
- 查询某两个企业是否有合作或竞争的关系
- 查询与某个老板或企业最相关或最相似的其他老板或企业
- 老板唯一标识的分配
关系挖掘
下面是一个简单的例子，展示了如何使用Neo4j进行关系挖掘。
假设我们有一个包含以下数据的企业和老板关系图谱：
我们可以使用Cypher语言来编写如下查询：
// 查询马云拥有或管理哪些企业
MATCH (b:Boss {name: "马云"})-[:OWN|MANAGE]->(c:Company)
RETURN b.name, c.name
// 查询阿里巴巴的所有老板或高管
MATCH (b:Boss)-[:OWN|MANAGE]->(c:Company {name: "阿里巴巴"})
RETURN b.name, c.name
// 查询马云和刘强东是否有共同拥有或管理的企业
MATCH (b1:Boss {name: "马云"})-[:OWN|MANAGE]->(c:Company)<-[:OWN|MANAGE]-(b2:Boss {name: "刘强东"})
RETURN b1.name, b2.name, c.name
// 查询阿里巴巴和京东是否有合作或竞争的关系
MATCH (c1:Company {name: "阿里巴巴"})-[r:COOP|COMPETE]->(c2:Company {name: "京东"})
RETURN c1.name, r.type, c2.name
// 查询与马云最相关的其他老板（基于邻居信息）
MATCH (b1:Boss {name:"马云"})-[r1]->(n)<-[r2]-(b2:Boss)
WHERE b1 <> b2
WITH b1, b2, count(n) as common_neighbors
ORDER BY common_neighbors DESC LIMIT 5
RETURN b1.name, b2.name, common_neighbors
// 查询马云实际控股的公司
MATCH
path=(b1:Boss {name:"马云"}})-[r:invest*..9{deleted: 0}]->(c:Company)
with c,
sum(reduce(s=1.0, i in r | s*toFloat(i.capital_ratio))) as capital_ratio,collect(path) as paths
where capital_ratio>=0.25
return c,paths
...思考 如何基于现有关系挖掘新的关系
以上的关系挖掘基于已有完整数据，但是目前我们缺失老板的唯一标识，就无法查询某个老板的关系链
现有数据：企业信息、企业和老板的单点关系、企业和企业的单点关系
最终需要实现挖掘新的关系链，增加以老板为入口的查询方式
思路
- 通过已存在的企业关系绘制图谱
- 将所有有关系的企业进行分组然后根据Boss的姓名进行聚合，从而给每个Boss进行唯一标识的分配。
- 将分配好的Boss唯一标识数据灌入图谱，再次进行以上操作用于优化，最终得到新的关系数据
- 实测因为数据量过大，所以不能够一次性聚合得到结果，所以采用遍历的方式每次遍历深度为3的关系数据
- 实测最终得到新的关系覆盖率达到95%以上，足以满足需求
