相关链接
（1）问题一方案及实现博客介绍
（2）问题二方案及实现博客介绍
（3）问题三方案及实现博客介绍
代码下载
https://github.com/BetterBench/BetterBench-Shop
1 题目
完整的题目，请看第一篇文章
【第十届“泰迪杯”数据挖掘挑战赛】C题：疫情背景下的周边游需求图谱分析 问题一方案及Python实现
问题三：本地旅游图谱构建与分析
依据提供的 OTA、 UGC 数据，对问题 2 中提取出的旅游产品进行关联分析，找出以景区、酒店、餐饮等为核心的强关联模式，结果以表 的形式保存为文件“result3.csv”。在此基础上构建本地旅游图谱并选择合适方法进行可视化分析。鼓励参赛队挖掘旅游产品间隐含的关联模式并进行解释
2 思路方案
以支持度、置信度、提升度加权求和作为关联度得分
- 其中，I表示总事务集。num()表示求事务集里特定项集出现的次数;
- 比如，num(I)表示总事务集的个数;
- num(X∪Y)表示含有{X,Y}的事务集的个数（个数也叫次数）。
- 1.支持度（Support）
- 支持度表示项集{X,Y}在总项集里出现的概率。公式为：
- S u p p o r t ( X → Y ) = P ( X , Y ) / P ( I ) = P ( X ∪ Y ) / P ( I ) = n u m ( X U Y ) / n u m ( I ) Support(X→Y) = P(X,Y) / P(I) = P(X∪Y) / P(I) = num(XUY) / num(I) Support(X→Y)\=P(X,Y)/P(I)\=P(X∪Y)/P(I)\=num(XUY)/num(I)
- 2.置信度 （Confidence）
- 置信度表示在先决条件X发生的情况下，由关联规则”X→Y“推出Y的概率。即在含有X的项集中，含有Y的可能性，公式为：
- C o n f i d e n c e ( X → Y ) = P ( Y ∣ X ) = P ( X , Y ) / P ( X ) = P ( X U Y ) / P ( X ) Confidence(X→Y) = P(Y|X) = P(X,Y) / P(X) = P(XUY) / P(X) Confidence(X→Y)\=P(Y∣X)\=P(X,Y)/P(X)\=P(XUY)/P(X)
- 3.提升度（Lift）
- 提升度表示含有X的条件下，同时含有Y的概率，与不含X的条件下却含Y的概率之比。
- L i f t ( X → Y ) = P ( Y ∣ X ) / P ( Y ) Lift(X→Y) = P(Y|X) / P(Y) Lift(X→Y)\=P(Y∣X)/P(Y)
改进点：
我认为我仅仅提供的是一个Baseline，从数据到表，再到可视化的一个过程，仅仅是一个参考答案，并不是最终答案
改进的方向有很多，比如问题二中可以根据NER去提取旅游产品，问题三中可以采用krl（知识表示学习）、erl（实体识别与链接）、ere（实体关系抽取）、ede（实体检测与抽取）、ksq（知识存储与查询）、kr（知识推理）等知识体系去改进。让方案更高级，改进的才能增加获奖的可能
3 Python实现
import pandas as pd
import numpy as np
from collections import defaultdict
# 此csv文件来自第二问的代码，请下载第二问的代码和数据
data = pd.read_csv('./data/问题二所有数据汇总.csv')
AI 代码解读
3.1 计算支持度作为相关度
3.1 给样本集的旅游产品one-hot编码
key为旅游产品名称，value代表列
{'周黑鸭（东汇城店）': 0, '茂名文华酒店': 1, '旅游度假区': 2, '古郡水城': 3, '南三岛': 4, '红树林公园': 5, '信宜酒店': 6, '菠斯蒂蛋糕': 7}
AI 代码解读
则每个句子只要出现旅游产品，相应列则就编码为1。
[[0 1 0 0 0 1 0 1]
[0 1 0 1 1 0 0 0]
[0 0 0 0 1 0 0 1]
[0 0 1 0 1 1 1 0]
[1 1 0 0 0 1 0 1]
[0 1 1 0 0 1 0 1]]
AI 代码解读
# 给每个样本中的产品onehot编码
# 总共有438个产品，则初始化有438列的0，如果一个样本中存在“丰年面包店“和”功夫鸡排”两个产品，则438列中，这两列对应是1。
# 返回one-hot数组和产品字典编号字典
def create_one_hot(data):
"""将实体数据转换成：0，1数据类型，类似于词袋模型
"""
。。。略
请下载完整代码
return out_array, feature_dict
AI 代码解读
3.2 计算支持度、置信度、提升度
# 计算支持度作为关联度，
def calculate(data_vector):
"""计算支持度，置信度，提升度
"""
print('=' * 50)
print('Calculating...')
n_samples, n_features = data_vector.shape
print('特征数: ', n_features)
print('样本数: ', n_samples)
support_dict = defaultdict(float)
confidence_dict = defaultdict(float)
lift_dict = defaultdict(float)
# together_appear: {(0, 1): 3, (0, 3): 2, (0, 4): 1, (1, 0): 3, (1, 3): 2,...}
# together_appear: 元组里的元素是特征的序号，后面的数字，是这两个特征同时出现的总次数
together_appear_dict = defaultdict(int)
# feature_num_dict:{0: 3, 1: 4, 2: 3,...}
# feature_num_dict: key是特征的序号，后面的数字是这个特征出现的总次数
feature_num_dict = defaultdict(int)
。。。略
请下载完整代码
return support_dict, confidence_dict, lift_dict
AI 代码解读
3.3 将编码转为字符串
def convert_to_sample(feature_dict, s, c, l):
"""把0，1，2，3，... 等字母代表的feature，转换成实体
"""
print('=' * 50)
print('Start converting to the required sample format...')
# print(feature_dict)
feature_mirror_dict = dict()
for k, v in feature_dict.items():
feature_mirror_dict[v] = k
# print(feature_mirror_dict)
。。。略
请下载完整代码
AI 代码解读
data_array, feature_di = create_one_hot(data)
support_di, confidence_di, lift_di = calculate(data_array)
support = sorted(support_di.items(), key=lambda x: x[1], reverse=True)
confidence = sorted(confidence_di.items(),
key=lambda x: x[1], reverse=True)
lift = sorted(lift_di.items(), key=lambda x: x[1], reverse=True)
support_li, confidence_li, lift_li = convert_to_sample(feature_di, support, confidence, lift)
AI 代码解读
3.4 计算关联度
support_df = pd.DataFrame(support_li,columns=['产品名称1','产品名称2','支持度'])
confidence_df = pd.DataFrame(confidence_li, columns=['产品名称1', '产品名称2', '置信度'])
lift_df = pd.DataFrame(lift_li, columns=['产品名称1', '产品名称2', '提升度'])
。。。略
请下载完整代码
del submit_3['支持度']
submit_3
AI 代码解读
3.5 生成result3.csv
map_dict ={}
for i,d in enumerate(feature_di):
map_dict[d] = 'ID'+str(feature_di[d]+1)
map_dict
AI 代码解读
# 将名称转为ID
submit_3['产品1'] = submit_3['产品名称1'].map(map_dict)
submit_3['产品2'] = submit_3['产品名称2'].map(map_dict)
result3 = submit_3[['产品1', '产品2','关联度']]
result3
AI 代码解读
# 读取问题二的产品类型表，需要生成表3的关联类型
# # 此csv文件来自第二问的代码，请下载第二问的代码和数据https://mianbaoduo.com/o/bread/YpmYm5xy
result2_2 = pd.read_csv('./data/result2-2.csv')
p_k = result2_2['产品ID']
p_v = result2_2['产品类型']
p_type_dict = dict(zip(p_k,p_v))
p_type_dict
AI 代码解读
result3['关联类型'] = p_type
result3.to_csv('./data/result3.csv',index=False)
AI 代码解读
3.6 可视化关联
import matplotlib.pyplot as plt
import networkx as nx
import pandas as pd
from spacy import displacy
G = nx.from_pandas_edgelist(submit_3[submit_3['关联度'] > 0], "产品名称1", "产品名称2",
edge_attr=True, create_using=nx.MultiDiGraph())
plt.figure(figsize=(12, 12))
pos = nx.spring_layout(G, k=0.5) # k regulates the distance between nodes
nx.draw(G, with_labels=True, node_color='skyblue',
node_size=1500, edge_cmap=plt.cm.Blues, pos=pos)
AI 代码解读
