from__future__importprint_functionimportpandasaspdfromsklearn.clusterimportKMeans#导入K均值聚类算法datafile='../data/data.xls'#待聚类的数据文件processedfile='../tmp/data_processed.xls'#数据处理后文件typelabel= {u'肝气郁结证型系数': 'A', u'热毒蕴结证型系数': 'B', u'冲任失调证型系数': 'C', u'气血两虚证型系数': 'D',
u'脾胃虚弱证型系数': 'E', u'肝肾阴虚证型系数': 'F'}
k=4#需要进行的聚类类别数#读取数据并进行聚类分析data=pd.read_excel(datafile)  #读取数据keys=list(typelabel.keys())
result=pd.DataFrame()
if__name__=='__main__':  #判断是否主窗口运行，如果是将代码保存为.py后运行，则需要这句，如果直接复制到命令窗口运行，则不需要这句。foriinrange(len(keys)):
#调用k-means算法，进行聚类离散化print(u'正在进行“%s”的聚类...'%keys[i])
kmodel=KMeans(n_clusters=k, n_jobs=4)  #n_jobs是并行数，一般等于CPU数较好kmodel.fit(data[[keys[i]]].as_matrix())  #训练模型r1=pd.DataFrame(kmodel.cluster_centers_, columns=[typelabel[keys[i]]])  #聚类中心r2=pd.Series(kmodel.labels_).value_counts()  #分类统计r2=pd.DataFrame(r2, columns=[typelabel[keys[i]] +'n'])  #转为DataFrame，记录各个类别的数目r=pd.concat([r1, r2], axis=1).sort(typelabel[keys[i]])  #匹配聚类中心和类别数目r.index= [1, 2, 3, 4]
r[typelabel[keys[i]]] =pd.rolling_mean(r[typelabel[keys[i]]], 2)  #rolling_mean()用来计算相邻2列的均值，以此作为边界点。r[typelabel[keys[i]]][1] =0.0#这两句代码将原来的聚类中心改为边界点。result=result.append(r.T)
result=result.sort()  #以Index排序，即以A,B,C,D,E,F顺序排result.to_excel(processedfile)

importpandasaspdfromsklearn.clusterimportKMeansdatafile='data.xls'#待聚类的数据文件processedfile='data_processed.xlsx'#处理后的文件typelabel= {'肝气郁结证型系数':'A', '热毒蕴结证型系数':'B', '冲任失调证型系数':'C', '气血两虚证型系数':'D', '脾胃虚弱证型系数':'E',
'肝肾阴虚证型系数':'F'}
k=4#需要的聚类类别数#读取数据并且进行聚类data=pd.read_excel(datafile)
keys=list(typelabel.keys())
result=pd.DataFrame()
if__name__=='__main__':  #判断是否主窗口运行'''当.py文件被直接运行时，if__name__=='__main__'之下的代码块将被运行；当.py文件以模块形式被导入时，if__name__=='__main__'之下的代码块不被运行。'''foriinrange(len(keys)): #调用k-means算法,进行聚类离散化print('正在进行 "%s" 的聚类...'%keys[i])
kmodel=KMeans(n_clusters=k)
kmodel.fit(data[[keys[i]]].values)  #训练模型r1=pd.DataFrame(kmodel.cluster_centers_, columns=[typelabel[keys[i]]])  #聚类中心r2=pd.Series(kmodel.labels_).value_counts()  #分类统计r2=pd.DataFrame(r2, columns=[typelabel[keys[i]]+'n'])  #转为DataFrame，记录各个类别的数目r=pd.concat([r1, r2], axis=1).sort_values(by=typelabel[keys[i]])  #匹配聚类中心和类别数目,并按值排序r.index= [1, 2, 3, 4]
r[typelabel[keys[i]]] =r[typelabel[keys[i]]].rolling(2).mean()  #rolling().mean()用来计算相邻2列的均值，以此作为边界点r[typelabel[keys[i]]][1] =0.0#将原来的聚类中心改为边界点result=result.append(r.T)
result=result.sort_index()  #以index排序，即以ABCDEF排序result.to_excel(processedfile)

#-*-coding: utf-8-*-from__future__importprint_functionimportpandasaspd#自定义连接函数，用于实现L_{k-1}到C_k的连接defconnect_string(x, ms):
x=list(map(lambdai:sorted(i.split(ms)), x))
l=len(x[0])
r= []
foriinrange(len(x)):
forjinrange(i,len(x)):
ifx[i][:l-1] ==x[j][:l-1] andx[i][l-1] !=x[j][l-1]:
r.append(x[i][:l-1]+sorted([x[j][l-1],x[i][l-1]]))
returnr#寻找关联规则的函数deffind_rule(d, support, confidence, ms=u'--'):
result=pd.DataFrame(index=['support', 'confidence']) #定义输出结果support_series=1.0*d.sum()/len(d) #支持度序列column=list(support_series[support_series>support].index) #初步根据支持度筛选k=0whilelen(column) >1:
k=k+1print(u'\n正在进行第%s次搜索...'%k)
column=connect_string(column, ms)
print(u'数目：%s...'%len(column))
sf=lambdai: d[i].prod(axis=1, numeric_only=True) #新一批支持度的计算函数#创建连接数据，这一步耗时、耗内存最严重。当数据集较大时，可以考虑并行运算优化。d_2=pd.DataFrame(list(map(sf,column)), index= [ms.join(i) foriincolumn]).Tsupport_series_2=1.0*d_2[[ms.join(i) foriincolumn]].sum()/len(d) #计算连接后的支持度column=list(support_series_2[support_series_2>support].index) #新一轮支持度筛选support_series=support_series.append(support_series_2)
column2= []
foriincolumn: #遍历可能的推理，如{A,B,C}究竟是A+B-->C还是B+C-->A还是C+A-->B？i=i.split(ms)
forjinrange(len(i)):
column2.append(i[:j]+i[j+1:]+i[j:j+1])
cofidence_series=pd.Series(index=[ms.join(i) foriincolumn2]) #定义置信度序列foriincolumn2: #计算置信度序列cofidence_series[ms.join(i)] =support_series[ms.join(sorted(i))]/support_series[ms.join(i[:len(i)-1])]
foriincofidence_series[cofidence_series>confidence].index: #置信度筛选result[i] =0.0result[i]['confidence'] =cofidence_series[i]
result[i]['support'] =support_series[ms.join(sorted(i.split(ms)))]
result=result.T.sort_values(['confidence','support'], ascending=False) #结果整理，输出print(u'\n结果为：')
print(result)
returnresult

importpandasaspd#fromaprioriimport*#导入自行编写的高效的Apriori函数importtime#导入时间库用来计算用时inputfile='apriori.txt'#输入事务集文件data=pd.read_csv(inputfile, header=None, dtype=object)
start=time.perf_counter()  #计时开始(新版本不支持clock，用time.perf_counter()替换)
print('\n转换原始数据至0-1矩阵')
ct=lambdax : pd.Series(1, index=x[pd.notnull(x)])  #转换0-1矩阵的过渡函数，即将标签数据转换为1b=map(ct, data.values)  #用map方式执行#Dataframe参数不能是迭代器c=list(b)
data=pd.DataFrame(c).fillna(0)  #实现矩阵转换，除了1外，其余为空，空值用0填充end=time.perf_counter()  #计时结束print('\n转换完毕,用时:%0.2f秒'% (end-start))
delb#删除中间变量b，节省内存support=0.06#最小支持度confidence=0.75#最小置信度ms='---'#连接符，默认'--'，用来区分不同元素，如A--B，需要保证原始表格不含有该字符start=time.perf_counter()  #计时开始print('\n开始搜索关联规则')
find_rule(data, support, confidence, ms)
end=time.perf_counter()  #计时结束print('\n转换完毕,用时:%0.2f秒'% (end-start))