【笔记5】用pandas实现矩阵数据格式的推荐算法 (基于物品的协同)

''' 基于物品的协同推荐 矩阵数据 说明： 1.修正的余弦相似度是一种基于模型的协同过滤算法。我们前面提过，这种算法的优势之 一是扩展性好，对于大数据量而言，运算速度快、占用内存少。 2.用户的评价标准是不同的，比如喜欢一个歌手时有些人会打4分，有些打5分；不喜欢时 有人会打3分，有些则会只给1分。修正的余弦相似度计算时会将用户对物品的评分减去 用户所有评分的均值，从而解决这个问题。 ''' import pandas as pd from io import StringIO #数据类型一：csv矩阵（用户-商品）（适用于小数据量） csv_txt = '''"user","Blues Traveler","Broken Bells","Deadmau5","Norah Jones","Phoenix","Slightly Stoopid","The Strokes","Vampire Weekend" "Angelica",3.5,2.0,,4.5,5.0,1.5,2.5,2.0 "Bill",2.0,3.5,4.0,,2.0,3.5,,3.0 "Chan",5.0,1.0,1.0,3.0,5,1.0,, "Dan",3.0,4.0,4.5,,3.0,4.5,4.0,2.0 "Hailey",,4.0,1.0,4.0,,,4.0,1.0 "Jordyn",,4.5,4.0,5.0,5.0,4.5,4.0,4.0 "Sam",5.0,2.0,,3.0,5.0,4.0,5.0, "Veronica",3.0,,,5.0,4.0,2.5,3.0,''' #数据类型一：csv矩阵（用户-商品）（适用于小数据量） csv_txt2 = '''"user","Kacey Musgraves","Imagine Dragons","Daft Punk","Lorde","Fall Out Boy" "David",,3,5,4,1 "Matt",,3,4,4,1 "Ben",4,3,,3,1 "Chris",4,4,4,3,1 "Tori",5,4,5,,3''' #数据类型一：csv矩阵（用户-商品）（适用于小数据量） #根据《data minning guide》第85页的users2数据 csv_txt3 = '''"user","Taylor Swift","PSY","Whitney Houston" "Amy",4,3,4 "Ben",5,2, "Clara",,3.5,4 "Daisy",5,,3''' df = None #方式一：加载csv数据 def load_csv_txt(): global df, csv_txt, csv_txt2, csv_txt3 df = pd.read_csv(StringIO(csv_txt3), header = 0 , index_col = "user" ) #测试：读取数据 load_csv_txt() #======================================= # 注意：不需要build_xy #======================================= # 计算两个物品相似度 def computeSimilarity(goods1, goods2): '''根据《data minning guide》第71页的公式s(i,j)''' # 每行的用户评分都减去了该用户的平均评分 df2 = df[[goods1, goods2]].sub(df.mean(axis = 1 ), axis = 0 ).dropna(axis = 0 ) #黑科技 # 返回修正的余弦相似度 return sum (df2[goods1] * df2[goods2]) / ( sum (df2[goods1] ** 2 ) * sum (df2[goods2] ** 2 )) ** 0.5 # csv_txt #print('\n测试：计算Blues Traveler与Broken Bells的相似度') #print(computeSimilarity("Blues Traveler","Broken Bells")) # csv_txt2 #print('\n测试：计算Kacey Musgraves与Imagine Dragons的相似度') #print(computeSimilarity("Kacey Musgraves","Imagine Dragons")) # 计算给定用户对物品的可能评分 def p(user, goods): '''根据《data minning guide》第75页的公式p(u,i)''' assert pd.isnull(df.ix[user, goods]) # 必须用户对给定物品尚未评分 s1 = df.ix[user, df.ix[user].notnull()] #用户对已打分物品的打分数据 s2 = s1.index.to_series(). apply ( lambda x:computeSimilarity(x, goods)) #打分物品分别与给定物品的相似度 return sum (s1 * s2) / sum ( abs (s2)) # csv_txt2 #print('\n测试：计算David对Kacey Musgraves的可能打分') #print(p("David","Kacey Musgraves")) #为了让公式的计算效果更佳，对物品的评价分值最好介于-1和1之间 def rate2newrate(rate): '''根据《data minning guide》第76页的公式NR(u,N)''' ma, mi = df. max (). max (), df. min (). min () return ( 2 * (rate - mi) - (ma - mi)) / (ma - mi) #已知rate2newrate求newrate2rate def newrate2rate(new_rate): '''根据《data minning guide》第76页的公式R(u,N)''' ma, mi = df. max (). max (), df. min (). min () return ( 0.5 * (new_rate + 1 ) * (ma - mi)) + mi print ( ' \n 测试：计算3的new_rate值' ) print (rate2newrate( 3 )) print ( ' \n 测试：计算0.5的rate值' ) print (newrate2rate( 0.5 )) # 计算给定用户对物品的可能评分(对评分进行了修正/还原) def p2(user, goods): '''根据《data minning guide》第75页的公式p(u,i)''' assert pd.isnull(df.ix[user, goods]) # 必须用户对给定物品尚未评分 s1 = df.ix[user, df.ix[user].notnull()] #用户对已打分物品的打分数据 s1 = s1. apply ( lambda x:rate2newrate(x)) #修正 s2 = s1.index.to_series(). apply ( lambda x:computeSimilarity(x, goods)) #已打分物品分别与给定物品的相似度 return newrate2rate( sum (s1 * s2) / sum ( abs (s2))) #还原 # csv_txt2 #print('\n测试：计算David对Kacey Musgraves的可能打分（修正）') #print(p2("David","Kacey Musgraves")) #================================== # 下面是Slope One算法 # # 两个步骤： # 1. 计算差值 # 2. 预测用户对尚未评分物品的评分 #================================== # 1.计算两物品之间的差异 def dev(goods1, goods2): '''根据《data minning guide》第80页的公式dev(i,j)''' s = (df[goods1] - df[goods2]).dropna() d = sum (s) / s.size return d, s.size #返回差异值，及权值（同时对两个物品打分的人数） # csv_txt2 #print('\n测试：计算Kacey Musgraves与Imagine Dragons的分数差异') #print(dev("Kacey Musgraves","Imagine Dragons")) #计算所有两两物品之间的评分差异，得到方阵pd.DataFrame（行对列） def get_dev_table(): '''根据《data minning guide》第87页的表''' goods_names = df.columns.tolist() df2 = pd.DataFrame( . 0 , index = goods_names, columns = goods_names) #零方阵 for i,goods1 in enumerate (goods_names): for goods2 in goods_names[i +1 :]: d, _ = dev(goods1, goods2) # 注意：只取了物品差异值 df2.ix[goods1, goods2] = d df2.ix[goods2, goods1] = - d # 对称的位置取反 return df2 print ( ' \n 测试：计算所有两两物品之间的评分差异表' ) print (get_dev_table()) #预测某用户对给定物品的评分 # 加权Slope One算法 def slopeone(user, goods): '''根据《data minning guide》第82页的公式p(u,j)''' s1 = df.ix[user].dropna() #用户对已打分物品的打分数据 s2 = s1.index.to_series(). apply ( lambda x:dev(goods, x)) #待打分物品与已打分物品的差异值及权值 s3 = s2. apply ( lambda x:x[ 0 ]) #差异值 s4 = s2. apply ( lambda x:x[ 1 ]) #权值 #print(s1, s3, s4) return sum ((s1 + s3) * s4) / sum (s4) print ( ' \n 测试：预测用户Ben对物品Whitney Houston的评分' ) print (slopeone( 'Ben' , 'Whitney Houston' )) # 3.375