マーケターのためのPythonで始めるレコメンデーション入門

#インストール coloboratory上では先頭に!を付ける
!pip install surprise

#関連パッケージを読込む
from surprise import SVD
from surprise import NMF
from surprise import Dataset
from surprise import KNNBasic
from surprise.model_selection import cross_validate
from surprise.model_selection import train_test_split
from surprise import accuracy
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
rmse_dic = {}
scored_dic = {}

data = Dataset.load_builtin('ml-100k')
data.raw_ratings

#訓練、検証データに分割する
trainset, testset = train_test_split(data, test_size=.25,random_state=123)
#学習
algo = KNNBasic() #KNNクラス作成
algo.fit(trainset)
#予測
predictions = algo.test(testset)
temp = pd.DataFrame([pred[0:4] for pred in predictions],columns=['UserID','ItemId','TrueRating','推測値']) 
#例
display(temp)
scored_dic['KNN'] = temp
#平方平均2乗誤差
print (accuracy.rmse(predictions))
rmse_dic['KNN'] = accuracy.rmse(predictions)

#学習
algo = SVD()
algo.fit(trainset)
#予測
predictions = algo.test(testset)
temp = pd.DataFrame([pred[0:4] for pred in predictions],columns=['UserID','ItemId','TrueRating','推測値']) 
#例
display(temp)
scored_dic['SVD'] = temp
#平方平均2乗誤差
print (accuracy.rmse(predictions))
rmse_dic['SVD'] = accuracy.rmse(predictions)

#学習
algo = NMF()
algo.fit(trainset)
#予測
predictions = algo.test(testset)
temp = pd.DataFrame([pred[0:4] for pred in predictions],columns=['UserID','ItemId','TrueRating','推測値']) 
#例
display(temp)
scored_dic['NMF'] = temp
#平方平均2乗誤差
print (accuracy.rmse(predictions))
rmse_dic['NMF'] = accuracy.rmse(predictions)

for k,v in rmse_dic.items():
  print (k,v)

from fastai import *
from fastai.collab import *
from sklearn.model_selection import train_test_split
from surprise import Dataset #dastasetという名前が衝突するため最後にimportする
#Supriseと同じデータを使用する
data = Dataset.load_builtin('ml-100k')
df = pd.DataFrame(data.raw_ratings,columns=['UserID','ItemID','Rating','Timestamp'])
display(df.head())
train ,test = train_test_split(df,test_size=0.25,random_state=12345)

#データセットをCollabdataBunchで使用できるように変換
data = CollabDataBunch.from_df(train, test = test,  bs=512) #Pandas データフレームからfastai用のデータに変換
#data.show_batch()
learn = collab_learner(data, n_factors=50, y_range=(1, 5)) #潜在因子=50個としてレーティング値の範囲を1-5とする。
print (learn.model)
learn.fit(4)

#RMSE計算
tensor = learn.get_preds(ds_type=DatasetType.Test)[0].numpy()
rmse_dic['fastai_dot'] = np.mean((test['Rating']-pd.Series(tensor,index=test.index))**2)**(1/2)
display(pd.concat([test['Rating'],pd.Series(tensor,index=test.index)],axis=1).head())
print (rmse_dic['fastai_dot'])

#データセットをCollabdataBunchで使用できるように変換
data = CollabDataBunch.from_df(train, test = test,  bs=512)
#data.show_batch()
#use_nn=Trueとすることでnnモードになる潜在因子の指定は不要そのかわり、Layersを指定する。
learn = collab_learner(data, use_nn=True, y_range=(1, 5),layers=[300,50])
print (learn.model)
learn.fit(4)

#RMSE計算
tensor = learn.get_preds(ds_type=DatasetType.Test)[0].numpy().squeeze()
rmse_dic['fastai_nn'] = np.mean((test['Rating']-pd.Series(tensor,index=test.index))**2)**(1/2)
display(pd.concat([test['Rating'],pd.Series(tensor,index=test.index)],axis=1).head())
print (rmse_dic['fastai_nn'])

import matplotlib.pyplot as plt
#全体の精度比較
print (rmse_dic)
for k,v in rmse_dic.items():
  plt.bar(k,v)
plt.title("RMSE")