节点文献
推荐系统的协同过滤、矩阵分解和k近邻方法及其优化
Update for Collaborative Filtering,Matrix Factorization and Knn Algorithms Applied for Recommendation System
【作者】 陈杰;
【导师】 韩东;
【作者基本信息】 上海交通大学 , 统计学, 2016, 硕士
【摘要】 随着互联网的兴起,信息过载越来越困绕着人们,如何从大量的信息中寻找到自己需要的内容成为了大家关注的焦点,在此情况之下,推荐系统应运而生。本文主要介绍了目前最为流行的集中推荐系统算法。包括协同过滤算法,奇异值分解算法和kNN算法,并对它们进行了相应的改进和提高。对于协同过滤算法,我们更新了传统的相似度度量,提出了一种混合的相似度度量,从而改进了原始算法中的单一度量;进一步地,我们还提出了使用K means对用户进行聚类的协同过滤算法,降低了算法的复杂度。针对奇异值分解算法,我们提出了结合人口统计学信息的特征值分解算法;此外我们还引入了局部结构化的奇异值分解方法,对原有的模型进行了进一步的优化;同时,我们在奇异值分解中也介绍了一种虽然效果较差但是算法复杂度更低、实现速度更快的算法——分块的SVD方法。针对kNN算法,我们进一步更新了行相似度的算法,除了协同过滤算法中能考虑的内容,我们增加了用户的人口统计学信息,通过用户群体之间的差别和用户个体之间的差别综合地描述用户相似度;进一步地,我们提出了结合用户和商品偏移的kNN算法,在描述近邻的评分时考虑不同用户和商品之间本身可能存在的评分偏差对算法进行修正,使得算法结果有了很大的提升。
【Abstract】 As the booming development of the Internet,people suffer more and more from information overload.How to retrieve useful contents from the enormous information becomes a focusing concern,which brings about the development of recommendation system.This paper mainly introduced some most up to date algorithms applied for recommendation system,including collaborative filtering(CF),singular value decomposition(SVD)and k nearest neighbors(kNN),and made certain adaptions to enhance the performance or accelerate the speed.As for CF,we updated the traditional similarity measurement.We introduced a hybrid similarity function to enhance the performance.Also,K means method was applied for a faster calculation.As for SVD,we introduced demographical information and a structured method to optimize the algorithm.We also attempted a blocked SVD for faster convergence.As for kNN,we renewed the algorithm for row similarity calculation with additional demographical information.Furthermore,we introduced the user and item biases to the algorithm by taking user and item differences into consideration when researching the neighbors,which boosted the performance significantly.
【Key words】 Recommendation system; Collaborative filtering; k-Nearest neighbors; Singular value deposition;
- 【网络出版投稿人】 上海交通大学 【网络出版年期】2020年 03期
- 【分类号】TP391.3
- 【下载频次】41