知识图谱实战应用3-知识图谱中的电影推荐算法

知识图谱实战应用3-知识图谱中的电影推荐算法

大家好,我是微学AI,今天给大家讲一下知识图谱中的电影推荐算法。主要利用奇异值分解(SVD)算法进行应用。

一、奇异值分解(SVD)

SVD(奇异值分解)是一种常见的线性代数算法,用于将一个矩阵分解为三个矩阵的乘积。原来SVD的主要应用领域包括图像处理、信号处理、信息检索等。

给定一个矩阵A,SVD将其分解为U、S和V三个矩阵的乘积,可以表示为

www.zeeklog.com  - 知识图谱实战应用3-知识图谱中的电影推荐算法

,其中U和V都是正交矩阵,S是一个对角矩阵,其中对角线上的元素称为奇异值。SVD可以将原始矩阵A分解成多个低秩矩阵的乘积,从而对高维数据进行降维和特征提取,例如图片的主题识别、用户偏好和相关性分析等应用。在推荐系统中,SVD可以用于处理稀疏用户-电影评分矩阵,通过分解矩阵来预测用户对未评分电影的喜好程度,并提供个性化的推荐列表。

www.zeeklog.com  - 知识图谱实战应用3-知识图谱中的电影推荐算法

举一个例子说明:一个矩阵是如何进行奇异值分解的。矩阵A定义为:

www.zeeklog.com  - 知识图谱实战应用3-知识图谱中的电影推荐算法

二、利用SVD实现推荐算法

一个基于SVD的知识图谱的电影推荐算法的步骤:

构建知识图谱:为电影库中的每个电影创建一个节点,并为它们之间的相似关系创建有向边。相似性可以通过计算两个电影的共同观众数、评分差异、演员、导演、电影流派等因素来衡量。

推导用户向量:对于每个用户,基于他们观看的电影和对应的评分来构建一个向量,包括每个电影的得分或者未评分。

使用SVD分解用户向量:对于每个用户向量,我们可以应用SVD将其分解为三个独立的矩阵:U、S和V。

进行矩阵近似:基于SVD分解的结果,我们可以使用矩阵近似来填充用户未评分的电影得分。这可以通过将U、S和V乘起来得到一个新的矩阵。

应用SVD重构矩阵产生推荐列表:基于相似性衡量,我们可以根据计算出的矩阵来推荐给用户可能感兴趣的电影。我们可以将所有电影的向量与用户向量进行相似性计算,然后在最相似的电影中选择最高得分的电影作为推荐。

通过这个基于知识图谱和SVD的推荐算法,我们可以为每个用户提供个性化的电影推荐。这种方法不仅可以优化推荐系统的效率,而且可以结合许多不同的信息源来提高推荐的准确性和多样性。

三、代码实现部分

import pandas as pd
from surprise import Dataset, Reader
from surprise import SVD
from surprise.model_selection import train_test_split

# 读取数据
data = pd.read_csv('ratings.csv')

读取数据文件 ratings.csv,这个数据是整理好的,也可以从知识图谱中获取用户给某个电影id的评分,数据表格结构:

userIdmovieIdrating
123.5
1293.5
224
252.4
314.5
322.4
453.4
4203.5
533.3
523.7
613.9
623.6
6293.5
6224.5

获取数据集:

# 设置reader
reader = Reader(rating_scale=(0, 5))

# 加载数据集
dataset = Dataset.load_from_df(data[['userId', 'movieId', 'rating']], reader)

# 划分数据集
trainset, testset = train_test_split(dataset, test_size=0.2)

# 训练模型
algo = SVD()
algo.fit(trainset)

# 预测评分
predictions = algo.test(testset)

# 为用户推荐电影
userId = 1
user_movies = data[data['userId'] == userId]['movieId']
user_unrated_movies = data[~data['movieId'].isin(user_movies)]['movieId']
user_unrated_movies = list(set(user_unrated_movies))[:10]
user_unrated_movies_with_pred = [(movieId, algo.predict(userId, movieId).est) for movieId in user_unrated_movies]
user_unrated_movies_with_pred.sort(key=lambda x: x[1], reverse=True)
top_n = user_unrated_movies_with_pred[:5]
print("Top 5 recommended movies for user", userId, ":", top_n)

为id为1的用户推荐以下电影:运行结果如下:

Top 5 recommended movies for user 1 : [(3, 3.7906799242225158), (1, 3.7335070393386838), (20, 3.645978328959462), (22, 3.600291294993506), (5, 3.4568901667773586)]

有什么问题和需要合作的请私信,后续更多人工智能相关知识呈现给大家!请持续关注!

Read more

60个“特征工程”计算函数(Python代码)

60个“特征工程”计算函数(Python代码)

转自:coggle数据科学 近期一些朋友询问我关于如何做特征工程的问题,有没有什么适合初学者的有效操作。 特征工程的问题往往需要具体问题具体分析,当然也有一些暴力的策略,可以在竞赛初赛前期可以带来较大提升,而很多竞赛往往依赖这些信息就可以拿到非常好的效果,剩余的则需要结合业务逻辑以及很多其他的技巧,此处我们将平时用得最多的聚合操作罗列在下方。 最近刚好看到一篇文章汇总了非常多的聚合函数,就摘录在下方,供许多初入竞赛的朋友参考。 聚合特征汇总 pandas自带的聚合函数 * 其它重要聚合函数 其它重要聚合函数&分类分别如下。 def median(x):     return np.median(x) def variation_coefficient(x):     mean = np.mean(x)     if mean != 0:         return np.std(x) / mean     else:         return np.nan def variance(x):     return

By Ne0inhk
90w,确实可以封神了!

90w,确实可以封神了!

要说24年一定最热的技术,还得是AIGC! 前段时间阿里旗下的开源项目,登上GitHub热榜! AI大热,如今ChatGPT的优异表现,必然会出现各种细分场景应用的工具软件,和大量岗位项目! 山雨欲来风满楼,强人工智能的出现,所有科技公司已经开始巨量扩招此领域的人才。算法的岗位,近三个月已经增长68%!这件事在HR届也是相当震撼的。 目前各行各业都不景气的市场,人工智能岗位却一直保持常青!甚至同属AI边缘岗都比其他岗薪资高40%! 与此同时,AI算法岗上岸也不简单,竞争激烈,好公司核心岗位不用说,谁都想去。 所以事实就是,想要上岸,门槛也逐渐变高,项目经历、实习经历都很重要,越早明白这个道理就越能提前建立起自己的优势。 但我在b站逛知识区的时候,经常看到有些同学,因为一些客观原因导致无法参加实习,这种情况下,如果你想提升背景,增加项目经历的话,可以试试这个《CV/NLP 算法工程师培养计划》。 目前已经有上千位同学通过该计划拿到offer了,最新一期学员就业薪资最高能拿到78K!年薪94w! 优势就是有BAT大厂讲师带领,手把手带做AI真实企业项目(包含CV、NLP等

By Ne0inhk
再见nohup!试试这个神器,Python Supervisor!

再见nohup!试试这个神器,Python Supervisor!

👇我的小册 45章教程:() ,原价299,限时特价2杯咖啡,满100人涨10元。 作者丨Ais137 https://juejin.cn/post/7354406980784373798 1. 概述 Supervisor 是一个 C/S 架构的进程监控与管理工具,本文主要介绍其基本用法和部分高级特性,用于解决部署持久化进程的稳定性问题。 2. 问题场景 在实际的工作中,往往会有部署持久化进程的需求,比如接口服务进程,又或者是消费者进程等。这类进程通常是作为后台进程持久化运行的。 一般的部署方法是通过 nohup cmd & 命令来部署。但是这种方式有个弊端是在某些情况下无法保证目标进程的稳定性运行,有的时候 nohup 运行的后台任务会因为未知原因中断,从而导致服务或者消费中断,进而影响项目的正常运行。 为了解决上述问题,通过引入 Supervisor 来部署持久化进程,提高系统运行的稳定性。 3. Supervisor 简介 Supervisor is a client/

By Ne0inhk
第一本给程序员看的AI Agent图书上市了!

第一本给程序员看的AI Agent图书上市了!

AI Agent火爆到什么程度? OpenAI创始人奥特曼预测,未来各行各业,每一个人都可以拥有一个AI Agent;比尔·盖茨在2023年层预言:AI Agent将彻底改变人机交互方式,并颠覆整个软件行业;吴恩达教授在AI Ascent 2024演讲中高赞:AI Agent是一个令人兴奋的趋势,所有从事AI开发的人都应该关注。而国内的各科技巨头也纷纷布局AI Agent平台,如:钉钉的AI PaaS、百度智能云千帆大模型平台等等。 Agent 是未来最重要的智能化工具。对于程序员来说,是时候将目光转向大模型的应用开发了,率先抢占AI的下一个风口AI Agent。 小异带来一本新书《大模型应用开发 动手做 AI Agent》,这本书由《GPT图解》的作者黄佳老师创作,从0到1手把手教你做AI Agent。现在下单享受5折特惠! ▼点击下方,即可5折起购书 有这样一本秘籍在手,程序员们这下放心了吧,让我们先来揭开 Agent 的神秘面纱。 AI Agent 面面观

By Ne0inhk