机器学习- 吴恩达Andrew Ng Week9 知识总结 Recommender Systems
Coursera课程地址
因为Coursera的课程还有考试和论坛，后续的笔记是基于Coursera
Recommender Systems 推荐系统
1. 问题制定 Problem formulation
推荐是目前非常流行的机器学习应用。
假设我们正在尝试向客户推荐电影。我们可以使用以下定义
n(u)= 用户数n(m)= 电影数量r(i,j)= 1 如果用户 j 对电影 i 进行了评分y(i,j)= 用户 j 对电影 i 的评分（仅在 r(i,j)=1 时定义）
2. 基于内容的推荐 Content-based recommendations
我们可以介绍两个特点，X(1) 和 X(2) 它表示一部电影可能有多少浪漫或多少动作（在 0-1 的范围内）。
一种方法是我们可以对每个用户进行线性回归。对于每个用户 j，学习一个参数 θ(j) ∈ R(3)
θ(j) = 用户 j 的参数向量
x(i) = 电影 i 的特征向量
对于用户 j，电影 i，预测评分：
θ(j) = 用户 j 评分的电影数量
学习θ(j) 我们做以下
这就是我们熟悉的线性回归。第一个求和的基础是选择所有 i 使得 r(i, j) = 1.
要获取所有用户的参数，我们执行以下操作：
我们可以使用上述成本函数应用我们的线性回归梯度下降更新。
唯一真正的区别是我们消除了常数 1/m
3. 协同过滤 Collaborative filtering
在电影中找到诸如“浪漫的数量”或“动作的数量”之类的特征可能非常困难。为了解决这个问题，我们可以使用特征查找器。
我们可以让用户告诉我们他们对不同类型的喜欢程度，立即为我们提供他们的参数向量。
为了从给定参数推断特征，我们使用对所有用户进行正则化的平方误差函数：
您还可以随机猜测theta 的值以重复猜测特征。你实际上会收敛到一组好的特征。
4. 协同过滤算法 Collaborative filtering algorithm
为了加快速度，我们可以同时最小化我们的特征和参数：
看起来很复杂，但我们只结合了 theta 的成本函数和 x 的成本函数。
因为算法可以自己学习它们，x0=1 的偏置单元已经被去除，因此 x∈ℝn 和 θ∈ℝn。
这些是算法中的步骤：
初始化 X(i), …, X(nm), θ(i), …, θ(nu) 到小的随机值。这有助于打破对称性并确保算法学习特征 X(i), …, X(ni) 彼此不同。
最小化 J(X(i),… X(nm), θ(i), …, θ(nu)) 用梯度下降（或高级优化算法）。
对于具有参数 θ 的用户和具有（学习）特征 x 的电影，预测星级评分 (θ^T) * X.
5. 矢量化：低秩矩阵分解 Vectorization: Low rank matrix factorization
给定矩阵 X（每行包含特定电影的特征）和 Θ（每行包含给定用户的这些特征的权重），则所有用户对所有电影的所有预测评分的完整矩阵 Y 由下式给出：
可以使用它们各自的特征向量 x 之间的距离来预测两部电影 i 和 j 的相似程度。具体来说，我们正在寻找一个小的值||x(i) - x(j)|| .
6. 实现细节：均值归一化 Implementational detail: Mean normalization
如果使用之前讲座中的电影排名系统，那么新用户（没有看过电影）将错误地分配新电影。具体来说，由于正则化项的最小化，它们将被分配 θ，所有分量都为零。也就是说，我们假设新用户将对所有电影进行排名 0，这在直观上似乎并不正确。
我们通过相对于均值对数据进行归一化来纠正这个问题。首先，我们使用矩阵 Y 来存储来自先前评分的数据，其中 Y 的第 i 行是第 i 部电影的评分，第 j 列对应于第 j 个用户的评分。
我们现在可以定义一个向量
μ= [μ1, μ2, ..., μnm]
以至于
这实际上是第 i 部电影的先前评分的平均值（其中仅计算用户观看过的电影）。我们现在可以通过从每个用户的实际评分（矩阵 Y 中的列）中减去 u（平均评分）来标准化数据：
例如，考虑以下矩阵 Y 和平均评分 μ：
得到的 Y’ 向量为：
现在我们必须稍微修改线性回归预测以包括平均归一化项：
现在，对于新用户，初始预测值将等于 μ 项，而不是简单地初始化为零，这样更准确。
#pic_center =600x
参考
https://www.coursera.org/learn/machine-learning/resources/szFCa
https://www.coursera.org/learn/machine-learning/supplement/gXdW5/lecture-slides
