tonglin0325的个人主页

机器学习——利用SVD简化数据

tonglin0325

奇异值分解（Singular Value Decompositon,SVD），可以实现用小得多的数据集来表示原始数据集。

 

优点：简化数据，取出噪声，提高算法的结果

缺点：数据的转换可能难以理解

适用数据类型：数值型数据

 

SVD最早的应用之一是信息检索，我们称利用SVD的方法为隐形语义索引（LSI）或者隐形语义分析（LSA）。

在LSI中，一个矩阵是有文档和词语组成的。当我们在该矩阵上应用SVD的时候，就会构建出多个奇异值。这些奇异值代表了文档中的概念或者主题，这一特点可以用于更高效的文档检索。

SVD的另一个应用就是推荐系统。简单版本的推荐系统能够计算项或者人之间的相似度。更先进的方法则先利用SVD从数据中构建一个主题空间，然后再在该空间下计算其相似度。

 

SVD将原始的数据集矩阵Data分解成三个矩阵 、 和 。

如果数据集矩阵Data是M×N的，那么 是M×M的、 是M×N的、 是N×N的。

　　

矩阵 中只有从大到小排列的对角元素。在某个奇异值的数目（r个）之后，其他的奇异值都置为0，这就意味这数据集中仅有r个重要特征，而其余特征则都是噪声或者冗余特征。

 

利用Python实现SVD

1
2
3
4
5
6
7
8
9
>> X=[0.3619 0.2997 0.1331 0.3296;0.1695 0.3628 0.0817 0.2826;0.1159 0.5581 0.0828 0.3718;0.1508 0.1077 0.0539 0.1274]　　#Matlab

X =

    0.3619    0.2997    0.1331    0.3296
    0.1695    0.3628    0.0817    0.2826
    0.1159    0.5581    0.0828    0.3718
    0.1508    0.1077    0.0539    0.1274

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
>> [U,S,V] = svd (X)　　　　#Matlab

U =

   -0.5468    0.6999    0.1302   -0.4406
   -0.4846   -0.0839    0.5883    0.6420
   -0.6496   -0.6312   -0.3105   -0.2883
   -0.2102    0.3234   -0.7352    0.5574


S =

    1.0245         0         0         0
         0    0.2608         0         0
         0         0    0.0001         0
         0         0         0    0.0000


V =

   -0.3778    0.8233   -0.4206   -0.0508
   -0.7076   -0.5297   -0.3661   -0.2911
   -0.1733    0.1974    0.6302   -0.7307
   -0.5715    0.0518    0.5403    0.615

 Python

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
>>> from numpy import *
>>> U,Sigma,VT = linalg.svd([[0.3619,0.2997,0.1331,0.3296],[0.1695,0.3628,0.0817,0.2826],[0.1159,0.5581,0.0828,0.3718],[0.1508,0.1077,0.0539,0.1274]])
>>> U
array([[-0.54683102,  0.69993064,  0.13018303, -0.44059655],
       [-0.48455132, -0.08387773,  0.58827674,  0.64195407],
       [-0.64962251, -0.63124863, -0.31049494, -0.28828573],
       [-0.21018197,  0.32339881, -0.73523857,  0.55736971]])
>>> Sigma
array([  1.02445357e+00,   2.60778615e-01,   8.12946379e-05,
         3.22769863e-05])
>>> VT
array([[-0.37777826, -0.70756881, -0.17325197, -0.57150129],
       [ 0.82328242, -0.52968851,  0.19737725,  0.05175294],
       [-0.42060604, -0.36612216,  0.63019332,  0.5402791 ],
       [-0.05079576, -0.29108595, -0.73067254,  0.61547251]])

 可以看到，在Sigma矩阵中8.12946379e-05 和 3.22769863e-05 值的量级太小了，所以可以忽略

所以Data矩阵的值就成了  

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
>>> U,Sigma,VT = linalg.svd([[0.3619,0.2997,0.1331,0.3296],[0.1695,0.3628,0.0817,0.2826],[0.1159,0.5581,0.0828,0.3718],[0.1508,0.1077,0.0539,0.1274]])
>>> U
array([[-0.54683102,  0.69993064,  0.13018303, -0.44059655],
       [-0.48455132, -0.08387773,  0.58827674,  0.64195407],
       [-0.64962251, -0.63124863, -0.31049494, -0.28828573],
       [-0.21018197,  0.32339881, -0.73523857,  0.55736971]])
>>> Sigma
array([  1.02445357e+00,   2.60778615e-01,   8.12946379e-05,
         3.22769863e-05])
>>> VT
array([[-0.37777826, -0.70756881, -0.17325197, -0.57150129],
       [ 0.82328242, -0.52968851,  0.19737725,  0.05175294],
       [-0.42060604, -0.36612216,  0.63019332,  0.5402791 ],
       [-0.05079576, -0.29108595, -0.73067254,  0.61547251]])
>>> Sig3 = mat([[Sigma[0],0,0],[0,Sigma[1],0],[0,0,Sigma[2]]])
>>> U[:,:3]*Sig3*VT[:3,:]
matrix([[ 0.36189928,  0.29969586,  0.13308961,  0.32960875],
        [ 0.16950105,  0.36280603,  0.08171514,  0.28258725],
        [ 0.11589953,  0.55809729,  0.0827932 ,  0.37180573],
        [ 0.15080091,  0.10770524,  0.05391314,  0.12738893]])

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
>>> import numpy as np
>>> U
array([[-0.54683102,  0.69993064],
       [-0.48455132, -0.08387773],
       [-0.64962251, -0.63124863],
       [-0.21018197,  0.32339881]])
>>> Sigma
array([[ 1.02445357,  0.        ],
       [ 0.        ,  0.26077861]])
>>> VT
array([[-0.37777826, -0.70756881, -0.17325197, -0.57150129],
       [ 0.82328242, -0.52968851,  0.19737725,  0.05175294]])

>>> M = np.dot(U,Sigma)
>>> np.dot(M,VT)　　#可以使用np.dot进行矩阵乘法
array([[ 0.36190373,  0.29969974,  0.13308294,  0.32960304],
       [ 0.16952117,  0.36282354,  0.081685  ,  0.28256141],
       [ 0.11588891,  0.55808805,  0.08280911,  0.37181937],
       [ 0.15077578,  0.10768336,  0.05395081,  0.12742122]])

 经过SVD之后生成的三个矩阵相乘，得到的结果和原来的矩阵差不多

 

基于协同过滤（collaborative filtering）的推荐引擎

协同过滤是通过将用户和其他用户的数据进行对比来实现推荐的。这里的数据是从概念上组织成了类似矩阵的形式。当数据采用这种方式进行组织的时候，我们就可以比较用户或者物品之间的相似度。比如，如果电影和用户看过的电影之间的相似度很高，推荐算法就会认为用户喜欢这部电影。

 

相似度计算

第一种：使用欧式距离，相似度=1/（1+距离）

　　当距离为0的时候，相似度为1；当距离很大的时候，相似度趋近于0

第二种：皮尔逊相关系数

　　皮尔逊相关系数度量的是两个向量之间的相似度，相对于欧式距离的一个优势是，它对用户评级的量级并不敏感。

　　皮尔逊相关系数的取值范围在-1到+1之间，在NumPy中由**函数corrcoef()**计算

第三种：余弦相似度

　　余弦相似度计算的是两个向量夹角的余弦值，如果夹角为90度，则相似度为0；如果两个向量的方向相同，则相似度为1

**　　余弦相似度的取值范围在-1到+1之间，在NumPy中由函数linalg.norm()**计算

　　

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from numpy import *
from numpy import linalg as la

def ecludSim(inA,inB):　　　　#欧式距离
    return 1.0/(1.0 + la.norm(inA - inB))

def pearsSim(inA,inB):　　　　#皮尔逊相关系数
    if len(inA) < 3 : return 1.0
    return 0.5+0.5*corrcoef(inA, inB, rowvar = 0)[0][1]

def cosSim(inA,inB):　　　　　　#余弦相似度
    num = float(inA.T*inB)
    denom = la.norm(inA)*la.norm(inB)
    return 0.5+0.5*(num/denom)

 

1
2
3
4
5
6
7
8
9
10
11
12
# coding:utf-8
# !/usr/bin/env python

import svdRec
from numpy import *

if __name__ == '__main__':
	myMat = mat(svdRec.loadExData())
	print svdRec.ecludSim(myMat[:,0],myMat[:,4])	#矩阵第一列和第五列的欧氏距离相似度
	print svdRec.pearsSim(myMat[:,0],myMat[:,4])	#矩阵第一列和第五列的皮尔逊相关系数相似度
	print svdRec.cosSim(myMat[:,0],myMat[:,4])		#矩阵第一列和第五列的余弦相似度

1
2
3
4
0.129731907557
0.205965381738
0.5

 

tonglin0325

标签

标签云

AWS Airbnb Android CDH Doris ELK Flink Git Grafana HAProxy HBase Hadoop Hive Hudi InfluxDB JDBC JMeter JVM Java JavaWeb LaTex Linkedin Linux ML ML Infra MPP Maven MySQL Nexus OpenTSDB Paper Play Prometheus Python React Redis RocksDB Scala Solr Spark SpringBoot SpringMVC Thrift YARN antlr arthas avro cassandra clickhouse confluent docker filebeat flume golang google gradle hexo impala jenkins k8s kafka kerberos kudu ldap mac mongo mybatis nginx nlp open-falcon openwrt parquet presto ranger scyllaDB twitter zookeeper 刷题 前端 图存储及计算 多线程 广告系统 开发工具 数据结构 杂谈 正则表达式 算法 系统设计 计算机网络 设计模式

文章归档

最近文章