1.5  论文章节安排

    本文安排如下：第二章介绍特征提取方法典型相关分析；第三章介绍费希尔有辨别的字典学习方法；第四章介绍图像集分类中的协同表示方法；第五章综合叙述本文算法及优化步骤；最后一章介绍算法在数据集上的实验及结果比较。

2  特征提取

有研究表明，选择子空间的不同数量的维度会很大程度上影响识别率。若是维度的数量很大，复杂度提高，且子空间所含有的区别并不随维数的增加而增加，甚至会因为某些不重要的细节产生较差的影响；但若是维度的数量很小，那么子空间几乎无区别信息，分类效果不佳。基于此，本文使用典型相关分析来提取有鉴别能力的特征。

2.1  典型相关分析

典型相关分析（CCA）是通过比较两组多维变量之间的线性相关性，然后原先两组多维变量的线性相关性研究转化为极少的典型相关变量的研究，从而可以很轻易抓住问题核心。

设有两个相互关联的随机向量 ， ，其中X有p个变量，Y有q个变量。令

对每组变量通过乘以一个一维向量变成线性组合，使得到的线性组合之间的相关系数最大，不妨设这两个线性组合为：

目标是上述两个线性组合的相关系数最大，即要使

最大，从而找出这两个向量a和b。不过因为随机向量a和b乘以任一常数时，相关系数的结果并不改变，因此，为了使相同重复的结果不出现，令

即问题变为然后可用Lagrange乘数法求解（1）式，推导如下：

先构建Lagrangian等式，（2）   

对（2）求导，得令导数为0后，得到方程组： 

上述第一个式子左乘 ，第二个式子左乘 ，再根据上述约束条件 ， ，得到： ，即求出的 为相关系数，只需要找出最大的 即可。

先以 左乘上述第二式，并代入第一式，原式变为

 同理，将 左乘上述第一式，并代入第二式，变为 

将上边两式分别左乘 和 ，得则可将问题转化为

求解上述式（3）的特征向量，结果分别为 ， 。这两个向量分别与X，Y相乘便为第一对典型变量。

    同理，可求其他典型变量，只是要求典型变量之间不相互包含信息，即协方差为0。例如寻找第二典型变量时，其最优化条件为：

式（4）的求法与第一典型变量求法相似，只不过 是求得的 的特征值次大于第一个求得的特征值。