一、主成分法

主成分分析（Principal Component Analysis）是考察多個(gè)定量（數(shù)值）變量間相關(guān)性的一種多元統(tǒng)計(jì)方法。它是研究如何通過少數(shù)幾個(gè)主分量（即原始變量的線性組合）來解釋多變量的方差—協(xié)方差結(jié)構(gòu)。具體地說，是導(dǎo)出少數(shù)幾個(gè)主分量，使它們盡可能地保留原來變量的信息，且彼此間不相關(guān)。主成分分析常被用來尋找判斷某種事物或現(xiàn)象的綜合指標(biāo)，并給綜合指標(biāo)所蘊(yùn)藏的信息以恰當(dāng)解釋，以便更深刻地揭示事物內(nèi)在的規(guī)律。

假設(shè)有n個(gè)樣本，每個(gè)樣本得p項(xiàng)指標(biāo)（p＜n）。由于這p項(xiàng)指標(biāo)之間往往具有相關(guān)關(guān)系，且每個(gè)樣本各指標(biāo)取值的單位和數(shù)量大小不同，使我們較難利用這p項(xiàng)指標(biāo)的信息區(qū)別這n個(gè)樣本。因此，如何從這p項(xiàng)指標(biāo)中找出少數(shù)幾個(gè)綜合指標(biāo)，使它們盡可能地多反映p項(xiàng)指標(biāo)的信息，而且彼此之間不相關(guān)，這就成為一個(gè)重要問題。怎樣解決這個(gè)問題，主成分分析給了最好的辦法。

設(shè)X＝（X₁，X₂，…，X_P）是一個(gè)p維隨機(jī)向量，且E（X）＝μ，協(xié)差陣D（X）＝V?？紤]它的線性變換：

如果Z₁＝l′₁X滿足：

①l′₁l₁＝1；

②Var（Z₁）＝

則稱Z₁是X的所有線性組合中最能綜合p個(gè)變量信息的一個(gè)特殊的線性組合。如果一個(gè)主成分不足以代表原p個(gè)變量所包含的信息，就考慮采用Z₂。為了最有效的代表原變量的信息，Z₁已有的信息就不需要出現(xiàn)在Z₂中，即滿足Cov（Z₁，Z₂）＝0，于是求Z₂，使其滿足

①l′₂l₂＝1；

②Var（Z₂）＝）

此時(shí)的Z₂稱為第二主成分。類似可得第三主成分、第四主成分等等。

令X的協(xié)差陣V的特征值為λ₁≥λ₂≥…λ_p≥0，l₁，l₂，…，l_p為相應(yīng)的單位特征向量，則X的第i個(gè)主成分為Z_i＝l′_iX（i＝1，2，…，p）

主成分分析的目的是為了減少變量的個(gè)數(shù)，故一般不用p個(gè)主成分，而用m ＜p個(gè)主成分。m的選取則要看累積貢獻(xiàn)率。在實(shí)際問題中，p項(xiàng)指標(biāo)的斜方差矩陣V往往是未知的。這時(shí)我們可用p項(xiàng)指標(biāo)n個(gè)樣本的樣本協(xié)方差矩陣S代替V，計(jì)算S的非零特征根及其相對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量，從而得出樣本主成分，并用樣本主成分去作各種分析。

主成分的方差貢獻(xiàn)率，即，這個(gè)值越大，表明Z_k綜合X₁，X₂，…，X_p信息的能力就越強(qiáng)。其中Z₁在總方差中占的比重最大，其余綜合變量Z₂，Z₃，…，Z_p的方差依次遞減，故各主成分綜合原變量信息能力的大小是Z₁≥Z₂≥…≥Z_m。

主成分Z₁，Z₂，…，Z_m的累積貢獻(xiàn)率，即

累積貢獻(xiàn)率表示m個(gè)主成分提取了X₁，X₂，…，X_p的多少信息。在應(yīng)用時(shí)，取累計(jì)貢獻(xiàn)率為85%或以上相對(duì)應(yīng)的前m個(gè)主成分。在資料所含的變量個(gè)數(shù)、樣品數(shù)及累積貢獻(xiàn)率固定的前提下，m／p的比值越小，說明此資料用主成分分析越合適。

因子負(fù)荷量指第k個(gè)主成分Z_k與原變量X_i的相關(guān)系數(shù)ρ（Z_k，X_i），即因子負(fù)荷量是主成分分析經(jīng)濟(jì)解釋中非常重要的解釋依據(jù)，用因子負(fù)荷量在主成分中的絕對(duì)值大小來刻畫該主成分的主要經(jīng)濟(jì)意義及其經(jīng)濟(jì)成因。

前m個(gè)主成分Z₁，Z₂，…，Z_m對(duì)原變量X_i的貢獻(xiàn)率V_i，即

它是X_i與Z₁，Z₂，…，Z_m的全相關(guān)系數(shù)的平方和，表達(dá)了某個(gè)變量被提取了多少信息。

主成分分析步驟如下：

（1）對(duì)原p個(gè)指標(biāo)的n×p個(gè)原始數(shù)據(jù)標(biāo)準(zhǔn)化。目的是為了消除變量間在數(shù)量級(jí)上或量綱上的不同而產(chǎn)生的影響，以使每個(gè)變量的平均值為0，方差為1。變換標(biāo)準(zhǔn)化的公式為

其中和σ_j分別是第j個(gè)變量的平均值和標(biāo)準(zhǔn)差。

（2）根據(jù)標(biāo)準(zhǔn)化矩陣求出協(xié)方差矩陣（與相關(guān)陣一樣）。

（3）求出協(xié)方差矩陣的特征根λ和特征向量。

（4）確定主成分，結(jié)合專業(yè)知識(shí)對(duì)各主成分所蘊(yùn)藏的信息給予恰當(dāng)?shù)慕忉專⒗盟鼈儊砼袛鄻悠返奶匦浴?/p>