５． 主成分分析
主成分分析は、相関関係にあるいくつかの要因を合成（圧縮）して、いくつかの成分にし、その総合力や特性を求める方法である。主成分分析では、重回帰分析や判別分析のように目的変量は与えられていない。説明変量を圧縮してその特性を調べるものである。
例えば、何人かの生徒の英語・数学・理科・社会の４つの成績データから、この４つの要因を圧縮し１成分のデータにすることにより、その生徒の総合力を調べたり、また文系能力・理系能力を調べるなどのようにある特性を求めたりする方法である。
５．１ 主成分を求める
８人の生徒の英語と数学の評価が下表のようであったとする。この個々の成績から総合力は誰が一番あるのか、また文系能力・理系能力のどちらがあるのかを調べる。
|
No |
標本 |
英語 ｘ1 |
数学 ｘ2 |
合計 |
順位 |
|
１ ２ ３ ４ ５ ６ ７ ８ |
Ａ Ｂ Ｃ Ｄ Ｅ Ｆ Ｇ Ｈ |
５ ５ ７ ８ ７ ４ ８ ４ |
８ ５ ４ ５ ２ ３ ７ ６ |
１３ １０ １１ １３ ９ ７ １５ １０ |
２ ５ ４ ２ ７ ８ １ ５ |
|
|
平 均 |
６ |
５ |
|
|
単純に英語と数学の合計から順位をつけると、上の表のようになる。しかしこの順位が総合力を示しているかどうかは不明である。そこで英語（ｘ1）と数学（ｘ2）のデータを圧縮して１成分に合成し、尺度を１つにしてから総合力を求めることを考える。
２情報をできるだけその情報を失わないようにして、１つの情報に合成してからその総合力を調べてみる。２変量を合成したものをＺとすると、２変量を合成するので、適当な重みａiをつけて、Ｚ＝ａ1･x1＋ａ2･x2 とする。
通常、主成分を求めるには、標本データの重心を通る直線を１本引く。この直線は適当な重み ａiをつけ
Ｚ＝ａ1･x1＋ａ2･x2＋…＋ａn･xn なる直線を考える。そしてこの直線は、各点からの直線への距離が最小になるように引く必要がある。このようにするには、ａ12＋ａ22＋…＋ａn2＝１の条件下で合成変数Ｚの分散が最大になるようにする。また、得られる合成変数Ｚのうち分散が最大のものを第１主成分、その次に分散が大きく第１主成分とは無相関のものを２主成分という。一般には変量がｎ個あれば、ｎ個の主成分まで求めることができる。
前の例において、重心を通る直線をＺ＝ａ1･x1＋ａ2･x2とする。この直線は、各標本データからのこの直線上への距離が最小になるように引く。
いま、図の１点Ｄからこの直線Ｚ上に降ろした点をＱとすると
ＰＤ2＝ＰＱ2＋ＤＱ2 であり、ＰＤ2 は実際の情報量であるから一定である。いま点Ｄからこの直線上への距離を最小にする（合成することにより失われる情報量を最小にする）ことを考えるのでＤＱ2をできるだけ小さくしたい、するとＰＱ2 を最大にする（合成して求める情報量を最大にする）ことを考えればよい。
なお、重心Ｐから点Ｑまでの距離を主成分得点という。この主成分得点が２変量を合成した値である。第一主成分をＺ1＝ａ1･x1＋ａ2･x2 とすると、主成分得点の分散Ｑは
ａ12＋ａ22＝１の条件下で、この主成分得点の分散Ｑを最大にするようなａ1･ａ2を求める。
ラグランジュの未定乗数法を用いて
Ｇ＝Ｑ−λ（ａ12＋ａ22−１）とおいて、Ｇをａ1･ａ2で偏微分し０とおくことにより分散Ｑを最大にするａ1･ａ2 を求める。
（Ｓ11−λ）･ａ1＋Ｓ12･ａ2＝０
Ｓ12･ａ1＋（Ｓ22−λ）･ａ2＝０
ａ12＋ａ22＝１
これを行列を使用して表すと、下のような固有方程式となる。
第１主成分としては、大きい方のλ値を採用する。
5.1.1 分散共分散行列から主成分を求める。
主成分得点の分散Ｑを最大にするａ1･ａ2を求めるには、分散共分散行列を使用して行うことができる。
（１）説明変量２個の時、分散共分散行列から出発して主成分を求める。
ＡＸ＝λＸ （λ：実数）
を満たす時、λをＡの固有値、Ｘをλに属する固有ベクトルという。固有値λは主成分得点の分散に一致する。
この固有方程式から固有値λを求める。
（Ｓ11−λ）･（Ｓ22−λ）−Ｓ122＝０ となり、先ほど計算した結果と同じものを得ることができる。
第１主成分の式はＺ1＝ａ1･ｘ1＋ａ2･ｘ2 であるが、原点を０からデータの重心（ｘ1，ｘ2）に移動すると、
となる。この式を用いて主成分得点を求めることができる。
（２）説明変量がｐ個ある時、分散共分散行列から出発して主成分を求める。
説明変量がｐ個ある時の分散共分散行列をＡとすると
この時 ＡＸ＝λＸ
（λ：実数） の固有方程式を解いて固有値λを得る。固有値λをλ1≧λ2≧…≧λp≧０とすると、固有値の大きい方法から順に、第１主成分・第２主成分…第ｐ主成分となるので、各λに属する固有ベクトルを求めると、各主成分の係数を得ることができる。
から固有値λiを得る。
最大の固有値λ1から、第１主成分が得られるので、λ1に属する固有ベクトルａiを求めて第１主成分の式が求められる。
第１主成の式… Ｚ1＝ａ1･ｘ1＋ａ2･ｘ2＋…ａp･ｘp＋ａ0
同様にして、２番目に大きい固有値λ2から第２主成分の式を得ることができる。λ2に属する固有ベクトルａjを求めて第２主成分の式が求められる。
第２主成の式… Ｚ2＝ａ1･ｘ1＋ａ2･ｘ2＋…ａp･ｘp＋ａ0
以下、同様にして第ｐ主成分まで求めることができる。
5.1.2 相関行列から主成分を求める。
説明変量の単位が異なるときには、単位の影響を受けてうまく主成分を求めることができない。このようなとき、単位の影響を取り除くには、データの標準化をすればよい。
データの標準化は
で変換したデータについて主成分を求めればよい。データの標準化を行うと、平均＝０ 分散＝１となる。分散共分散行列はデータの標準化を行うと、相関行列となる。
（１）変量が２個の時、相関行列から出発して主成分を求める。
固有方程式は
｜Ａ−λＥ｜＝０ （１−λ）2 −ｒ122 ＝０ λ＝１±ｒ12
（２）変量が２個の時、相関行列から出発して主成分を求める。
説明変量がｐ個ある時の相関行列をＡとすると
分散共分散行列から出発したときと同様に
ＡＸ＝λＸ （λ：実数）の固有方程式を解いて固有値λを得る。固有値λをλ1≧λ2≧…≧λp≧０とすると、固有値の大きい方法から順に、第１主成分・第２主成分…第ｐ主成分が得られ、各λに属する固有ベクトルを求めて、各主成分の係数を得る。
から固有値λiを得る。
最大の固有値λ1から、第１主成分が得られるので、λ1に属する固有ベクトルａiを求めて第１主成分の式が求められる。
第１主成の式… Ｚ1＝ａ1･ｘ1'＋ａ2･ｘ2'＋…ａp･ｘp'＋ａ0
ただし、ｘi'は標準化した値である。
同様にして、２番目に大きい固有値λ2から第２主成分の式を得ることができる。λ2に属する固有ベクトルａjを求めて第２主成分の式が求められる。
第２主成の式… Ｚ2＝ａ1･ｘ1'＋ａ2･ｘ2'＋…ａp･ｘp'＋ａ0
以下、同様にして第ｐ主成分まで求めることができる。
なお新しく求められた主成分は、説明変量を合成して得られるものであるから、新たに自分でその主成分が何を意味する変量であるか命名する必要がある。
５．２ 例題について
5.2.1 主成分を求める
|
No |
標本 |
英語（ｘ1） |
数学（ｘ2） |
|
１ ２ ３ ４ ５ ６ ７ ８ |
Ａ Ｂ Ｃ Ｄ Ｅ Ｆ Ｇ Ｈ |
５ ５ ７ ８ ７ ４ ８ ４ |
８ ５ ４ ５ ２ ３ ７ ６ |
|
|
平 均 |
６ |
５ |
(2.5−λ)･(3.5−λ) − 0.1252=0
λ=3.515 , 2.484
主成分得点の分散を大きくするのでλ = 3.515を第１主成分として採用する。
第１主成分
λ1 = 3.515 の時の固有ベクトルを求めると
ａ1 = −0.122 ａ2 =
0.9925
よって Z1 ＝−0.1222･(x1−6)＋0.9925･(x2− 5) =−0.1222･x1＋0.9925･x2−4.229
第２主成分
λ2 = 2.484 から
Z2 ＝ 0.9925･x1 ＋ 0.1222･x2 − 6.566 となる。
5.2.2 主成分得点を求める
第１主成分得点は、Z1＝−0.1222･x1＋0.9925･x2−4.229 から求めると下表のようになる。
|
No |
標本 |
英語 ｘ1 |
数学 ｘ2 |
第１主成分得点 |
順位 |
|
１ ２ ３ ４ ５ ６ ７ ８ |
Ａ Ｂ Ｃ Ｄ Ｅ Ｆ Ｇ Ｈ |
５ ５ ７ ８ ７ ４ ８ ４ |
８ ５ ４ ５ ２ ３ ７ ６ |
3.0997 0.1222 −1.1147 −0.2444 −3.0997 −1.7406 1.7406 1.2369 |
１ ４ ６ ５ ８ ７ ２ ３ |
|
平均 |
|
６ |
５ |
|
|
|
分散 |
|
|
|
|
3.515 |
第１主成分の式を見るとｘ1（英語）の係数が（−）でｘ2（数学）の係数が（＋）となっている。これから、第１主成分は理系能力を示すと考えられる。主成分得点からその点数の大きい順に順位をつけると、その順位が理系能力の順位であるといえる。
これをグラフに描いてみると
第２主成分得点は、Z1＝0.9925･x1＋0.1222･x2−6.566 から求めると下表のようになる。
<