VIFとは

VIFは、重回帰分析において、複数の説明変数(独立変数)間に高い相関関係(多重共線性)が存在するかどうかを定量的に評価するための指標のことです。

VIFの概要と多重共線性の問題

VIF(Variance Inflation Factor、分散拡大要因)は、回帰モデルの構築において、独立変数間の相互作用(相関)がモデルの推定に与える悪影響を検出するために用いられます。

重回帰分析では、目的変数(従属変数)を複数の説明変数によって予測しますが、この説明変数同士が互いに強い線形関係を持っている場合、これを多重共線性(Multicollinearity)と呼びます。

多重共線性が発生すると、以下の深刻な問題が引き起こされます。

  • パラメータ推定の不安定性: 各説明変数の係数(β)の推定値が大きく変動し、標準誤差が不当に大きくなります。
  • 解釈の困難さ: 各説明変数が目的変数に与える個別の影響を正確に評価することが極めて困難になります。
  • 汎化能力の低下: モデルが特定の訓練データセットに過度に適合し、未知のデータに対する予測精度が不安定になることがあります。

VIFは、個々の説明変数に対して計算され、その変数が他のすべての説明変数によってどれだけ説明されてしまうか(つまり、どれだけ相関しているか)を示すことで、この多重共線性の度合いを明確にします。

主な目的は、回帰モデルの係数推定の分散が、多重共線性によってどれだけ膨れ上がっているかを数値化し、モデルの不安定性を警告することです。

VIFの計算原理と解釈

VIFは、各説明変数 Xi​ を目的変数として、他のすべての説明変数を用いて回帰分析を行った際の**決定係数(R2)**に基づいて計算されます。

1. VIFの計算式

説明変数 Xi​ のVIFは、以下の式で計算されます。

VIF_i = \frac{1}{1 - R_i^2}

ここで Ri2​ は、説明変数 Xi​ を目的変数とし、残りのすべての説明変数を独立変数として行った回帰分析の決定係数です。Ri2​ の値は 0 から 1 の範囲を取ります。

2. VIFの値の解釈

  • VIFi​=1 の場合: Ri2​=0 を意味し、説明変数 Xi​ は他のどの説明変数とも完全に独立していることを示します。多重共線性の問題はありません。
  • VIFi​>1 の場合: Ri2​>0 を意味し、他の変数との間に何らかの相関があることを示します。
  • VIFが高い場合(例:10以上): Ri2​ が非常に1に近く、説明変数 Xi​ が他の変数によってほぼ完全に説明できてしまうほど、強い多重共線性があることを示します。

一般的に、VIFの値が5または10を超える場合、その説明変数は多重共線性の問題を抱えており、モデルから除外するか、対処法の適用を検討すべきであると判断されます。

多重共線性への対処法

VIFが高いと判断された場合、回帰モデルの信頼性を回復するために、以下のいずれかの対策が講じられます。

1. 変数の削除

最も直接的な方法です。VIFが非常に高い変数のうち、理論的に重要度が低いものや、他の変数と概念的に重複しているものをモデルから除外します。

2. 変数の結合(合成)

相関が高い複数の変数を、何らかの形で一つの新しい変数に合成します。例えば、物理的な寸法に関する複数の変数を一つにまとめるなどが考えられます。

3. 主成分分析(PCA)の利用

相関性の高い説明変数のセットを、少数の直交する(相関のない)新しい変数(主成分)に変換し、この主成分を回帰分析に用いる手法です。これにより多重共線性は完全に解消されますが、モデルの解釈性が低下するというトレードオフがあります。

4. リッジ回帰(Ridge Regression)の利用

通常の最小二乗法にL2正則化項を追加することで、係数推定の分散を意図的に抑え、多重共線性の影響を緩和する回帰手法です。これは係数の推定値にバイアス(偏り)を導入する代わりに、その分散を大幅に低減することを目的とします。

関連用語

説明変数 | 今更聞けないIT用語集
回帰モデル(線形・非線形) | 今更聞けないIT用語集
AIソリューション

お問い合わせ

システム開発・アプリ開発に関するご相談がございましたら、APPSWINGBYまでお気軽にご連絡ください。

APPSWINGBYの

ソリューション

APPSWINGBYのセキュリティサービスについて、詳しくは以下のメニューからお進みください。

システム開発

既存事業のDXによる新規開発、既存業務システムの引継ぎ・機能追加、表計算ソフトによる管理からの卒業等々、様々なWebシステムの開発を行っています。

iOS/Androidアプリ開発

既存事業のDXによるアプリの新規開発から既存アプリの改修・機能追加まで様々なアプリ開発における様々な課題・問題を解決しています。


リファクタリング

他のベンダーが開発したウェブサービスやアプリの不具合改修やソースコードの最適化、また、クラウド移行によってランニングコストが大幅にあがってしまったシステムのリアーキテクチャなどの行っています。