最小二乗回帰

散布したデータ点に直線を当てはめる

最小二乗回帰は、データ点の散布に最も適合する唯一の直線を見つけます。 x, yのペアのリスト を1行に1組ずつ入力すると、この計算機は直線の傾きと切片、そして点が実際にその直線にどれだけ 密接に従っているかを求めます。

計算式

$$\vC{m} = \frac{n\sum{xy} - \sum{x}\sum{y}}{n\sum{x^2} - \left(\sum{x}\right)^2}$$ $$\vC{b} = \frac{\sum{y} - m\sum{x}}{n}$$

ここで $m$ は傾き、$b$ は切片、$n$ はデータ点の数です — これらを合わせて、各点から 直線までの合計二乗距離を最小化する直線 $y = mx + b$ を表します。

計算例

(1, 1)、(2, 2)、(3, 4) を通る直線の当てはめ:

1. $m = \frac{3(17) - 6(7)}{3(14) - 6^2} = \frac{51 - 42}{42 - 36} = \frac{9}{6} = \vC{1.5}$

2. $b = \frac{7 - 1.5(6)}{3} = \frac{7 - 9}{3} = \vC{-0.667}$ — したがって当てはめた直線は $y = 1.5x - 0.667$ で、相関係数は約 $0.98$ です。

考慮すべき主な要因

• 強い相関係数は、必ずしもxが実際にyを引き起こしていることを意味しません。 2つの変数が強く相関するのは、一方が本当にもう一方に影響を与えているから、両方が第三の要因によって動かされているから、あるいは小規模なデータセットにおける単なる偶然のためかもしれません — 相関は線形関係の強さを表すものであり、その背後にある理由を表すものではありません。
• この方法は真の関係が線形であることを前提としていますが、それが常に正しい前提とは限りません。 実際には点の散布が曲線に従っている場合、無理やり直線を当てはめると、技術的には「最良適合」であってもデータをうまく表さない直線になることがあります — 当てはめを信頼する前に、点を視覚的にプロットしてみるのが良い習慣です。
• 1つの異常な点(外れ値)が、当てはめた直線を不釣り合いに引き寄せてしまうことがあります。 最小二乗法は距離の「2乗」を最小化するため、全体の傾向から遠い点は近い点よりもはるかに大きく当てはめに寄与します — 1つの極端な外れ値を含む小規模なデータセットは、これに特に影響されやすくなります。
• 他の条件が同じであれば、データ点が多いほど一般的により信頼できる当てはめになります。 (この計算例のように)わずか3〜4点だけを通す直線は説得力があるように見えても、数十点にわたって測定された同じ関係よりもはるかに大きな不確実性を伴います — 相関の強さだけでは、その当てはめをどれだけのデータが実際に裏付けているかはわかりません。

よくある間違い

• 高い相関係数を因果関係の証拠として扱ってしまう。 強いr値は、点が直線の周りに密接に集まっていることを示すだけです — 一方の変数が実際にもう一方の変化を引き起こしているかどうかについては何も語りません。
• 実際には曲線であるデータに直線を当てはめてしまう。 最小二乗法は、線形の当てはめが基礎となるパターンをうまく表せない場合でも、常に傾きと切片を返します — 結果を信頼する前に、まず点をプロットするか、相関係数が意外に低くないか確認してください。
• データ点が少なすぎるのに当てはめを信頼できるものとして扱ってしまう。 わずか3〜4点を通る直線は説得力があるように見えても、数十点にわたって測定された同じ関係よりもはるかに大きな不確実性を伴います。
• 気づかないうちに1つの外れ値が当てはめを支配してしまう。 最小二乗法は二乗距離を最小化するため、1つの遠く離れた点が直線全体をそちらに引き寄せることがあります — 異常な点を除去すると結果が大きく変わるかどうか確認する価値があります。

知っておくと便利なこと

• 多くの点を通る傾向線を当てはめるのではなく、既知の2点間の値を推定する必要がありますか？線形補間計算機がそのより直接的なケースを扱います。
• ある特定の値がデータセット全体の広がりとどう比較されるか見たいですか？Zスコア計算機がまさにそれを測定します。
• より広範な要約統計のために同じ数値のリストを扱っていますか？統計計算機が平均、中央値、標準偏差をカバーします。