Metoda najmniejszych kwadratów to podstawowa procedura statystyczna i numeryczna stosowana w matematyce oraz w naukach empirycznych do konstrukcji modelu opisującego zależność między zmiennymi na podstawie pomiarów. Jej istota polega na wybraniu takiego modelu, aby zminimalizować sumę kwadratów odchyleń (reszt) między wartościami obserwowanymi a wartościami przewidywanymi przez model.
Definicja i podstawowa idea
W najprostszej postaci problem można przedstawić następująco: mając dane (x_i, y_i) dla i = 1,…,n, dobieramy funkcję f (z określonej rodziny, np. liniowej), która minimalizuje wartość S = sum_i (y_i − f(x_i))^2. Kwadratowanie reszt eliminuje znaki i silniej penalizuje odległe obserwacje, co wpływa na własności estymatora.
Typowe warianty metody
- Ordinary least squares (OLS) — zwykłe najmniejsze kwadraty, najczęściej stosowane przy liniowych modelach regresji.
- Weighted least squares (WLS) — najmniejsze kwadraty z wagami; używane, gdy obserwacje mają różną wariancję.
- Nonlinear least squares — minimalizacja sumy kwadratów dla modeli nieliniowych względem parametrów; zwykle wymaga iteracyjnych metod numerycznych.
- Regularizowane wersje — np. regresja grzbietowa (ridge) lub LASSO, które dodają karę za złożoność modelu, poprawiając stabilność i uogólnienie.
Własności i uzasadnienia
- Gauss–Markov: w modelu liniowym z założeniem średnich zerowych i jednorodnej wariancji błędów estymator najmniejszych kwadratów jest estymatorem liniowym o najmniejszej wariancji spośród nieobciążonych estymatorów.
- Uniwersalność: metoda jest łatwa do interpretacji i daje spójne rozwiązania w wielu praktycznych zastosowaniach.
- Wrażliwość na obserwacje odstające: kwadraty reszt silnie karzą duże błędy, co może powodować wpływ pojedynczych wartości odstających na dopasowanie.
Metody obliczeniowe
Rozwiązanie problemu liniowego prowadzi do tzw. równań normalnych; w praktyce jednak stosuje się metody numeryczne, które są bardziej stabilne:
- dekompozycja QR
- rozwiązania z użyciem wartości osobliwych (SVD)
- iteracyjne metody optymalizacji dla modeli nieliniowych (np. metoda Levenberga–Marquardta)
Zastosowania
- regresja i estymacja parametrów w ekonomii, naukach przyrodniczych i inżynierii
- dopasowanie krzywych i modeli w analizie danych
- przetwarzanie sygnałów i obrazów
- lokalizacja i nawigacja, np. rekonstrukcja trajektorii na podstawie pomiarów
Krótka historia
Carl Friedrich Gauss przypisywał sobie opracowanie metody już w 1795 roku i zastosował ją do rekonstrukcji orbity zaginionej planetoidy 1 Ceres, publikując pracę w 1807 roku. W tym samym okresie, niezależnie, tę samą metodę opisał Adrien‑Marie Legendre. Gauss przyznał także wpływ pomysłów Pierre'a‑Simona Laplace'a na rozwój rachunku prawdopodobieństwa i metod estymacji.
Uwaga praktyczna
W zastosowaniach należy uważać na założenia modelu (np. liniowość, jednorodność wariancji, niezależność błędów). W razie ich naruszenia rozważane są wersje ważone, metody odporne (robust) lub podejścia bayesowskie.
Dalsze źródła
Dla pogłębienia tematu przydatne są podręczniki statystyki i numeryki oraz artykuły historii matematyki. Metoda najmniejszych kwadratów pozostaje jednym z najważniejszych narzędzi statystyki i analizy danych ze względu na prostotę, interpretowalność i szerokie zastosowanie.
Linki powiązane: matematyka, funkcja, Gauss, 1 Ceres, Laplace