Prawo wielkich liczb (LLN) jest twierdzeniem ze statystyk. Mówi ono, że jeśli pewna zmienna losowa jest obserwowana wielokrotnie w niezależnych próbach o tym samym rozkładzie, to arytmetyczna średnia z tych obserwacji z czasem stabilizuje się wokół wartości oczekiwanej tej zmiennej. Innymi słowy: im więcej obserwacji, tym bliżej rzeczywistej wartości oczekiwanej znajduje się średnia z próby.
Definicja i zapis formalny
Niech X1, X2, …, Xn będą niezależnymi i identycznie rozłożonymi (i.i.d.) zmiennymi losowymi o wspólnej wartości oczekiwanej μ = E(X1) (przyjmujemy E|X1| < ∞). Definiujemy średnią z próby
X̄n = (X1 + X2 + … + Xn) / n.
Prawo wielkich liczb stwierdza, że w miarę wzrostu n wartość X̄n zbiega do μ.
Rodzaje prawa wielkich liczb
- Słabe prawo wielkich liczb (WLLN): X̄n zbiega do μ w sensie prawdopodobieństwa, tzn. dla każdego ε > 0 mamy P(|X̄n − μ| > ε) → 0, gdy n → ∞. Ten wariant można uzyskać np. z zastosowania nierówności Chebysheva przy założeniu skończonej wariancji.
- Mocne prawo wielkich liczb (SLLN): X̄n zbiega do μ z prawdopodobieństwem 1 (zbieżność prawie pewna). Jest to silniejsze stwierdzenie: prawdopodobieństwo, że ciąg średnich ostatecznie zbliży się i pozostanie blisko μ, wynosi 1. Dowód wymaga zwykle ostrzejszych narzędzi (np. twierdzeń Kołmogorowa).
Przykład: rzuty kostką
Rozważmy standardową sześcienną kostkę do gry, w której możliwe wyniki to 1, 2, 3, 4, 5 i 6 — wszystkie jednakowo prawdopodobne. Wartość oczekiwana pojedynczego rzutu wynosi:
(1 + 2 + 3 + 4 + 5 + 6) / 6 = 3.5.
Jeśli wykonamy dużą liczbę niezależnych rzutów kostką i będziemy liczyć średnią z uzyskanych wyników, zgodnie z prawem wielkich liczb ta średnia będzie się stabilizować wokół 3,5. Na początku, przy niewielkiej liczbie rzutów, średnia może być znacznie odległa od 3,5; w miarę zwiększania liczby obserwacji fluktuacje maleją i średnia przybliża wartość oczekiwaną.
Zarys dowodu (intuicja)
Najprostszy dowód dla słabego prawa wielkich liczb wykorzystuje nierówność Chebysheva. Jeśli zmienne mają skończoną wariancję σ2 = Var(X1), to Var(X̄n) = σ2/n. Nierówność Chebysheva daje
P(|X̄n − μ| > ε) ≤ Var(X̄n) / ε2 = σ2 / (n ε2),
co dąży do zera przy n → ∞, stąd zbieżność w prawdopodobieństwie. Dowód SLLN jest bardziej zaawansowany i wymaga np. twierdzenia Kołmogorowa o zbieżności szeregów losowych lub innych narzędzi teorii miary.
Ograniczenia i uwagi
- Prawo wielkich liczb nie mówi o szybkości zbieżności — jedynie, że zbieżność następuje dla dużych n. Szybkość i rozkład odchyleń opisuje twierdzenie centralne graniczne.
- Wymagane są pewne warunki: typowo niezależność (lub słabsze warunki zależności) i skończona wartość oczekiwana; dla niektórych uogólnień można znosić identyczność rozkładów lub pozwolić na pewne zależności przy spełnieniu dodatkowych warunków.
- Jeśli wartość oczekiwana nie istnieje (np. rozkłady o bardzo ciężkich ogonach), standardowe prawo wielkich liczb może nie zachodzić lub wymagać modyfikacji.
Zastosowania w statystyce i praktyce
- Estymacja: LLN uzasadnia stosowanie średniej z próby jako estymatora wartości oczekiwanej populacji — estymator ten jest zgodny (consistent).
- Symulacje Monte Carlo: przybliżanie wartości oczekiwanych (np. cen opcji, prawdopodobieństw) na podstawie dużej liczby powtórzeń eksperymentu.
- Badania opinii i sondaże: wyniki dużych prób statystycznych zbliżają się do rzeczywistych proporcji w populacji.
- Aktuariat i ubezpieczenia: przewidywanie średnich strat przy dużej liczbie niezależnych zdarzeń.
- Kontrola jakości: stabilizacja średnich wielkości mierzonych procesów produkcyjnych przy długich seriach pomiarów.
Podsumowując: prawo wielkich liczb jest podstawowym twierdzeniem, które tłumaczy, dlaczego uśrednianie wielu niezależnych obserwacji prowadzi do wiarygodnych szacunków wartości oczekiwanych — to jedno z fundamentów statystyki i teorii prawdopodobieństwa.