Błędy statystyczne i resztki występują, ponieważ pomiar nigdy nie jest dokładny.
Nie jest możliwe wykonanie dokładnego pomiaru, ale można powiedzieć, jak dokładny jest to pomiar. Można w kółko mierzyć to samo i zbierać wszystkie dane razem. Dzięki temu możemy robić statystyki na temat danych. Przez błędy i resztki rozumiemy różnicę między wartością obserwowaną lub mierzoną a wartością rzeczywistą, która nie jest znana.
Jeżeli istnieje tylko jedna zmienna losowa, różnica między błędami statystycznymi a resztami jest różnicą między średnią z populacji a średnią z (zaobserwowanej) próby. W tym przypadku wartość rezydualna jest różnicą między tym, co mówi rozkład prawdopodobieństwa, a tym, co zostało faktycznie zmierzone.
Załóżmy, że istnieje eksperyment służący do pomiaru wzrostu 21-letnich mężczyzn z określonego obszaru. Średnia rozkładu wynosi 1,75 m. Jeśli jeden losowo wybrany mężczyzna ma 1,80 m wzrostu, "(statystyczny) błąd" wynosi 0,05 m (5 cm); jeśli ma 1,70 m wzrostu, błąd wynosi -5 cm.
Błąd szczątkowy (lub dopasowania) jest natomiast możliwym do zaobserwowania oszacowaniem niewykrywalnego błędu statystycznego. Najprostszy przypadek dotyczy losowej próby n mężczyzn, których wysokości są mierzone. Średnia z próby jest używana jako szacunkowa średnia dla populacji. Następnie mamy:
- Różnica między wzrostem każdego człowieka w próbie a średnią z nieobserwowalnej populacji jest błędem statystycznym, oraz
- Różnica między wzrostem każdego człowieka w próbce a średnią z obserwowanej próbki jest szczątkowa.
Suma pozostałości w próbce losowej musi wynosić zero. W związku z tym resztki nie są niezależne. Suma błędów statystycznych w ramach próby losowej nie musi być równa zero; błędy statystyczne są niezależnymi zmiennymi losowymi, jeżeli osoby są wybierane z populacji niezależnie.
W sumie: