Metody-probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metody probabilistyczne i statystyka semestr 2 dr hab. inż. Roman Rykaczewski pok. 600; konsultacje: wtorek 8:00 do 10:00

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Zasady zaliczania przedmiotu • Zaliczenie ćwiczeń: dwa kolokwia, z których łącznie można uzyskać maksymalnie 60 punktów (2x30 punktów)- próg zaliczenia każdego kolokwium 15 punktów; • Egzamin: maksymalna do uzyskania liczba punktów to 40 - próg zaliczenia 20 punktów; • Ocena końcowa na podstawie sumy (max=100) uzyskanych punktów - próg zaliczenia to 50 punktów. Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Zasady zaliczania przedmiotu • • • •

Ćwiczenia: 2 kolokwia po 30 punktów Egzamin: 40 punktów Próg dopuszczenia do egzaminu: 30 punktów Próg zaliczenia przedmiotu: 50 punktów Zaliczenie ćwiczeń i wykładu w formie egzaminu „zerowego”:

AiR + IBM +EiT: 09.06. 2016 godz. 17-19 Niezdanie egzaminu zerowegoegzamin w sesji podstawowej Wyrywkowa kontrola obecności na wykładach! Obecność na ćwiczeniach i wykładach obowiązkowa! Egzamin „zerowy”:

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Zasady zaliczania przedmiotu Każde kolokwium oraz egzamin składa się z: • części zadaniowej; • części teoretycznej; Obie części MUSZĄ być zaliczone - próg 50% Niezdanie egzaminu poprawkowego oznacza konieczność powtórzenia wykładu i ćwiczeń AiR:

@

EiT: [email protected] IBM Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Efekty kształcenia –Krajowe Ramy Kwalifikacji Osoba posiadająca kwalifikacje pierwszego stopnia: AiR: ma podstawową wiedzę z zakresu matematyki, obejmującą analizę matematyczną, algebrę, geometrię, probabilistykę i metody numeryczne, niezbędną do opisu, analizy i syntezy układów automatyki i robotyki oraz podstawowych procesów w nich zachodzących IBM: ma podstawową wiedzę z zakresu matematyki, obejmującą analizę matematyczną, algebrę, geometrię, probabilistykę i metody numeryczne, niezbędną do formułowania i rozwiązywania prostych zagadnień z zakresu inżynierii biomedyczne

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Efekty kształcenia –Krajowe Ramy Kwalifikacji EiT: ma podstawową wiedzę z zakresu matematyki, obejmującą analizę matematyczną, algebrę, geometrię, probabilistykę i metody numeryczne, niezbędną do formułowania i rozwiązywania prostych zagadnień z zakresu elektroniki i telekomunikacji

METODY PROBABILISTYCZNE I STATYSTYKA Efekty kształcenia z przedmiotu Student identyfikuje, klasyfikuje i opisuje podstawowe wielkości charakteryzujące zmienne losowe dyskretne, ciągłe i mieszane, analizuje ich właściwości, oblicza parametry i charakterystyki zmiennych losowych jedno- i wielowymiarowych. Student opisuje zasady estymacji parametrów, właściwości estymatorów, oblicza estymaty parametrów zmiennych losowych

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Materiały pomocnicze • Sobczak W., Konorski J. Kozłowska J.: Probabilistyka stosowana, Wyd. PG, 2004r. • Krysicki i in.- Rachunek prawdopodobieństwa i statystyka matematyczna w zadaniach, część I, PWN Warszawa 1995 • Papoulis A. - Prawdopodobieństwo, zmienne losowe i procesy stochastyczne, WNT, Warszawa 1972 • Sobczak W.: Podstawy probabilistyczne teorii systemów informacyjnych, WNT, 1981 Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Wykład 1 1. 2. 3. 4. 5.

Algebra zbiorów, Pojęcie zdarzenia losowego, Algebra zdarzeń, Klasyczne definicje prawdopodobieństwa, Aksjomatyczna definicja prawdopodobieństwa. 6. Prawdopodobieństwo sumy zdarzeń

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Podstawy rachunku prawdopodobieństwa Historia: początki w XV i XVI wieku, gry losowe Problemy, których analiza jest niemożliwa bez modeli probabilistycznych: • zjawiska o bardzo dużym stopniu złożoności, powodującym trudność w przewidywaniu ich przebiegu np. zakłócenia w kanałach telekomunikacyjnych, sygnały przenoszące informację, zjawiska pogodowe; • zjawiska o dużej zmienności, takie jak np. ruch telekomunikacyjny, ruch drogowy. • procesy zachodzące w żywych organizmach.

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Elementy algebry zbiorów Zbiór - zespół obiektów o wspólnych właściwościach; Zbiory oznaczamy dużymi literami-np. A, B, C... Elementy zbiorów oznaczamy odpowiednimi małymi literami- np. a, b, c,... Przynależność elementu do zbioru oznaczamy: a  A ( a należy do zbioru A); Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Elementy algebry zbiorów Moc zbioru - liczba elementów zbioru; Zbiór skończony - zbiór o skończonej liczbie elementów; Zbiór nieskończony- zbiór o nieskończonej liczbie elementów; (policzalny - jeżeli każdemu elementowi zbioru można jedno-jednoznacznie przyporządkować liczbę naturalną; niepoliczalnyjeżeli nie można dokonać takiego przyporządkowania - np. B=(x: xR, x < 0); Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Elementy algebry zbiorów Jeżeli każdy element zbioru A jest jednocześnie elementem zbioru B, to mówimy, że A jest podzbiorem zbioru B i zapisujemy to A  B lub B  A diagram Venna dla

AB



Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Elementy algebry zbiorów Jeżeli zachodzi zarówno A  B jak i B  A , to zbiory A są równe, co oznaczamy A = B. Przestrzeń - zbiór zawierający wszystkie możliwe elementy wszystkich rozważanych zbiorów oznaczenie: S Zbiór pusty- zbiór nie zawierający żadnego elementuoznaczenie:  Dopełnienie zbioru A: A zbiór wszystkich elementów przestrzeni S nie będących elementami zbioru A  rys. Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Elementy algebry zbiorów Dopełnienie przestrzeni S: S   Dopełnienie zbioru pustego  :   S Dopełnienie dopełnienia zbioru A: Suma zbiorów: A  B

Metody probabilistyczne i statystyka

A A

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Elementy algebry zbiorów Iloczyn zbiorów A i B: A  B

Zbiory A i B są rozłączne jeżeli: AB=

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Elementy algebry zbiorów Różnica zbiorów A i B: A\B = A 

Metody probabilistyczne i statystyka

B

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Elementy algebry zbiorów Operacje sumy i iloczynu zbiorów spełniają prawa łączności, przemienności i rozdzielności:

A  (B  C) = (A  B)  C = A  B  C A  (B  C) = (A  B)  C = A  B  C AB =BA AB =BA A  (B  C) = (A  B)  (A  C) A  (B  C) = (A  B)  (A  C) Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Elementy algebry zbiorów

A  B = A  ( A  B)

A B  A B A B  A B Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Elementy algebry zbiorów Jeżeli podzbiory Ai i=1,2,...,N przestrzeni S są parami rozłączne i ich suma jest równa S tzn. Ai  Aj = ; i,j = 1,2,...,N; i  j A1 A2 ....  AN =

N

A S i

i 1

to zbiór Ai ; i=1,2,...,N nazywamy układem zupełnym ( układem całkowitym ). Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Zdarzenia losowe Eksperyment losowy (EL)- eksperyment, którego wyniki są losowe; Pojedynczy wynik EL nazywamy elementarnym zdarzeniem losowym. Zakładamy, że wszystkie możliwe wyniki EL są znane i tworzą przestrzeń zdarzeń elementarnych . Zdarzeniami losowymi nazywamy podzbiory przestrzeni , których elementami są zdarzenia elementarne. Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Algebra zbiorów a algebra zdarzeń Przestrzeń S

Przestrzeń zdarzeń elementarnych , zdarzenie pewne; Zbiór pusty  Zdarzenie niemożliwe  Elementy a, b,... Zdarzenia elementarne 1, 2,.... Zbiory A, B Zdarzenia losowe A, B A Zaszło zdarzenie A Nie zaszło zdarzenie A A Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Algebra zbiorów a algebra zdarzeń AB

Zaszło co najmniej jedno ze zdarzeń A i B BC Zaszły oba zdarzenia B i C AB Zajście zdarzenia A implikuje zajście zdarzenia B AB= Zdarzenia A i B nie mogą zajść jednocześnie (są rozłączne, wzajemnie się wyłączają) Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Algebra zdarzeń Jeżeli zdarzenia losowe Ai i=1,2,...,N są parami rozłączne i ich suma jest zdarzeniem pewnym tzn. Ai  Aj = ; i,j = 1,2,...,N; i  j N

A1 A2 ....  AN =

A  i

i 1

to zbiór Ai i=1,2,...,N nazywamy układem zupełnym ( układem całkowitym) zdarzeń. Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Układ całkowity zdarzeń

N

B    B  An  n 1

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Klasyczne definicje prawdopodobieństwa Definicja Laplace’a: Prawdopodobieństwem zdarzenia A nazywamy stosunek liczby nA zdarzeń elementarnych sprzyjających zajściu zdarzenia A do liczby nW wszystkich zdarzeń elementarnych n

P( A) 

A

nW

Warunek stosowania: zdarzenia elementarne sprzyjające zajściu zdarzenia A są jednakowo prawdopodobne (tautologia!) Inna wada: nA i nW muszą być skończone i znane Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Klasyczne definicje prawdopodobieństwa Prawdopodobieństwo geometryczne: P  A 

miara obszaru  g A  miara obszaru  G 

gA - obszar (powierzchnia, objętość) sprzyjający zajściu zdarzenia A; G - obszar odpowiadający zajściu wszystkich możliwych zdarzeń

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Klasyczne definicje prawdopodobieństwa Definicja częstościowa: Jeżeli przy wielokrotnym powtarzaniu, w jednakowych warunkach, tego samego doświadczenia, w wyniku którego może zajść zdarzenie losowe A, częstość występowania tego zdarzenia, przy rosnącej liczbie doświadczeń, zmierza do ustalonej wartości, to wielkość tę przyjmujemy za prawdopodobieństwo zdarzenia A. Definicja częstościowa

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Aksjomatyczna definicja prawdopodobieństwa

Funkcja prawdopodobieństwa P(A) przyporządkowuje zdarzeniu losowemu A liczbę rzeczywistą nazywaną prawdopodobieństwem zdarzenia losowego A; Aksjomat 1: 0  P(A)  1 Aksjomat 2: P() = 1 Aksjomat 3: Jeżeli zdarzenia losowe An ; n=1,2,...,N są parami rozłączne, to N  N P  A1  A2    AN   P   An    P  An   n 1  n 1 Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Prawdopodobieństwo sumy dwóch zdarzeń

P  A  B   P  A  P  B   P  A  B  Dowód:

A  B  A   B \ A  B A   B \ A  B   P  A  B   P  A  P  B \ A  B 

 *

B   A  B   B \ A  B

 A  B   B \ A  B   P  B   P  A  B   P  B \ A  B  ** z (*) i (**) otrzymujemy P  A  B   P  A  P  B   P  A  B  Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Ważne wzory P( A)  P( A)  1 P()  0 N N N  N P   An    P  An     P An1  An2  n1 1 n2 1  n 1  n 1





n1  n2

N

N

N

   PA n1 1 n2 1 n3 1

n1



 An2  An3  .....   1

n1  n2  n3

Metody probabilistyczne i statystyka

n 1

N  P   An   n 1 

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Lektura obowiązkowa do wykładu 1 oraz ćwiczeń 1 i 2 Rozdziały 1,2,3, książki „Probabilistyka stosowana”

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Rozkładaj obciążenie równomiernie!

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Wykład 2 • • • •

Prawdopodobieństwa warunkowe Prawdopodobieństwo zupełne Twierdzenie Bayesa Niezależność zdarzeń

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Prawdopodobieństwo warunkowe Prawdopodobieństwo warunkowe zdarzenia losowego A przy warunku, że zaszło zdarzenie B, dla którego P(B) > 0, oznaczamy

P  A | B

i definiujemy wzorem:

P  A | B 

P  A  B P  B

; P  B  0

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Prawdopodobieństwo warunkowe Z definicji prawdopodobieństwa warunkowego wynika, że

P  A | B 

P  A  B P  B

P  B | A 

P  A  B P  A

P  A  B   P  A | B  P  B   P  B | A P  A ; P  A   0, P  B   0

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Prawdopodobieństwo warunkowe Prawdopodobieństwo warunkowe spełnia wszystkie aksjomaty rachunku prawdopodobieństwa: 1. 0  P(A|B)  1 2. P(|B)=1

3.

N  N P   An | B    P  An | B ;  n 1  n 1 Ai  A j  ; i, j  1, 2,..., N ; Metody probabilistyczne i statystyka

i j

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Prawdopodobieństwo warunkowe Dowód 1. B 

A

A

 B

 B



P

B  

P

P

A

P 1

 B



A A



A

 B  B

 B

 



 P

A

 B

0

B   P  A  B  P A  B    0 P B 

|: P

B 

Metody probabilistyczne i statystyka



Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Prawdopodobieństwo warunkowe Dowód 2.

P  | B  

P   B  P B 

  B  B P  | B  

P B  P B 

Metody probabilistyczne i statystyka

1

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Prawdopodobieństwo warunkowe Dowód 3.

Ai  A j   ;

i , j  1, 2,..., N ;

N

i  j ; A   An n 1

N

N

n 1

n 1

A  B   An  B    An  B 

A

n1

 



 B  An2  B  An1  An2  B  B    B  

 N  N P   An  B    P  An  B ;  n 1  n 1 N  N  P   An  B   P  An  B   n 1   n 1 P B P(B)  N  N P   An | B    P  An | B ;  n 1  n 1 Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Prawdopodobieństwo zupełne Jeżeli zdarzenia Bn; n=1,2,...,N tworzą układ zupełny zdarzeń, to dla dowolnego zdarzenia A jego bezwarunkowe prawdopodobieństwo, nazywane prawdopodobieństwem zupełnym (całkowitym) możemy obliczyć z wzoru

P A 

N

 P  A | B  P B  n 1

Metody probabilistyczne i statystyka

n

n

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Układ całkowity zdarzeń

N

A    A  Bn  n 1

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Prawdopodobieństwo zupełne Dowód:

 A  B1  ,  A  B2  ,  A  B3  , ...,  A  B N 

A  B  A  B   A  B n1

n2

n1

 B n2   ;

n1 , n 2  1, 2,..., N ; n1  n 2  N  P    A  Bn     n 1 

N

N

 P  A  B    P  A | B  P B  n

n 1

n 1

n

n

N  N    P    A  Bn    P  A   Bn   P  A     P  A  n 1  n 1   

P  A 

N

 P  A | B  P B  n 1

n

n

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Twierdzenie Bayesa Jeżeli zdarzenia Hn; n=1,2,..., N tworzą układ zupełny zdarzeń, to dla dowolnego zdarzenia A, dla którego P(A) >0, prawdopodobieństwa warunkowe P(Hn|A) dane są wzorem:

P H n | A  

P  A | H n  P H n



N

 P  A | H  P H  i 1

n  1, 2 , ..., N Metody probabilistyczne i statystyka

i

i

;

Wydział Elektroniki Telekomunikacji i Informatyki

Twierdzenie Bayesa

Dowód: P H n | A   P A 

Katedra Sieci Teleinformacyjnych

P H n  A  P A

N

 P  A | H  P H  i

i 1

i

P H n  A   P  A  H n   P  A | H n  P H n  P H n | A  

P  A | H n  P H n



N

 P  A | H  P H  i 1

i

n  1, 2 , ..., N Metody probabilistyczne i statystyka

i

;

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Twierdzenie Bayesa Interpretacja: • zdarzenia Hn są hipotezami, jakie odnośnie przyczyny wyniku eksperymentu stawiamy obserwując wynik eksperymentu- zdarzenie A; • twierdzenie Bayesa pozwala na obliczenie prawdopodobieństw poszczególnych hipotez, pod warunkiem, że znany jest wynik eksperymentu; Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Twierdzenie Bayesa -interpretacja Prawdopodobieństwa hipotez przy znanym skutku P(Hn|A) (prawdopodobieństwa a posteriori) obliczamy korzystając z prawdopodobieństw: •warunkowych, wyniku eksperymentu przy znanej przyczynie (znanej hipotezie) P(A|Hn)łatwe do obliczenia •bezwarunkowych prawdopodobieństw hipotez- P(Hn) (prawdopodobieństwa a priori) Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

1702-1761 Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Zdarzenia niezależne Mówimy, że dwa zdarzenia losowe A i B są niezależne statystycznie wtedy i tylko wtedy, kiedy

P  A  B   P  A  P B  Oznacza to, że dla zdarzeń niezależnych:

P  A | B   P  A P  B | A  P  B  P  A  B   P  A | B  P B   P B | A  P  A  P  A  B   P  A  P B  Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Zdarzenia niezależne

Jeżeli zdarzenia losowe A i B są niezależne, to niezależne są także zdarzenia losowe:

• Ai B

;

A iB

 P  A  B   P  A  P B A  P B A   ? P B 

A i B

;

P A  P

 A  B    A  B 

A  B  A 



B  





P A  P A  B  P A  B ;



P A  B  P A  B 1  P ( A) P ( A)



1  P B | A  P B | A



|: P ( A )



P (B | A)  P (B )

  P  A  B   P  A P B 

 

P B | A  1  P (B | A)  1  P (B )  P B

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Zdarzenia niezależne Dla trzech zdarzeń A1, A2, A3 warunkami ich niezależności są:

P  Ai  Aj   P  Ai  P  A j  ; i, j  1, 2,3; i  j P  A1  A2  A3   P  A1  P  A2  P  A3  !!! Niezależność parami nie zapewnia wzajemnej niezależności Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Zdarzenia niezależne Zdarzenia A1,A2,...,AN są wzajemnie niezależne wtedy i tylko wtedy, kiedy dla dowolnego zbioru liczb całkowitych n1,n2,...,nm, takich, że 1n1


        

P An1 An2 An3 .....Anm  P An1 P An2 P An3 ....P Anm

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Lektura obowiązkowa do wykładu 2 oraz ćwiczeń nr3 Rozdział 4 książki „Probabilistyka stosowana”

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Nie przeładowuj!

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Wykład 3

Jednowymiarowe zmienne losowe 1. Definicja zmiennej losowej (ZL); 2. Dystrybuanta ZL; 3. Gęstość prawdopodobieństwa ZL; 4. ZL dyskretne, ciągłe i mieszane.

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Definicja zmiennej losowej Funkcję X() nazywamy zmienną losową, jeżeli spełnia ona warunki: 1. Przyjmuje wartości rzeczywiste i jest określona na przestrzeni elementarnych zdarzeń losowych ={}, dla której jest określona funkcja prawdopodobieństwa P(); 2. Dla każdej liczby rzeczywistej x (x ) zbiór {:X()
Oznaczenie: X  X() Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Zmienna losowa

Funkcja X() odwzorowuje każde zdarzenie elementarne  w punkt na osi liczb rzeczywistych =(-,).

Oznaczenie: X  X() Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Dystrybuanta ZL Dystrybuantą ZL X nazywamy funkcję:

FX

x   P

 X  x ; x    , 

/ * 

Właściwości dystrybuanty ZL:

Jest funkcją niemalejącą - jeżeli x1 < x2 , to FX  x2   P  X  x2   P  X  x1   P  x1  X  x2   FX  x1   P  x1  X  x2  stąd

FX  x2   FX  x1  ;

(X
P  x1  X  x2   FX  x2   FX  x1 

_______________________________________________________________





*/Dystrybuanta bywa też definiowana wzorem: FX  x   P  X  x  Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Dystrybuanta ZL • F*X     P  X     P     0 FX     P  X     P     1 • dystrybuanta jest funkcją lewostronnie ciągłą-

 

FX x   lim FX  x     lim P  X  x     P  X  x  •

 0  0

 0  0

P  x1  X  x2   FX  x2   FX  x1  *

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Przykład X = -0.5

X = 0.5

X = 1.5

X = 2.5

1/4

1/8

1/8

1/2

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Dystrybuanta ZL • Jeżeli

w pewnych punktach występuje nieciągłość dystrybuanty, to w tych punktach wartość skoku dystrybuanty jest równa prawdopodobieństwu przyjęcia przez ZL wartości równej punktowi nieciągłości: P  x1  X  x1     FX  x1     FX  x1  lim P  x1  X  x1     P  X  x1   lim FX  x1     FX  x1   0  0

 0  0

 F x 

P  X  x1   FX x

 1

X

1

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Gęstość prawdopodobieństwa (uzasadnienie nazwy) Rozpatrujemy realizacje ZL w przedziale o szerokości x:
lim

P  x  X  x  x 

x  0 x  0

 lim

x  0 x  0

x FX  x  x   FX  x  x



dFX  x 

Metody probabilistyczne i statystyka

dx

 pX  x 

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Gęstość prawdopodobieństwa-definicja Gęstością prawdopodobieństwa zmiennej losowej nazywamy funkcję pX  x  

dFX  x  dx

; x   ,  

Ze względu na to, że dystrybuanta może nie być różniczkowalna dla wszystkich wartości argumentu, dzielimy zmienne losowe na: • ciągłe; • dyskretne (ziarniste); • mieszane. Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Zmienna losowa ciągła Zmienna losowa jest typu ciągłego, jeżeli jej dystrybuanta jest funkcją absolutnie ciągłą tzn. ma pochodną prawie wszędzie (za wyjątkiem przeliczalnej liczby punktów) Ze względu na to, że dystrybuanta jest funkcją niemalejącą, gęstość prawdopodobieństwa, jako jej pochodna, jest nieujemna : pX  x  

dFX  x  dx

 0; x   ,  

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Zmienna losowa ciągła Przy znanej gęstości prawdopodobieństwa, dystrybuanta może być obliczona z wzoru:

FX  x  

x

 p  u  du X



 x  FX       p X  u  du  FX  x        0 

Warunek normalizacyjny: 



p X  u  du  1

FX  x     P  X    









Metody probabilistyczne i statystyka

p X  u  du  1

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Zmienna losowa ciągła x2

P  x1  X  x2   FX  x2   FX  x1    pX  u  du x1

Dla ZL ciągłej: x1

P  X  x1    p X  u  du  0 x1

Prawdopodobieństwo przyjęcia przez ZL ciągłą konkretnej wartości jest równe zeru, ale nie oznacza to, że jest to zdarzenie niemożliwe Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Zmienna losowa dyskretna Dystrybuanta liczby oczek przy rzucie kostką do gry

ZL dyskretne (ziarniste) - ZL, których dystrybuanta jest krzywą schodkową.

Wartość skoku w punkcie xn jest równa P(X = xn) Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Zmienna losowa mieszana Dystrybuanta ZL mieszanej ma postać:

F ( x)

 1 F 1 ( x)   2 F 2 ( x) 1  2

gdzie

1 1  0

F1 ( x)

jest funkcją „schodkową”

F2 ( x)

jest funkcją absolutnie ciągłą

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Zmienna losowa mieszana

  x  F 2 ( x)  1  e  ( x)

F1(x) dla rzutu kostką

 1  0.7

 2  1   1

  0.8

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Jednolity opis zmiennych losowych Pochodna uskoku jednostkowego:  ; x  0 d   x    x   dx 0 ; x  0



   x  dx  1;

 

 z  x    x  a  dx  z  a 

Pochodna UJ



Pochodna dystrybuanty schodkowej: N d F  x    P  X  xn    x  xn   p  x  dx n 1 Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Rozkład ZL dyskretnych N

p X  x    P  X  xn    x  xn  n 1

Dystrybuanta i gęstość prawdopodobieństwa liczby oczek przy rzucie kostką:

6

6

1 p  x    P  X  xn    x  xn      x  n  n 1 n 1 6 Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Interpretacja gęstości prawdopodobieństwa ZL

• Dla małych wartości y:

P  y0  Y  y0  y  

y0 y



pY  y  dy  pY  y0  y

y0

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Zmienna losowa ciągła Przykłady zmiennych losowych: ZL o rozkładzie Cauchy:

ZL Cauchy

ZL Cauchy interpretacja gęstości

ZL o rozkładzie Gaussa:

ZL Gaussa

Metody probabilistyczne i statystyka

ZL inne

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Wielowymiarowe ZL (wektory losowe) N- wymiarową zmienną losową nazywamy zespół N jednowymiarowych zmiennych losowych (X1, X2,..., XN ) (inaczej: zespół N funkcji (Xn();n=1,2,...,N), który każdemu zdarzeniu elementarnemu  przyporządkowuje odpowiedni zespół liczb rzeczywistych (x1, x2,..., xN) ). Wygodnie jest przedstawiać N-wymiarową ZL jako  N-wymiarowy wektor XN , reprezentowany przez macierz kolumnową, której elementami są ZL X n

Wektor losowy (WL):



X

N

 X 1

Metody probabilistyczne i statystyka

X

2



X



T

N

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Dystrybuanta WL



Dystrybuantą N-wymiarowej ZL (wektora losowego X N ) nazywamy funkcję N zmiennych (dystrybuanta łączna ) :

F

XN

 x1 , x2 ,..., xN   P   X 1  x1    X 2  x2   ...   X N  xN    P  X 1  x1 , X 2  x2 ,..., X N  xN 

(!!!!przecinek zastępuje symbol iloczynu zdarzeń losowych) 

Właściwości dystrybuanty WL X N : • Jest funkcją niemalejącą swoich argumentów tj. jeśli xi' < xi'', to :

F

XN





x1 , x2 ,..., xi' ,..., xN  F

XN



x1 , x2 ,..., xi'' ,..., xN

Metody probabilistyczne i statystyka



Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Dystrybuanta WL F  x , x ,..., x ,..., x   P  X  x , X  x ,..., X  x ,..., X  x   P  X  x , X  x ,..., X  x ,..., X  x   P  X  x , X  x ,..., x  X  x ,..., X  x   F  x , x ,..., x ,..., x   P  X  x , X  x ,..., x  X  x ,..., X  x     ''



1

XN

2

1

2

1

1

i

2

2

1

1

N

i

' i

2

2

1

' i

N

i

2

N

XN

1

2

i

N

1

N

N

'



N

N

'' i

i

'' i

1

2

2

' i

i

'' i

N

N

0



• dystrybuanta WL X N jest funkcją lewostronnie ciągłą; • jeżeli jeden lub większa liczba argumentów dystrybuanty WL jest równa -, to przyjmuje ona wartość 0:

F

XN

 x1 , x2 ,..., xn  ,..., xN  

P   X 1  x1    X 2  x2   ...   X n     ...   X N  xN    0 Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Dystrybuanta WL •jeżeli jeden lub większa liczba argumentów dystrybuanty WL jest równa +, to staje się ona dystrybuantą o liczbie argumentów zmniejszonej o liczbę argumentów równych + : F  x1, x2 ,..., xn1, xn  , xn1,..., xN   XN

  P X1  x1   X 2  x2  ...  X n1  xn1   X n    X n1  xn1  ...  X N  xN        

 P  X1  x1   X 2  x2  ...  X n1  xn1   X n1  xn1  ...  X N  xN    F

X N1

 x1, x2,..., xn1, xn1,..., xN 

F

XN

 , ,..., ,...,    1 Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Rozkład łączny WL o składowych będących dyskretnymi ZL 

X N  X1

WL

X2  XN

T

o składowych

będących dyskretnymi ZL, jest w pełni

opisany przez rozkład łączny N zmiennych losowych dyskretnych





P X 1  xn1 , X 2  xn2 ,..., X N  xnN ; ni  1, 2,..., Li ; i  1, 2,..., N Przypomnienie!!! Przecinek w powyższym wzorze jest równoważny symbolowi  oznaczającemu iloczyn zdarzeń Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Gęstość prawdopodobieństwa WL Gęstość prawdopodobieństwa WL (gęstość łączną) definiujemy wzorem: p

XN

 x1 , x2 ,..., x N  

P  x1  X 1  x1   x1 , x2  X 2  x2   x2 ,..., x N  X N  x N   x N 

lim

 x1 x 2 .... x N

 xn  0 n 1,2,..., N



F

XN

 x1 , x2 ,..., x N 

x1x2 ...x N x1 x2

F

XN

xN

 x1 , x2 ,..., xN        

p

Właściwości:  

XN



p

XN

 u1 , u2 ,..., uN  du1du2 ...duN

 x1 , x2 ,..., xN   0



    p  x , x ,..., x  dx dx ...dx 

 



XN

1

2

N

1

2

N

1

Metody probabilistyczne i statystyka

Warunek normalizacyjny

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Gęstość prawdopodobieństwa WL Związek między dystrybuantą i gęstością prawdopodobieństwa WL: F

XN

 x1 , x2 ,..., xN   P  X 1  x1 , X 2  x2 ,..., X N  xN  

x1 x2

xN

    p  u , u ,..., u  du du ...du 

 



XN

1

2

Przykład 2D

Metody probabilistyczne i statystyka

N

1

2

N

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Lektura obowiązkowa do wykładu 3 oraz ćwiczeń nr 4 Rozdział 5.i 6. książki „Probabilistyka stosowana”

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Wykład 4 • • • •

Rozkłady brzegowe; Rozkłady warunkowe; Niezależność statystyczna; Twierdzenie Bayesa dla zmiennych losowych.

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Rozkłady brzegowe WL Z właściwości dystrybuanty WL: F  x1 , x2 ,..., xn 1 , xn  , xn 1 ,..., xN   F  x1 , x2 ,..., xn 1 , xn 1 ,..., xN  X X 



N 1

N

wynika, że: F

XN

 x1  ,..., xn1  , xn , xn1  ,..., xN

    F

Xn

 xn  ; n  1, 2,..., N

Tak obliczone dystrybuanty poszczególnych składowych WL:

F

Xn

 xn  ; n  1, 2,..., N

nazywamy dystrybuantami brzegowymi dystrybuanty łącznej WL Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Rozkłady brzegowe WL Ze związku między gęstością prawdopodobieństwa i dystrybuantą: x1 x2

F

XN

xN

 x1 , x2 ,..., xN        



p

XN

 u1 , u2 ,..., uN  du1du2 ...duN

wynika, że:

F  x1, x2  ,..., xN    F  x1   F XN

x1 

X1



     p  u1, u2 ,..., uN  du1du2...duN  



XN

Metody probabilistyczne i statystyka

X1

 x1 

Wydział Elektroniki Telekomunikacji i Informatyki

dF 

X1

 x1 

dx1  



Rozkłady brzegowe WL x   d  1       p   u1 , u 2 ,..., u N  du1du 2 ...du N dx1     X N



 

 

Katedra Sieci Teleinformacyjnych



 x1 , u 2 ,..., u N  du 2 ...du N

p X

  

N

 d x   p   x1   p  x1  f  u  du  f  x     X1 X1  dx   Analogicznie możemy obliczyć gęstości brzegowe pozostałych

składowych WL- ogólna

zasada: chcąc obliczyć gęstość brzegową składowej Xn należy scałkować gęstość łączną WL po realizacjach wszystkich pozostałych składowych WL. Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Wykład Cię zmęczył? Uśmiechnij się!

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Rozkłady warunkowe Rozpatrzmy dwuwymiarowy WL:  X1 X2    X 2 



P X 1  x1,n 1 , X 2  x2,n2



ni  1, 2,..., N i ; i  1, 2

którego składowe są dyskretnymi ZL o danych rozkładach (gęstościach prawdopodobieństwa): N1



 



 

p1  x    P X 1  x1,n1  x  x1,n1 n1 1 N2



p2  x    P X 2  x2,n2  x  x2,n2 n2 1

Metody probabilistyczne i statystyka



Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Rozkłady warunkowe Rozkładem warunkowym składowej X1, przy warunku, że składowa X2 przyjęła ustaloną wartość jest zbiór prawdopodobieństw warunkowych: P

 X

1



 x1, n1 | X

n i  1, 2, ..., N i ;

2

 x 2 , n 20

i  1, 2





P X 1  x1,n1 | X 2  x2,n20 

 



P

 X

1

 

 x1, n1  X P

 X

2

 x 2 , n 20

P X 1  x1,n1 , X 2  x2,n20



P X 2  x2,n20



ni  1,2,..., Ni ; i  1,2 Metody probabilistyczne i statystyka

2



 x 2 , n 20

 



 P AB  P A| B   P B  

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Rozkłady warunkowe Rozkład warunkowy drugiej składowej, przy warunku, że pierwsza składowa przyjęła ustaloną wartość:





P X 2  x2,n2 | X1  x1,n10 



P X1  x1,n10 , X 2  x2,n2



P X1  x1,n10





ni 1,2,..., Ni ; i 1,2 Ustalona wartość pierwszej składowej :

X 1  x1,n10





P X 1  x1,n10  0

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Rozkłady warunkowe Będziemy rozpatrywać dwuwymiarowy WL X  X2    Y  

o składowych będących ZL ciągłymi, o łącznej gęstości prawdopodobieństwa: p

X2

 x, y 

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Rozkłady warunkowe Prawdopodobieństwo warunkowe zdarzenia losowego A, przy warunku, że ZL Y przyjęła wartość y (Y = y): P  A | Y  y   lim

y  0

P  A   y   y  Y  y  y  P  y  y  Y  y  y 

P  y  y  Y  y  y   0 np .

A   X  x

Gęstość warunkowa pierwszej składowej WL- ZL X , przy warunku, że druga składowa WL- ZL Y przyjęła wartość y0 (Y = y0):

p X |Y  x | y0  

p X ,Y  x, y0  pY  y0 

p X |Y  x | y0   p X |Y  x | Y  y0  Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Rozkłady warunkowe 

Uogólnienie na dwa WL:

XN

 X1   Y1  X   Y  2   YM   2            X Y M   N

      F   x , y   P X  x, Y  y XY  



   p   x, y0    X ,Y     p   x | y0   ;  X |Y     pY  y0    

x   x1 x2  xN  ; T



          pX |Y  x | y0   pX |Y  x | Y  y0       



y   y1 y2  yM 

Metody probabilistyczne i statystyka

T

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Niezależność zmiennych losowych Dwie zmienne losowe X, Y są niezależne statystycznie wtedy i tylko wtedy, jeżeli ich dystrybuanta łączna jest równa iloczynowi dystrybuant brzegowych:

FX Y  x, y   FX  x  FY  y 

Warunek ten jest równoważny warunkowi:

p X Y x, y  p X x pY y Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Niezależność zmiennych losowych Z definicji niezależności ZL  p  x, y   p  x  p  y   XY

X

Y

wynika, że: p X |Y  x | y0   pY | X  y | x0  

p X ,Y  x, y0  pY  y0 

p X ,Y  x0 , y  p X  x0 

 

p X  x  pY  y0  pY  y0 

p X  x0  pY  y  p X  x0 

 pX  x   pY  y 

Oznacza to, że dla niezależnych statystycznie ZL X i Y przyjęcie przez ZL Y ( X ) konkretnej wartości nie ma wpływu na rozkład ZL X ( Y ). Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Niezależność wektorów losowych Dwa wektory losowe: 

XN

 X1   Y1  X   Y  2  YM   2             X Y M   N

są niezależne statystycznie wtedy i tylko wtedy, kiedy:           lub

F   x , y   F  x  F  y  XY  X   Y   

      p    x , y   p  x  p  y  XY  X   Y     



Metody probabilistyczne i statystyka



Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Wykorzystanie rozkładów warunkowych Przy znajomości prawdopodobieństwa warunkowego zdarzenia losowego A, przy warunku, że ZL Y przyjęła wartość y (Y = y): P  A | Y  y  np . A   X  x  P A  X  x|Y  y

prawdopodobieństwo zdarzenia A możemy obliczyć z wzoru:

P  A 



 PA |Y

 y  pY  y  dy



Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Wykorzystanie rozkładów warunkowych

np. dla A   X  x0  P A |Y  y 

x0

 p  x | Y  y  dx X |Y



  P  A      p X |Y  x | Y  y  dx  pY  y  dy        x0       p X Y  x, y  dx dy      

x0

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Wykorzystanie rozkładów warunkowych

pX  x  



 p  x | Y  y  p  y  dy X |Y

Y



pY  y  



 p  y | X  x  p  x  dx Y|X

X



gdzie

p X |Y  x | Y  y   p X |Y  x | y   pY | X  y | X  x   pY | X  y | x   Metody probabilistyczne i statystyka

p X Y  x, y  pY  y 

p X Y  x, y  pX  x 

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Twierdzenie Bayesa dla zmiennych losowych p X |Y  x | y  

p X Y  x, y  pY  y 



pY | X  y | x  p X  x  

 p  y | x  p  x  dx Y|X

X



pY  y  



 p  y | X  x  p  x  dx Y|X

X



pY | X  y | x  

p X Y  x, y  pX  x 



p X |Y  x | y  pY  y  

 p  x | y  p  y  dy X |Y



pX  x  



 p  x | Y  y  p  y  dy X |Y

Y



Metody probabilistyczne i statystyka

Y

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Interpretacja twierdzenie Bayesa dla zmiennych losowych

p X Y  x , y0  p X |Y  y0  x | Y  y0    pY  y0 

pY | X  y0 | x  p X  x  

 p  y | x  p  x  dx Y |X



x  p X |Y  x | y 0  p Y |X  y 0 | x  pX

rozkład a priori rozkład a posteriori właściwości kanału Metody probabilistyczne i statystyka

0

X

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Lektura obowiązkowa do wykładu 4 Rozdział 7. książki „Probabilistyka stosowana”

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Wykład 5 • Operator uśrednienia statystycznego; • Funkcje deterministyczne ZL; • Funkcje deterministyczne WL;

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Momenty statystyczne ZL Wartością średnią ZL dyskretnej o rozkładzie N

p X  x    P  X  xn    x  xn  n 1

nazywamy liczbę EX, zdefiniowaną wzorem: N

E  X   E X   xn P  X  xn  n 1

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Momenty statystyczne ZL Wartością średnią ZL ciągłej o rozkładzie pX  x 

nazywamy liczbę EX, zdefiniowaną wzorem:

EX   EX 





x p X  x  dx E  



Warunek istnienia tak zdefiniowanej wartości średniej:





operator uśrednienia statystycznego

x p X  x  dx  



Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Momenty statystyczne ZL Zastosowanie definicji wartości średniej dla ZL ciągłej do ZL dyskretnej N

p X  x    P  X  xn    x  xn  n 1

EX  





N

 x p  x  dx   x  P  X  x    x  x  dx  X





n 1



N

n

n

N

 P  X  x   x   x  x  dx   P  X  x  x n 1

n

n



  

n 1

n

n

 xn



 f  x    x  a  dx  f  a  właściwość filtrująca funkcji delta Diraca



Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości operatora E   E  X  



 x p x dx   E X     X 



E  f  X  



 f  x  p  x  dx X



    f  x  p X  x  dx       Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości operatora E    



E  f  X 1, X 2 ,, X N       f  x1, x2 ,, xN  pX  x1, x2 ,, xN  dx1dx2 dxN       

  

     E f X   f x pX x d x 

 

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości operatora E   

E  X   Y  



   x   y  p  x , y  dxdy  XY

  







   x  p  x , y  dxdy      y  p  x , y  dxdy  XY

XY

 

 

       x   p X Y  x , y  dy dx    y   p X Y  x , y  dx  dy              

 pX x





 pY  y 



x p X  x  dx    y pY  y  dy           



E( X )

 E (Y )

 E  X    E Y  Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości operatora E  

 N  E  n X n    n 1 

N

 E X  n 1

n

n

Dla niezależnych!!!! ZL X, Y:

E X Y   E X EX Y 

 

 

  xy p  x, y  dxdy    xy p  x  p  y  dxdy  XY

  

X

 



 x p  x  dx  y p  y  dy  E  X  E  Y  X



E  Y 

Y



Metody probabilistyczne i statystyka

Y

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości operatora E  

Wartość średnią warunkową ZL X pod warunkiem, że ZL Y przyjęła ustaloną wartość Y =y0 definiujemy wzorem:   p X Y  x , y0  E  X Y  y 0    x p X |Y  x | Y  y 0  dx   x dx  pY  y 0    







x p X Y  x , y 0  dx pY  y 0 





x p X Y  x , y 0  dx



p X Y  x , y 0  dx

 



E  X | Y  y   EY  y  X   E Y  X  Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości operatora E  

Korzystając z wartości średniej warunkowej ZL X pod warunkiem, że ZL Y przyjęła ustaloną wartość Y =y możemy przedstawić wartość średnią ZL X E  X    x p  x d x  wzorem: 

X

E X  E E X | Y  y 



Y

 E EY  X Y









 



 





   x   p X Y  x , y  d y d x       x   p X |Y  x | y  p Y  y  d y  d x          x p X |Y  x | y  d x  p Y  y  d y         E



X



E

E

E  X

 Y

X

|Y  y

|Y  y

 pY  y dy

|Y  y

Metody probabilistyczne i statystyka







Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Funkcje deterministyczne ZL • Dyskretne ZL Rozpatrzymy dyskretną ZL X o gęstości prawdopodobieństwa: NX

p X  x    Pn   x  xn  ; Pn  P  X  xn  n 1

i jej funkcję, ZL Y :

Y  gX 

Jaki rozkład (gęstość pdb) ma ZL Y ?

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Funkcje deterministyczne ZL • Przykład: g ( x)  1  sin( x) 2.1 yn

yn  g  xn

n  1  10

2 1

0

0

0

1

2

0

3

4

5

6 xn

0 dla n  2, 4,6,8,10    sin  n    1 dla n  1,5,9  2   1 dla n  3,7

7

8

9

10 10.5

 2

Funkcja ZL dyskretnej Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Funkcje deterministyczne ZL 10

1 p X  x    Pn   x  xn  ; Pn  10 n 1 pY

y 



3



Q

k 1

k



y

 yk

2.1 yn

1 0

;

2

0

0 0

Q

2

Q

3

4

5

6

7

xn

 P1  P 5  P 9 

3 10

5 ; 10

P  Y  yk   P  g  X   y k  

 P X  x 

g  xn  yk

n

pY  y   0.2   y  0   0.5   y  1  0.3   y  2  Metody probabilistyczne i statystyka

8

9 10 10.5

2 ; 10

 P 2  P 4  P 6  P 8  P1 0  3

2

 2

y1  0 ; y 2  1; y 3  2 ; Q 1  P3  P7 

1

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Funkcje deterministyczne ZL ZL ciągła

Y  gX  Przy tych założeniach, w przedziale (,)

(=min(g(a),g(b)); =max(g(a),g(b)) ) istnieje funkcja odwrotna x= g-1(y), która jest ściśle monotoniczna i ma w każdym punkcie tego przedziału pochodną. Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Funkcje deterministyczne ZL

1. funkcja g(x) jest monotonicznie rosnąca







FY  y   P Y  y   P  g  X   y   P X  g 1  y   FX g 1  y  dFY  y  dy

1 dg y  d 1 1  pY  y   FX g  y   p X g  y  dy dy   

 







0

Metody probabilistyczne i statystyka



Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Funkcje deterministyczne ZL 2. funkcja g(x) jest monotonicznie malejąca







FY  y   P Y  y   P  g  X   y   P X  g 1  y   1  P X  g 1  y 



 1  FX g 1  y 



dFY  y  d  pY  y   1  FX g 1  y  dy dy





   p  X

1  dg y   1 g  y   dy   



0

Metody probabilistyczne i statystyka



Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Funkcje deterministyczne ZL Z 1. i 2. wynika, że

  y 

pY  y   p X g

1

dg

1

 y ; y  ,   

dy

=min(g(a),g(b)); =max(g(a),g(b))

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

1 1 2 8 p ( x)  if1  x  3   x    if 3  x  4   x   0 3 3    3 3 

2

y ( x)  x

x1( y)  y

x2( y )   y

5 x1( y ) x2( y )

0

5

0

5

10

15

20

y

1 1 1 2 8 1 p Y( y )  if 1  y  9    y     if9  y  16   y     0  3  2 y  3  2 y   3  3 

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Funkcje deterministyczne ZL 2

g( x)  x

5.477

30

10

5

20

g1y ( )

g( x)

g2y ( )

0

10 5

0

6

4

2

0

2

4

6

 5.477 10

x

pY pX

y



pX

g 2 1  y 

 g  y  1

d g 11  y 

1



d g 2 1  y  dy

dy

0

5

15

20

25

y

30 30



; y   , 

Metody probabilistyczne i statystyka

10

0

 Funkcja ZL

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Dokładne wyjaśnienia na ćwiczeniach!! Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Funkcje deterministyczne WL • Rozpatrujemy tu uogólnienie twierdzenia o funkcji ZL na wektory losowe.  X1   Y 1   g1  X 1 , X 2 , , X N   X    Y   g X , X , , X   1 2 N 2 2  2    X  Y   N

     X N 

M

     Y M 

     g X , X ,  , X  M  1 2 N   Dalej: M  N

gdzie funkcje

yn =gn(x1,...,xN); n = 1,2,...,N są różniczkowalne i istnieją funkcje odwrotne

xn =gn-1(y1,...,yN); n = 1,2,...,N Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Funkcje deterministyczne WL Przykład: przekształcenie liniowe WL

YM  A

M N

XN

 X1   Y 1   g1  X 1 , X 2 , , X N   X    Y   g X , X , , X   1 2 N 2 2  2    XN  YM                  g X , X ,  , X N  X N  Y M   M  1 2 

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Funkcje deterministyczne WL pY

 

J

 

  J ;

    1 1 1 y  p X g1 y , g 2 y , , g N y



 

 g11 , g 2 1 ,..., g N 1   y1 , y2 ,..., y N 



  g11    y1   g 1  2  det   y1      g N 1     y1

    g 2 1     y N        g N 1      y N  

g11 y2

g11 y N

g 2 1 y2  g N 1 y2 



J jest jakobianem przekształcenia WL X w WL Y N

Metody probabilistyczne i statystyka

M

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Standardowy obraz "Lena" wykorzystywany powszechnie do badań naukowych wykorzystujących metody probabilistyczne i statystykę

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Wykład 6 • Momenty statystyczne ZL; • Normowanie ZL; • Inne parametry charakteryzujące rozkład ZL.

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Moment względem liczby, moment zwykły

Momentem rzędu n ZL X względem liczby a nazywamy wartość średnią:

E

 X  a      x  a  

n

n

p X  x  dx; n  1, 2,...



Momentem zwykłym rzędu n ZL X nazywamy moment rzędu n względem liczby 0 :



n  E X

n



  

xn pX

 x  dx;

n  1, 2 , ...



Często występuje oznaczenie:



mn  E X

Metody probabilistyczne i statystyka

n

;

n  1, 2 , ...

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Momenty centralne Momentem centralnym rzędu n ZL X nazywamy jej moment rzędu n względem wartości średniej :

n  E  X  E  X    n



  x  E  X 

n

p X  x  dx; n  1, 2,...



Moment centralny rzędu 2 ZL X nazywamy wariancją ZL X: W  X   var  X   E

 X  E  X      x  E  X  2



2

p X  x  dx;



Wariancja jest miarą rozrzutu wartości ZL wokół wartości średniej. Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Odchylenie standardowe Odchyleniem standardowym nazywamy:

  X   E  X  E  X    W  X   var  X  2

Odchyleniem średniokwadratowym ZL X względem liczby a nazywamy:

  X   E  X  a

2

Odchylenie standardowe jest najmniejszą wartością jaką może przyjąć odchylenie średniokwadratowe.



Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości wariancji E  X  a   W  X    a  E  X  2

2

E  X  a   E  X  E  X     E  X   a   2 2   E  X  E  X    2  X  E  X    E  X   a    E  X   a     2

2

  2  W  X   2  E  X   a  E  X  E  X   E   E  X   a          constans  constans  0



 W  X    a  E  X 



min E  X  a  a

2





2



 W  X   min  a  E  X   a

2



 W  X  dla a  E  X 

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości wariancji

    E  X 

W X   E X

2

2

E  X  a   W  X    a  E  X 

2

W  X   E  X  a    a  E  X 

2

2

2

 E  X    E  X  2

a 0

Metody probabilistyczne i statystyka

2

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości wariancji

W  X  a  W  X 

    E  X 

W X   E X

2

W  X  a  E

 X  a     E  X  a 

2

2

    E  X   2aE  X   a   E  X  

2

 E X  2a X  a   E  X    2aE  X   a 2 2

2

2

2

2

W X  Metody probabilistyczne i statystyka

2



 2aE  X   a 2

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości wariancji

W a X   a W  X  2





W  a X   E  a X    E  a X 

   a  E  X   E  X    E  X  

a E X 2

a

2

2

2

2

2

2

2

 a W X  2

Metody probabilistyczne i statystyka

2

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości wariancji Wariancja sumy niezależnych ZL jest równa sumie wariancji ZL

W  X 1  X 2   W  X 1 W  X 2    W   X n   W  X n   n 1  n 1 N

N

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości wariancji Wariancja różnicy dwóch niezależnych ZL jest równa sumie ich wariancji

W  X 1  X 2   W  X 1  W  X 2  Wariancja kombinacji liniowej niezależnych ZL jest równa:

  2 W   an X n    an W  X n   n 1  n 1 N

N

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Normowanie ZL Normowanie ZL polega na takim przekształceniu liniowym danej ZL X , aby uzyskać ZL Y o zerowej wartości średniej i jednostkowej wariancji: X  EX  Y  X  1 E Y   E  X  E  X   0  X  W Y  

1

  X  

2

W  X  E  X  

1

  X  

Metody probabilistyczne i statystyka

2

W  X  1

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Inne parametry charakteryzujące rozkład ZL

• Rozstęp - różnica między kresem górnym i kresem dolnym wartości jakie może przyjmować ZL • Współczynnik zmienności:    ; m  E  X  m • Współczynnik asymetrii (skośność) rozkładu ZL Z



3 ; 3 

3  moment centralny rzedu 3;  - odchylenie standardowe.

Dla ZL o rozkładzie symetrycznym momenty centralne rzędu nieparzystego są zawsze równe zeru. Metody probabilistyczne i statystyka

Wsp. asymetrii

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Inne parametry charakteryzujące rozkład ZL

• Współczynnik spłaszczenia (kurtoza)- miara smukłości rozkładu ZL w odniesieniu do smukłości rozkładu normalnego:

4   4 3 

odjęcie 3 w powyższym wzorze spowodowane jest tym, że dla rozkładu normalnego 4 3 4  Stąd:

 0 rozkladbardziej splaszczony od r. Gaussa      0 splaszczenie jak dla rozkladu Gaussa   0 rozkladmniej splaszczony od r. Gaussa  Metody probabilistyczne i statystyka

Kurtoza

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Inne parametry charakteryzujące rozkład ZL

• Kwantyl rzędu p (0< p<1) ZL ciągłej o dystrybuancie FX(x) jest liczbą xp spełniającą równanie

FX  x p   p

• Kwantyl rzędu 1/2: x1/2 to mediana (Me(X)=x1/2) • Kwantyl rzędu 1/4: x1/4 to kwartyl dolny • Kwantyl rzędu 3/4: x3/4 to kwartyl górny Kwantyl

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Inne parametry charakteryzujące rozkład ZL

• Ponieważ dla dyskretnych ZL nie zawsze może być spełnione równanie F X  x p   p (patrz przykład-Mathcad z poprzedniego slajdu) zatem definicję kwantyli można zdefiniować tak, aby można ją było stosować zarówno do ciągłych jak i dyskretnych ZL: • Kwantylem rzędu p (0< p<1) ZL o dystrybuancie FX(x) jest liczba xp spełniającą nierówność F x  p  F x  0

    P  X  x   p  P  X  x  X

p

X

p

Metody probabilistyczne i statystyka

p

p

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Nie przejmuj się! Każdy tunel kiedyś się kończy!

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Niestety, za tunelem też widać przeszkodę!

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Wykład 7 • • • •

Momenty statystyczne WL; Funkcja charakterystyczna ZL; Nierówności Markowa i Czebyszewa; Centralne twierdzenie graniczne;

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Momenty statystyczne WL • Rozpatrzmy dwuwymiarowy WL:  X1 X2    X 2 

• Dla ZL będących składowymi WL definiujemy momenty statystyczne zwykłe mieszane rzędu r+s: r ,s 1,2

m



r 1

s



 E X  X 2 ; r , s  0,1, 2,... Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Momenty statystyczne WL • Jak obliczamy momenty zwykłe? r ,s 1,2

m



 E X X2

 



r 1



 

s



x1 x pX  x1 , x2  dx1dx2 ; r , s  0,1, 2,... r

s 2

2

• Moment centralny mieszany rzędu r+s 

r ,s 1,2

E

 X  E  X    X r

1

1

2



 E  X 2   ; r , s  0,1, 2,... s

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Momenty statystyczne WL • Momenty zwykłe składowych WL r ,0 1,2

m

0,s 1,2

m

  EX

r

 E X1  X 2 0 1

X2

0

  EX   m ;     E  X   m ; r, s  0,1, 2,... 1

r

1

s

r

s

2

2

s

• Momenty centralne składowych WL:



r ,0 1,2



0,s 1,2

  E  X  E  X    X

   E  X    E  X

  E  X    

 E  X 1  E  X 1     X 2  E  X 2    E  X 1  E  X 1    r1 ; r

0

0

1

1

r

s

2

2

r, s  0,1,2,... Metody probabilistyczne i statystyka

s

2

2

 2 s

;

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Momenty rzędu drugiego • Moment zwykły rzędu 2 (korelacja X1 i X2):

m  corr  X 1 , X 2   E  X 1  X 2  1,1 1,2

• Moment centralny rzędu 2 (kowariancja X1 i X2):

  cov X1, X 2   E   X1  E  X1     X 2  E  X 2    1,1 1,2



cov X1, X 2   E  X1  E  X1     X 2  E  X 2  



 E  X1 X 2   E  X1  E  X 2   corr  X1, X 2   E  X1  E  X 2  Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Wykład w dniu 1 czerwca 2016r. odbędzie się w

Audytorium 2 SE

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości momentów 2. rzędu

corr  X 1 , X 2   E  X 1  X 2   corr  X 2 , X 1 





cov X1, X 2   E  X1  E  X1     X 2  E  X 2    cov X 2 , X1 

• Jeżeli corr  X 1 , X 2   0 to mówimy, że zmienne losowe X1 i X2 są ortogonalne. • Jeżeli cov  X 1 , X 2   0 to mówimy, że zmienne losowe X1 i X2 są nieskorelowane. Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Przykład: U ma rozkład równomierny w (-1V,+1V); I1 ma rozkład równomierny w (0A,-1A)E(I1) = ( -½ ) ; I2 ma rozkład równomierny w (0A,+1A) E(I1)=( +½ ) ; E(I1) E(I2) = ( -½ ) · ½ = - 1/4  E (I1 · I2) = corr(I1,I2)=0 cov(I1,I2) = corr(I1,I2) - E(I1) E(I2) = ¼ Prądy I1 i I2 są ortogonalne i skorelowane. Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości momentów 2. rzędu

cov X1, X 2   corr  X1, X 2   E  X1  E  X 2  • Jeżeli ZL X1 i X2 są niezależne statystycznie, to są też nieskorelowane corr  X 1 , X 2   E  X 1 X 2  

 

  xx

1 2

   

 

  xx

dla ZL X 1 , X 2 niezależnych  

1 2

p X 1 X 2  x1 , x2 dx1dx2

p X 1  x1  p X 2  x2 dx1dx2  E  X 1  E  X 2 

• Twierdzenie odwrotne nie jest w ogólnym przypadku prawdziwe! Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Wariancja sumy dwóch ZL





var X 1  X 2   E  X1  X 2  E X1   E X 2   2

  EX  E X   2X  E X X E X 1  E X1   X 2  E X 2   2

2

1

1

1

1

var X 1   var X 2   2cov X1, X 2 

2



 E X 2   X 2  E X 2   2

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Macierz korelacji (auto-korelacji) • Macierz korelacji R X - macierz, której

elementami są wszystkie momenty zwykłe  drugiego rzędu WL X

Definicja macierzy korelacji i jej przykład dla dwuwymiarowego WL:

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Macierz kowariancji • Macierz kowariancji CX - macierz, której elementami są wszystkie momenty centralne  drugiego rzędu WL X



  

   CX  E  X  E X 

 

  X E X

T

  

Przykład macierzy kowariancji dla dwuwymiarowego WL:     T   X1 E X1    CX  E X E X X E X    X1 E X1 , X2 E X2  E    X E X    dlaXX2  2 2  

     









2  E  X1 E X1  E  X1 E X1   X2 E X2    var X  1 cov X1, X2     cov X , X  var X   2 2 1 2  E  X2 E X2  E  X2 E X2   X1 E X1     









Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Współczynnik korelacji (unormowany współczynnik kowariancji)

X ,X  1

2

cov X1, X 2 

var  X1  var  X 2 



cov X1, X 2 

1 2

• Właściwości współczynnika korelacji:

X ,X 1 1

X ,X 1 1 1

2

X ,X  0 1

2

2

jeżeli między zmiennymi losowymi X1 i X2 istnieje zależność liniowa (X2 =a X1+b) i jeżeli ZL X1 i X2 są co najmniej nieskorelowane Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Funkcja charakterystyczna ZL • Funkcją charakterystyczną ZL X nazywamy funkcję zespoloną zdefiniowaną wzorem

X  v  E e

jvX

; j  1

Dla ZL ciągłej:

X  v  E e



jvX

 e

jvx

pX  x dx F  pX  x



Metody probabilistyczne i statystyka

*

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Funkcja charakterystyczna ZL Dla ZL dyskretnej:

 X  v    P  X  xn  e

j v xn

n

 X v   E e



jv X

  

e

jv x

p X  x  dx 









e jvx

 PX

 xn    x  xn  dx n    pX  x

  P  X  xn  n



j v xn jv x e  x  x dx  P X  x e     n n n    e j v xn

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości funkcji charakterystycznej ZL

X  v  0  E e

j 0X

 E1 1

X  v 1  X v  



e

jvx

p X  x  dx 

 







e

jvx





e

jv x

p X  x  dx



p X  x  dx 





p X  x  dx  1

 Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości funkcji charakterystycznej ZL

X  v X  v

*

X  v  E e

  E e    v

Jeżeli Y=a X +b, to

 Y  v   e  X  va 

 jvX

Y  v   E  e



*

X

jvb

  E e   e E e

jv ( a X  b )

jvY

 E e jva X e jvb

jvX

*

jvb

jva X



Metody probabilistyczne i statystyka

  e jvb X  va 

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości funkcji charakterystycznej ZL Funkcja charakterystyczna sumy niezależnych ZL

Y  X 1  X 2  X N jest równa iloczynowi funkcji charakterystycznych tych ZL N

Y  v     X n 1



Y  v   E e N



 E e n1

jv X 1 X 2 X N 

jv X n

n

v 

  Ee

j v X 1 jv X 2

N

    v n1

Xn

Metody probabilistyczne i statystyka

e

e

jvX N



Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości funkcji charakterystycznej ZL

Jeżeli ZL z poprzedniego twierdzenia mają jednakowe rozkłady, to

 Y  v    X  v  

N

Jeżeli istnieją momenty zwykłe ZL, to mogą być one obliczone za pomocą pochodnych jej funkcji charakterystycznej:

 

E X

r

1 d X v  r r j dv v 0 r

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Obliczenie rozkładu ZL ze znanej funkcji charakterystycznej

ZL dyskretna przyjmująca wartości będące liczbami naturalnymi:

1 P X  k   2



 jvk  v e  X   dv ; k  1, 2,...



ZL ciągła :

1 pX  x   2



 jvx  v e  X   dv



Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Funkcja charakterystyczna WL Funkcję charakterystyczną WL

definiujemy wzorem:

X

N

 X1  X   2  XN       X N 

 j vN X N jv1 X 1 j v2 X 2   v  X  v1, v2 ,..., vN   E e e e





E e



N

j v1 X 1v2 X 2 vN X N 



 j vn X n   E  e n1      N

Metody probabilistyczne i statystyka



Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Nierówność Markowa X ZL przyjmująca wartości nieujemne ( X  0 ) o skończonej wartości średniej ( E(X ) < ) EX  P  X  a  ; a0 a 

E

X   

xp X

x d x



0



a

 xp x d x   xp x d x X

X

0   



a

0



 xp x d x X

a



 a pX

x dx

a

Metody probabilistyczne i statystyka

 a P

X

 a



Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Nierówność Czebyszewa Dla ZL X o skończonej wartości średniej (E(X)<) i skończonej wariancji (var(X )<) :





P X EX   





var  X 





2

;  0

P X  E  X     P  X  E  X    

E

2

 X  E  X    var  X  2



2



2

Metody probabilistyczne i statystyka

2



Z nierówności Markowa



Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Centralne twierdzenie graniczne (LindebergaLevy’ego)

Dany jest ciąg ZL X1, X2,... niezależnych o jednakowych rozkładach i skończonych wartościach średnich m i wariancjach 2. Niech Zn = X1 + X2+ ...+ Xn Wartość średnia i wariancja Zn są odpowiednio równe E(Zn)=nm i var(Zn)=n2 Unormowaną ZL Zn oznaczymy:

Z n  nm Yn  n Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Centralne twierdzenie graniczne (LindebergaLevy’ego)

• Przy powyższych założeniach ciąg dystrybuant

FY 1  y  , FY 2  y  ,..., FY n  y  ....

jest zbieżny do dystrybuanty unormowanego rozkładu normalnego N(0,1) tzn.

1 lim FY n  y   n 2 Metody probabilistyczne i statystyka

2

y

e 

t  2

dt

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Ilustracja CTG

CTG_ilustracja

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Wykład 8 • • • •

Zadania statystyki matematycznej; Podstawowe pojęcia; Estymacja parametrów; Funkcja wiarygodności;

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Elementy statystyki • Przedmiot badań statystycznych: zbiory obiektów materialnych i zjawisk-populacje statystyczne złożone z jednostek statystycznych; • Populacja generalna: populacja statystyczna mająca przynajmniej jedną właściwość (cechę statystyczną) wspólną dla wszystkich jednostek statystycznych.

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Elementy statystyki • Cechy statystyczne- właściwości jednostek statystycznych: • Cechy mierzalne - wyrażane za pomocą liczb; • Cechy niemierzalne - wyrażane za pomocą określenia słownego (cechy niemierzalne można przekształcić w mierzalne przypisując im wartości liczbowe) • Wartości cech statystycznych: obserwacje statystyczne • Zbiór obserwacji statystycznych: materiał statystyczny • Badanie kompletne: badanie populacji generalnej • Badanie częściowe: badanie skończonego podzbioru populacji generalnej- próby statystycznej Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Elementy statystyki • Próba reprezentatywna: -każdy element populacji generalnej powinien mieć zapewnioną jednakową szansę zakwalifikowania go do próby; -liczba elementów próby musi być dostatecznie liczna. • Właściwości próby: częstości występowania w próbie określonych cech nie powinny silnie różnić się od częstości ich występowania w populacji generalnej - stąd: elementy próby losujemy z populacji generalnej- próba losowa. Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Elementy statystyki • Próba losowa prosta: każdy podzbiór N elementów populacji generalnej ma takie samo prawdopodobieństwo wylosowania  elementy próby losowej prostej są niezależne statystycznie. • Statystyka opisowa: wstępna analiza próby statystycznej (bez stosowania aparatu matematycznego rachunku prawdopodobieństwa)

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Szereg rozdzielczy Statystyczny szereg uporządkowany: uporządkowany w kolejności rosnącej zbiór obserwacji statystycznych cechy mierzalnej; Szereg rozdzielczy: • przedział wartości, w którym zawierają się wszystkie elementy szeregu uporządkowanego dzielimy na przedziały klasowe (klasy szeregu rozdzielczego), najczęściej o jednakowej szerokości; • wyznaczamy granice przedziałów klasowych; • obliczamy środki przedziałów klasowych (suma wartości granic danego przedziału klasowego podzielona przez 2). Są to tzw. reprezentanci klas lub warianty klasowe; Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Histogram • obliczamy liczności klas (liczność klasy: liczba obserwacji o wartościach zawierających się w danym przedziale klasowym); • tworzymy wykres słupkowy-histogram częstości bezwzględnych (wysokość słupka jest równa liczności klasy a jego podstawa jest równa szerokości przedziału klasowego) Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Histogram

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Histogram • Histogram częstości względnych otrzymujemy z histogramu częstości bezwzględnych, dzieląc go przez liczność szeregu uporządkowanego. • Histogram unormowany otrzymujemy z histogramu częstości względnych, dzieląc każdy jego element przez szerokość przedziału klasowego. Histogramy

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja • Zadanie estymacji polega na obliczaniu wartości nieznanych lub wielkości losowych na podstawie znajomości wyników obserwacji, będących realizacjami ZL; • Rozróżniamy dwie podstawowe klasy problemów związanych z estymacją : 1) estymowana wielkość jest ustalona lecz nieznana; (np. mając zbiór realizacji zmiennej losowej gaussowskiej o nieznanej wartości średniej należy obliczyć estymatę tej wartości średniej) ; Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja 2) estymowana wielkość jest zmienną losową; ( np. staramy się odtworzyć sygnał wejściowy (z natury losowy) do pewnego układu dysponując zaszumionymi próbkami sygnału wyjściowego z tego układu). W przypadku 1) mówimy o estymacji parametrów (np. wartości średniej, wariancji, współczynników korelacji (kowariancji)). W przypadku 2) mówimy o estymacji zmiennych losowych (problemy związane z filtracją , predykcją ). Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja parametrów Estymacja metodą największej wiarygodności Zakładamy , że dysponujemy zbiorem wyników pomiarów reprezentowanym przez wektor losowy X (wektor obserwacji). Wektor losowy X może być utworzony przez zbiór obserwacji skalarnych :

 T X   X 1 , X 2 ,..., X N 

lub zbiór obserwacji wektorowych :   T  T  T T X  V 1 ,V 2 ,...,V N    Pojedyncze obserwacje mogą być zależne lub niezależne statystycznie. Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja metodą największej wiarygodności

• Zakładamy , że: • znany jest typ rozkładu prawdopodobieństwa wektora losowego • (np. rozkład Gaussa , rozkład równomierny itp.) lecz

• nie jest znana wartość ustalonego parametru . • Gęstość prawdopodobieństwa wektora obserwacji  oznaczymy :

 

p x; 

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja metodą największej wiarygodności

Estymatą największej wiarygodności parametru ,

  przy danym wektorze obserwacji X  x0

 nazywamy taką wartość  , dla której p x0 ; 





przyjmuje wartość maksymalną i oznaczamy ją NW. Estymacja NW

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja metodą największej wiarygodności  p x0 ; 

Funkcjê   nazywamy funkcj¹ wiarygodności . Ponieważ wektor obserwacji przyjmuje wartości losowe, zatem możemy zapisać funkcję wiarygodności  w postaci : p X ;





Estymator największej wiarygodności definiujemy jako :

 NW

  X  arg max p X , 

 



Metody probabilistyczne i statystyka





Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja metodą największej wiarygodności Zapis ten podkreśla , że estymator największej  wiarygodności

 

 NW X

zależy od losowego wektora obserwacji a więc: ESTYMATOR

 X

jest ZMIENNĄ LOSOWĄ!

Estymata jest realizacją estymatora Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja metodą największej wiarygodności Załóżmy , że dla ZL gaussowskiej dysponujemy wektorem niezależnych obserwacji (próbą losową  prostą): T

X   X 1 , X 2 ,..., X N 

Ponieważ obserwacje są niezależne , zatem gęstość prawdopodobieństwa łącznego wektora obserwacji jest równa iloczynowi gęstości prawdopodobieństwa pojedynczych obserwacji. Dalej założymy, że znana jest wariancja tej ZL 02 a nieznana jest jej wartość średnia m, którą chcemy estymować. Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja metodą największej wiarygodności

Stąd funkcja NW ma postać: N N  p x; m   p  xn ; m   

 

n 1

n1

1 e 2 0

2 xn m   

Ponieważ funkcja logarytmiczna jest monotoniczna , zatem maksymalizację powyższej funkcji wiarygodności można zastąpić maksymalizacją logarytmicznej funkcji wiarygodności : Metody probabilistyczne i statystyka

2 02

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja metodą największej wiarygodności

Logarytmiczna funkcja wiarygodności:

     N ln 

 ln p x ; m

N

2  0   

 xn  m 

n 1

2

2 0 2

2 N    N  2  N xn  x n     m    2  m   N  ln  2  0    2  2  2   2  n 1 0  0    n 1 0  

Ta funkcja zmiennej m ma pojedyncze maksimum w punkcie, który obliczamy z równania :

  

 d N 1 N ln p x; m   2 m  2  xn  0 dm 0  0 n1 Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja metodą największej wiarygodności

Stąd otrzymujemy estymatę największej wiarygodności: 1 N mNW   xn N n1 Estymatorem jest w tym przypadku zmienna losowa MNW będąca średnią arytmetyczną obserwacji - zmiennych losowych Xn : N

M NW

1  Xn N n1

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości estymatorów Estymatory największej wiarygodności są jednymi z wielu możliwych. W celu określenia , który z wielu estymatorów jest lepszy, rozpatrzymy niektóre właściwości estymatorów. Wprowadzimy przy tym oznaczenie estymatora parametru  będącego funkcją N-elementowego  wektora losowego obserwacji X

N  N

 X

 

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości estymatorów • Estymator nazywamy nieobciążonym (ang. unbiased), jeżeli E N    czyli, jeżeli wartość średnia estymatora jest równa prawdziwej wartości średniej estymowanego parametru. W przeciwnym przypadku estymator jest obciążony (ang. biased) i wielkość: b N   E N    nazywamy obciążeniem estymatora Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości estymatorów Estymator jest asymptotycznie nieobciążony , jeżeli :

lim E   N   

N 

Estymator N jest zgodny (ang. consistent) jeżeli

lim P   N       1;   0

N 

(Ciąg zmiennych losowych N dla rosnących wartości N jest zbieżny w prawdopodobieństwie do prawdziwej wartości estymowanego parametru.) Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości estymatorów Nieobciążony estymator danego parametru jest efektywny (ang. efficient) w odniesieniu do innego, nieobciążonego estymatora tego parametru, jeżeli ma mniejszą od niego wariancję . 0.399

0.4

0.3 dnorm( x 2  1) dnorm( x 2  1.5)

0.2

0.1  15

5.05210

0

6 5

4

2

0

2

4

x

Metody probabilistyczne i statystyka

6

8

10 10

Efektywność

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości estymatorów

Jeżeli estymator N jest nieobciążony i efektywny w stosunku do estymatora  N-1 , to estymator N jest zgodny. Ponieważ:

var   N   var   N 1  zatem:

lim var   N

N 

 0 Stąd:



P  N      

var   N 

1  P  N       P  N       1 



2

var   N  var   N 

lim P   N    

N 

Metody probabilistyczne i statystyka

2 2

1

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Właściwości estymatorów Obciążony estymator A danego parametru jest efektywny (ang. efficient) w odniesieniu do innego, obciążonego estymatora tego parametru B, jeżeli ma mniejszy od niego błąd średniokwadratowy tzn.:





 A  E   A     var   A   bA   A    B  var   B   bA   B  2



2

  

 A  E   A     E  A 2  2E   A    2 2

 

 E  A   E   A     E   A    2 E   A    2     2 2

var   A 

2

2

E   A       bA   B 

Metody probabilistyczne i statystyka

2

2

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Przykład estymatora Zbadamy estymator największej wiarygodności, dla próby losowej prostej N pomiarów, dla wartości średniej zmiennej losowej o rozkładzie Gaussa N(m,02) : N

1 MN  XN N n1 Metody probabilistyczne i statystyka

Przykład estymatora

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Nierówność Cramera-Rao Jeżeli N jest nieobciążonym estymatorem parametru  , to jego wariancja spełnia nierówność :

var   N  

1 2    d   E  ln p X ;       d 

 



Estymator , dla którego zachodzi równość nazywamy najbardziej efektywnym lub estymatorem o najmniejszej wariancji .

Przykład estymatora najbardziej efektywn

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metoda momentów • Metoda momentów wyznaczania estymatorów polega na porównaniu momentów z próby do odpowiednich momentów statystycznych zmiennej losowej o danym rozkładzie prawdopodobieństwa, będących funkcjami estymowanych parametrów. Estymatory uzyskujemy rozwiązując otrzymane układy równań. Przykład: zmienna losowa o rozkładzie gamma

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metoda momentów • Rozkład gamma: x p1

p( x)

x

e



x 0

p   0

p

  ( p)

• dwa pierwsze momenty zwykłe: m 1

 p

m 2

2

 p 1  p

• Stąd mamy dwa równania:  P

 X

 2 2 X  P 1  P

Metody probabilistyczne i statystyka

2

2 2  P   P

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metoda momentów • Rozwiązując układ równań względem P i  otrzymamy:  2 2   P

 2   2 X  X

 X 

2 2  P

 X 2

 P

• i ostatecznie estymatory P i  parametrów p i :



 2   X

P

macja przedzia³owa

 X 

 X

 2   X

Metody probabilistyczne i statystyka

2 X  2 

 X

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja przedziałowa • Przedziałem ufności estymowanego parametru q na poziomie ufnoœci 1- 0<1) nazywamy przedzia³ (1,2), spe³niaj¹cy warunki: 1



q 1 X  X  .  X N 1 2



2



q 2 X  X  .  X N 1 2

• taki, że P q 1 X  X  .  X N    q 2 X  X  .  X N  1 2 1 2  









 1

Krańce przedziału ufności są funkcjami próby, a więc są zmiennymi losowymi; nie zależą od estymowanego parametru. Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja przedziałowa Przykład : obliczyć przedział ufności na poziomie 1- dla nieznanej wartości średniej dla rozkładu normalnego N(m,) o znanej wariancji  2, na podstawie losowej próby prostej: X1, X2,..., XN Estymator :

 1 XN  N

N



ma rozk³ad:

Xn

n1

   N m   N  

St¹d estymator unormowany: UN

 XN  m 

 N

Metody probabilistyczne i statystyka

ma rozk³ad:

N  0  1

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja przedziałowa • Dla danej wartości  można wyznaczyć nieskończenie wiele przedziałów ufności, ponieważ szukamy takich wartości u1 i u2, aby



P u  UN  u 1 2



 

 

FU u FU u 2 1

1

1 i  2 , ¿e  1   2 Je¿eli wybierzemy takie wartoœci i przyjmiemy, ¿eu1 u 1 oraz u2 u 1  2 s¹ kwantylami



rozk³adu estymatoraUN odpowiednio rzêdu  1 i rzêdu 1   2 to otrzymamy, ¿e





P u  UN  u 1 2

 

 

FU u FU u 2 1

1  2  1

Metody probabilistyczne i statystyka

1

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja przedziałowa

 P u  1  

 Xm 

  N  u 1   2  

(

1

     P X  u 1   2   m  X  u  1    N N 

1

Metody probabilistyczne i statystyka

  X XN )

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja przedziałowa • Lewostronny przedział ufności: 1

1

  u 0    u 1   2 u 1    u 1

     P X  u 1   2   m  X  u 1   N N  





     P X  u 1     m   N  

 

1

Metody probabilistyczne i statystyka

1

0

2



Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja przedziałowa • Prawostronny przedział ufności:   u   u 1   2 u 1

1



2

u 1



u  

     P X  u 1   2   m  X  u  1    N N      P   m  X  u     N 

u 1   

1

    P   m  X  u 1      N 

Metody probabilistyczne i statystyka

1

0

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja przedziałowa • Symetryczny przedział ufności:   2  

 

u





u 1

u 1  2

 

 u 1 

 

u 1 



 2



 2   2  

 u

     P X  u 1   2   m  X  u 1   N N  





2

 

1

         P X  u 1     m  X  u 1     2 N 2 N      

Metody probabilistyczne i statystyka

1

1

2



2

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Estymacja przedziałowa    D³ugoœæ przedzia³u ufnoœci: 2   u 1   

 

2

 



N

 jest odwrotnie proporcjonalna do pierwiastka z licznoœci próby;  im wiêkszy jest poziom ufnoœci, tym d³u¿szy jest przedzia³ ufnoœci Przy zadanej wartoœci  i ustalonej licznoœci próby d³ugoœæ symetrycznego przedzia³u ufnoœci jest najkrótsza

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Połamania długopisów, piór i ołówków !

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metody probabilistyczne i statystyka

Wydział Elektroniki Telekomunikacji i Informatyki

Katedra Sieci Teleinformacyjnych

Metody probabilistyczne i statystyka