1. Notazione base
⌄
Campione i.i.d.: X₁, ..., Xₙ indipendenti e identicamente distribuite.
Media campionaria: X̄ = (1/n) Σ Xᵢ
Somma campionaria: Sₙ = Σ Xᵢ
Varianza campionaria corretta: S² = (1/(n-1)) Σ (Xᵢ - X̄)²
Frequenza relativa dei successi: p̂ = X̄ = (1/n) Σ Xᵢ, quando Xᵢ ∈ {0,1}
Nei compiti controlla sempre: parametro, spazio parametrico, supporto della distribuzione,
indipendenza del campione e se stai lavorando con densità, probabilità o approssimazioni.
i.i.d.
media campionaria
somma campionaria
varianza corretta
2. Momenti e proprietà utili
⌄
Valore atteso
E[aX+b] = aE[X] + b
E[X+Y] = E[X] + E[Y]
Se X,Y indipendenti: E[XY] = E[X]E[Y]
Varianza
Var(X) = E[X²] - (E[X])²
Var(aX+b) = a² Var(X)
Se X,Y indipendenti: Var(X+Y) = Var(X) + Var(Y)
Covarianza
Cov(X,Y) = E[XY] - E[X]E[Y]
Var(X+Y) = Var(X) + Var(Y) + 2Cov(X,Y)
Media campionaria
E[X̄] = μ
Var(X̄) = σ² / n
E[X̄²] = Var(X̄) + (E[X̄])² = σ²/n + μ²
Formula ricorrente: E[X²] = Var(X) + (E[X])²
3. Distribuzioni discrete
⌄
| Distribuzione | Supporto | Funzione di probabilità | Media | Varianza |
|---|---|---|---|---|
| Bernoulli(θ) | x = 0,1 ; θ ∈ [0,1] | P(X=x)=θˣ(1-θ)¹⁻ˣ | θ | θ(1-θ) |
| Binomiale(n, θ) | x = 0,1,...,n | P(X=k)=C(n,k) θᵏ (1-θ)ⁿ⁻ᵏ | nθ | nθ(1-θ) |
| Geometrica(θ) | x = 1,2,... | P(X=x)=(1-θ)ˣ⁻¹ θ | 1/θ | (1-θ)/θ² |
| Poisson(θ) | x = 0,1,2,... ; θ > 0 | P(X=k)=e-θ θᵏ / k! | θ | θ |
| Uniforme discreta {a,...,b} | x = a,...,b | P(X=x)=1/(b-a+1) | (a+b)/2 | (m²-1)/12, con m=b-a+1 |
Formule utili
Se X₁,...,Xₙ ~ Bernoulli(θ), allora ΣXᵢ ~ Bin(n,θ)
Se X₁,...,Xₙ indipendenti e Xᵢ ~ Poisson(θᵢ), allora ΣXᵢ ~ Poisson(Σθᵢ)
Se X ~ Bin(n,θ), allora p̂ = X/n ha media θ e varianza θ(1-θ)/n
Per la Poisson la varianza è θ, non θ².
4. Distribuzioni continue
⌄
| Distribuzione | Supporto | Densità | Media | Varianza |
|---|---|---|---|---|
| Uniforme(a,b) | a < x < b | f(x)=1/(b-a) | (a+b)/2 | (b-a)²/12 |
| Esponenziale(λ) | x > 0, λ > 0 | f(x)=λe-λx | 1/λ | 1/λ² |
| Normale(μ,σ²) | x ∈ ℝ, σ² > 0 | f(x)= 1/(σ√(2π)) · exp(-(x-μ)²/(2σ²)) | μ | σ² |
| Gamma(α,λ) | x > 0 | f(x)= λαxα-1e-λx/Γ(α) | α/λ | α/λ² |
| Chi-quadro(ν) | x > 0 | caso particolare Gamma | ν | 2ν |
Normale standard
Z ~ N(0,1)
Se X ~ N(μ,σ²), allora Z = (X-μ)/σ ~ N(0,1)
z₀.90 ≈ 1.282, z₀.95 ≈ 1.645, z₀.975 ≈ 1.96, z₀.995 ≈ 2.576
Per il 95% centrale della normale si usa quasi sempre 1.96.
5. Distribuzioni campionarie e statistiche notevoli
⌄
Media campionaria
Se X₁,...,Xₙ hanno media μ e varianza σ², allora E[X̄]=μ e Var(X̄)=σ²/n
Somma campionaria
Sₙ = ΣXᵢ, E[Sₙ]=nμ, Var(Sₙ)=nσ²
Caso normale
Se X₁,...,Xₙ ~ N(μ,σ²), allora X̄ ~ N(μ,σ²/n)
Se X₁,...,Xₙ ~ N(μ,σ²), allora ((n-1)S²)/σ² ~ χ²(n-1)
T = (X̄-μ)/(S/√n) ~ t(n-1)
Proporzione campionaria
Se Xᵢ ~ Ber(p), allora p̂ = X̄ = (1/n)ΣXᵢ
E[p̂]=p, Var(p̂)=p(1-p)/n
Nei problemi con popolazioni finite e campionamento senza reimmissione, spesso devi costruire la distribuzione campionaria elencando i campioni possibili.
6. Verosimiglianza
⌄
L(θ ; x₁,...,xₙ) = Π f(xᵢ | θ)
ℓ(θ) = log L(θ) = Σ log f(xᵢ | θ)
La verosimiglianza non è la probabilità del parametro: è una funzione del parametro, con i dati fissati.
Procedura standard
- Scrivi la legge di una singola osservazione.
- Fai il prodotto per i = 1,...,n.
- Semplifica i termini che dipendono dal parametro.
- Se conviene, passa alla log-verosimiglianza.
- Deriva, poni uguale a zero e controlla il massimo.
Esempi rapidi
Bernoulli
L(θ)= θ^(Σxᵢ) (1-θ)^(n-Σxᵢ)
L(θ)= θ^(Σxᵢ) (1-θ)^(n-Σxᵢ)
ℓ(θ)= (Σxᵢ)logθ + (n-Σxᵢ)log(1-θ)
Poisson
L(θ)= e-nθ θ^(Σxᵢ) / Πxᵢ!
L(θ)= e-nθ θ^(Σxᵢ) / Πxᵢ!
ℓ(θ)= -nθ + (Σxᵢ)logθ - Σlog(xᵢ!)
Esponenziale
L(λ)= λⁿ e-λΣxᵢ
L(λ)= λⁿ e-λΣxᵢ
ℓ(λ)= nlogλ - λΣxᵢ
Normale con σ² noto
ℓ(μ)= costante - (1/(2σ²))Σ(xᵢ-μ)²
ℓ(μ)= costante - (1/(2σ²))Σ(xᵢ-μ)²
7. Stimatori di massima verosimiglianza
⌄
| Modello | Parametro | MLE |
|---|---|---|
| Bernoulli(θ) | θ | θ̂ = X̄ |
| Binomiale(m, θ) con m noto | θ | θ̂ = X̄ / m |
| Poisson(θ) | θ | θ̂ = X̄ |
| Esponenziale(λ) | λ | λ̂ = 1 / X̄ |
| Normale(μ,σ²) con σ² noto | μ | μ̂ = X̄ |
| Normale(μ,σ²) con μ noto | σ² | σ̂² = (1/n) Σ(xᵢ-μ)² |
| Normale(μ,σ²), entrambi ignoti | μ, σ² | μ̂ = X̄, σ̂² = (1/n) Σ(xᵢ-X̄)² |
| Uniforme(0,θ) | θ | θ̂ = max(X₁,...,Xₙ) |
Bias e MSE
Bias(T) = E[T] - θ
MSE(T) = Var(T) + (Bias(T))²
Consistenza
Tₙ è consistente per θ se Tₙ → θ in probabilità
8. Teorema del Limite Centrale
⌄
Se X₁,...,Xₙ sono i.i.d. con media μ e varianza σ² < ∞, allora
(X̄ - μ)/(σ/√n) ≈ N(0,1) per n grande
(X̄ - μ)/(σ/√n) ≈ N(0,1) per n grande
Equivalentemente: X̄ ≈ N(μ,σ²/n)
E anche: Sₙ = ΣXᵢ ≈ N(nμ,nσ²)
Casi tipici
Se Xᵢ ~ Bernoulli(p), allora p̂ = X̄ ≈ N(p,p(1-p)/n)
Se Xᵢ ~ Poisson(θ), allora Sₙ ≈ N(nθ,nθ)
Attenzione: per la Poisson Var(X)=θ, quindi Var(Sₙ)=nθ.
9. Intervalli e quantili
⌄
P(-1.96 ≤ Z ≤ 1.96) ≈ 0.95
Per X̄ con σ noto: X̄ ± 1.96 · σ/√n
Per p̂: p̂ ± 1.96 · √(p̂(1-p̂)/n)
IC per μ con σ noto: X̄ ± z1-α/2 · σ/√n
IC per μ con σ ignoto e normalità: X̄ ± tn-1,1-α/2 · S/√n
IC per σ²: [ ((n-1)S²)/χ²1-α/2,n-1 , ((n-1)S²)/χ²α/2,n-1 ]
Se il testo chiede un intervallo che contiene la statistica nel 95% dei campioni,
non sempre ti sta chiedendo un intervallo di confidenza per il parametro.
10. Test statistici essenziali
⌄
Schema generale
- Formula H₀ e H₁
- Costruisci la statistica test
- Trova regione critica o p-value
- Confronta con α
- Concludi
Test z per la media, σ noto: Z = (X̄ - μ₀)/(σ/√n)
Test t per la media, σ ignoto: T = (X̄ - μ₀)/(S/√n) ~ t(n-1) sotto H₀
Test per una proporzione: Z = (p̂ - p₀)/√(p₀(1-p₀)/n)
Test per la varianza normale: Q = ((n-1)S²)/σ₀² ~ χ²(n-1) sotto H₀
p-value bilaterale: 2P(Z ≥ |z osservato|)
Bilaterale: α diviso in due code.
Unilaterale destra: tutto α a destra.
Unilaterale sinistra: tutto α a sinistra.
Unilaterale destra: tutto α a destra.
Unilaterale sinistra: tutto α a sinistra.
11. Informazione di Fisher e limite di Cramér-Rao
⌄
Questa è la parte che hai chiesto di aggiungere: le formule di Fisher, utilissime in inferenza statistica e negli esercizi sugli stimatori efficienti.
Score
U(θ) = ∂/∂θ log L(θ)
Informazione di Fisher per una osservazione
I₁(θ) = E[(∂/∂θ log f(X;θ))²]
I₁(θ) = - E[∂²/∂θ² log f(X;θ)]
Informazione di Fisher per n osservazioni i.i.d.
Iₙ(θ) = n I₁(θ)
Limite di Cramér-Rao
Per ogni stimatore corretto T di θ: Var(T) ≥ 1 / Iₙ(θ)
Efficienza
Uno stimatore corretto è efficiente se raggiunge il limite: Var(T)=1/Iₙ(θ)
Approssimazione asintotica dell’MLE
θ̂MLE ≈ N(θ, 1/Iₙ(θ))
Quindi, asintoticamente: Var(θ̂MLE) ≈ 1/Iₙ(θ)
Esempi classici di informazione di Fisher
Bernoulli(θ)
log f(x;θ)= x logθ + (1-x)log(1-θ)
I₁(θ)= 1 / [θ(1-θ)]
Iₙ(θ)= n / [θ(1-θ)]
Poisson(θ)
log f(x;θ)= -θ + xlogθ - log(x!)
I₁(θ)= 1/θ
Iₙ(θ)= n/θ
Esponenziale(λ)
log f(x;λ)= logλ - λx
I₁(λ)= 1/λ²
Iₙ(λ)= n/λ²
Normale(μ,σ²) con σ² noto
I₁(μ)= 1/σ²
Iₙ(μ)= n/σ²
Quindi: Var(X̄)=σ²/n = 1/Iₙ(μ)
Da ricordare bene: se lo stimatore MLE è regolare, per campioni grandi è circa normale con varianza pari all’inverso dell’informazione di Fisher.
12. Checklist finale da compito
⌄
Quando ti chiedono la verosimiglianza
- Scrivi la legge di una singola osservazione.
- Moltiplica per tutte le osservazioni.
- Semplifica.
- Se serve, usa il logaritmo.
Quando ti chiedono il MLE
- Trova la log-verosimiglianza.
- Deriva e poni uguale a zero.
- Controlla che sia massimo.
- Verifica il dominio del parametro.
Quando ti chiedono MSE o efficienza
- Trova E[T], Bias(T) e Var(T).
- Usa MSE(T)=Var(T)+Bias(T)².
- Se serve, confronta Var(T) con 1/Iₙ(θ).
Mini formulario finale
E[X̄]=μ
Var(X̄)=σ²/n
E[Sₙ]=nμ
Var(Sₙ)=nσ²
MSE(T)=Var(T)+Bias(T)²
X̄ ≈ N(μ,σ²/n)
p̂ ≈ N(p,p(1-p)/n)
θ̂Bernoulli=X̄
θ̂Poisson=X̄
λ̂Exp=1/X̄
Errori comuni: confondere media e varianza, sbagliare la Poisson, dimenticare il dominio del parametro, usare n-1 invece di n nello stimatore MLE della varianza normale.