Diktat Kuliah

STATISTIKA MATEMATIKA

Adi Setiawan

Universitas Kristen Satya Wacana

Salatiga

2006

i

Contents

1 Pendahuluan 11.1 Sifat Kecukupan . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Sifat Kelengkapan . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.3 Sifat Ketakbiasan . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111.4 Keluarga Eksponensial . . . . . . . . . . . . . . . . . . . . . . . . . 13

2 Estimasi Titik 192.1 Metode yang digunakan bila tersedia statistik cukup yang lengkap 212.2 Metode yang digunakan bila tidak tersedia statistik cukup lengkap 222.3 Kriteria Pemilihan Estimator : Prinsip MLE . . . . . . . . . . . . 282.4 Estimator Momen . . . . . . . . . . . . . . . . . . . . . . . . . . . 312.5 Kriteria Pemilihan Estimator : Pendekatan Teori Keputusan . . . 332.6 Sifat-sifat Optimal secara Asimptotik dari Estimator . . . . . . . . 40

3 Pengujian Hipotesis 463.1 Konsep Umum dari Pengujian Hipotesis Neyman-Pearson . . . . . 463.2 Pengujian Hipotesis Sederhana Melawan Alternatif Sederhana . . . 493.3 Uji UMP untuk Pengujian Hipotesis Komposit . . . . . . . . . . . 583.4 Uji UMPU untuk Pengujian Hipotesis Komposit . . . . . . . . . . 703.5 Pengujian Parameter dari Distribusi Normal . . . . . . . . . . . . . 73

3.5.1 Uji Tentang Variansi . . . . . . . . . . . . . . . . . . . . . . 733.5.2 Uji Tentang mean . . . . . . . . . . . . . . . . . . . . . . . 75

3.6 Perbandingan Parameter Dua Distribusi Normal . . . . . . . . . . 773.6.1 Perbandingan Variansi Dua Densitas Normal . . . . . . . . 773.6.2 Perbandingan Mean Dua Densitas Normal . . . . . . . . . . 79

3.7 Uji Likelihood Ratio . . . . . . . . . . . . . . . . . . . . . . . . . . 80

4 Daerah Kepercayaan 914.1 Interval Kepercayaan . . . . . . . . . . . . . . . . . . . . . . . . . . 914.2 Interval Kepercayaan Bila Muncul Parameter Nuisans . . . . . . . 984.3 Interval Kepercayaan dan Interval Kepercayaan Pendekatan . . . . 1014.4 Hubungan antara Uji Hipotesis dan Interval Kepercayaan . . . . . 102

ii

Chapter 1

Pendahuluan

Dalam bab ini terlebih dahulu akan dibahas tentang ruang parameter (pa-rameter space), statistik cukup (sufficient statistics), sifat kelengkapan (com-pleteness), sifat ketakbiasan (unbiasedness) dan keluarga eksponensial (ex-ponential family).

1.1 Sifat Kecukupan

Misalkan X suatu variable random dengan fungsi kepadatan probabilitasf(x, θ) diketahui tetapi tergantung pada suatu vektor konstan berdimensir yaitu θ = (θ1, θ2, . . . , θr)

t yang dinamakan parameter. Ruang parame-ter Ω adalah himpunan semua nilai yang mungkin dari θ. Dalam hal iniΩ ⊂ Rr dengan r ≤ 1. Misalkan X1, X2, . . . , Xn sampel random ukuran ndari f(x; θ) yaitu n variabel random yang saling bebas dan masing-masingmempunyai fungsi kepadatan probabilitas f(x; θ). Masalah mendasar dalamstatistika adalah membuat inferensi tentang parameter θ seperti melakukanestimasi θ, menguji hipotesis tentang θ dan lain lain. Dalam melakukan haldi atas , konsep tentang kecukupan memainkan peranan penting dalam mem-bimbing kita untuk meringkas data tetapi tanpa kehilangan informasi yangdibawa dalam data tentang parameter θ. Di samping sifat kecukupan jugaakan dibahas tentang konsep kelengkapan (completeness), sifat ketakbiasan(unbiasedness) dan sifat ketakbiasan variansi minimum (minimum varianceunbiasedness).

Misalkan Tj : Rn 7→ R untuk j = 1, 2, . . . , m dan Tj tidak tergantungpada θ atau sebarang kuantitas yang tidak diketahui. Vektor

T = (T1, . . . , Tm)

1

dinamakan statistik dimensi m, dengan T1 = T1(X1, X2, . . . , Xn),

T2 = T2(X1, X2, . . . , Xn),

dan Tm = Tm(X1, X2, . . . , Xn). Sebelum didefinisikan sifat kecukupan, ter-lebih dahulu diberikan contoh-contoh berikut ini.

Contoh 1.1

Misalkan variabel random X berdistribusi seragam pada (α, β). Bila diambilθ1 = α, θ2 = β maka diperoleh θ = (θ1, θ2)t sehingga ruang parameternyaadalah Ω = (θ1, θ2)t|θ1, θ2 ∈ R2, θ1 ≤ θ2 dan fungsi kepadatan probabilitasdari variabel random X adalah

f(x; θ) =1

θ2 − θ1(1.1.1)

untuk θ1 < x < θ2. Jika α diketahui dan β = θ maka ruang parameternyaadalah Ω = (α,∞) dan fungsi kepadatan probabilitas daria variable randomX adalah

f(x; θ) =1

θ − α (1.1.2)

untuk θ1 < x < θ2 atau

f(x; θ) =1

θ − αIA(x) (1.1.3)

dengan A = (α, θ) dan IA(x) = 1 untuk x ∈ A and IA(x) = 0 untuk x ∈ Amerupakan fungsi indikator.

Jika β diketahui dan α = θ maka ruang parameternya Ω = (−∞, β) danfungsi kepadatan probabilitas dari variable random X adalah

f(x; θ) =1

β − θ (1.1.4)

untuk θ < x < β atau

f(x; θ) =1

β − θIA(x) (1.1.5)

dengan A = (θ, β).

Contoh 1.2

Misalkan variabel random X berdistribusi N(µ, σ2).Bila dipilih θ1 = µ, θ2 = σ2 maka θ = (θ1, θ2)t sehingga

Ω = θ1, θ2)t ∈ R2|θ1 ∈ R, θ2 > 0

2

dan fungsi kepadatan probabilitas dari variabel random X adalah

f(x; θ) =1√

2πθ2

exp[− (x− θ1)2

2θ2

](1.1.6)

Jika diketahui dan dipilih µ = θ maka Ω = R dan fungsi kepadatan proba-bilitas dari variabel random X adalah

f(x; θ) =1√

2πσ2exp

[− (x− θ)2

2σ2

](1.1.7)

sedangkan jika µ diketahui dan dipilih σ2 = θ maka Ω = θ ∈ R|θ > 0 danfungsi kepadatan probabilitas dari variabel random X adalah

f(x; θ) =1√2πθ

exp[− (x− µ)2

2θ

]. (1.1.8)

Contoh 1.3

Misalkan X1, . . . , Xn variabel random saling bebas dan berdistribusi identik(independent and identically distribution) yaitu Binom(1, θ). Hal itu berartifungsi probabilitas dari Xi adalah

f(xi; θ) = θxi(1− θ)1−xiIA(xi) (1.1.9)

untuk i = 1, 2, . . . , n, A = 0, 1 dan θ ∈ Ω = (0, 1). Misalkan T =∑n

i=1 Xi.Karena Xi berdistribusi Binom(1, θ) maka T berdistribusi Binom(n, θ) se-hingga fungsi probabilitas dari T adalah

fT (t; θ) =

(nt

)θt(1− θ)1−tIB(t) (1.1.10)

dengan B = 0, 1, . . . , n.Misalkan dianggap bahwa percobaan Binomial telah dilakukan dan nilai

pengamatan dari Xi adalah xi untuk i = 1, 2, . . . , n. Masalah yang dihadapiadalah bagaimana membuat inferensi tentang θ berdasarkan pada xi untuki = 1, 2, . . . , n. Apabila kita memberi tanda 1 untuk ’sukses’ maka akanmuncul pertanyaan tentang : dapatkah dilakukan inferensi tentang θ biladiketahui banyaknya sukses yang terjadi. Bila banyaknya sukses yang terjadiadalah t atau T = t untuk t = 0, 1, 2, . . . , n maka akan ditentukan berapa

probabilitas setiap satu kemungkinan dari

(nt

)cara yang berbeda untuk

3

terjadinya t ’sukses’.

P (X1 = x1, . . . , Xn = xn|T = t) =P (X1 = x1, . . . , Xn = xn)

P (T = t)

=

P (X1=x1,...,Xn=xn)

P (T=t)jika x1 + x2 + . . .+ xn = t

0 jika yang lain.

Hal ini berarti

P (X1 = x1, . . . , Xn = xn|T = t) =θx1(1− θ)1−x1 . . . θxn(1− θ)1−xn

(nt

)θt(1− θ)1−t

=θPni=1 xi(1− θ)n−

Pni=1 xi(

nt

)θt(1− θ)1−t

=1(nt

)

jika x1 + x2 + . . . + xn = t dan bernilai 0 untuk yang lain, sehingga untuksemua x1, x2, . . . , xn dengan xi = 0 atau 1 untuk i = 1, 2, . . . , n dan untuk∑n

i=1 xi = t berlaku sifat

P (X1 = x1, . . . , Xn = xn|T = t) =1(nt

)

tidak bergantung pada θ. Oleh karena itu total banyaknya sukses t menye-diakan semua informasi tentang θ.

Contoh 1.3 memotivasi definisi statistik cukup berikut ini.

Definisi 1.1

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f(x, θ) dan

θ = (θ1, θ2, . . . , θr)t ∈ Ω ⊆ Rr.

Misalkan T = (T1, T2, . . . , Tm)t dengan

Tj = Tj(X1, X2, . . . , Xn)

4

untuk j = 1, 2, . . . , m statistik. Statistik T dinamakan statistik cukupdimensi-m untuk keluarga F = f(x; θ)|θ ∈ Ω atau untuk parameter θjika distribusi bersyarat (X1, X2, . . . , Xn)t diberikan T = t tidak bergantungpada θ untuk semua nilai t.

Dengan menggunakan teorema berikut ini, identifikasi statistik cukupdengan mudah dapat dilakukan.

Teorema 1.1 (Teorema Faktorisasi Fisher-Neyman)

Misalkan variabel random saling bebas dan berdistribusi identik denganfungsi kepadatan probabilitas f(x; θ) dan θ = (θ1, θ2, . . . , θr)

t ∈ Ω ⊆ Rr.Statistik dimensi-m

T = (T1(X1, X2, . . . , Xn), T2(X1, X2, . . . , Xn), . . . , Tm(X1, X2, . . . , Xn))t

merupakan statistik cukup untuk θ jika dan hanya jika fungsi kepadatanprobabilitas bersama dari dapat difaktorkan sebagai

f(x1, x2, . . . , xn) = g[x1, x2, . . . , xn; θ]h(x1, x2, . . . , xn)

dengan g tergantung pada θ hanya melalui T dan h tidak tergantung pada θ.

Akibat 1.1

Misalkan φ : Rm 7→ Rm fungsi terukur dan tidak tergantung pada θ sertafungsi korespondensi satu-satu sehingga φ−1 ada. Jika statistik cukup untukθ maka φ(T) juga merupakan statistik cukup untuk θ dan juga merupakanstatistik cukup untuk ψ(θ) dengan φ : Rr 7→ Rr merupakan fungsi terukurdan korespondensi satu-satu.

Contoh 1.4

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi iden-tik dari U(θ1, θ2). Fungsi kepadatan probabilitas dari Xi adalah

f(xi; θ) =1

θ2 − θ1

untuk θ1 < x < θ2. Bila x = (x1, x2, . . . , xn)t dan θ = (θ1, θ2)t maka fungsi

5

kepadatan probabilitas bersamanya adalah

f(x1, x2, . . . , xn; θ) =n∏

i=1

1

θ2 − θ1

I(θ1,θ2)(xi),

f(x1, x2, . . . , xn; θ) =1

(θ2 − θ1)nθ1 < X(1) < X(n) < θ2,

f(x1, x2, . . . , xn; θ) =1

(θ2 − θ1)nI[θ1,∞)(X(1))I(−∞,θ2)(X(n)),

f(x1, x2, . . . , xn; θ) =1

(θ2 − θ1)ng1(X(1), θ)g2(X(n), θ),

dengan g1(X(1), θ) = I[θ1,∞)(X(1)) dan g2(X(n), θ) = I[θ1,∞)(X(1))I(−∞,θ2)(X(n)).Akibatnya dengan menggunakan Teorema Faktorisasi Fisher-Neyman diper-oleh (X(1), X(n)) merupakan statistik cukup untuk θ. Khususnya jika θ1 = αdiketahui dan θ2 = θ maka X(1) merupakan statistik cukup untuk θ. Dengancara yang sama jika θ2 = β diketahui dan maka X(n) merupakan statistikcukup untuk θ.

Contoh 1.5

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi iden-tik dari N(µ, σ2). Bila x = (x1, x2, . . . , xn)t, µ = θ1, σ2 = θ2 dan θ = (θ1, θ2)t

maka fungsi kepadatan probabilitas dari Xi adalah

f(xi; θ) =1√

2πθ2

exp[− (xi − θ1)2

2θ2

]

sehingga fungsi kepadatan probabilitas bersamanya adalah

f(xi; θ) =1

(√

2πθ2)nexp

[− 1

2θ2

n∑

i=1

(xi − θ1)2].

Tetapi, karena

n∑

i=1

(xi − θ1)2 =n∑

i=1

[(xi − x) + (x− θ1)]2 =

n∑

i=1

(xi − x)2 + n(x− θ1)2

maka fungsi kepadatan probabilitasnya menjadi

f(xi; θ) =1

(√

2πθ2)nexp

[− 1

2θ2

n∑

i=1

(xi − x)2 − n

2θ2(x− θ1)2

]

6

sehingga (X,∑n

i=1(Xi− X)2)t merupakan statistik cukup untuk θ. Pada sisilain fungsi kepadatan probabilitasnya dapat dinyatakan sebagai

f(xi; θ) =1

(√

2πθ2)nexp

(− nθ2

1

2θ2

)exp

(θ1

θ2

n∑

i=1

xi −1

2θ2

n∑

i=1

x2i

).

Hal itu berarti, jika θ2 = σ2 diketahui dan θ1 = θ maka∑n

i=1 Xi merupakanstatistik cukup untuk θ. Di samping itu, jika θ1 = µ diketahui dan θ2 = θmaka

∑ni=1 X

2i merupakan statistik cukup untuk θ. Demikian juga, dengan

menggunakan Akibat Teorema Faktorisasi Fisher-Neyman (X, S2)t meru-pakan statistik cukup untuk θ. Jika θ1 = µ diketahui maka 1

n

∑ni=1(xi − µ)2

merupakan statistik cukup untuk θ2 = θ.Pada contoh-contoh di atas, dimensi dari statistik cukup sama dengan

dimensi parameternya. Jika X1, X2, . . . , Xn variabel random saling bebasdan berdistribusi identik dari distribusi Cauchy dengan parameter θ = (µ, σ2)dan fungsi kepadatan probabilitas

f(x;µ, σ2) =1

π

σ

σ2 + (x− µ)2

untuk −∞ < x < ∞ maka tidak ada statistik cukup yang dimensinya lebihkecil dari statistik cukup (X1, X2, . . . , Xn)t.

Jika m adalah bilangan bulat terkecil sehingga T = (T1, T2, . . . , Tm)t

dengan Tj = Tj(X1, X2, . . . , Xn) untuk j = 1, 2, . . . , m merupakan statis-tik cukup untuk θ = θ1, . . . , θr)

t maka T dinamakan statistik cukup minimaluntuk θ.

1.2 Sifat Kelengkapan

Misalkan X vektor random berdimensi k dengan fungsi kepadatan probabil-itas f(x; θ) dan θ ∈ Ω ⊆ Rr. Misalkan g : Rk 7→ R fungsi terukur sehinggag(X) merupakan variabel random. Dianggap bahwa Eθ[g(X)] ada untuk se-mua θ ∈ Ω dan F = f(x; θ)|θ ∈ Ω.

Definisi 1.2

Keluarga F dikatakan lengkap (complete) jika untuk setiap g,

Eθ[g(X)] = 0

untuk semua θ ∈ Ω menyebabkan bahwa g(X) = 0 kecuali mungkin pada Nsehingga Pθ[X ∈ N ] = 0 untuk semua θ ∈ Ω.

7

Contoh 1.6

Misalkan F = f(x; θ)|f(x; θ) =

(nx

)θx(1−θ)n−xIA(x), θ ∈ (0, 1) dengan

A = 0, 1, 2, . . . , n. Karena

E[g(X)] =

n∑

i=1

g(x)θx(1− θ)n−x = (1− θ)nn∑

x=0

g(x)

(nx

)ρx

dengan ρ = θ1−θ maka E[g(X)] = 0 untuk semua θ ∈ (0, 1) akan ekuivalen

dengann∑

x=0

g(x)

(nx

)ρx = 0

untuk setiap ρ ∈ (0,∞). Akibatnya untuk lebih dari n nilai-nilai dari ρberlaku untuk x = 0, 1, 2, . . . , n yang ekuivalen dengan

g(x)

(nx

)= 0

untuk x = 0, 1, 2, . . . , n. Hal itu berarti bahwa keluarga distribusi binomialF merupakan keluarga yang lengkap.

Contoh 1.7

Misalkan

F = f(x; θ)|f(x; θ) =e−θxθ

x!IA(x), θ ∈ (0,∞)

dengan A = 0, 1, 2, 3, . . .. Karena

E[g(X)] =

∞∑

x=0

g(x)e−θ

x!= e−θ

∞∑

x=0

g(x)

x!θx = 0

dengan θ ∈ (0, θ) maka g(x) = 0 untuk . hal ini ekuivalen dengan g(x) = 0untuk x = 0, 1, 2, . . . , n. Akibatnya keluarga distribusi Poisson F merupakankeluarga yang lengkap.

Contoh 1.8

Misalkan

F = f(x; θ)|f(x; θ) =1

θ − αI[α,θ](x), θ ∈ (0,∞).

8

Karena E[g(X)] = 0 untuk semua θ = (α,∞) maka∫ θag(x)dx = 0 untuk

semua θ > α sehingga g(x) = 0 kecuali mungkin untuk himpunan N se-hingga P [X ∈ N ] untuk semua θ ∈ Ω dengan X adalah variabel randomyang mempunyai fungsi kepadatan probabilitas f(x; θ. Hal yang sama jugabenar jika f(x; θ) adalah U(θ, β).

Contoh 1.9

Misalkan X1, . . . , Xn variabel random saling bebas dan berdistribusi N(µ, σ2).Jika σ diketahui dan µ = θ maka keluarga distribusi normal

F = f(x; θ)|f(x; θ) =1√

2πσ2exp

[− (x− θ)2

2σ2

], θ ∈ R

merupakan keluarga yang lengkap. Sedangkan jika µ diketahui dan σ2 = θmaka keluarga distribusi normal

F = f(x; θ)|f(x; θ) =1√2πθ

exp[− (x− µ)2

2θ

], θ ∈ (0,∞)

tidak lengkap. Karena g(x) = x− µ maka

E[g(X)] = E[X − µ] = 0

untuk semua θ ∈ (0,∞) sedangkan g(x) = 0 berlaku hanya untuk x = µ.Akhirnya, jika µ dan σ2 tidak diketahui maka dapat ditunjukkan bahwakeluarga distribusi normal

F = f(x;µ, σ2)|f(x;µ, σ2) =1√

2πσ2exp

[− (x− µ)2

2σ2

], µ ∈ R, σ ∈ (0,∞)

lengkap atau statistik cukup juga merupakan statistik cukup untuk (µ, σ2)yang lengkap.

Teorema 1.2

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f(x; θ) dengan θ ∈ Ω ⊆ Rr dan

T = (T1, T2, . . . , Tm)t

dengan Tj = Tj(X1, X2, . . . , Xn) untuk j = 1, 2, . . . , m adalah statistik cukupuntuk θ. Misalkan V = (V1, V2, . . . , Vm)t dengan Vj = Vj(X1, X2, . . . , Xn)

9

untuk j = 1, 2, . . . , m sebarang statistik lain yang tidak tergantung pada T.Misalkan g(x; θ) fungsi kepadatan probabilitas dari T dan dianggap bahwahimpunan S sehingga g(x; θ) positif adalah sama untuk semua θ ∈ Ω. Dis-tribusi dari V tidak tergantung pada θ.

Teorema 1.3 (Teorema Basu)

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f(x; θ) dengan θ ∈ Ω ⊆ Rr danT = (T1, T2, . . . , Tm)t dengan Tj = Tj(X1, X2, . . . , Xn) untuk j = 1, 2, . . . , madalah statistik cukup untuk θ. Misalkan g(x; θ) fungsi kepadatan probabili-tas dari T dan G = g(x; θ)|θ ∈ Ω lengkap. Misalkan V = (V1, V2, . . . , Vm)t

dengan Vj = Vj(X1, X2, . . . , Xn) untuk j = 1, 2, . . . , m adalah statistik lain.Jika distribusi dari tidak tergantung pada θ maka V dan T saling bebas.

Contoh 1.10

Misalkan X1, . . . , Xn variabel random saling bebas dan berdistribusi N(µ, σ2)dengan σ2 diketahui. Statistik X merupakan statistik cukup untuk µ dan

S2 =Pni=1(Xi−X)2

nsuatu statistik. Perhatikan bahwa

n∑

i=1

(Xi − X)2 =

n∑

i=1

[(Xi − µ) + (µ− X))2

n∑

i=1

(Xi − X)2 =

n∑

i=1

[(Xi − µ)2 + (µ− X)2 + 2(µ− X)(Xi − µ)]

n∑

i=1

(Xi − X)2 =n∑

i=1

(Xi − µ)2 + n(µ− X)2 + 2(µ− X)n∑

i=1

(Xi − µ)

n∑

i=1

(Xi − X)2 =

n∑

i=1

(Xi − µ)2 + n(µ− X)2 + 2(µ− X)n(X − µ)

n∑

i=1

(Xi − X)2 =n∑

i=1

(Xi − µ)2 + n(µ− X)2 − 2n(µ− X)n(µ− X)

n∑

i=1

(Xi − X)2 =

n∑

i=1

(Xi − µ)2 − n(µ− X)2

n∑

i=1

(Xi − X)2 =n∑

i=1

(Xi − µ)2 − n(X − µ)2.

10

Karena Xi − µ ∼ N(0, σ2) untuk j = 1, 2, . . . , n dan X ∼ N(µ, σ2

n) sehingga

berakibat maka distribusi dari S2 tidak bergantung pada µ. Dengan meng-gunakan Teorema Basu diperoleh bahwa X dan S2 saling bebas.

1.3 Sifat Ketakbiasan

Definisi 1.3

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f(x; θ) dengan θ ∈ Ω ⊆ R danT = (T1, . . . , Tm)t dengan Tj = Tj(X1, X2, . . . , Xn) untuk j = 1, 2, . . . , madalah statistik cukup untuk θ. Statistik U adalah statistik tak bias untukθ jika Eθ[U ] = θ untuk setiap θ ∈ Ω.

Teorema 1.4 (Teorema Rao-Blackwell)

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f(x; θ) dengan θ ∈ Ω ⊆ R dan

T = (T1, . . . , Tm)t

dengan Tj = Tj(X1, X2, . . . , Xn) untuk j = 1, 2, . . . , m adalah statistik cukupuntuk θ. Misalkan U(X1, X2, . . . , Xn) statistik tak bias untuk θ yang bukanfungsi dari T saja. Jika φ(t) = Eθ[U |T = t] maka

1. variabel random φ(T) merupakan fungsi statistik cukup T.

2. φ(T) merupakan statistik tak bias untuk θ.

3. Varθ(φ(T)) < Varθ(U) dengan θ ∈ Ω asalkan Eθ[U2] <∞.

Teorema berikut ini menyatakan sifat ketunggalan dari statistik cukup.

Teorema 1.5 (Teorema Ketunggalan Lehman-Scheffe)

Misalkan X1, X2, . . . , Xn variabel random dengan fungsi kepadatan proba-bilitas f(x; θ) dengan θ ∈ Ω ⊆ R dan F = f(x; θ)|θ ∈ Ω. MisalkanT = (T1, . . . , Tm)t dengan Tj = Tj(X1, X2, . . . , Xn) untuk j = 1, 2, . . . , madalah statistik cukup untuk θ dan g(x; θ) adalah fungsi kepadatan proba-bilitasnya. Misalkan G = g(x; θ)|θ ∈ Ω lengkap. Jika U = U(T ) statistik

11

cukup tak bias untuk θ dan Eθ[U2] <∞ untuk semua θ ∈ Ω maka U adalah

statistik tak bias untuk θ dengan variansi terkecil dalam kelas yang mengan-dung semua statistik tak bias untuk θ.

Definisi 1.4

Statistik tak bias untuk θ yang mempunyai variansi minimum dalam ke-las semua statistik tak bias dari θ dinamakan UMVU (uniformly minimumvariance unbiased).

Terminologi ”uniformly” diperoleh dari fakta bahwa variansi minimumuntuk semua θ ∈ Ω.

Contoh 1.11

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi iden-tik dengan distribusi Binom(1, θ) dengan θ ∈ (0, 1). Statistik T =

∑ni=1 Xi

merupakan statistik cukup untuk θ dan juga lengkap. Karena X = Tn

meru-pakan statistik tak bias untuk θ maka statistik X merupakan statistik takbias dengan variansi minimum untuk θ.

Contoh 1.12

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi iden-tik dengan distribusi N(µ, σ2). Jika σ diketahui dan µ = θ maka

T =n∑

i=1

Xi

statistik cukup untuk θ demikian juga T merupakan statistik yang lengkap.Akibatnya X = T/n merupakan statistik tak bias untuk θ dengan variansiminimum untuk θ karena X merupakan statistik tak bias untuk θ. Jikaµ = 0 dan σ2 = θ maka T =

∑ni=1 X

2i statistik cukup untuk θ. Karena T

juga merupakan statistik yang lengkap dan S2 = T/n merupakan statistiktak bias untuk θ dan S2 merupakan statistik tak bias dengan variansi mini-mum untuk θ.

Contoh 1.13

Misalkan X1, X2, X3 variabel random saling bebas dan berdistribusi identikdengan fungsi kepadatan probabilitas

f(x;λ) = λ exp[− λx

]

12

untuk x > 0. Misalkan θ = 1/λ sehingga fungsi kepadatan probabilitas dariX menjadi

f(x;λ) =1

θexp

[− 1

θx].

Diperoleh E[Xi] = θ dan Var(Xi) = θ2 untuk i = 1, 2, 3. Hal itu berartibahwa X1 merupakan statistik tak bias untuk θ dengan variansi θ2. Demikianjuga T = X1 +X2 +X3 merupakan statistik cukup untuk θ dan juga meru-pakan statistik yang lengkap. Karena X1 bukan merupakan fungsi dari Tmaka X1 bukan statistik tak bias dengan variansi minimum untuk θ. Olehkaren itu dipilih statistik yang merupakan fungsi dari T dan juga merupakanstatistik tak bias untuk θ yaitu T/3 dengan sifat E[T/3] = θ. Dalam hal iniVar(T/3) = θ2/3 lebih kecil dari θ2 dengan θ ∈ (0,∞).

1.4 Keluarga Eksponensial

Keluarga fungsi kepadatan probabilitas yang tergantung pada paremeter θdan berbentuk

f(x; θ) = C(θ) exp[Q(θ)T (x)]h(x)

dengan x ∈ R, θ ∈ Ω(⊆ R) dan C(θ) > 0 serta h(x) > 0 untuk x ∈ Sdinamakan keluarga eksponensial. Jika variabel random saling bebas danberdistribusi identik dengan f(x; θ) dengan θ ∈ Ω ⊆ R maka fungsi kepa-datan probabilitas dari X sebagai

f(x; θ) = C(θ) exp[Q(θ)T (x)]h(x).

Contoh 1.14

Misalkan f(x; θ) =

(nx

)θx(1 − θ)n−xIA(x) dengan A = 0, 1, 2, . . . , n.

Fungsi probabilitas tersebut dapat dinyatakan sebagai

f(x; θ) = (1− θ)n exp[log(θ

1− θ )]

(nx

)IA(x)

sehingga distribusi Binomial merupakan anggota keluarga eksponensial den-

gan c(θ) = (1− θ)n, Q(θ) = log( θ1−θ), T (x) = x, h(x) =

(nx

)IA(x).

13

Contoh 1.15

Misalkan variabel random X berdistribusi N(µ, σ2). Jika σ diketahui danµ = θ maka fungsi kepadatan probabilitas dari X adalah

f(x; θ) =1√2πσ

exp[− θ2

σ

]exp

[ θσ2x]

exp[− 1

2σ2x2]

dengan θ ∈ R sehingga distribusi tersebut merupakan anggota keluarga ek-sponesial dengan

c(θ) =1√2πσ

exp[− θ

2

σ2x], Q(θ) =

θ

σ2, T (x) = x, h(x) = exp

[− x2

2σ2

].

Jika µ diketahui dan σ2 = θ maka fungsi kepadatan probabilitas dari Xadalah

f(x; θ) =1√2πθ

exp[− 1

2θ(x− µ)2

]

dengan θ ∈ (0,∞) sehingga distribusi tersebut merupakan anggota keluargaeksponensial dengan

c(θ) =1

2πθ, Q(θ) =

1

2θ, T (x) = (x− µ)2, h(x) = 1.

Jika ruang parameter dari keluarga fungsi kepadatan eksponensial 1 pa-rameter mengandung interval non degenerate maka keluarga tersebut lengkap.

Teorema 1.6

Misalkan X variabel random dengan fungsi kepadatan probabilitas f(x; θ)dengan θ ∈ Ω ⊆ R seperti tersebut di atas. Keluarga

G = g(x; θ)|θ ∈ Ω

dengan adalah fungsi kepadatan probabilitas dari T (X) maka G lengkapasalkan Ω mengandung interval non degenerate.

Teorema 1.7

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas merupakan anggota keluarga ekspo-nensial 1 parameter.

1. Statistik T ∗ =∑n

i=1 T (Xi) merupakan statistik cukup untuk θ.

14

2. Fungsi kepadatan probabilitas dari T ∗ selalu berbentuk

g(t; θ) = [c(θ)]n exp[Q(θ)t

]h∗(t)

dengan h(t) tidak bergantung terhadap θ asalkan T ∗ variabel randomdiskrit.

3. Jika variabel random kontinu maka fungsi kepadatan probabilitasnyadapat dinyatakan sebagai

g(t; θ) = [c(θ)]n exp[Q(θ)t

]h∗(t).

Teorema berikut ini menyatakan sifat kelengkapan dari suatu keluargadistribusi.

Teorema 1.8

Keluarga G = g(x; θ)|θ ∈ Ω lengkap asalkan Ω mengandung interval nondegenerate.

Dalam hal ini G = g(x; θ)|θ ∈ Ω dengan g(x; θ) adalah keluarga fungsikepadatan probabilitas dari statistik cukup T ∗.

Teorema 1.9

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas merupakan anggota keluarga ek-sponensial dan T ∗ seperti didefinisikan pada Teorema 1.7.1. Jika V sebarangstatistik yang lain, V saling bebas jika dan hanya jika distribusi dari V danT ∗ tidak tergantung pada θ.

Contoh 1.16

Misalkan X1, X2, . . . , Xn variabel random saling bebas dengan fungsi kepa-datan N(µ, σ2) yang merupakan anggota keluarga eksponensial dalam θ = µ.Statistik

X =1

n

n∑

i=1

Xi

merupakan statistik cukup untuk θ sedangkan

S2 =

∑ni=1(Xi − X)2

n

15

merupakan statistik lain yang tidak tergantung pada θ maka dengan meng-gunakan Teorema 1.9 diperoleh bahwa x dan S2 saling bebas.

Generalisasi dari Keluarga Eksponensial

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan X = (X1, . . . , Xn)t.Fungsi kepadatan probabilitas bersama dari merupakan anggota keluarga ek-sponensial r parameter jika mempunyai bentuk

f(x; θ) = c(θ) exp[ n∑

i=1

Qi(θ)Ti(x)]h(x)

dengan x = (x1, x2, . . . , xn)t untuk j = 1, 2, . . . , k dan k ≥ 1,

θ = (θ1, θ2, . . . , θr)t ∈ Ω ⊆ Rr,

C(θ) > 0, θ ∈ Ω dan h(x) > 0 untuk x ∈ S himpunan nilai positif darif(x; θ) yang saling bebas terhadap θ.

Contoh 1.17

Misalkan variabel random X berdistribusi N(θ1, θ2). Fungsi kepadatan prob-abilitas dari X dapat dinyatakan sebagai

f(x; θ1, θ2) =1√

2πθ2

exp[− θ2

1

2θ2

x]

exp[− θ1

θ2

x− 1

2θ2

x2].

Hal ini berarti keluarga distribusi normal merupakan anggota keluarga dis-tribusi eksponensial dengan

c(θ) =1√

2πθ2

exp[− θ2

1

2θ2

], Q1(θ) =

θ1

θ2

, Q2(θ) =1

2θ2

,

dan

T1(x) = x, T2(x) = −x, h(x) = 1.

Dalam hal ini θ = (θ1, θ2).

16

Brief History of Fisher

R. A. Fisher (1890-1962). Statistician and geneticist. MacTutor Refer-ences. SC, LP.

Fisher was the most influential statistician of the C20. Like Pearson,Fisher, studied mathematics at Cambridge University. He first made animpact when he derived the exact distribution of the correlation coefficient(see Fishers z-transformation). Although the correlation coefficient was acornerstone of Pearsonian biometry, Fisher worked to synthesise biometryand Mendelian genetics; for Fishers many disagreements with Pearson, seePearson in A Guide to R. A. Fisher. In 1919 Fisher joined RothamstedExperimental Station and made it the world centre for statistical research.His subsequent more prestigious appointments in genetics at UCL and Cam-bridge proved less satisfying. The estimation theory Fisher developed from1920 emphasised maximum likelihood and was founded on likelihood andinformation. He rejected Bayesian methods as based on the unacceptableprinciple of indifference. I n the 1930s Fisher developed a conditional infer-ence approach to estimation based on the concept of ancillarity. His mostwidely read work Statistical Methods for Research Workers (1925 + latereditions) was largely concerned with tests of significance: see Student’s tdistribution, chi square, z and z-distribution and p-value. The book alsopublicised the analysis of variance and redefined regression. The Design ofExperiments (1935 + later editions) put that subject at the heart of statis-tics (see randomization, replication blocking). The fiducial argument, whichFisher produced in 1930, generated much controversy and did not survive thedeath of its creator. Fisher created many terms in everyday use, e.g. statisticand sampling distribution and so there are many references to his work onthe Words pages. See Symbols in Statistics for his contributions to notation.Fisher influenced statisticians mainly through his writingsee the experienceof Bose and Youden. Among those who worked with him at Rothamsted wereIrwin Wishart, Yates (colleagues) and Hotelling (voluntary worker) MGP. InLondon and Cambridge Fisher was not in a Statistics department and Raowas his only PhD student in Statistics. For more information see A Guide toR. A. Fisher. See Hald (1998, ch. 28 Fishers Theory of Estimation 1912-1935and his Immediate Precursors).

17

Brief History of Kolmogorov

Andrei Nikolaevich Kolmogorov (1903-87) Mathematician. MacTutorReferences. MGP. LP.

Kolmogorov was one of the most important of C20 mathematicians andalthough he wrote a lot of probability it was only a small part of his totaloutput. Like Khinchin, he was a student of Luzin at Moscow State Univer-sity. In 1924 Kolmogorov started working with Khinchin and they producedresults on the law of the iterated logarithm and the strong law of large num-bers. Kolmogorovs most famous contribution to probability was the Grund-begriffe der Wahrscheinlichkeitsrechnung (1933), (English translation) whichpresented an axiomatic foundation. This made possible a rigorous treatmentof stochastic processes. His 1931 paper Analytical methods in probabilitytheory laid the foundations for the theory of markov processes; this papercontains the Chapman-Kolmogorov equations. In 1941 Kolmogorov devel-oped a theory of prediction for random processes, parallel to that developedby Wiener. In the 60s Kolmogorov returned to von Misess theory of proba-bility and developed it in the direction of a theory of algorithmic complex-ity; this work was continued by the Swedish mathematician P. Martin-Lf.In statistics he contributed the Kolmogorov-Smirnov test. From 1938 Kol-mogorov was associated with the Steklov Mathematical Institute. He hadmany students, among them Gnedenko and Dynkin. See also Symbols inProbability Life & Work. See von Plato (ch. 7) Kolmogorovs measure the-oretic probabilities. See also Vovk & Shafer Kolmogorovs Contributions tothe Foundations of Probability and The Origins and Legacy of KolmogorovsGrundbegriffethe published version of the latter (Statistical Science (2006)Number 1, 70-98) is different again.

18

Chapter 2

Estimasi Titik

Misalkan X variabel random dengan fungsi kepadatan probabilitas f(x; θ)dengan θ ∈ Ω ⊆ Rr. Jika θ diketahui maka semua probabilitas yang di-inginkan dapat dihitung. Akan tetapi biasanya θ tidak diketahui sehinggamemunculkan masalah bagaimana mengestimasi parameter θ atau suatufungsi dari θ yaitu g(θ) dengan g fungsi real dan terukur.

Definisi 2.1

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f(x; θ). Sebarang statistik

U = U(X1, X2, . . . , Xn)

yang digunakan untuk menaksir kuantitas yang tidak diketahui dinamakanestimator dari g(θ). Nilai dari U(x1, x2, . . . , xn) untuk nilai-nilai pengamatanx1, x2, . . . , xn dinamakan estimasi dari g(θ).

Definisi 2.2

Misalkan g fungsi real dan terukur. Estimator U = U(X1, X2, . . . , Xn) dina-makan estimator tak bias (unbiased estimator ) dari g(θ) jika

E[U = U(X1, X2, . . . , Xn)] = g(θ)

untuk semua θ ∈ Ω. Fungsi g dikatakan tertaksir (estimable) jika g(θ) mem-punyai estimator tak bias.

Definisi tentang ketakbiasan mengelompokkan statistik-statistik ke dalamsuatu kelas estimator tak bias. Jika U = U(X1, X2, . . . , Xn) estimator takbias untuk g(θ) maka harga harapan dari U sama dengan g(θ). Meskipun

19

kriteria ketakbiasan sudah mengkhususkan diri pada kelas estimator yangmemenuhi sifat tertentu tetapi kelas ini masih terlalu besar. Untuk itu perludipilih dari dua estimator tak bias yaitu yang mempunyai variansi yang lebihkecil.

Dasar pemikiran yang digunakan adalah bahwa variansi atau simpanganbaku memberikan ukuran konsentrasi di sekitar mean. Jika

U = U(X1, . . . , Xn)

estimator tak bias untuk g(θ) maka dengan menggunakan pertidaksamaanChebisev diperoleh

Pθ[|U − g(θ)| ≤ ε] ≥ 1− Var(U)

ε.

Oleh karena itu, Var(U) yang kecil akan memperbesar batas bawah proba-bilitas konsentrasi U di sekitar g(θ).

Definisi 2.3

Misalkan g tertaksir. Suatu estimator

U = U(X1, X2, . . . , Xn)

dikatakan estimator UMV U untuk g(θ) jika U tak bias dan mempunyaivariansi minimum diantara kelas semua estimator tak bias dari g(θ) denganθ ∈ Ω. Jika U = U(X1, X2, . . . , Xn) adalah sebarang estimator tak bias darig(θ) maka

Varθ(U1) ≥ Varθ(U)

untuk semua θ ∈ Ω.Dalam banyak kasus, estimator UMVU ada. Untuk memperolehnya ter-

dapat 2 metode yaitu metode pertama yang digunakan bila tersedia statistikcukup yang lengkap dan metode kedua yang digunakan bila tidak tersediastatistik cukup yang lengkap. Pada metode kedua, terlebih dahulu diten-tukan batas bawah semua estimator dan kemudian memilih suatu estimatoryang mempunyai variansi sama dengan batas bawah tersebut.

20

2.1 Metode yang digunakan bila tersedia statis-

tik cukup yang lengkap

MisalkanT = (T1, T2, . . . , Tr)

t

dengan Tj = Tj(X1, X2, . . . , Xn) untuk j = 1, 2, . . . , r adalah statistik cukupuntuk θ dan U = U(X1, X2, . . . , Xn) estimator tak bias dari g(θ) dengan gfungsi real. Misalkan φ(T) = E[U |T]. Estimator merupakan estimator takbias dari g(θ) dan Var(φ) ≤ Var(U) untuk semua θ ∈ Ω dengan kesamaandipenuhi bila U merupakan fungsi dari T.

Jika tersedia statistik cukup maka Teorema Rao-Blackwell mengatakanbahwa pencarian estimator UMVU untuk g(θ) cukup dibatasi pada kelas esti-mator tak bias yang hanya tergantung pada T. Jika T lengkap maka denganmenggunakan Teorema Lehman-Scheffe, estimator tak bias φ(T) adalah esti-mator unik yang mempunyai variansi minimum seragam dalam kelas semuaestimator tak bias. Metode ini tidak hanya menjamin keberadaan estimatortetapi juga menghasilkannya.

Teorema 2.1

Misalkan g fungsi terukur dan real. Misalkan terdapat estimator tak biasU = U(X1, X2, . . . , Xn) dari g(θ) dengan variansi berhingga. Jika

T = (T1, T2, . . . , Tr)t

dengan Tj = Tj(X1, X2, . . . , Xn) untuk j = 1, 2, . . . , r adalah statistik cukupuntuk θ, lengkap dan φ(T) = E[U |T] maka estimator UMVU untuk g(θ)dan tunggal.

Contoh 2.1

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi Bi-nom(1, θ) dan akan ditentukan estimator UMVU dari variansi X. Karena Xberdistribusi maka variansi dari X adalah Var(X) = g(θ) = θ(1− θ). Jika

U =

∑ni=1(Xi − X)2

n− 1

maka Eθ[U ] = g(θ). Hal itu berarti U merupakan estimator tak bias untukg(θ). Lebih jauh,

∑

i=1

(Xi − X)2 =

n∑

i=1

X2i − nX.

21

Karena Xi = 0 atau 1 maka X2i = Xi sehingga

n∑

i=1

X2i − nX =

n∑

i=1

Xi − n( 1

n

n∑

i=1

Xi

)2

.

Jika T =∑n

i=1 Xi maka diperoleh

n∑

i=1

X2i − nX =

n∑

i=1

Xi − n( 1

n

n∑

i=1

Xi

)2

= T − T 2

n,

sehingga U = 1n−1

(T − T 2

n

). Karena T merupakan statistik lengkap dan juga

merupakan statistik cukup untuk θ maka dengan mengingat Teorema 2.1, Umerupakan estimator UMVU untuk g(θ) = θ(1− θ).

Contoh 2.2

Misalkan X1, . . . , Xn variabel random saling bebas dan berdistribusi N(µ, σ2)dengan µ dan σ2 tidak diketahui. Akan ditentukan estimator UMVU untuk µdan σ2. Misalkan θ = (µ, σ2)t, g1(θ) = µ dan g1(θ) = σ2. Jika X =

∑ni=1 Xi

dan∑n

i=1 X2i merupakan statistik yang lengkap. Jika U1 = X dan

S2 =1

n

n∑

i=1

(Xi − X)2

maka (X, S2) merupakan statistik yang lengkap. Jika U1 = X dan U2 = nS2

maka E[U1] = µ dan E[nS2/σ2] = n− 1 sehingga E[nS2/(n− 1)]σ2. Hal ituberarti U1 estimator tak bias untuk µ dan U2 merupakan estimator tak biasuntuk σ2. Karena U1 dan U2 hanya tergantung pada statistik cukup yanglengkap maka (X, S2)t merupakan estimator UMVU untuk (µ, σ2).

2.2 Metode yang digunakan bila tidak terse-

dia statistik cukup lengkap

Misalkan Ω ⊆ R, g fungsi real dan terdeferensialkan untuk semua θ ∈ ω.Untuk menggunakan metode ini diperlukan syarat-syarat berikut ini :

1. f(x; θ) positif pada himpunan S yang tidak bergantung pada θ ∈ Ω.

2. Ω interval terbuka dalam R.

3. ∂f(x; θ)/∂θ ada untuk semua θ ∈ Ω dan semua x ∈ S.

22

4.∫S. . .∫Sf(x1; θ) . . . f(xn; θ)dx1 . . . dxn atau

∑

S

. . .∑

S

f(x1; θ) . . . f(xn; θ)

dapat dideferensialkan di bawah tanda integral atau tanda sigma.

5. I(θ) = E[∂f(x; θ)/∂θ]2 positif untuk semua θ ∈ Ω.

6.∫S. . .∫Su(x1, . . . , xn)f(x1; θ) . . . f(xn; θ)dx1 . . . dxn atau

∑

S

. . .∑

S

u(x1, . . . , xn)f(x1; θ) . . . f(xn; θ)

dapat dideferensialkan di bawah tanda integral atau tanda sigma den-gan sebarang statistik tak bias untuk θ.

Teorema berikut ini memberikan sifat tentang batas bawah dari variansisuatu statistik.

Teorema 2.2 (Cramer-Rao Inequality)

Misalkan X1, . . . , Xn variabel random saling-bebas dan berdistribusi iden-tik dengan fungsi kepadatan serta dianggap syarat-syarat tersebut dipenuhi.Untuk sebarang estimator tak bias U = U(X1, . . . , Xn) dari g(θ) berlaku

Var(U) ≥ [g′(θ)]2

nI(θ)

dengan θ ∈ Ω dan g′(θ) = dg(θ)/dθ.

Definisi 2.4

I(θ) = E[∂f(x; θ)/∂θ]2 dinamakan informasi Fisher sedangkan nI(θ) adalahinformasi yang terkandung dalam sampel X1, . . . , Xn.

Contoh 2.3

Misalkan X1, . . . , Xn variabel random saling bebas dan berdistribusi Binom(1, θ)dengan θ ∈ (0, 1). Fungsi probabilitas dari variabel random X yang berdis-tribusi Binom(1, θ) adalah

f(x; θ) = θx(1− θ)1−x

23

atau ln f(x; θ) = x ln θ + (1− x) ln θ sehingga

∂ ln f(x; θ)

∂θ=

1

θ− 1− x

1− θ .

Akibatnya

(∂ ln f(x; θ)

∂θ

)2

=1

θ2x2 +

1

(1− θ)2(1− x)2 − 2

θ(1− θ)x(1− x).

Karena E[X2] = θ dan E[(1 − X)2] = 1 − θ serta E[X(1 − X)] = 0 makainformasi Fisher I(θ) adalah

E(∂ ln f(x; θ)

∂θ

)2

=1

θ2E[X2] +

1

(1− θ)2E[(1−X)2]− 2

θ(1− θ)E[X(1−X)]

=1

θ2θ +

1

(1− θ)2(1− θ)

=1

θ+

1

1− θ=

1

θ(1− θ) .

Hal itu berarti batas bawah Cramer-Rao untuk g(θ) adalah

CRLB =[g′(θ)]2

nI(θ)

=1

n 1θ(1−θ)

=θ(1− θ)

n.

Karena X merupakan estimator tak bias θ dan variasinya adalah

V (X) =θ(1− θ)

n

yaitu sama dengan batas bawah Cramer Rao maka X merupakan estimatorUMVU untuk θ.

Contoh 2.4

Misalkan X1, . . . , Xn variabel random saling bebas dan berdistribusi Poisson(θ)

24

dengan θ > 0. Fungsi probabilitas dari variabel random X yang berdistribusiadalah

f(x; θ) =e−θθx

x!atau ln f(x; θ) = −θ + x ln θ − ln(x!) sehingga

∂ ln f(x; θ)

∂θ= −1 +

x

θ

dan (∂ ln f(x; θ)

∂θ

)2

= 1 +1

θ2x2 − 2

θx.

Karena E[X] = θ dan E[X2] = θ(1 + θ) maka

E[(∂ ln f(x; θ)

∂θ

)2]= E[1] +

1

θ2E[X2]− 2

θE[X]

= 1 +1

θ2θ(1 + θ)− 2

θθ

= 1 +1

θ(1 + θ)− 2

= −1 +1

θ+ 1

=1

θ.

Hal itu berarti batas bawah Cramer-Rao untuk θ sama dengan

CRLB =[g′(θ)]2

nI(θ)=

1

n1θ

=θ

n.

Karena X merupakan estimator tak bias untuk θ dan variansinya adalahVar(X) = θ

nyaitu sama dengan batas bawah CRLB maka X merupakan

estimator UMVU untuk θ.

Contoh 2.5

Misalkan X1, . . . , Xn variabel random saling bebas dan berdistribusi N(µ, σ2)dengan µ ∈ R dan σ2 > 0.

Kasus 1

Misalkan bahwa σ2 diketahui dan µ = θ. Fungsi kepadatan probabilitasX yang berdistribusi N(θ, σ2) adalah

f(x; θ) =1√

2πσ2exp

[− (x− θ)2

2σ2

]

25

atau

ln f(x; θ) = ln( 1√

2πσ2

)− (x− θ)2

2σ2.

Akibatnya∂ ln f(x; θ)

∂θ=

1

σ

(x− θ)σ

atau (∂ ln f(x; θ)

∂θ

)2

=1

σ2

(x− θ)2

σ2.

Karena X berdistribusi N(θ, σ2) maka (X−θ)σ

berdistribusi N(0, 1) sehingga

berdistribusi chi-kuadrat dengan derajat bebas 1. Akibatnya E[ (X−θ)2

σ2 ] = 1.Hal itu berarti

E(∂ ln f(x; θ)

∂θ

)2

=1

σ2E((X − θ)2

σ2

)=

1

σ2

sehingga batas bawah Cramer-Rao untuk g(θ) adalah

CRLB =g′(θ)

nI(θ)=

1

n 1σ2

=σ2

n.

Karena X merupakan estimator tak bias untuk g(θ) = θ dan variansinyaadalah Var(X) = σ2

nyaitu sama dengan batas bawah Cramer-Rao maka X

merupakan estimator UMVU untuk θ.

Kasus 2

Misalkan bahwa µ diketahui dan σ2 = θ. Fungsi kepadatan probabilitasX yang berdistribusi N(µ, θ) adalah

f(x; θ) =1√2πθ

exp[− (x− µ)2

2θ

]

sehingga ln f(x; θ) = 12

ln(2π)− 12

ln θ − (x−µ)2

2θ. Akibatnya

∂ ln f(x; θ)

∂θ= − 1

2θ+

(x− µ)2

2θ2

dan (∂ ln f(x; θ)

∂θ

)2

= − 1

4θ2+

1

2θ2

(x− µ)2

θ+

1

4θ2

(x− µ√θ

)4

.

26

Karena variabel random X berdistribusi N(µ, σ2) maka X−µ√θ

berdistribusi

N(0, 1) sehingga berdistribusi chi-kuadrat dengan derajat bebas 1. Akibat-

nya E[ (X−µ)2

θ

]= 1 dan Var

[ (X−µ)2

θ

]= 2 sehingga

E[(x− µ√

θ

)4]= E

[((X − µ)2

θ

)2]

= Var[(X − µ)2

θ

]+(E[(X − µ)2

θ

])2

= 2 + 1 = 3.

Oleh karena itu

E[(∂ ln f(x; θ)

∂θ

)2]= − 1

4θ2E[1] +

1

2θ2E[(x− µ)2

θ

]+

1

4θ2E[(x− µ√

θ

)4]

sehingga

E[(∂ ln f(x; θ)

∂θ

)2]=

1

4θ2− 1

2θ2+

3

4θ2

=1

2θ2.

Karena batas bawah Cramer-Rao untuk g(θ) adalah

CRLB =[g′(θ)]2

nI(θ)=

1

n 12θ2

=2θ2

n.

Karena variabel random Xi berdistribusi N(µ, θ) untuk i = 1, 2, . . . , n makaXi−µθ

berdistribusi N(0, 1) sehingga berdistribusi chi-kuadrat dengan derajat

bebas 1. Dengan mengingat Xi−µθ

saling bebas untuk i = 1, 2, . . . , n maka∑ni=1

(Xi−µ)2

θberdistribusi chi-kuadrat dengan derajat bebas n. Akibatnya

E[ n∑

i=1

(Xi − µ)2

θ

]= n, Var

[ n∑

i=1

(Xi − µ)2

θ

]= 2n

sehingga∑n

i=1(Xi−µ)2

θestimator tak bias untuk θ dan variansinya 2θ2

nsama

dengan CRLB. Hal itu berarti merupakan estimator UMVU untuk θ.

Kasus 3

Bila µ dan σ2 tidak diketahui maka µ = θ1 dan σ2 = θ2 sehingga estimatorUMVU untuk θ1 adalah X dan estimator UMVU untuk θ2 adalah

θ2 =1

n− 1

n∑

i=1

(Xi − X)2.

27

Karena∑n

i=1

(Xi−X√

θ2

)berdistribusi chi-kuadrat dengan derajat bebas n − 1

maka variansi dari θ2 adalah 2θ2/(n − 1). Hal itu berarti estimator UMVUuntuk θ2 mempunyai variansi lebih besar dari batas bawah Cramer-Rao.

Estimator UMVU untuk g(θ) dinamakan estimator efisien untuk g(θ).Jika u estimator UMVU untuk θ dan U ∗ sebarang estimator tak bias untukg(θ) maka kuantitas mengukur efisiensi relatif U ∗ terhadap u. Jelas bahwaefisiensi relatif mempunyai nilai dalam interval (0, 1].

2.3 Kriteria Pemilihan Estimator : Prinsip

MLE

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f(x; θ), θ ∈ Ω ⊆ Rr dan anggapbahwa fungsi kepadatan probabilitas bersamanya dinyatakan dengan

f(x1; θ)f(x2; θ) . . . f(xn; θ).

Bila fungsi kepadatan probabilitas bersama ini, variabel x dipandang sebagaikonstanta dan merupakan fungsi dari θ maka dinamakan fungsi likelihood(likelihood function) dan dinotasikan dengan

L(θ|x1, x2, . . . , xn).

Definisi 2.5

Estimasi θ = θ(x1, x2, . . . , xn) dinamakan MLE (maximum likelihood esti-mator) dari θ jika

L(θ|x1, x2, . . . , xn) = maxL(θ|x1, x2, . . . , xn)dan θ = θ(x1, x2, . . . , xn) dinamakan MLE untuk θ.

Karena fungsi y = lnx, x > 0 merupakan fungsi naik tajam maka un-tuk memaksimumkan L(θ|x1, x2, . . . , xn) terhadap θ cukup dengan memak-simumkan

lnL(θ|x1, x2, . . . , xn).

Contoh 2.6

Misalkan X1, . . . , Xn variabel random saling-bebas dan berdistribusi Poisson(θ).Fungsi probabilitas dari Xi adalah

f(xi; θ) =e−θθxi

xi!

28

sehingga fungsi likelihoodnya adalah

L(θ|x1, x2, . . . , xn) = exp[−nθ]θPxi

1∏ni=1 xi!

.

Logaritma naturalis dari fungsi likelihoodnya adalah

l(θ) = lnL(θ|x1, x2, . . . , xn) = − ln( n∏

i=1

xi!)− nθ +

( n∑

i=1

xi

)ln θ.

Oleh karena itu ∂l∂θ

= −n + nX 1θ

= 0 dan diperoleh θ = X. Sedangkan∂2l∂θ

= −nx 1θ2 < 0 untuk semua θ > 0 sehingga berlaku juga untuk θ = θ.

Contoh 2.7

Misalkan X1, . . . , Xn variabel random saling bebas dan berdistribusi N(µ, σ2)dengan parameter θ = (µ, σ2)t. Fungsi likelihoodnya adalah

L(θ|x1, x2, . . . , xn) =( 1√

2πσ2

)exp

(− 1

2σ2

n∑

i=1

(xi − µ)2)

sehingga

L(θ|x1, x2, . . . , xn) = −n ln(2π)− n ln(√σ2)− 1

2σ2

n∑

i=1

(xi − µ)2.

Akibatnya∂ lnL

∂µ=

2

2σ2

n∑

i=1

(Xi − µ) =n

σ2(X − µ)

dan∂ lnL

∂σ2= − n

2σ2+

1

2σ4

n∑

i=1

(Xi − µ)2 = 0

sehingga diperoleh µ = X dan σ2 = 1n

∑ni=1(Xi − X)2. Jika σ2 diketahui

dan µ = θ maka µ = x adalah MLE untuk µ sedangkan jika µ diketahui danσ2 = θ maka σ = 1

n

∑ni=1(Xi − X)2 adalah MLE untuk σ2.

Contoh 2.8

Misalkan X1, . . . , Xn variabel random saling bebas dan berdistribusi U(α, β).Fungsi kepadatan probabilitas dari U(α, β) adalah

f(x; θ) =1

β − α

29

untuk α < x < β dengan θ = (α, β)t ∈ Ω. Fungsi likelihoodnya adalah

L(θ|x1, x2, . . . , xn) =

n∏

i=1

f(xi; θ)

=n∏

i=1

1

β − α untukα < xi < β

=1

(β − α)nI[α,∞)(X(1))I(−∞,β](X(1)).

Fungsi likelihoodnya akan mencapai maksimum jika β − α minimum yaitujika α = X(1) dan β = X(n). Jadi MLE untuk α dan β masing-masing adalah

α = X(1) dan β = X(n). Khususnya, jika α = θ − c dan β = θ + c dengan cpositif dan c diketahui maka fungsi likelihoodnya adalah

L(θ|x1, x2, . . . , xn) =1

(2c)nI[θ−c,∞)(X(1))I(−∞,θ+c](X(1)).

Fungsi likelihood dimaksimumkan dan nilai maksimumnya adalah 1(2c)n

untuksebarang θ sehingga θ − c ≤ X(1) dan θ + c ≥ X(n) yaitu ekuivalen dengan

X(n) − c ≤ θ ≤ X(1) + c.

Hal itu berarti bahwa sebarang statistik yang terletak antara X(n) − c danX(1) + c merupakan MLE untuk θ. Sebagai contoh 1

2[X(1) +X(n)] merupakan

MLE untuk θ. Jika β diketahui dan α = θ maka θ = X(1) merupakan MLE

untuk θ sedangkan jika α diketahui dan β = θ maka θ = X(n) merupakanMLE untuk θ.

Teorema 2.3

Misalkan X1, . . . , Xn variabel random saling bebas dengan fungsi kepadatanprobabilitas f(x; θ) dan T = (T1, . . . , Tr)

t dengan Tj = Tj(X1, . . . , Xn) un-tuk j = 1, 2, . . . , r merupakan statistik cukup untuk θ = (θ1, . . . , θr)

t. Jikaθ = (θ1, . . . , θr) adalah MLE yang tunggal untuk θ dan θ merupakan fungsidari T .

Teorema 2.4

Misalkan X1, . . . , Xn variabel random saling bebas dengan fungsi kepadatanprobabilitas f(x; θ) dan θ ∈ Ω ⊆ Rr. Jika φ didefinisikan pada Ω ke Ω∗ ⊆ Rm

yang merupakan fungsi korespondensi satu-satu dan θ adalah MLE untuk θ

30

maka φ(θ) merupakan MLE untuk φ(θ). Hal itu berarti MLE invariant dibawah transformasi satu-satu.

Contoh 2.9

Misalkan X1, . . . , Xn variabel random saling bebas dan berdistribusi N(µ, σ2)dengan parameter θ = (µ, σ2)t. Berdasarkan Contoh 2.7, merupakan MLEuntuk σ2. Misalkan didefinisikan φ : Ω 7→ Ω∗ dengan φ(θ) =

√θ dan

Ω = Ω∗ = R ∈ R|σ ≥ 0 yang merupakan fungsi korespondensi satu-satu.Dengan menggunakan Teorema 2. 4, diperoleh bahwa

√√√√ 1

n

n∑

i=1

(Xi − X)2

merupakan MLE untuk σ.

2.4 Estimator Momen

Misalkan X1, . . . , Xn variabel random saling bebas dan berdistribusi identikdengan f(x; θ) dan untuk bilangan positif r dianggap bahwa E[X r] = mr

berhingga. Dengan menggunakan metode ini mr akan diestimasi dengan

momen sampel yaituPni=1 x

ri

n. Bila sistem persamaan

1

n

n∑

i=1

xki = mk(θ1, θ2, . . . , θr)

dengan k = 1, 2, . . . , r dapat diselesaikan maka akan menghasilkan estimatoruntuk θj dengan j = 1, 2, . . . , r.

Contoh 2.10

Misalkan X1, . . . , Xn variabel random saling bebas dan berdistribusi N(µ, σ2)dengan µ dan σ2 tidak diketahui. Dengan menggunakan metode momendiperoleh sistem persamaan

∑ni=1 Xi

n= E[X] = µ,

∑ni=1X

2i

n= E[X2] = Var(X) + (E[X])2 = σ2 + µ2,

sehingga menghasilkan estimator momen µ = X dan σ2 = 1n

∑ni=1(Xi− X)2.

31

Contoh 2.11

Misalkan X1, . . . , Xn variabel random saling bebas dan berdistribusi U(α, β)dengan α dan β tidak diketahui. Dengan metode momen diperoleh sistempersamaan

∑ni=1 Xi

n= X = E[X] =

α + β

2,

∑ni=1 X

2i

n= X2 = E[X2] = Var(X) + (E[X])2 =

(α− β)2

12+

(α + β)2

4,

sehingga diperoleh

α + β = 2X

X2 −(X)2

=(α− β)2

12=(β − α√

12

)2

atau

α+ β = 2X

−α + β = S√

12.

Akibatnya estimator momen untuk α dan β berturut-turut adalah

α = X −√

12

2S, β = X +

√12

2S.

Terlihat bahwa estimator momen dari α dan β bukan merupakan fungsi daristatistik cukup dari α dan β. Hal ini merupakan salah satu kekurangandari metode momen. Kekurangan lain dari metode ini adalah bahwa metodeini tidak dapat digunakan bila momennya tidak ada seperti pada distribusiCauchy.

32

2.5 Kriteria Pemilihan Estimator : Pendekatan

Teori Keputusan

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f(x; θ), θ ∈ Ω ⊆ R dan diinginkanuntuk mengestimasi θ.

Definisi 2.6

Fungsi keputusan δ adalah fungsi terukur yang didefinisikan dari Rn ke R.Nilai δ(x1, x2, . . . , xn) dari δ pada dinamakan keputusan (decision).

Definisi 2.7

Untuk mengestimasi θ berdasarkan X1, X2, . . . , xn dan menggunakan kepu-tusan δ. Fungsi kerugian (loss function) adalah fungsi non negatif dari θ danδ(x1, x2, . . . , xn) yang menyatakan kerugian yang diakibatkan bila mengesti-masi θ dengan δ(x1, x2, . . . , xn).

Fungsi kerugian yang biasa digunakan adalah

L[θ; δ(x1, x2, . . . , xn)] = |θ − δ(x1, x2, . . . , xn)|

atau secara umum

L[θ; δ(x1, x2, . . . , xn)] = |θ − δ(x1, x2, . . . , xn)|k

untuk k > 0 atau L[θ; δ(x1, x2, . . . , xn)] fungsi konveks dari θ. Bentuk fungsikerugian yang biasa digunakan adalah

L[θ; δ(x1, x2, . . . , xn)] = (θ − δ(x1, x2, . . . , xn))2.

Definisi 2.8

Fungsi resiko (risk function) yang bersesuaian dengan L[θ; δ] dan dinotasikandengan R[θ; δ] didefinisikan sebagai

R[θ; δ] = E[L(θ; δ(x1, x2, . . . , xn))].

Hal itu berarti bahwa resiko dari fungsi keputusan yang diberikan adalahrata-rata atau harapan jika fungsi keputusan tersebut digunakan.

Dua keputusan δ dan δ∗ dikatakan ekuivalen bila

R[θ; δ] = E[L(θ; δ(x1, x2, . . . , xn))] = E[L(θ; δ∗(x1, x2, . . . , xn))] = R[θ; δ∗].

33

Dalam konteks estimasi titik, keputusan δ(x1, x2, . . . , xn) dinamakan estimasidari θ dan kebaikannya ditentukan berdasarkan resiko R[θ, δ].

Definisi 2.9

Estimator δ dari θ dikatakan admisible jika tidak ada estimator lain δ∗ dariδ sehingga untuk semua R[θ; δ∗] ≤ R[θ; δ] untuk semua θ ∈ Ω.

Definisi 2.10

Kelas dari estimator D dikatakan essentially complete jika untuk sebarangestimator δ∗ dari θ tidak dalam D sehingga R[θ; δ] ≤ R[θ; δ∗] untuk semuaθ ∈ Ω.

Hal itu berarti bahwa pencarian estimator dengan sifat-sifat optimalmembatasi perhatian kita pada kelas yang essentially complete dari estimator-estimator admisible. Apabila hal ini dikerjakan, maka muncul pertanyaan: yang manakah dari kelas ini yang dapat dipilih sebagai suatu estimatordari θ. Untuk itu dipilih estimator δ sehingga untuk sebarang estimatorlain δ∗ dalam kelas dari semua θ ∈ Ω. Sayangnya estimator yang demikiantidak ada kecuali untuk kasus-kasus yang sederhana. Akan tetapi, jika kitamembatasi hanya pada kelas estimator tak bias dengan variansi berhinggadan mengambil fungsi kerugian kuadrat maka R[θ; δ] menjadi variansi dariδ∗(x1, x2, . . . , xn). Kriteria pemilihan di atas bersesuaian dengan pencarianestimator UMVU.

Estimator yang meminimumkan hal-hal buruk yang terjadi pada kitayaitu meminimumkan resiko maksimum atas θ. Jika estimator yang mem-punyai sifat tersebut ada maka dinamakan estimator minimaks (minimaxestimator). Untuk mencari estimator minimaks ini masih dibatasi pada ke-las estimator yang essentially complete.

Definisi 2.11

Dalam kelas D yaitu semua estimator yang mempunyai sifatR[θ; δ] berhinggauntuk semua θ ∈ Ω, estimator δ dikatakan minimaks (minimax ) jika untuksebarang estimator δ∗ yang lain berlaku sifat

supR[θ; δ]; θ ∈ Ω ≤ supR[θ; δ∗]; θ ∈ Ω.

Misalkan Ω ⊆ R dan θ adalah variabel random dengan fungsi kepadatan

34

probabilitas yaitu fungsi kepadatan probabilitas prior

R(δ) = E[R(θ; δ)] =

∫

Ω

R[θ; δ]λ(θ)dθ atau∑

Ω

R[θ; δ]λ(θ).

Hal itu berarti bahwa R(δ) adalah resiko rata-rata dari seluruh ruang pa-rameter Ω bila digunakan estimator δ.

Misalkan D2 adalah kelas semua estimator sehingga R(δ) berhingga un-tuk suatu prior λ pada Ω yang diketahui.

Definisi 2.12

Dalam kelas D2, estimator δ dikatakan estimator Bayes (dalam teori kepu-tusan dan berkaitan dengan fungsi kepadatan probabilitas prior λ pada Ω)jika R(δ) ≤ R(δ∗) untuk semua estimator δ∗ yang lain.

Penentuan Estimator Bayes

Misalkan X1, X2, . . . , Xn variabel random saling bebas dengan fungsi kepa-datan probabilitas f(x, θ), θ ∈ Ω ⊆ R. Dalam hal ini digunakan fungsi keru-gian kuadrat. Misalkan θ variabel random dengan fungsi kepadatan prior λ.Akan ditentukan δ sehingga menjadi estimator Bayes dari θ dalam arti teorikeputusan.

Teorema 2.5

Estimasi Bayes dari θ yang bersesuaian dengan fungsi kepadatan probabilitasλ pada Ω sehingga

∫

Ω

θf(x1; θ)f(x2; θ)λ(θ)f(xn; θ) . . . dθ

dan ∫

Ω

f(x1; θ)f(x2; θ)λ(θ)f(xn; θ) . . . dθ

berhingga untuk setiap (x1x2, . . . , xn)t diberikan oleh

δ(x1x2, . . . , xn) =

∫Ωθf(x1; θ)f(x2; θ)λ(θ)f(xn; θ) . . . dθ∫

Ωf(x1; θ)f(x2; θ)λ(θ)f(xn; θ) . . . dθ

asalkan λ kontinu.Jika nilai pengamatan dari Xi adalah xi untuk i = 1, 2, . . . , n maka

akan ditentukan fungsi kepadatan probabilitas bersyarat dari θ bila diberikan

35

X1 = x1, X2 = x2, . . . , Xn = xn merupakan fungsi kepadatan posterior dariθ. Fungsi kepadatan posterior dari θ adalah

h(θ|x) =f(x1; θ)f(x2; θ) . . . f(xn; θ)

h(x)=

f(x; θ)λ(θ)

h(x)

=f(x1; θ)f(x2; θ) . . . f(xn; θ)λ(θ)

h(x)

dengan

h(x) =

∫

Ω

f(x; θ)λ(θ)dθ =

∫

Ω

f(x1; θ)f(x2; θ) . . . f(xn; θ)λ(θ)dθ

untuk λ kontinu.Estimator Bayes untuk θ yaitu δ(x1x2, . . . , xn) adalah harapan dari θ

berkaitan dengan fungsi kepadatan probabilitas posteriornya. estimator Bayesyang lain dari θ adalah median dari h(θ|x) atau modus dari h(θ|x) jika ada.

Contoh 2.12

Misalkan variabel random saling bebas dari distribusi Binom(1, θ) denganθ ∈ Ω = (0, 1). Fungsi kepadatan probabilitas priornya dipilih berdistribusiBeta(α, β) dengan parameter α dan β yaitu

λ(θ) =Γ(α + β)

Γ(α)Γ(β)θα−1(1− θ)β−1

untuk θ ∈ (0, 1). Akibatnya

I1 =

∫

Ω

f(x1; θ)f(x2; θ) . . . f(xn; θ)λdθ

=Γ(α + β)

Γ(α)Γ(β)

∫ 1

0

θPxi(1− θ)n−

Pxiθα−1(1− θ)β−1dθ

=Γ(α + β)

Γ(α)Γ(β)

∫ 1

0

θPxi+α−1(1− θ)β+n−P xi−1dθ

=Γ(α + β)

Γ(α)Γ(β)

Γ(α+∑n

i=1 xi)Γ(β + n−∑ni=1 xi)

Γ(α+ β + n)

36

dan

I1 =

∫

Ω

θf(x1; θ)f(x2; θ) . . . f(xn; θ)λdθ

=Γ(α + β)

Γ(α)Γ(β)

∫ 1

0

θθPxi(1− θ)n−

Pxiθα−1(1− θ)β−1dθ

=Γ(α + β)

Γ(α)Γ(β)

∫ 1

0

θPxi+α+1−1(1− θ)β+n−P xi−1dθ

=Γ(α + β)

Γ(α)Γ(β)

Γ(α+∑n

i=1 xi + 1)Γ(β + n−∑ni=1 xi)

Γ(α+ β + n + 1).

Diperoleh estimator Bayes adalah

δ(x1x2, . . . , xn) =

∫Ωθf(x1; θ)f(x2; θ)λ(θ)f(xn; θ) . . . dθ∫

Ωf(x1; θ)f(x2; θ)λ(θ)f(xn; θ) . . . dθ

=Γ(α + β + n)Γ(α +

∑ni=1 xi + 1)

Γ(α+ β + n)Γ(α +∑n

i=1 xi)

=Γ(α + β + n)

(α +

∑ni=1 xi

)Γ(α +

∑ni=1 xi)

(α + β + n)Γ(α + β + n)Γ(α +∑n

i=1 xi)

=α +

∑ni=1 xi

α+ β + n.

Bila α = β = 1 maka distribusi priornya merupakan distribusi seragam pada(0,1) sehingga diperoleh estimator Bayes

δ(x1x2, . . . , xn) =1 +

∑ni=1 xi

2 + n.

Penentuan estimator Minimaks

Misalkan X1, X2, . . . , Xn variabel random saling bebas dengan fungsi kepa-datan probabilitas f(x; θ), θ ∈ Ω ⊆ R dan λ fungsi kepadatan probabili-tas prior pada Ω. Fungsi kepadatan probabilitas posterior dari θ diberikanX = (X1, X2, . . . , Xn)t = (x1, x2, . . . , xn)t dinyatakan dengan

h(θ|x) =f(x1; θ)f(x2; θ) . . . f(xn; θ)

h(x).

Telah diperoleh bahwa estimator Bayes dari θ dalam arti teori keputusandiberikan dengan

δ(x1, x2, . . . , xn) =

∫

Ω

θh(θ|x)dθ

37

asalkan λ kontinu.

Teorema 2.6

Misalkan terdapat fungsi kepadatan probabilitas λ pada Ω sehingga untukestimasi Bayes δ yang didefinisikan dengan

δ(x1x2, . . . , xn) =

∫Ωθf(x1; θ)f(x2; θ)λ(θ)f(xn; θ) . . . dθ∫

Ωf(x1; θ)f(x2; θ)λ(θ)f(xn; θ) . . . dθ

dan resiko R[θ; δ] tidak tergantung pada θ. Estimator δ(x1x2, . . . , xn) meru-pakan estimator minimaks.

Contoh 2.12

Misalkan X1, . . . , Xn variabel random saling bebas dari distribusi Binom(1, θ)dengan θ ∈ Ω = (0, 1). Fungsi kepadatan probabilitas priornya dipilih berdis-tribusi Beta(α, β). Jika X =

∑ni=1 Xi maka X berdistribusi Binom(n, θ)

sehingga E[X] = nθ dan Var(X) = nθ(1− θ) serta

E[X2] = Var(X) + (E[X])2 = nθ(1− θ) + (nθ)2 = nθ(1− θ + nθ).

Bila

δ(x1x2, . . . , xn) =α +

∑ni=1 Xi

α + β + n=

α +X

α + β + n

digunakan untuk mengestimasi θ maka akan mempunyai resiko

R[θ, δ] = E[θ − X + α

n+ α+ β

]

= E[ (n+ α+ β)θ − (X + α)

n+ α+ β

]2

=(n+ α+ β)2θ2 − 2(n+ α+ β)θE[X + α] +E[X + α]2

(n+ α+ β)2

=(n2 + 2nα+ 2nβ + (α+ β)2)θ2 − 2(n+ α+ β)θ(nθ + α) +E[X2] + 2αE[X ] + α2

(n+ α+ β)2

=(α+ β)2θ2 − nθ2 − 2θα2 − 2θαβ + nθ − nθ2 + n2θ2 + α2

(n+ α+ β)2

=(α+ β)2θ2 − nθ2 − 2θα2 − 2θαβ + nθ + α2

(n+ α+ β)2

=[(α+ β)2 − n]θ2 − [2α2 + 2αβ − n]θ + α2

(n+ α+ β)2.

Bila α = β = 12

√n dan misalkan δ∗ hasil estimasi dari θ maka (α+β)2−n = 0

38

dan 2α2 + 2αβ − n = 0 sehingga

R(θ, δ∗) =α2

(n+ α + β)2=

(1/4)n

(n+√n)2

=1

4(1 +√n)2

.

Karena R(θ, δ∗) tidak tergantung pada θ maka

δ∗(x1x2, . . . , xn) =12

√n+

∑ni=1 xi√

n+ n=

2√nX + 1

2(√n + 1)

merupakan estimator minimaks.

Contoh 2.13

Misalkan X1, X2, . . . , Xn variabel random saling bebas dari distribusi N(µ, σ2)dengan σ2 diketahui dan µ = θ. Estimator x merupakan estimator UMVUuntuk θ tetapi juga merupakan estimator minimaks dan estimator yang ad-misible.

Contoh 2.14

Misalkan X1, X2, . . . , Xn variabel random saling bebas dari distribusi N(0, σ2)dengan σ2 tidak diketahui. Misalkan σ2 = θ. Estimator UMVU untuk θadalah

U =1

n

n∑

i=1

X2i

dan variansinya adalah 2θ2

nyaitu R(θ;U) = 2θ2

n.

Misalkan estimatornya adalah δ = αU . Resiko yang terjadi jika digu-nakan δ untuk mengestimasi θ adalah

R(θ; δ) = E[αU − θ]2= E[α(U − θ) + (α− 1)θ]2

= α2E[U − θ]2 + 2α(α− 1)θE(u− θ) + E[(α− 1)2θ2].

Karena U estimator tak bias untuk θ maka E[U ] = θ sehingga E(U − θ) = 0dan akibatnya E[U − θ]2 = E[U − E(U)]2 = Var(U) = 2θ2

n. Hal itu berarti

R(θ, δ) = 2α2 θ

n+ 0 + (α− 1)2θ2

=θ2

n(2α2 + nα2 − 2αn+ n)

=θ2

n[(n + 2)α2 − 2nα + n].

39

Nilai α = nn+2

akan meminimumkan resiko dan resikonya sama dengan 2θ2

n+2

yang lebih kecil dari 2θ2

nuntuk semua θ. Akibatnya U tidak admisible yaitu

resikonya bukan yang terkecil.

2.6 Sifat-sifat Optimal secara Asimptotik dari

Estimator

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f(x; θ), θ ∈ Ω ⊆ R.

Definisi 2.12

Barisan estimator dari θ, Vn = Vn(X1, X2, . . . , Xm) dikatakan konsis-ten dalam probabilitas (konsisten lemah) jika

Vn → θ

untuk n → ∞ dan untuk semua θ ∈ Ω. Demikian juga barisan estimatordari θ, dikatakan konsiten hampir pasti (konsisten kuat) jika

Vn → θ

untuk n→∞ dan untuk semua θ ∈ Ω.

Teorema 2.7

Jika E[Vn] dan Var(Vn) untuk n→∞ maka Vn → θ.

Definisi 2.13

Barisan estimator dari θ, yang sudah dinormalkan dikatakan normal secaraasimptotik ke N(0, σ2(θ)) jika

√n(Vn − θ)→d X

untuk n → ∞ dan untuk semua θ ∈ Ω dengan X berdistribusi normalN(0, σ2(θ)) (di bawah Pθ).

Sifat

Jika√n(Vn − θ)→ N(0, σ2(θ) untuk n→∞ maka Vn → θ untuk n→∞.

40

Definisi 2.14

Barisan estimator θ, dikatakan BAN (best asimptotically normal) jika

1. estimator tersebut normal secara asimptotik.

2. variansi σ2(θ) dari distribusi normal limitnya terkecil untuk semua θ ∈Ω dalam kelas semua barisan estimator yang memenuhi (1).

Barisan estimator BAN juga dinamakan efisien secara asimptotik.

Teorema 2.8

Misalkan X1, X2, . . . , Xn variabel random saling bebas dengan fungsi kepa-datan probabilitas f(x; θ) dengan θ ∈ Ω ⊆ R. Jika syarat-syarat 1 sampai 6pada pasal 2.2 dipenuhi, maka persamaan likelihood

∂

∂θlnL(θ|x1, x2, . . . , xn) = 0

mempunyai akar θ∗n = θ∗(X1, X2, . . . , Xn) untuk setiap n, sehingga barisanθ∗n dari estimator adalah BAN dan variansi dari distribusi normal limitnyasama dengan invers informasi Fishernya yaitu

I(θ) = Eθ

[∂ ln f(x; θ)

∂θ

]2

dengan X mempunyai distribusi di atas.

Contoh 2.15

Misalkan X1, . . . , Xn variabel random saling bebas berdistribusi Binom(1, θ).MLE dari θ adalah X = 1

n

∑ni=1 Xi dan dinotasikan dengan Xn. Dengan

menggunakan Hukum Bilangan Besar Kuat (Strong Law of Large Number -SLLN ) dan Hukum Bilangan Besar Lemah (Weak Law of Large Number -WLLN ) diperoleh √

n(Xn − θ)→ N(0, I−1(θ))

dengan I(θ) = 1θ(1−θ) . Akibatnya dengan menggunakan Teorema Limit Pusat

(Central Limit Theorema) diperoleh bahwa

√n(Xn − θ)√θ(1− θ)

41

berdistribusi N(0, 1) secara asimptotik.

Contoh 2.16

Misalkan X1, . . . , Xn variabel random saling bebas berdistribusi Poisson(θ).MLE dari θ adalah X = 1

n

∑ni=1 Xi dan dinotasikan dengan Xn. Den-

gan menggunakan Hukum Bilangan Besar Kuat dan Hukum Bilangan BesarLemah, X mempunyai sifat konsisten kuat dan konsisten lemah serta den-gan Teorema Limit Pusat,

√n(Xn−θ) berdistribusi normal secara asimptotik

dengan variansi sama dengan I−1(θ) = θ.

Contoh 2.17

Misalkan X1, . . . , Xn variabel random saling bebas dengan distribusi N(µ, σ2)dengan µ tidak diketahui sedangkan σ2 diketahui. MLE untuk µ adalahXn. Jika σ2 tidak diketahui dan µ diketahui maka MLE untuk σ2 adalah1n

∑ni=1(Xi−µ)2. Variansi dari

√n(Xn−µ) yang berdistribusi normal adalah

I−1(µ) = σ2. Limit variansi dari

√n[ 1

n

n∑

i=1

(Xi − µ)2 − σ2]

yang berdistribusi normal adalah I−1(σ2) = 2σ2.

Definisi 2.15

Misalkan X1, . . . , Xn variabel random saling bebas dengan fungsi kepadatanprobabilitas f(x; θ) dengan θ ∈ Ω ⊆ R. Dua barisan estimator

Un = U(X1, . . . , Xndan Un = U(X1, . . . , Xn dikatakan ekuivalen secara asimptotik jika un-tuk setiap θ ∈ Ω berlaku sifat

√n(Un − Vn)→ 0.

Contoh 2.18

Misalkan X1, . . . , Xn variabel random saling bebas berdistribusi Binom(1, θ).Estimator UMVU untuk θ adalah

Un = Xn = X =1

n

n∑

=1

Xi.

42

Estimator ini juga merupakan MLE. Akan tetapi estimator Bayes untuk θdengan fungsi kepadatan probabilitas prior Beta(α, β) adalah

α +∑n

i=1 Xi

n + α + β

dan estimator minimaksnya adalah

Wn =

√n

2+∑n

i=1 Xi

n+√n

.

Dengan menggunakan Teorema Limit Pusat

√n(Un − θ)→ Z

dengan Z ∼ N(0, θ(1− θ)). Dapat juga ditunjukkan bahwa

√n(Un − Vn)→ 0.

43

Brief History of Rao

C. R. Rao (b. 1920) Statistician. ASA MGP.Rao is the most distinguished member of the Indian statistical school

founded by P. C. Mahalanobis and centred on the Indian Statistical Insti-tute and the journal Sankhya. Raos first statistics teacher at the Universityof Calcutta was R. C. Bose. In 1941 Rao went to the ISI on a one-yeartraining programme, beginning an association that would last for over 30years. (Other ISI notables were S. N. Roy in the generation before Rao andD. Basu one of Raos students.) Mahalanobis was a friend of Fisher and muchof the early research at ISI was closely related to Fishers work. Rao was sentto Cambridge to work as PhD student with Fisher, although his main taskseems to have been to look after Fishers laboratory animals! In a remarkablepaper written before he went to Cambridge, Information and the accuracyattainable in the estimation of statistical parameters, Bull. Calcutta Math.Soc. (1945) 37, 81-91 Rao published the results now known as the Cramr-Raoinequality and the Rao-Blackwell theorem. A very influential contributionfrom his Cambridge period was the score test (or Lagrange multiplier test),which he proposed in 1948. Rao was influenced by Fisher but he was perhapsas influenced as much by others, including Neyman. Rao has been a pro-lific contributor to many branches of statistics as well as to the branches ofmathematics associated with statistics. He has written 14 books and around350 papers. Rao has been a very international statistician. He worked withthe Soviet mathematicians A. M. Kagan and Yu. V. Linnik (LP) and since1979 he has worked in the United States, first at the University of Pittsburghand then at Pennsylvania State University. He was elected to the UK RoyalSociety in 1967 and he received the US National Medal of Science in 2002.See ET Interview: C. R. Rao and ISI interview. For a general account ofStatistics in India, see B. L. S. Prakasha Raos About Statistics as a Disciplinein India.

44

Brief History of Neyman

Jerzy Neyman (1894-1981) Statistician. MacTutor References. NAS ASAMGP. SC, LP.

Neyman was educated in the tradition of Russian probability theoryand had a strong interest in pure mathematics. His probability teacher atKharkov University was S. N. Bernstein. Like many, Neyman went intostatistics to get a job, finding one at the National Institute for Agriculturein Warsaw. He appeared on the British statistical scene in 1925 when hewent on a fellowship to Pearsons laboratory. He began to collaborate withPearsons son Egon Pearson and they developed an approach to hypothesistesting, which became the standard classical approach. Their first work wason the likelihood ratio test (1928) but from 1933 they presented a generaltheory of testing, featuring such characteristic concepts as size, power, TypeI error, critical region and, of course, the Neyman-Pearson lemma. Moreof a solo project was estimation, in particular, the theory of confidence in-tervals. In Poland Neyman worked on agricultural experiments and he alsocontributed to sample survey theory (see stratified sampling and Neyman al-location). At first Neyman had good relations with Fisher but their relationsbegan to deteriorate in 1935; see Neyman in A Guide to R. A. Fisher. Fromthe late 1930s Neyman emphasised his commitment to the classical approachto statistical inference. Neyman had moved from Poland to Egon Pearsonsdepartment at UCL in 1934 but in 1938 he moved to the University of Cal-ifornia, Berkeley. There he built a very strong group which included suchnotable figures as David Blackwell, J. L. Hodges, Erich Lehmann, Lucien LeCam (memorial) and Henry Scheff.

45

Chapter 3

Pengujian Hipotesis

Dalam seluruh bab ini X1, X2, . . . , Xn adalah variabel random saling bebasdan berdistribusi identik yang didefinisikan pada ruang probabilitas (S, F, P ),θ ∈ Ω ⊆ Rr dan mempunyai fungsi kepadatan probabilitas f(x; θ).

3.1 Konsep Umum dari Pengujian Hipotesis

Neyman-Pearson

Berikut ini diberikan definisi tentang hipotesis yang mendasari bab ini.

Definisi 3.1

Suatu pernyataan berkenaan dengan parameter θ seperti θ ∈ ω ⊆ Ω di-namakan hipotesis (statistik) tentang θ dan biasanya dinotasikan dengan Hatau H0. Demikian juga pernyataan bahwa θ ∈ ωc dengan ωc = Ω−ω adalahhipotesis (statistik) tentang θ yang dinamakan alternatif dari H atau ditulisdengan A atau Ha. Hal itu berarti H(H0) : θ ∈ ωc.

Seringkali hipotesis berasal dari klaim bahwa produk baru, teknik barudan sebagainya lebih effisien dari yang telah ada. dalam konteks ini Hatau H0 adalah suatu pernyataan yang meniadakan klaim ini dan dinamakanhipotesis nul (null hypothesis).

Jika ω mengandung hanya satu titik yaitu ω = θ0 maka H dinamakanhipotesis sederhana (simple hypothesis) dan jika mengandung lebih dari satutitik maka dinamakan hipotesis komposit (composite hypothesis). Hal yangsama juga berlaku untuk alternatif. Bila hipotesis dibuat maka akan munculmasalah bagaimana menguji hipotesis berdasarkan pada nilai-nilai penga-matan.

46

Definisi 3.2

Uji random atau statistik (fungsi uji atau test function) untuk pengujianhipotesis H melawan alternatif A adalah fungsi terukur φ yang didefinisikanpada Rn ke [0, 1] dan mempunyai interpretasi berikut ini. Jika (x1, x2, . . . , xn)t

adalah nilai pengamatan dari (X1, X2, . . . , Xn)t dan

φ(x1, x2, . . . , xn) = y

maka hal ini dapat digambarkan sebagai suatu koin, yang mempunyai prob-abilitas untuk mendapatkan ’muka’ sebesar y, dilempar satu kali dan bilamemperoleh ’muka’ maka H akan ditolak dan bila memperoleh ’belakang’maka H akan diterima. Dalam kasus khusus, y dapat bernilai 0 atau 1 un-tuk semua (x1, x2, . . . , xn)t sehingga uji dinamakan uji yang tidak random(non randomized test). Hal itu berarti uji non random berbentuk

φ(x1, x2, . . . , xn) =

1 jika (x1, x2, . . . , xn)t ∈ B0 jika (x1, x2, . . . , xn)t ∈ Bc

Dalam hal ini, himpunan Borel B ⊆ Rn dinamakan daerah kritik (daerahpenolakan - rejection region) dan Bc dinamakan daerah penerimaan (accep-tance region). Dalam pengujian hipotesis, kita dapat menghilangkan salahsatu dari 2 jenis kesalahan berikut yaitu kesalahan yang terjadi karena Hditolak padahal H benar yaitu parameter yang tidak diketahui θ terletakdalam ω atau kesalahan yang terjadi karena menerima H padahal H salah.

Definisi 3.3

Misalkan β(θ) = Pθ[MenolakH] sehingga

1− β(θ) = Pθ[MenerimaH]

dengan θ ∈ Ω. Hal itu berarti bahwa β(θ) dengan θ ∈ ω adalah probabilitasuntuk menolak H di bawah anggapan H benar.

Untuk θ ∈ ω, β(θ) adalah probabilitas kesalahan tipe I. Besaran

1− β(θ)

dengan θ ∈ ωc adalah probabilitas menerima H yang dihitung di bawahanggapan H salah. Jadi untuk θ ∈ ωc, 1 − β(θ) menyatakan probabilitaskesalahan tipe II.

Jelas bahwa, α merupakan batas atas terkecil dari probabilitas kesalahantipe I. Diinginkan untuk membuat α sekecil mungkin (lebih disukai 0) dan

47

pada saat yang sama membuat kuasanya sebesar mungkin (lebih disukai1). Tentu saja, memaksimumkan kuasa ekuivalen dengan memaksimumkanprobabilitas kesalahan tipe II. sayangnya, dengan ukuran sampel yang tetap,hal ini tidak dapat dilakukan. hal yang dapat dilakukan adalah memilihukuran tertentu untuk tingkat keberartian yang diperlukan (biasanya diambil0,005; 0,001; 0,05 atau 0,1) dan mencari uji yang memaksimumkan kuasa.

Dengan anggapan bahwa kerugian potensial berkenaan dengan keputusanyang salah, pembuat keputusan merupaka seorang yang konservatif yangmenyokong hipotesis nol sebagai kebenaran dan jika tidak demikian makaharuslah ada fakta-fakta dari data bahwa hal tersebut salah. Dalam hal ini,dia percaya bahwa akibat kesalahan penolakan hipotesis nol akan jauh lebihburuk dari pada kesalahan yang diakibatkan oleh menerimanya.

Sebagai contoh, perusahaan obat menganggap bahwa pasar obat pro-duk baru untuk menyembuhkan penyakit dibandingkan obat yang telah adamempunyai tingkat penyembuhan sebesar 60%. Berdasarkan pada percobaanterbatas, divisi penelitian mengklaim bahwa obat baru lebih efektif. Jikaobat tersebut gagal lebih efektif atau mempunyai efek samping yang mem-bahayakan, maka akan kehilangan pelanggan yang disebabkan oleh kekunoanproduk akan lebih kecil pengaruhnya dibandingkan dengan kegagalan yangdiakibatkan oleh ketidak-efektifan obat yang baru. Untuk itu, jika keputusandibuat berdasarkan pada sejumlah percobaan klinis maka hipotesis nol se-harusnya adalah bahwa tingkat penyembuhan tidak lebih dari 60% melawanalternatif bahwa tingkat penyembuhannya lebih dari 60%.

Perlu dicatat bahwa dalam uji non random dengan daerah kritik B diper-oleh

β(θ) = Pθ[(x1, x2, . . . , xn)t ∈ B]

= 1.Pθ[(x1, x2, . . . , xn)t ∈ B] + 0.Pθ[(x1, x2, . . . , xn)t ∈ Bc]

= Eθ[φ(x1, x2, . . . , xn)].

Hal yang sama juga dapat dikerjakan untuk uji non random. Jadi

βφ(θ) = β(θ) = Eθ[φ(x1, x2, . . . , xn)], θ ∈ Ω.

Definisi 3.4

Uji tingkat α yang memaksimumkan kuasa uji diantara semua uji tingkatα dikatakan uji paling kuasa seragam (uniformly most powerful - UMP).Jadi φ adalah uji UMP tingkat α jika

48

1. sup[βφ(θ)|θ ∈ ω] = α.

2. βφ(θ) ≥ βφ∗(θ), θ ∈ ωc untuk sebarang uji yang memenuhi (1).

Jika ωc hanya terdiri dari satu titik maka UMP hanya dinamakan uji palingkuasa (most powerful - MP).

3.2 Pengujian Hipotesis Sederhana Melawan

Alternatif Sederhana

Dalam kasus ini, ruang parameter hanya terdiri dari 2 titik yang dapat dit-uliskan sebagai θ0 dan θ1 yaitu

Ω = θ0, θ1.

Misalkan fθ0 dan fθ1 fungsi kepadatan probabilitas yang diketahui. Misalkandituliskan f0 = f(x; θ0), dan X1, X2, . . . , Xn variabel random saling bebasdengan fungsi kepadatan probabilitas f(x; θ), θ ∈ Ω.

Akan dilakukan pengujian hipotesis H : θ ∈ ω = θ0 melawan alternatifA : θ ∈ ω = θ1 pada level α. Dengan kata lain akan diuji hipotesis bahwapopulasi berdistribusi f0 melawan f1.

Teorema 3.1

Misalkan X1, X2, . . . , Xn variabel random saling bebas dengan fungsi kepa-datan probabilitas f(x; θ), θ ∈ Ω = θ0, θ1. Akan diuji hipotesis H : θ ∈ θ0

melawan alternatif A : θ = θ1 pada level α(0 < α < 1). Misalkan

R(z; θ0, θ1) =f(x1; θ1)f(x2; θ1) . . . f(x2; θ1)

f(x1; θ0)f(x2; θ0) . . . f(x2; θ0)

dan φ uji yang didefinisikan sehingga

φ(x1, x2, . . . , xn) =

1 jika R(z; θ0, θ1) > cγ jika R(z; θ0, θ1) = c0 jika R(z; θ0, θ1) < c

(3.2.1)

dengan γ konstan (0 ≤ γ ≤ 1) dan c ditentukan sehingga

Eθ0 [φ(x1, x2, . . . , xn]α. (3.2.2)

Untuk menguji hipotesis H melawan A pada tingkat α digunakan uji seperti(3.2.1) dan (3.2.2) merupakan uji UMP.

49

Akibat 3.1

Jika φ didefinisikan seperti (3.2.1) dan (3.2.2) maka βφ(θ) ≥ α. Dalamcontoh-contoh berikut, Ω = θ0, θ1 dan akan diuji hipotesis sederhanamelawan alternatif sederhana dengan tingkat keberartian α.

Contoh 3.1

Misalkan X1, X2, . . . , Xn sampel random dari populasi yang berdistribusiBinom(1, θ). Berdasarkan sampel tersebut akan diuji hipotesis H : θ = θ0

melawan alternatif A : θ = θ1 pada level α dengan anggapan θ0 < θ1. Diper-oleh

R(z; θ0, θ1) =f(x1; θ1)f(x2; θ1) . . . f(x2; θ1)

f(x1; θ0)f(x2; θ0) . . . f(x2; θ0)

=θx1

1 (1− θ1)1−x1θx21 (1− θ1)1−x2 . . . θxn1 (1− θ1)1−xn

θx10 (1− θ0)1−x1θx2

0 (1− θ0)1−x2 . . . θxn0 (1− θ0)1−xn

=(θ1

θ0

)Pni=1 xi

(1− θ1

1− θ0

)n−Pni=1 xi

sehingga

lnR(z; θ0, θ1) =n∑

i=1

Xi ln(θ1

θ0

)+(n−

n∑

i=1

Xi

)ln(1− θ1

1− θ0

).

50

Karena θ0 < θ1 maka R(z; θ0, θ1) > c ekuivalen dengan

lnR(z; θ0, θ1) > ln cn∑

i=1

Xi ln(θ1

θ0

)+(n−

n∑

i=1

Xi

)ln(1− θ1

1− θ0

)> ln c

∑

i=1

Xi

[ln(θ1

θ0

)− ln

(1− θ1

1− θ0

)]> ln c− n ln

(1− θ1

1− θ0

)

n∑

i=1

Xi

[ln(θ1(1− θ0)

θ0(1− θ1)

)]> ln c− n ln

(1− θ1

1− θ0

)

n∑

i=1

Xi >ln c− n ln

(1−θ11−θ0

)

[ln(θ1(1−θ0)θ0(1−θ1)

)]

n∑

i=1

Xi > c0

dengan

c0 =ln c− n ln

(1−θ11−θ0

)

ln(θ1(1−θ0)θ0(1−θ1)

) .

Hal itu berarti uji MP dinyatakan sebagai

φ(z) =

1 jika∑n

i=1 Xi > c0

γ jika∑n

i=1 Xi = c0

0 jika∑n

i=1 Xi < c0

dengan c0 dan γ ditentukan sehingga

Eθ0 [φ(z)] = Pθ0

[ n∑

i=1

Xi > c0

]+ γPθ0

[ n∑

i=1

Xi = c0

]= α

dan∑n

i=1 Xi ∼ Binom(n, θi) untuk i = 0, 1.Sebagai gambaran, misalkan akan diuji hipotesis H : θ = 0, 5 melawan

A : θ = 0, 75 dengan α = 0, 05 dan n = 25. Dalam hal ini, c0 dan γditentukan sehingga

Pθ0(n∑

i=1

Xi > c0) + γPθ0(n∑

i=1

Xi = c0) = 0, 05

1− Pθ0(

n∑

i=1

Xi ≤ c0) + γPθ0(

n∑

i=1

Xi = c0) = 0, 05

51

1− 0, 05 = Pθ0(n∑

i=1

Xi ≤ c0) + γPθ0(n∑

i=1

Xi = c0)

0, 95 = Pθ0(

n∑

i=1

Xi ≤ c0) + γPθ0(

n∑

i=1

Xi = c0).

Karena γ ≥ 0 dan Pθ0(∑n

i=1 Xi = c0) ≥ 0 maka γPθ0(∑n

i=1 Xi = c0) ≥ 0sehingga haruslah

Pθ0(n∑

i=1

Xi ≤ c0) ≥ 0, 95.

Untuk itu dipilih c0 sehingga Pθ0(∑n

i=1 Xi ≤ c0) ≥ 0, 95 tetapi paling dekatdengan 0, 95. Berdasarkan Tabel kumulatif distribusi Binom(25, 0, 5) diper-oleh bahwa c0 = 17 sehingga Pθ0(

∑ni=1 Xi ≤ c0) dan berlaku

Pθ0(

n∑

i=1

Xi = c0) = Pθ0(

n∑

i=1

Xi ≤ 17)− Pθ0(

n∑

i=1

Xi ≤ 16)

= 0, 9784− 0, 9461 = 0, 0323.

Akibatnya

0, 95 = Pθ0(

n∑

i=1

Xi ≤ 17)− γPθ0(

n∑

i=1

Xi = 17)

= 0, 9784− γ0, 0323

diperoleh γ = 0, 8792. Oleh karena itu uji UMP menjadi

φ(z) =

1 jika∑n

i=1 Xi > 170, 8792 jika

∑ni=1 Xi = 17

0 jika∑n

i=1 Xi < 17.

Kuasa dari uji tersebut adalah

Pθ=0,75(n∑

i=1

Xi ≤ 17) + γPθ=0,75(n∑

i=1

Xi ≤ 17)

dengan∑n

i=1Xi ∼ Binom(25, 0, 75).

Contoh 3.2

Misalkan X1, . . . , Xn sampel random dari populasi yang berdistribusi Poisson(θ).

52

Berdasarkan sampel tersebut akan diuji hipotesis H : θ = θ0 melawan alter-natif A : θ = θ1 pada level α dengan anggapan θ0 < θ1. Diperoleh

R(z; θ0, θ1) =f(x1; θ1)f(x2; θ1) . . . f(x2; θ1)

f(x1; θ0)f(x2; θ0) . . . f(x2; θ0)

=

θx11 e−θ1x1!

θx21 e−θ1x2!

. . .θxn1 e−θ1xn!

θx10 e−θ0x1!

θx20 e−θ0x2!

. . .θxn0 e−θ0xn!

=(θ0

θ1

)Pni=1 xi

exp−n(θ1 − θ0)

sehingga

lnR(z; θ1, θ0) =n∑

i=1

ln(θ0

θ1

)− n(θ1 − θ0).

Karena R(z; θ1, θ0) > c maka lnR(z; θ1, θ0) > ln c sehingga

n∑

i=1

xi ln(θ0

θ1

)− n(θ1 − θ0) > ln c

n∑

i=1

xi ln(θ0

θ1

)− n(θ1 − θ0) > ln c+ n(θ1 − θ0)

n∑

i=1

xi ln(θ0

θ1

)> ln[c exp(n(θ1 − θ0))].

Karena θ0 < θ1 maka 1 < θ1θ0

sehingga ln θ1θ0> 0. Akibatnya

n∑

i=1

xi >ln[c exp(n(θ1 − θ0))]

ln(θ0θ1

)

atau∑n

i=1 xi > c0 dengan c0 = ln[c exp(n(θ1−θ0))]

ln

(θ0θ1

) . Uji UMP didefinisikan seba-

gai

φ(z) =

1 jika∑n

i=1 Xi > c0

γ jika∑n

i=1 Xi = c0

0 jika∑n

i=1 Xi < c0.

dengan c0 dan γ ditentukan sehingga

Eθ0(φ(z)) = Pθ0(

n∑

i=1

xi > c0) + γPθ0

( n∑

i=1

xi = c0

)= α

53

dan∑n

i=1 Xi ∼ Poisson(nθi) untuk i = 0, 1.Sebagai gambaran, misalkan akan diuji hipotesis H : θ = 0, 3 melawan

A : θ = 0, 4 dengan α = 0, 05 dan n = 20. Diperoleh

Eθ0(φ(z)) = Pθ0(

n∑

i=1

xi > c0) + γPθ0(

n∑

i=1

xi = c0) = 0, 05

sehingga

1 − Pθ0(

n∑

i=1

xi ≤ c0) + γPθ0(

n∑

i=1

xi = c0) = 0, 05

1− 0, 05 = Pθ0(n∑

i=1

xi ≤ c0)− γPθ0(n∑

i=1

xi = c0)

0, 95 = Pθ0(

n∑

i=1

xi ≤ c0)− γPθ0(

n∑

i=1

xi = c0).

Karena γ ≥ 0 dan Pθ0(∑n

i=1 xi = c0) ≥ 0 maka Pθ0(∑n

i=1 xi = c0) ≥ 0.Untuk itu dipilih c0 sehingga

Pθ0(

n∑

i=1

xi = c0) ≥ 0, 95

tetapi paling dekat dengan 0, 95. Berdasarkan Tabel Kumulatif distribusiPoisson dengan mean 20(0, 3) = 6 diperoleh c0 = 10 sehingga

P (

n∑

i=1

xi ≤ 10)

dan

P (

n∑

i=1

xi = 10) = P (

n∑

i=1

xi ≤ 10)− P (

n∑

i=1

xi ≤ 9)

= 0, 9574− 0, 9161 = 0, 0413.

Oleh karena itu γ ditentukan sehingga 0, 9574−0, 0413 atau γ = 0, 1791. UjiUMP menjadi

φ(z) =

1 jika∑n

i=1 Xi > 100, 1791 jika

∑ni=1 Xi = 10

0 jika∑n

i=1 Xi < 10.

54

Kuasa ujinya adalah

Pθ=0,4(n∑

i=1

xi > 10) + 0, 1791Pθ=0,4(n∑

i=1

xi = 10) = 0, 2013.

Contoh 3.3

Misalkan X1, . . . , Xn sampel random dari populasi yang berdistribusi N(θ, 1).Berdasarkan sampel tersebut akan diuji hipotesis H : θ = θ0 melawan alter-natif A : θ = θ1 pada level α dengan anggapan θ0 < θ1. Diperoleh

R(z; θ0, θ1) =f(x1; θ1)f(x2; θ1) . . . f(x2; θ1)

f(x1; θ0)f(x2; θ0) . . . f(x2; θ0)

=

1√2π

exp(

(x2−θ1)2

2

)1√2π

exp(

(x2−θ1)2

2

). . . 1√

2πexp

((xn−θ1)2

2

)

1√2π

exp(

(x2−θ0)2

2

)1√2π

exp(

(x2−θ0)2

2

). . . 1√

2πexp

((xn−θ0)2

2

)

=exp

(− 1

2

∑ni=1(xi − θ1)2

)

exp(− 1

2

∑ni=1(xi − θ0)2

)

= exp(1

2

n∑

i=1

[(xi − θ0)2 − (xi − θ1)2])

sehingga lnR(z; θ1, θ0) = 12

∑ni=1[(xi − θ0)2 − (xi − θ1)2] atau

ln(R(z; θ1, θ0) =1

2

n∑

i=1

[x2i − 2θ0xi + θ2

0 − (x2i − 2θ1xi + θ2

1)]

=1

2

n∑

i=1

[−2(θ0 − θ1)xi + θ20 − θ2

1]

= (θ1 − θ0)

n∑

i=1

xi +1

2n(θ2

0 − θ21).

Hal itu berarti R(z; θ1, θ0) > c akan ekuivalen dengan lnR(z; θ1, θ0) > ln c

55

yaitu

(θ1 − θ0)

n∑

i=1

xi +1

2n(θ2

0 − θ21) > ln c

(θ1 − θ0)n∑

i=1

xi > ln c+1

2n(θ2

0 − θ21)

(θ1 − θ0)

n∑

i=1

xi > ln c+1

2n(θ1 − θ0)(θ1 + θ0)

n∑

i=1

xi >ln c

θ1 − θ0+

1

2n(θ1 − θ0)(θ1 + θ0)

x >1

n

( ln c

θ1 − θ0+n(θ1 + θ0)

2

).

Berarti X > c0 dengan c0 = 1n

(ln cθ1−θ0 + n(θ1+θ0)

2

). Uji UMP adalah

φ(z) =

1 jika X > c0

0 yang lain

dengan c0 ditentukan sehingga

Eθ0 [φ(z)] = Pθ0(X > c0) = α

dan X ∼ N(θi,1n) untuk i = 0, 1.

Sebagai gambaran, akan diuji hipotesis θ = −1 melawan A : θ = 1 denganα = 0, 001 dan n = 9. Diperoleh

Pθ=−1(X > c0) = Pθ=−1[3(X − (−1)) > 3(c0 − (−1))]

= Pθ=−1[3(X − (−1)) > 3(c0 − (−1))]

= Pθ=−1[3(X + 1) > 3(c0 + 1)]

= Pθ=−1[N(0, 1) > 3(c0 + 1)]

sehingga c0 = 0, 03. Oleh karena itu uji UMP adalah

φ(z) =

1 jika X > 0, 030 yang lain

Kuasa ujinya adalah

Pθ=1(X > 0, 03) = Pθ=1(3(X − 1) > 3(0, 03− 1))

= Pθ=1(N(0, 1) > −2, 91) = 0, 9932.

56

Contoh 3.4

Misalkan X1, . . . , Xn sampel random dari populasi yang berdistribusi N(0, θ).Berdasarkan sampel tersebut akan diuji hipotesis H : θ = θ0 melawan alter-natif A : θ = θ1 pada level α dengan anggapan θ0 < θ1. Diperoleh

R(z; θ0, θ1) =f(x1; θ1)f(x2; θ1) . . . f(x2; θ1)

f(x1; θ0)f(x2; θ0) . . . f(x2; θ0)

=

1√2πθ1

exp[− x21

2θ1] 1√

2πθ1exp[− x2

2

2θ1] . . . 1√

2πθ1exp[− x2

n

2θ1]

1√2πθ0

exp[− x21

2θ0] 1√

2πθ0exp[− x2

2

2θ0] . . . 1√

2πθ0exp[− x2

n

2θ0]

=(θ0

θ1

)n/2 exp(− 1

2θ1

∑ni=1 x

2i

)

exp(− 1

2θ0

∑ni=1 x

2i

)

=(θ0

θ1

)n/2exp

[−( 1

2θ1− 1

2θ0

) n∑

i=1

x2i

]

=(θ0

θ1

)n/2exp

[(θ0 − θ1

2θ1θ0

) n∑

i=1

x2i

].

Akibatnya

lnR(z; θ1, θ0) =θ1 − θ0

2θ0θ1

n∑

i=1

x2i +

1

2ln(θ0

θ1

)

sehingga R(z; θ1, θ0) > c dan mengakibatkan lnR(z; θ1, θ0) > ln c yaitu

θ1 − θ0

2θ0θ1

n∑

i=1

x2i +

1

2ln(θ0

θ1

)> ln c

θ1 − θ0

2θ0θ1

n∑

i=1

x2i > ln c− 1

2ln(θ0

θ1

)

θ1 − θ0

2θ0θ1

n∑

i=1

x2i > ln c+

1

2ln(θ1

θ0

)

θ1 − θ0

2θ0θ1

n∑

i=1

x2i > ln

(c

√θ1

θ0

)

n∑

i=1

x2i >

2θ0θ1

θ1 − θ0

ln(c

√θ1

θ0

).

57

Berarti∑n

i=1 x2i > c0 dengan c0 = 2θ0θ1

θ1−θ0 ln(c√

θ1θ0

). Uji UMP menjadi

φ(z) =

1 jika

∑ni=1 x

2i > c0

0 yang lain

dengan c0 ditentukan sehingga

Eθ0 [φ(z)] = Pθ0

( n∑

i=1

x2i > c0

)= α

dan 1θ

∑ni=1 X

2i ∼ χ2

n untuk i = 0, 1.Sebagai gambaran, akan diuji hipotesis H : θ = 4 melawan A : θ = 16

dengan α = 0, 01 dan n = 20. Akan ditentukan c0 sehingga

Pθ0

( n∑

i=1

x2i > c0

)= 0, 01

yaitu

Pθ0

( n∑

i=1

x2i > c0

)= Pθ0

(1

4

n∑

i=1

x2i >

1

4c0

)= 0, 01.

Berdasarkan Tabel distribusi chi-kuadrat dengan derajat bebas 20 diperolehc0/4 = 37, 566 atau c0 = 150, 264. Akibatnya, uji UMP menjadi

φ(z) =

1 jika

∑ni=1 x

2i > 150, 264

0 yang lain

dan kuasa ujinya adalah

Pθ=16

[ n∑

i=1

x2i > 150, 264

]= Pθ=16

[ 1

16

n∑

i=1

x2i >

150, 264

16

]

= 0, 977.

3.3 Uji UMP untuk Pengujian Hipotesis Kom-

posit

Sebagian besar masalah praktis, paling sedikit salah satu merupakan hipote-sis komposit. Misalkan variabel random saling bebas dengan fungsi kepa-datan probabilitas f(x; θ), θ ∈ Ω ⊆ R,

g(z; θ) = f(x1; θ)f(x2; θ) . . . f(xn; θ)

58

dengan z = (x1, x2, . . . , xn)t dan Z = (X1, X2, . . . , Xn)t.

Definisi 3.5

Keluarga g(x; θ)|θ ∈ Ω dikatakan mempunyai sifat MLR (monoton like-lihood ratio) dalam V jika himpunan z sehingga g(z; θ) > 0 tidak tergantungpada θ dan terdapat fungsi terukur V yang didefinisikan dari Rn ke R, se-hingga bila θ, θ′ ∈ Ω dengan θ < θ′ maka berlaku sifat :

1. g(x; θ) dan g(x; θ′) berbeda.

2. g(x; θ′)/g(x; θ′) fungsi naik dari V (z).

Keluarga terpenting dari fungsi kepadatan probabilitas yang mempunyai sifatMLR adalah keluarga eksponensial 1 parameter.

Proposisi 3.1

Misalkan keluarga eksponensial

f(x; θ) = C(θ) exp[Q(θ)T (x)]h(x)

dengan C(θ) > 0 untuk semua θ ∈ Ω ⊆ R dan himpunan positif dari htidak tergantung pada θ. Jika Q fungsi naik maka keluarga g(x; θ)|θ ∈ Ωmempunyai sifat MLR dalam V dengan V (z) =

∑ni=1 T (Xi) dan g(x; θ)

dinyatakan dengan

g(z; θ) = f(x1; θ)f(x2; θ) . . . f(xn; θ).

Jika Q fungsi turun maka keluarga g(x; θ)|θ ∈ Ω mempunyai sifat MLRdalam V ′ = −V .

Teorema 3.2

Misalkan X1, X2, . . . , Xn variabel random saling bebas dengan fungsi kepa-datan probabilitas f(x; θ), θ ∈ Ω mempunyai sifat MLR dalam V dengang(x; θ) didefinisikan sebagai

g(z; θ) = f(x1; θ)f(x2; θ) . . . f(xn; θ).

Misalkan θ0 ∈ Ω dan ω = θ ∈ Ω|θ ≤ θ0. Untuk pengujian hipotesiskomposit H : θ ∈ ω melawan alternatif pada tingkat keberartian α maka

59

terdapat uji yang merupakan uji UMP dalam kelas semua uji yang mempun-yai tingkat keberartian lebih kecil atau sama dengan α. Dalam kasus LR(likelihood ratio) dalam V (z), uji yang digunakan adalah

φ(z) =

1 jika V (z) > cγ jika V (z) = c0 jika V (z) < c

dengan c dan γ ditentukan sehingga

Eθ0[φ(z)] = Pθ0(V (z) > c) + γPθ0(V (z) = c) = α.

Jika LR turun dalam V (z) maka ujinya digunakan

φ(z) =

1 jika V (z) < cγ jika V (z) = c0 jika V (z) > c

dengan c dan γ ditentukan sehingga

Eθ0[φ(z)] = Pθ0(V (z) < c) + γPθ0(V (z) = c) = α.

Akibat 3.2

Misalkan X1, X2, . . . , Xn variabel random saling bebas dengan fungsi kepa-datan probabilitas dapat dinyatakan sebagai

f(x; θ) = C(θ) exp[Q(θ)T (x)]h(x)

dengan Q fungsi naik/turun tajam. Untuk pengujian hipotesis

H : θ ∈ ω = θ ∈ Ω|θ ≤ θ0

melawan alternatif A : θ ∈ ωc. Dengan tingkat keberartian α maka uji UMPdalam kelas semua uji tingkat lebih kecil atau sama dengan α. Jika Q naikmaka digunakan uji

φ(z) =

1 jika V (z) > cγ jika V (z) = c0 jika V (z) < c

dengan c dan γ ditentukan sehingga

Eθ0[φ(z)] = Pθ0(V (z) > c) + γPθ0(V (z) = c) = α.

60

Sebaliknya, jika Q turun maka digunakan uji

φ(z) =

1 jika V (z) < cγ jika V (z) = c0 jika V (z) > c

dengan c dan γ ditentukan sehingga

Eθ0[φ(z)] = Pθ0(V (z) < c) + γPθ0(V (z) = c) = α.

Demikian juga, untuk menguji hipotesis H : θ ∈ ω = θ ∈ Ω|θ ≥ θ0melawan alternatif A : θ ∈ ωc pada tingkat keberartian α, terdapat uji yangbersifat UMP di dalam kelas semua uji dari tingkat ≤ α. Jika Q turun makadigunakan uji

φ(z) =

1 jika V (z) > cγ jika V (z) = c0 jika V (z) < c

dengan c dan γ ditentukan sehingga

Eθ0[φ(z)] = Pθ0(V (z) > c) + γPθ0(V (z) = c) = α.

Sebaliknya, jika Q naik digunakan uji

φ(z) =

1 jika V (z) < cγ jika V (z) = c0 jika V (z) > c

dengan c dan γ ditentukan sehingga

Eθ0[φ(z)] = Pθ0(V (z) < c) + γPθ0(V (z) = c) = α.

Masalah penting lain adalah menguji

H : θ ∈ ω = θ ∈ Ω|θ ≤ θ1 atau θ ≥ θ2

melawan A : θ ∈ ωc dengan θ1, θ2 ∈ Ω dan θ1 < θ2. Pendeknya, θ dapatmenyatakan dosis obat dan θ1, θ2 adalah batas θ yang diperbolehkan. Jikaθ ≤ θ1 dosis yang diberikan tidak membahayakan namun tidak bermanfaatsedangkan jika θ ≥ θ2 dosis yang membahayakan. Jadi hipotesis tersebutmenyatakan bahwa obat dapat membahayakan atau tidak bermanfaat dandiinginkan untuk menguji hipotesis tersebut. Jika distribusi anggapan den-gan ukuran yang sesuai dianggap berbentuk eksponensial maka uji UMP ada.

61

Teorema 3.3

Misalkan X1, X2, . . . , Xn variabel random saling bebas dengan fungsi kepa-datan probabilitas f(x; θ) dapat dinyatakan sebagai

f(x; θ) = C(θ) exp[Q(θ)T (x)]h(x)

dengan Q fungsi monoton tajam dan θ ∈ Ω ⊆ R. Misalkan

ω = θ ∈ Ω|θ ≤ θ1 atau θ ≥ θ2

dengan θ1, θ2 ∈ Ω dan θ1 < θ2. Uji hipotesis H : θ ∈ ω melawan alternatifA : θ ∈ ωc adalah uji UMP φ. Jika Q fungsi naik maka φ dinyatakan dengan

φ(z) =

1 jika c1 < V (z) < c2

γi jika V (z) = ci(i = 1, 2)danc1 < c2

0 yang lain

dengan c1, c2 dan γ1, γ2 ditentukan sehingga

Eθ1 [φ(z)] = Pθ1(c1 < V (z) < c2) + γ1Pθ1(V (z) = c1) + γ2Pθ1(V (z) = c2) = α

dan

Eθ2 [φ(z)] = Pθ2(c1 < V (z) < c2) + γ1Pθ2(V (z) = c1) + γ2Pθ2(V (z) = c2) = α

dengan V (z) =∑n

i=1 T (Xi).Sebaliknya, jika Q fungsi naik maka φ dinyatakan dengan

φ(z) =

1 jika V (z) < c1atauV (z) > c2

γi jika V (z) = ci(i = 1, 2)danc1 < c2

0 yang lain

dengan c1, c2 dan γ1, γ2 ditentukan sehingga

Eθ1 [φ(z)] = Pθ1(V (z) < c1atauV (z) > c2) + γ1Pθ1(V (z) = c1) + γ2Pθ1(V (z) = c2) = α

dan

Eθ2 [φ(z)] = Pθ2(V (z) < c1atauV (z) > c2) + γ1Pθ2(V (z) = c1) + γ2Pθ2(V (z) = c2) = α

dengan V (z) =∑n

i=1 T (Xi). Dapat ditunjukkan bahwa fungsi β(θ) = E[φ(z)]dengan θ ∈ Ω merupakan fungsi naik untuk θ ≤ θ0 dan turun untuk θ ≥ θ0

dengan θ1 < θ0 < θ2

62

Contoh 3.5

Misalkan X1, . . . , Xn sampel random saling bebas dari distribusi Binom(1, θ)dengan θ ∈ Ω = (0, 1). Fungsi probabilitas dari X yang berdistribusiBinom(n, θ) adalah

f(x; θ) = θn(1− θ)n−xIA(x)

dengan A = 0, 1, 2, . . . , n. Fungsi probabilitas tersebut dapat dinyatakansebagai

f(x; θ) = (1− θ)n−x exp[

ln( θ

1− θ)]IA(x)

sehingga distribusi Binomial merupakan anggota keluarga eksponensial den-gan

c(θ) = (1− θ)n, Q(θ) = ln( θ

1− θ), T (x) = x, h(x) = IA(x).

Karena Q(θ) = ln(

θ1−θ

)merupakan fungsi naik dan V (z) =

∑ni=1 Xi maka

uji UMP untuk hipotesis H : θ ≤ θ0 melawan A : θ > θ0 adalah

φ(z) =

1 jika∑n

i=1 Xi > cγ jika

∑ni=1 Xi = c

0 jika∑n

i=1 Xi < c

dengan c dan γ ditentukan sehingga

Eθ0 [φ(z)] = Pθ0(n∑

i=1

Xi > c) + γPθ0(n∑

i=1

Xi = c) = α

dan∑n

i=1 Xi ∼ Binom(n, θ).Sebagai gambaran, akan diuji hipotesis H : θ ⊂ 0.5 melawan A : θ > 0.5

dengan α = 0, 01 dan n = 25. Dalam hal ini c dan γ ditentukan sehingga

Pθ=0,5

( n∑

i=1

Xi > c)

+ γPθ=0,5

( n∑

i=1

Xi = c)

= 0, 05.

Berdasarkan Tabel distribusi Binomial diperoleh c = 18 dan γ = 27/143.Kuasa uji pada θ = 0, 75 adalah

βφ(0, 75) = Pθ=0,75

( n∑

i=1

Xi > c)

+ γPθ=0,75

( n∑

i=1

Xi = c)

= 0, 5923.

63

Untuk pengujian hipotesis H : θ ≤ θ1 atau θ ≥ θ2 melawan alternatif A :θ1 < θ < θ2 digunakan uji UMP φ yang dinyatakan dengan

φ(z) =

1 jika c1 <∑n

i=1 Xi < c2

γi jika∑n

i=1 Xi = ci(i = 1, 2) dan c1 < c2

0 yang lain

dengan c1, c2 dan γ1, γ2 ditentukan sehingga

Eθ1 [φ(z)] = Pθ1(c1 < V (z) < c2) + γ1Pθ1(V (z) = c1) + γ2Pθ1(V (z) = c2) = α

dan

Eθ2 [φ(z)] = Pθ2(c1 < V (z) < c2) + γ1Pθ2(V (z) = c1) + γ2Pθ2(V (z) = c2) = α

dengan V (z) =∑n

i=1 T (Xi).Sebagai gambaran, akan diuji hipotesis H : 0, 25 ≤ θ atau θ ≥ 0, 75

melawan A : 0, 25 < θ < 0, 75 dengan α = 0, 05 dan n = 25. Untuk c1 = 10dan c2 = 15 diperoleh

416γ1 + 2γ2 = 205, 2γ1 + 416γ2 = 205

atau γ1 = γ2 = 42435/86426 = 0, 4901. Uji UMP menjadi

φ(z) =

1 jika 10 <∑n

i=1 Xi < 15γi jika

∑ni=1 Xi = 10 atau

∑ni=1 Xi = 15

0 yang lain

Kuasa dari uji pada θ = 0, 5 adalah

βφ(0, 5) = Pθ=0,5

(10 <

n∑

i=1

xi < 15)

+ 0, 4901Pθ=0,5

( n∑

i=1

xi = 10)

+ 0, 4901Pθ=0,5

( n∑

i=1

xi = 15)

= 0, 6711.

Contoh 3.6

Misalkan X1, . . . , Xn sampel random saling bebas dari distribusi Poisson(θ)dengan θ ∈ Ω = (0,∞). Fungsi probabilitas dari X yang berdistribusiPoisson(θ) adalah

f(x; θ) =θxe−θ

x!

64

untuk x = 0, 1, 2, . . . . Fungsi probabilititas tersebut dapat dinyatakan seba-gai

f(x; θ) =ex ln θe−θ

x!

= e−θex ln θ 1

x!

sehingga Q(θ) = ln θ dan V (z) =∑n

i=1 Xi. Karena Q(θ) merupakan fungsinaik maka uji UMP untuk hipotesis H ≤ θ0 melawan A : θ > θ0 adalah

φ(z) =

1 jika∑n

i=1 Xi > cγ jika

∑ni=1 Xi = c

0 jika∑n

i=1 Xi < c

dengan c dan γ ditentukan sehingga

Eθ0 [φ(z)] = Pθ0(

n∑

i=1

Xi > c) + γPθ0(

n∑

i=1

Xi = c) = α

dan∑n

i=1 Xi ∼ Poisson(nθ).Sebagai gambaran, akan diuji hipotesis H : θ ≤ 0, 5 melawan A : θ > 0, 5

dengan n = 10 dan α = 0, 05. Berdasarkan Tabel distribusi Poisson denganmean nθ0 = 10(0, 5) = 5 diperoleh c = 9 dan γ = 182/363 = 0, 5014. Kuasadari uji pada saat θ = 1 adalah

β(1) = Pθ=1

( n∑

i=1

Xi > 9)

+ 0, 5014Pθ=1

( n∑

i=1

Xi > 9)

= 1− Pθ=1

( n∑

i=1

Xi ≤ 9)

+ 0, 5014[Pθ=1

( n∑

i=1

Xi ≤ 9)− Pθ=1

( n∑

i=1

Xi ≤ 8)]

= 0, 6048.

Contoh 3.7

Misalkan X1, . . . , Xn sampel random saling bebas dari distribusi N(θ, σ2)dengan θ ∈ Ω = R. Fungsi probabilitas dari X yang berdistribusi N(θ, σ2)adalah

f(x; θ) =1√

2πσ2exp

[(x− θ)2

2σ2

]

65

untuk x ∈ R. Fungsi probabilitas tersebut dapat dinyatakan sebagai

f(x; θ) =1√

2πσ2exp

[x2 − 2θx + θ2)2

2σ2

]

atau

f(x; θ) = exp(− θ2

2σ2

)exp

( θσ2x) 1√

2πσ2exp

(− x2

2σ2

)

sehingga Q(θ) = θ/σ2 dan V (z) =∑n

i=1 Xi. Karena Q(θ) = θ/σ2 fungsi naikmaka untuk menguji hipotesis H : θ ≤ θ0 melawan A : θ > θ0 adalah

φ(z) =

1 jika X > c0 jika X < c

dengan c ditentukan sehingga

Eθ0 [φ(z)] = Pθ0(X > c) = α

dan X ∼ N(θ, σ2/n). Kuasa ujinya adalah

βφ(θ) = P (X > c) = 1− Pθ(X ≤ c)

= 1− P[X − θσ/√n− c− θσ/√n

]

= 1− Φ[√n(c− θ)

σ

].

Sebagai gambaran, berdasarkan sampel X1, X2, . . . , X25 dari distribusiN(θ, 4) akan diuji hipotesis H : θ ≤ 20 melawan A : θ > 20 adalah

φ(z) =

1 jika X > c0 jika X < c

dengan c ditentukan sehingga

Eθ0 [φ(z)] = P (X > c) = 1− Pθ=20(X ≤ c)

= 1− P[X − 20

σ/√n− c− 20

σ/√n

]

= 1− Φ(c− 20

2/5

)= 0, 05

dan X ∼ N(20, 4/25) di bawah anggapan H benar. Kuasa uji untuk θ = 21adalah

βφ(21) = 1− Φ(20, 66− 21

2/5

)= 1− Φ(−0, 85) = 1− 0, 1977 = 0, 8023.

66

Untuk menguji hipotesis H : θ ≤ θ1 atau θ ≤ θ2 melawan A : θ1 < θ < θ2

digunakan uji UMP φ yang dinyatakan dengan

φ(z) =

1 jika c1 < X < c2

0 yang lain

dengan c1 dan c2 ditentukan sehingga

Eθ1 [φ(z)] = Pθ1(c1 < X < c2) = α

danEθ2 [φ(z)] = Pθ2(c1 < X < c2) = α.

Kuasa ujinya adalah

βφ(θ) = Φ(√n(c2 − θ)

σ

)− Φ

(√n(c1 − θ)σ

).

Sebagai gambaran, berdasarkan pada sampel X1, X2, . . . , X25 ∼ N(θ, 4)akan diuji hipotesis H : θ ≤ −1 atau θ ≥ 1 melawan A : −1 < θ < 1 denganα = 0, 05. Uji UMP adalah

φ(z) =

1 jika c1 < X < c2

0 yang lain

dengan c1 dan c2 ditentukan sehingga

Eθ1 [φ(z)] = Pθ1(c1 < X < c2) = 0, 05

danEθ2[φ(z)] = Pθ2(c1 < X < c2) = 0, 05.

Berdasarkan Tabel distribusi normal baku diperoleh c1 = −0, 344 dan c2 =0, 344. Kuasa uji pada θ = 0 adalah

βφ(0) = Φ(√25(0, 344− 0)√

4

)− Φ

(√25(−0, 344− 0)√4

)= 0, 61.

Contoh 3.8

Misalkan X1, . . . , Xn sampel random saling bebas dari distribusi N(µ, θ) den-gan θ ∈ Ω = (0,∞). Fungsi kepadatan probabilitas dari X yang berdistribusiN(µ, θ) adalah

f(x; θ) =1√2πθ

exp[− (x− µ)2

2θ

]

67

untuk x ∈ R. Fungsi probabilitas tersebut dapat dinyatakan sebagai

f(x; θ) =1√2πθ

exp[− 1

2θ(x− µ)2

]

sehingga Q(θ) = 1/(2θ) dan V (z) =∑n

i=1(xi − µ)2. karena Q(θ) = −1/(2θ)fungsi naik maka untuk menguji hipotesis H : θ ≤ θ0 melawan A : θ > θ0

adalah

φ(z) =

1 jika

∑ni=1(Xi − µ)2 > c

0 yang lain

dengan c ditentukan sehingga

Eθ0[φ(z)] = Pθ0

( n∑

i=1

(Xi − µ)2)

= α

dan 1θ

∑ni=1(Xi − µ)2 ∼ χ2

n. Kuasa uji dari uji ini adalah

βφ(θ) = P( n∑

i=1

(Xi − µ)2 > c)

= 1− P( n∑

i=1

(Xi − µ)2 ≤ c)

= 1− P(1

θ

n∑

i=1

(Xi − µ)2 <c

θ

)

= 1− P(χ2n <

c

θ

).

Sebagai gambaran, berdasarkan sampel X1, X2, . . . , X25 dari distribusiN(µ, θ) dengan µ diketahui, dan akan diuji hipotesis H : θ ≤ 4 melawanA : θ > 4 adalah

φ(z) =

1 jika

∑ni=1(Xi − µ)2 > c

0 jika∑n

i=1(Xi − µ)2 ≤ c

dengan c ditentukan sehingga

Eθ=4[φ(z)] = P( n∑

i=1

(Xi − µ)2 > c)

= P(∑n

i=1(Xi − µ)2

4>c

4

)= 0, 05

dan

(1/4)

n∑

i=1

(Xi − µ)2 ∼ χ225

di bawah anggapan H benar. Berdasarkan Tabel distribusi chi-kuadrat den-gan derajat bebas 25 diperoleh bahwa c/4 = 37, 652 atau c = 150, 608. Kuasaujinya untuk θ = 12 adalah

β(θ) = 1− P(χ2

25 <150, 608

12

)= 1− P (χ2

25 < 30, 1216) = 1− 0, 02 = 0, 98.

68

Pada sisi lain, untuk menguji hipotesis H : θ ≤ θ1 atau θ ≥ θ2 melawanA : θ1 < θ < θ2 digunakan uji UMP φ yang dinyatakan dengan

φ(z) =

1 jika c1 <

∑ni=1(Xi − µ)2 < c2

0 yang lain

dengan c1 dan c2 ditentukan sehingga

Eθ1 [φ(z)] = Pθ1

(c1 <

n∑

i=1

(Xi − µ)2 < c2

)= α

dan

Eθ2 [φ(z)] = Pθ2

(c1 <

n∑

i=1

(Xi − µ)2 < c2

)= α.

Kuasa ujinya adalah

βφ(θ) = P(χ2n <

c2

θ

)− P

(χ2n <

c1

θ

).

Sebagai gambaran, berdasarkan sampel X1, X2, . . . , X25 ∼ N(µ, θ) akandiuji hipotesis H : θ ≤ 1 atau θ ≥ 3 melawan A : 1 < θ < 3 dengan α = 0, 01.Uji UMP adalah

φ(z) =

1 jika c1 <

∑ni=1(Xi − µ)2 < c2

0 yang lain

dengan c1 dan c2 ditentukan sehingga

P(χ2

25 <c2

1

)− P

(χ2

25 <c1

1

)= 0, 01

danP(χ2

25 <c2

3

)− P

(χ2

25 <c1

3

)= 0, 01.

Dengan metode coba-coba (trial and error) dapat ditentukan c1 dan c2 daritabel distribusi chi-kuadrat dengan derajat bebas 25.

69

3.4 Uji UMPU untuk Pengujian Hipotesis Kom-

posit

Dalam Teorema 3.3, untuk pengujian H : ω = θ ∈ Ω atau θ ≥ θ2melawan A : θ ∈ ωc uji UMP ada. Tidak mengherankan bahwa denganmerubah H dan A mengakibatkan uji UMP tidak ada.

Di bawah anggapan Teorema 3.2, untuk menguji hipotesis H : θ = θ0

melawan A : θ > θ0 dan H : θ = θ0 melawan A : θ 6= θ0 uji UMP tidakada. Karena uji yang diberikan pada (3.2.1) dan (3.2.2) merupakan uji UMPuntuk θ > θ0 tetapi lebih buruk dari uji trivial φ(z) = α untuk θ < θ0.Dengan cara yang sama uji yang diberikan oleh (3.2.1) dan (3.2.2) dengantanda ketidak-samaan dibalik merupakan uji UMP untuk θ < θ0 tetapi lebihburuk dari uji trivial φ(z) = α untuk θ > θ0. Jadi, tidak ada uji tunggalyang merupakan uji UMP untuk semua θ 6= θ0. Untuk itu perlu diatasi padakelas uji yang lebih kecil.

Definisi 3.6

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan berdistribusi iden-tik dengan fungsi kepadatan probabilitas f(x; θ), θ ∈ Ω dan ω ⊂ Ω ⊆ Rr.Untuk pengujian H : θ ∈ ω melawan alternatif A : θ ∈ ωc pada tingkat α,suatu uji yang didasarkan pada X1, X − 2, . . . , Xn dikatakan tak bias jika

Eθ[φ(X1, X2, . . . , Xn)] ≥ α

untuk semua θ ∈ ω dan

Eθ[φ(X1, X2, . . . , Xn)] ≤ α

untuk semua θ ∈ ωc. Suatu uji tak bias bila probabilitas kesalahan tipe Ipaling banyak α dan kuasa dari uji paling sedikit α.

Definisi 3.7

Suatu uji dikatakan uji UMPU (uniformly most powerfull unbiased) jika ujitersebut UMP dalam kelas semua uji yang tidak bias.

Catatan : Uji UMP selalu UMPU. Uji UMP tak bias karena UMP palingsedikit mempunyai kuasa yang sama dengan α. Uji UMP merupakan ujiUMPU karena uji UMP merupakan UMP dalam kelas yang meliputi kelasuji tak bias.

70

Teorema 3.4

Misalkan X1, X2, . . . , Xn variabel random saling bebas dan fungsi kepadatanprobabilitasnya dinyatakan dengan

f(x; θ) = C(θ) exp[Q(θ)T (x)]h(x)

dengan θ ∈ Ω ⊂ R. Misalkan

ω = θ ∈ Ω; θ1 ≤ θ ≤ θ2dengan θ0, θ1, θ2 ∈ Ω dan ω′ = θ0 dengan θ1 < θ2.

Untuk menguji hipotesis H : θ ∈ ω melawan alternatif A : θ ∈ ωc danhipotesis H : θ ∈ ω′ melawan alternatif A′ : θ ∈ ω′c pada level α terdapat ujiUMP yang diberikan oleh

φ(z) =

1 jika V (z) < c1atauV (z) > c2

γi jika V (z) = ci(i = 1, 2) dan c1 < c2

0 yang lain

dengan c1, c2 dan γ1, γ2 ditentukan dengan Eθ1 [φ(z)] = α dan Eθ2 [φ(z)] = αuntuk H dan Eθ0 [φ(z)] = α dan Eθ0 [V (z)φ(z)] = αEθ0 [V (z)] untuk H ′.

Dapat ditunjukkan bahwa βφ(θ) = Eθ[φ(z)] dengan θ ∈ ω turun θ ≤ θ0

dan naik untuk θ ≥ θ0 untuk suatu θ1 < θ0 < θ2.

Contoh 3.9

Misalkan X1, X2, . . . , Xn variabel random saling bebas dari N(µ, σ) denganσ2 diketahui dan θ = µ. Akan diuji hipotesis H : θ = θ0 melawan A : θ 6= θ0.Fungsi kepadatan probabilitas N(θ, σ2) adalah

f(x; θ) =1√

2πσ2exp

[− (x− θ)2

2σ2

]

untuk x ∈ R. Fungsi probabilitas tersebut dapat dinyatakan sebagai

f(x; θ) =1√

2πσ2exp

[− (x2 − 2xθ + θ2)

2σ2

]

atau

f(x; θ) = exp(− θ2

2σ2

)exp

( θσ2x) 1√

2πσ2exp

[− x2

2σ2

]

sehingga Q(θ) = θ dan V (z) = 1σ2

∑ni=1 Xi = nX

σ2 . Oleh karena itu uji UMPUadalah

φ(z) =

1 jika nX

σ2 < c1 atau nXσ2 > c2

0 yang lain

71

dengan c1 dan c2 ditentukan sehingga Eθ0 [φ(z)]α dan

Eθ0 [V (z)φ(z)] = αEθ0[V (z)].

Uji tersebut akan ekuivalen dengan uji

φ(z) =

1 jika

√n(X−θ0)σ

< c′1 atau√n(X−θ0)σ2 > c′2

0 yang lain

dengan c′1 = σc1√n−√nθ0σ

dan c′1 = σc2√n−√nθ0σ.

Pada sisi lain, di bawah H, berlaku sifat√n(X−θ0)σ

∼ N(0, 1). KarenaN(0, 1) simetri maka c′1 = −c′2 = −c (yaitu c > 0) sehingga menjadi

√n(X − θ0)

σ< −c

atau √n(X − θ0)

σ> c

yang ekuivalen dengan

(√n(X − θ0)

σ

)2

∼ χ21

di bawah H benar. Akibatnya uji UMPU menjadi

φ(z) =

1 jika

(√n(X−θ0)σ

)2

> c

0 yang lain

dengan c ditentukan sehingga P (χ21 > c) = α.

72

3.5 Pengujian Parameter dari Distribusi Nor-

mal

Dalam pasal ini, X1, X2, . . . , Xn merupakan variabel random saling bebasdari distribusi n(µ, σ2) dengan µ dan σ2 tidak diketahui. parameter yangmenjadi perhatian adalah 1 parameter sedangkan yang lain sebagai parame-ter pengganggu (nuisance parameter).

3.5.1 Uji Tentang Variansi

Proposisi 3.2

Untuk menguji hipotesis H : σ ≤ σ0 melawan A : σ > σ0 digunakan ujiUMP

φ(z) =

1 jika

∑ni=1(Xi − X)2 > c

0 yang lain

dengan c ditentukan oleh P(χ2n−1 > c

σ2

)= α. Bila hipotesisnya adalah

H ′ : σ ≥ σ0 melawan A′ : σ ≤ σ0 maka digunakan uji

φ(z) =

1 jika

∑ni=1(Xi − X)2 < c

0 yang lain

dengan c ditentukan oleh P(χ2n−1 <

cσ2

)= α.

Kuasa uji dapat ditentukan dengan kenyataan bahwaPni=1(Xi−X)2

σ2 berdis-tribusi chi-kuadrat dengan derajat bebas n− 1 bila σ diberikan.

Contoh 3.10

Misalkan X1, X2, . . . , X25 merupakan variabel random saling bebas dari dis-tribusi N(µ, σ2) dengan µ dan σ2 tidak diketahui. Untuk menguji hipotesisH : σ ≤ 3 melawan A : σ > 3 digunakan uji UMP

φ(z) =

1 jika

∑ni=1(Xi − X)2 > c

0 yang lain

dengan c ditentukan oleh P (χ224 > c/9) = 0, 05. Berdasarkan Tabel dis-

tribusi chi-kuadrat dengan derajat bebas 24 diperoleh c/9 = 36, 415 atauc = 327, 735. Kuasa uji pada σ = 5 adalah

P (χ224 > 327, 735/25) = P (χ2

24 > 13, 1094) = 0, 962.

73

Bila hipotesisnya adalah H ′ : σ ≥ 3 melawan A′ : σ < 3 maka digunakanuji

φ(z) =

1 jika

∑ni=1(Xi − X)2 < c

0 yang lain

dengan c ditentukan sehingga P (χ224 < c/9) = 0, 05. Berdasarkan Tabel

distribusi chi-kuadrat dengan derajat bebas 24 diperoleh c/9 = 13, 848 atauc = 124, 632. Kuasa uji pada σ = 2 adalah

P (χ224 < 124, 632/4) = P (χ2

24 < 31, 158) = 0, 8384.

Proposisi 3.3

Untuk menguji hipotesis H : σ ≤ σ1 atau σ ≥ σ2 melawan A : σ1 < σ < σ2

digunakan uji UMPU

φ(z) =

1 jika c1 <

∑ni=1(Xi − X)2 < c2

0 yang lain

dengan c1 dan c2 ditentukan oleh

P (c1

σ21

< χ2n−1 <

c2

σ21

) = α

danP (

c1

σ22

< χ2n−1 <

c2

σ22

) = α.

Bila digunakan untuk menguji hipotesis H : σ1 ≤ σ ≤ σ2 melawan A : σ < σ1

atau σ > σ2 digunakan uji UMPU

φ(z) =

1 jika

∑ni=1(Xi − X)2 < c1 atau

∑ni=1(Xi − X)2 > c2

0 yang lain

P (c1

σ21

< χ2n−1 <

c2

σ21

) = α

danP (

c1

σ22

< χ2n−1 <

c2

σ22

) = α.

74

Contoh 3.11

Misalkan X1, X2, . . . , X25 merupakan variabel random saling bebas dari dis-tribusi N(µ, σ2) dengan µ dan σ2 tidak diketahui. Untuk menguji hipotesisH : σ ≤ 2 atau σ ≥ 3 melawan A : 2 < σ < 3 digunakan uji UMPU

φ(z) =

1 jika < c1 <

∑ni=1(Xi − X)2 < c2

0 yang lain

dengan c1 dan c2 ditentukan berdasarkan metode trial and error oleh

P (c1

4< χ2

n−1 <c2

4) = P (χ2

n−1 >c1

4)− P (χ2

n−1 >c2

4) = 0, 05

dan

P (c1

9< χ2

n−1 <c2

9) = P (χ2

n−1 >c1

9)− P (χ2

n−1 >c2

9) = 0, 05.

Proposisi 3.4

Untuk menguji hipotesis H : σ = σ0 melawan A : σ 6= σ0 digunakan ujiUMPU

φ(z) =

1 jika <

∑ni=1(Xi − X)2 < c1 atau

∑ni=1(Xi − X)2 > c2

0 yang lain

dengan c1 dan c2 ditentukan oleh∫ c2/σ2

0

c1/σ20g(t)dt dengan g adalah fungsi kepa-

datan probabilitas dari χ2n−1.

Uji dengan menggunakan luas ekor sama yang biasa digunakan bukanlahmerupakan uji UMPU tetapi merupakan pendekatan dari uji UMPU untukn→∞.

3.5.2 Uji Tentang mean

Proposisi berikut ini banyak digunakan dalam menentukan uji mean padasuatu populasi.

Proposisi 3.5

Untuk menguji hipotesis H : µ ≤ µ0 melawan A : µ > µ0 digunakan ujiUMPU

φ(z) =

1 jika t(z) > c0 yang lain

75

dengan c ditentukan oleh P (tn−1 > c) = α dan

t(z) =

√n(X − µ0)√

1n−1

∑mi=1(Xi − X)2

.

Untuk menguji hipotesis H ′ : µ ≥ µ0 melawan A′ : µ < µ0 digunakan ujiUMPU

φ(z) =

1 jika t(z) < c0 yang lain

dengan c ditentukan oleh P (tn−1 < c) = α.

Contoh 3.12

Misalkan X1, X2, . . . , X25 merupakan variabel random saling bebas dari dis-tribusi N(µ, σ2) dengan µ dan σ2 tidak diketahui. Untuk menguji hipotesisH : µ ≤ µ0 melawan A : µ > µ0 dengan α = 0, 05 digunakan uji UMPU

φ(z) =

1 jika t(z) > 1, 71090 yang lain

dan untuk menguji hipotesis H : µ ≥ µ0 melawan A : µ < µ0 denganα = 0, 05 digunakan UMPU

φ(z) =

1 jika t(z) < −1, 71090 yang lain.

Proposisi 3.6

Untuk menguji hipotesis H : µ = µ0 melawan A : µ 6= µ0 digunakan ujiUMPU

φ(z) =

1 jika t(z) < −c atau t(z) > c (dengan c > 0)0 yang lain

dengan c ditentukan oleh P (tn−1 > c) = α/2.

Proposisi 3.7

Misalkan X1, X2, . . . , X25 merupakan variabel random saling bebas dari dis-tribusi N(µ, σ2) dengan µ dan σ2 tidak diketahui. Untuk menguji hipotesisH : µ = µ0 melawan A : µ 6= µ0 dengan α = 0, 05 digunakan uji UMPU

φ(z) =

1 jika t(z) < −2, 0639 atau t(z) > 2, 0639(dengan c > 0)0 yang lain.

Untuk menentukan kuasa uji dari uji tersebut digunakan uji−t non central.

76

3.6 Perbandingan Parameter Dua Distribusi

Normal

Diketahui X1, . . . , Xm variabel random saling bebas dari distribusi N(µ1, σ21)

dan Y1, . . . , Yn variabel random saling bebas dari distribusi N(µ2, σ22). Diang-

gap dua sampel tersebut saling bebas dan semua parameter tidak diketahui.Misalkan µ = µ1 − µ2 dan τ = σ2

2/σ22. Akan diuji hipotesis tentang µ dan

τ . Bila salah satu parameter yang diamati merupakan parameter sedangkanyang lain sebagai parameter pengganggu. Misalkan Z = (X1, . . . , Xm)t danW = (Y1, . . . , Yn)t, z = (x1, . . . , xm)t dan w = (y1, . . . , yn)t.

3.6.1 Perbandingan Variansi Dua Densitas Normal

Proposisi berikut ini digunakan untuk pengujian perbandingan variansi an-tara dua populasi.

Proposisi 3.8

Untuk menguji H : τ ≤ τ0 melawan A : τ > τ0 digunakan uji UMPU

φ(z) =

1 jika

Pni=1(Yi−Y )2

Pmi=1(Xi−X)2 > c

0 yang lain

dengan c ditentukan sehingga P (Fn−1,m−1 > c0) = α dan c0 = (m−1)c(n−1)τ0

.

Sedangkan untuk menguji, H ′ : τ ≥ τ0 melawan A : τ < τ0 digunakan ujiUMPU

φ(z) =

1 jika

Pni=1(Yi−Y )2

Pmi=1(Xi−X)2 < c

0 yang lain

dengan c ditentukan sehingga P (Fn−1,m−1 > c0) = α. Kuasa ujinya dapatditentukan dengan kenyataan bahwa

1σ2

1

∑ni=1(Yi − Y )2/(n− 1)

1σ2

2

∑mi=1(Xi − X)2/(m− 1)

=1

τ

m− 1

n− 1

∑ni=1(Yi − Y )2

∑mi=1(Xi − X)2

berdistribusi F dengan derajat bebas n− 1 dan m− 1 bila τ diberikan.

Contoh 3.13

Diketahui X1, . . . , X21 variabel random saling bebas dari distribusi N(µ1, σ21)

77

dan Y1, . . . , Y25 variabel random saling bebas dari distribusi N(µ2, σ22). Di-

anggap dua sampel tersebut saling bebas dan semua parameter tidak dike-tahui. Untuk menguji H : τ ≤ 2 melawan A : τ > 2 dengan α = 0, 05digunakan uji UMPU

φ(z) =

1 jika

Pni=1(Yi−Y )2

Pmi=1(Xi−X)2 > c

0 yang lain

dengan c ditentukan sehingga P (F20,24 > c0) = 0, 05 dan

c0 =(21− 1)c

(24− 1)2= 5c/12.

Berdasarkan tabel distribusi F20,24 diperoleh c0 = 2, 0267 dan akibatnya c =4, 864. Untuk menguji H : τ ≥ 2 melawan A : τ < 2 dengan α = 0, 05digunakan uji UMPU

φ(z) =

1 jika

Pni=1(Yi−Y )2

Pmi=1(Xi−X)2 < c

0 yang lain

dengan c ditentukan sehingga P (F20,24 < c0) = 0, 05 dan

c0 =(21− 1)c

(24− 1)2= 5c/12

atau P (F20,24 < (5c)/12) = P (F24,20 > 12/(5c)) = 0, 05.Misalkan

V (z, w) =1τ0

∑ni=1(Yi − Y )2

∑mi=1(Xi − X)2 + 1

τ0

∑ni=1(Yi − Y )2

.

Proposisi 3.9

Untuk menguji H : τ = τ0 melawan A : τ 6= τ0 digunakan uji UMPU

φ(z, w) =

1 jika V (z, w) < c1 atau V (z, w) > c2

0 yang lain

dengan c1 dan c2 ditentukan sehingga

P (c1 < Beta((m−1)/2, (n−1)/2 < c2) = P (c1 < Beta((m−1)/2, (n−1)/2 < c2).

78

3.6.2 Perbandingan Mean Dua Densitas Normal

Misalkan

t(z, w) =Y − X√∑m

i=1(Xi − X)2 +∑n

j=1(Yj − Y )2

dan dianggap σ21 = σ2

1 = σ2.

Proposisi 3.10

Untuk menguji H : µ ≤ 0 melawan A : µ > 0 digunakan uji UMPU

φ(z, w) =

1 jika t(z, w) > c0 yang lain

dengan c ditentukan oleh P (tm+n−2 > c0) = α dengan c0 = c√

m+n−21m

+ 1n

. Untuk

menguji H ′ : µ ≥ 0 melawan A′ : µ < 0 digunakan uji UMPU

φ(z, w) =

1 jika t(z, w) < c0 yang lain

dengan c ditentukan oleh P (tm+n−2 < c0) = α dengan c0 = c√

m+n−21m

+ 1n

.

Contoh 3.14

Diketahui X1, . . . , X15 variabel random saling bebas dari distribusi N(µ1, σ21)

dan Y1, . . . , X10 variabel random saling bebas dari distribusi N(µ2, σ22). Di-

anggap dua sampel tersebut saling bebas dan semua parameter tidak dike-tahui. Untuk menguji H : µ ≤ 0 melawan A : µ > 0 dengan α = 0, 05digunakan uji UMPU

φ(z, w) =

1 jika t(z, w) > c0 yang lain

dengan c ditentukan oleh P (t15+10−2 > c0) = 0, 05 dan c0 = c√

15+10−2115

+ 110

atau

c0 = c√

2310+15

150

atau c0 = c√

23(6). Berdasarkan tabel distribusi t diperoleh

c√

23(6) = 1, 7139 atau c = 0, 1459. Sedangkan, untuk menguji H : µ ≥ 0melawan A : µ < 0 dengan α = 0, 05 digunakan uji UMPU

φ(z, w) =

1 jika t(z, w) < c0 yang lain

79

dengan c ditentukan oleh P (t15+10−2 < c0) = 0, 05 dan c0 = c√

15+10−2115

+ 110

atau

c0 = c√

2310+15

150

atau c0 = c√

23(6). Berdasarkan tabel distribusi t diperoleh

c√

23(6) = −1, 7139 atau c = −0, 1459.

Proposisi 3.11

Untuk menguji H : µ = 0 melawan A : µ 6= 0 digunakan uji UMPU

φ(z, w) =

1 jika t(z, w) < −c atau t(z, w) > c(denganc > 0)0 yang lain

dengan c ditentukan oleh P (tm+n−2 > c0) = α/2.

Contoh 3.15

Diketahui X1, . . . , X15 variabel random saling bebas dari distribusi N(µ1, σ21)

dan Y1, . . . , X10 variabel random saling bebas dari distribusi N(µ2, σ22). Di-

anggap dua sampel tersebut saling bebas dan semua parameter tidak dike-tahui. Untuk menguji H : µ = 0 melawan A : µ 6= 0 dengan α = 0, 05digunakan uji UMPU

φ(z, w) =

1 jika t(z, w) < −c atau t(z, w) > c0 yang lain

dengan c ditentukan oleh P (t15+10−2 > c0) = 0, 025 dan c0 = c√

15+10−2115

+ 110

atau c0 = c√

2310+15

150

atau c0 = c√

23(6). Berdasarkan tabel distribusi t diper-

oleh c√

23(6) = 2, 0687 atau c = 0, 1762. Kuasa ujinya dapat ditentukanberdasarkan distribusi t non central.

3.7 Uji Likelihood Ratio

Misalkan X1, X2, . . . , Xn variabel random saling bebas dengan fungsi kepa-datan probabilitas f(x; θ), θ ∈ Ω ⊂ Rr dan ω ⊆ Ω. Misalkan

L(ω) = f(x1; θ)f(x2; θ) . . . f(xn; θ)

dengan θ ∈ ω dan

L(ωc) = f(x1; θ)f(x2; θ) . . . f(xn; θ)

80

dengan θ ∈ ωc. Bila ω dan ωc terdiri dari satu titik maka L(ω) dan L(ωc)dapat ditentukan dan untuk menguji H : θ ∈ ω melawan A : θ ∈ ωc, uji MPmenolak bila nisbah kemungkinannya (likelihood ratio-LR)

L(ω)/L(ωc)

lebih besar. Akan tetapi bila ω dan ωc mengandung lebih dari satu titikmaka L(ω) dan L(ωc) tidak dapat ditentukan oleh H dan A dan metodeepada pasal-pasal terdahulu tidak dapat digunakan.

Misalkan

L(ω) = maxL(θ)|θ ∈ ω, L(ωc) = maxL(θ)|θ ∈ ωc

danL(Ω) = maxL(θ)|θ ∈ Ω.

Hipotesis H ditolak jika L(ω)/L(Ω) terlalu kecil yaitu lebih kecil dari atausama dengan c dan c ditentukan dari ukuran ujinya. Lemma Fundamen-tal Neyman-Pearson merupakan kejadian khusus dari uji LR. Jika kuanti-tas L(ω) dan L(Ω) hampir sama nilainya maka data cenderung mendukunghipotesis bahwa yang sebenarnya terletak dalam ω yang dinyatakan dalamH. Jika tidak demikian data cenderung mendiskreditkan H. Notasi yangdigunakan adalah

λ =L(ω)

L(Ω.

Di bawah H benar, statistik − lnλ mempunyai distribusi asmptotik yangdiketahui. Hipotesis H ditolak jika

−2 lnλ > c

dengan c ditentukan berdasarkan pada α.

Teorema 3.5

Misalkan X1, . . . , Xn variabel random saling bebas dengan fungsi kepadatanprobabilitas f(x; θ), θ ∈ Ω dengan Ω ⊆ Rr dan ω ⊆ Ω berdimensi m. Nilai-nilai positif dari fungsi kepadatan probabilitas tidak bergantung pada θ. Dibawah syarat-syarat 1-6 pada pasal 2.2, distribusi asimptotik dari −2 lnλadalah χ2

r−m asalkan θ ∈ ω yaitu jika n→∞ berlaku sifat

P (−2 lnλ ≤ x)→ G(x)

dengan x ≥ 0 untuk semua θ ∈ ω dan G adalah fungsi distribusi dari χ2r−m.

81

Contoh 3.16

Diketahui X1, . . . , Xn variabel random saling bebas dari distribusi N(µ, σ2).

Kasus 1 (σ diketahui)

Akan diuji hipotesis H : µ ∈ ω = µ0 dengan Ω = R. Karena MLEdari µ adalah µΩ = X maka

L(Ω) = exp[− 1

2σ2

n∑

i=1

(Xi − X)2]

dan

L(Ω) = exp[− 1

2σ2

n∑

i=1

(Xi − µ0)2].

Dalam hal ini lebih mudah ditentukan distribusi dari −2 lnλ dari pada λ.Diperoleh

−2 lnλ =n

σ2(X − µ0)2

sehingga uji LR ekuivalen dengan

φ(z) =

1 jika n

σ2 (X − µ0)2 > c0 yang lain

dengan c ditentukan sehingga P (χ21 > c) = α.

Kasus 2 (σ tidak diketahui)

Akan diuji hipotesis H : µ ∈ ω = µ0 dengan Ω = R. Karena

σ2Ω =

n∑

i=1

(Xi − X)2

dan

σ2ω =

n∑

i=1

(Xi − µ0)2

maka

L(Ω) =1√

(2πσΩ)nexp

[ 1√(2πσΩ)n

n∑

i=1

(Xi − X)2]

=1√

(2πσΩ)ne−n/2

82

dan

L(ω) =1√

(2πσω)nexp

[ 1√(2πσω)n

n∑

i=1

(Xi − µ0)2]

=1√

(2πσω)ne−n/2

sehingga

λ =( σΩ

σω

)n

atau

λ2/n =

∑ni=1(Xi − X)2

∑ni=1(Xi − µ0)2

.

Karena

n∑

i=1

(Xi − µ0)2 =

n∑

i=1

((Xi − X) + (X − µ0)

)2

=n∑

i=1

((Xi − X)2 + 2(Xi − X)(X − µ0) + (X − µ0)2

)

=

n∑

i=1

((Xi − X)2 + 2(X − µ0)

n∑

i=1

(Xi − X) +

n∑

i=1

(X − µ0)2)

=n∑

i=1

(Xi − X)2 + n(X − µ0)2

maka

λ =[∑n

i=1(Xi − µ0)2

∑ni=1(Xi − X)2

]−1

=[∑n

i=1(Xi − X)2 + n(X − µ0)2

∑ni=1(Xi − X)2

]−1

=[1 +

n(X − µ0)2

∑ni=1(Xi − X)2

]−1

=[1 +

1

n− 1

n(X − µ0)2

1n−1

∑ni=1(Xi − X)2

]−1

=[1 +

t2

n− 1

]−1

dengan

t = t(z) =

√n(X − µ0)√

1n−1

∑ni=1(Xi − X)2

.

83

Hal itu berarti, jika λ < λ0 ekuivalen dengan t2 > c untuk c konstantatertentu. Uji LR ekuivalen dengan

φ(z) =

1 jika t < −c dan t > c0 yang lain

dengan c ditentukan sehingga P (tn−1 > c)α/2.

Contoh 3.17

Diketahui X1, . . . , Xm variabel random saling bebas dari distribusi N(µ1, σ21)

dan Y1, . . . , Yn variabel random saling bebas dari distribusi N(µ2, σ22). Diang-

gap dua sampel tersebut saling bebas. Misalkan bahwa sampel X dan sampelY saling bebas dan diinginkan untuk menguji hipotesis berikut. Dalam halini fungsi kepadatan probabilitas bersama X dan Y adalah

( 1√2π

)m+n 1

σm1 σn2

exp[− 1

2σ21

m∑

i=1

(Xi − µ1)2 − 1

2σ22

n∑

j=1

(Yj − µ2)2].

Kasus 1

Dianggap bahwa σ1 = σ2 = σ tetapi σ tidak diketahui dan ingin diuji hipote-sis H : µ1 = µ2(= µ) dengan µ tidak diketahui.

Di bawah Ω = θ = (µ1, µ2, σ)t|µ1, µ2 ∈ R, σ > 0 maka MLE dariparameter adalah

µ1,Ω = X, µ2,Ω = Y , σ2Ω =

1

m+ n

( m∑

i=1

(Xi − X)2 +

n∑

j=1

(Yj − Y )2).

Oleh karena itu

L(Ω) =( 1√

2πσΩ

)m+n

e−(m+n)/2.

Di bawah ω = θ = (µ1, µ2, σ)t|µ1, µ2 ∈ R, σ > 0maka MLE dari parameteradalah

µω =1

m+ n

( m∑

i=1

Xi +n∑

j=1

Yj

)=mX + nY

m+ n.

Misalkan diset vk = xk, k = 1, 2, . . . , m dan vm+k = yk, k = 1, 2, . . . , n.Akibatnya

V =1

m + n

m+n∑

k=1

Vk =1

m+ n

( m∑

i=1

Xi +

n∑

j=1

Yj

)= µω.

84

Hal itu berarti

σ2ω =

1

m + n

m+n∑

k=1

(Vk − V )2

=1

m + n

[ m∑

i=1

(Xi − µω)2 +

m∑

j=1

(Yj − µω)2].

Oleh karena itu

L(ω) =( 1√

2πσω

)m+n

e−(m+n)/2.

Akibatnya

λ =( σΩ

σω

)m+n

dan

λ2/(m+n) =σ2

Ω

σ2ω

.

Pada sisi lainn∑

i=1

(Xi − µω)2 =

n∑

i=1

((Xi − X) + (X − µω)

)2

=

n∑

i=1

((Xi − X)2 + 2(Xi − X)(X − µω) + (X − µω)2

)

=n∑

i=1

(Xi − X)2 + 2(X − µω)n∑

i=1

(Xi − X) +n∑

i=1

(X − µω)2

=

n∑

i=1

(Xi − X)2 +m(X − µω)2

=n∑

i=1

(Xi − X)2 +m(X − mX + nY

m+ n

)2

=

n∑

i=1

(Xi − X)2 +m(nX − nY

m + n

)2

=n∑

i=1

(Xi − X)2 +mn2

(m+ n)2(X − Y )2.

Dengan cara yang sama diperoleh

m∑

j=1

(Yj − µω)2 =

n∑

j=1

(Yj − Y )2 +m2n

(m+ n)2(X − Y )2.

85

Akibatnya

(m+ n)σ2ω =

[ m∑

i=1

(Xi − µω)2 +n∑

j=1

(Yj − µω)2]

=

n∑

i=1

(Xi − X)2 +mn2

(m+ n)2(X − Y )2

+n∑

j=1

(Yj − Y )2 +m2n

(m + n)2(X − Y )2

= (m+ n)σ2ω +

mn

m + n(X − Y )2.

Di samping itu berlaku sifat

λ2/(m+n) =[1 +

t

m + n− 2

]−1

dengan

t =

√mnm+n

(X − Y )√

1m+n−2

[∑mi=1(Xi − X)2 +

∑nj=1(Yj − Y )2

] .

Oleh karena itu, uji LR menolak H bila λ < λ0 maka akan ekuivalen denganuji

φ(z, w) =

1 jika t < −c dan t > c (c > 0)0 yang lain

dengan c ditentukan oleh P (tm+n−2 > c) = α/2 dan z = (x1, x2, . . . , xm)t

dan w = (y1, y2, . . . , yn)t (karena di bawah H, t berdistribusi tm+n−2).

Kasus 2

Akan diuji hipotesis H : σ1 = σ2(= σ tidak diketahui).Di bawah Ω = θ = (µ1, µ2, σ1, σ2)t|µ1, µ2 ∈ R, σ1, σ2 > 0 diperoleh

µ1,Ω = X, µ2,Ω = Y , σ21,Ω =

1

m

n∑

i=1

(Xi − X)2, σ22,Ω =

1

n

n∑

j=1

(Yj − Y )2.

Di bawah ω = θ = (µ1, µ2, σ1, σ2)t|µ1, µ2 ∈ R, σ1 = σ2(> 0) diperoleh

µ1,ω = µ1,Ω, µ2,ω = µ2,Ω

dan

σ2Ω =

1

m + n

( m∑

i=1

(Xi − X)2 +

m∑

j=1

(Yj − Y )2).

86

Oleh karena itu

L(Ω) =( 1√

2π

)m+n 1

(σ21,Ω)m/2(σ2

2,Ω)n/2e−(m+n)/2

dan

L(ω) =( 1√

2π

)m+n 1

(σ2ω)(m+n)/2

e−(m+n)/2

sehingga

λ =σ2

1,Ω)m/2σ22,Ω)n/2

σ2ω)(m+n)/2

=(m+ n)(m+n)/2

(Pni=1(Xi−X)2

Pnj=1(Yj−Y )2

)m/2

mm/2nn/2(Pn

i=1(Xi−X)2+Pnj=1(Yj−Y )2

Pnj=1(Yj−Y )2

)(m+n)/2

=(m+ n)(m+n)/2

(m−1n−1

1m−1

Pni=1(Xi−X)2

1n−1

Pnj=1(Yj−Y )2

)m/2

mm/2nn/2(

1 + m−1n−1

1m−1

Pni=1(Xi−X)2

1n−1

Pnj=1(Yj−Y )2

)m/2

=(m+ n)(m+n)/2

mm/2nn/2

(m−1n−1

f)m/2

(1 + m−1

n−1f)(m+n)/2

dengan

f =1

m−1

∑mi=1(Xi − X)2

1n−1

∑nj=1(Yj − Y )2

.

Uji LR menolak H bila λ < λ0 akan ekuivalen dengan uji F yang menolakH jika g(f) < c untuk c tertentu dan

g(f) =

(m−1n−1

f)m/2

(1 + m−1

n−1f)(m+2)/2

.

Nilai maksimum g(f) dicapai bila f = m(n−1)n(m−1)

. Dalam hal ini g(θ) dan

g(f)→ 0

untuk f → ∞. Oleh karena itu g(f) < c jika dan hanya jika f < c1 atauf > c2 untuk c1 dan c2 tertentu. Karena F berdistribusi Fm−1,n−1 di bawahH maka c1 dan c2 ditentukan sehingga

P (Fm−1,n−1 < c1 atau Fm−1,n−1 > c2) = α

87

dan g(c1) = g(c2). Secara praktis c1 dan c2 ditentukan sehingga masing-masing ekor dari distribusi Fm−1,n−1 mempunyai probabilitas α/2 yaitu

P (Fm−1,n−1 < c1) = P (Fm−1,n−1 > c2) = α/2.

88

Brief History of Bayes

Thomas Bayes (1702-1761) Clergyman and mathematician. MacTutorReferences SC, LP.

Bayes attended the University of Edinburgh to prepare for the ministrybut he studied mathematics at the same time. In 1742 Bayes became a fellowof the Royal Society: the certificate of election read We propose and recom-mend him as a Gentleman of known Merit, well Skilled in Geometry and allparts of Mathematical and Philosophical Learning and every way qualifiedto be a valuable Member of the Same. Bayes wrote only one paper on prob-ability, the posthumously published An Essay towards solving a Problem inthe Doctrine of Chances (1763). (For statement of the problem, see Bayes).The paper was submitted to the Royal Society by Richard Price who addeda post-script of his own in which he discussed a version of the rule of suc-cession. In the paper Bayes refers only to de Moivre and there has beenmuch speculation as to where the problem came from. Bayesian methodswere widely used in the C19, through the influence of Laplace and Gauss,although both had second thoughts. Their Bayesian arguments continued tobe taught until they came under heavy attack in the C20 from Fisher andNeyman. In the 1930s and 40s Jeffreys was an isolated figure in trying to de-velop Bayesian methods. From the 50s onwards the situation changed whenSavage and others made Bayesianism intellectually respectable and recentcomputational advances have made Bayesian methods technically feasible.From the early C20 there has been a revival of interest in Bayes himself andhe has been much more discussed than ever before. See Bellhouse biography,Sheynin ch. 5 Life & Work and Todhunter ch.XIV (pp. 294-300). See Stigler(1986): Chapter 3, Inverse Probability and Hald (1998): Chapter 8, Bayes,Price and the Essay, 1764-1765.) There is a major new biography, A. I. DaleMost Honorable Remembrance: The Life and Work of Thomas Bayes.

89

Brief History of Gosset

Student = William Sealy Gosset (1876-1937) Chemist, brewer and statis-tician. MacTutor References. Wikipedia SC, LP.

Gosset was an Oxford-educated chemist whose working life was spent, notin a university, but working for Guinness, the Dublin brewer. Gossets careeras a publishing statistician b egan after he studied for a year with Karl Pear-son. In his first published paper Student (as he called himself) rediscoveredthe Poisson distribution. In 1908 he published two papers on small sampledistributions, one on the normal mean (see Student’s t distribution and Stu-dentization) and one on normal correlation (see Fishers z-transformation).Although Gossets fame rests on the normal mean work, he wrote on othertopics, e.g. he proposed the variate difference method to deal with spuri-ous correlation. His work for Guinness and the farms that supplied it ledto work on agricultural experiments. When his friend Fisher made random-ization central to the design of experiments Gosset disagreedsee his reviewof Fishers Statistical Methods. Gosset was not very interested in Pearsonsbiometry and the biometricians were not very interested in what he did; thenormal mean problem belonged to the theory of errors and was more closelyrelated to Gauss and to Helmert than to Pearson. Gosset was a marginalfigure until Fisher built on his small-sample work and transformed him intoa major figure in C20 statistics. E. S. Pearson was another great admirer.For a sample of Gossets humour see the entry kurtosis. See Life & Work

90

Chapter 4

Daerah Kepercayaan

4.1 Interval Kepercayaan

Misalkan X1, X2, . . . , Xn variabel random saling bebas dengan fungsi kepa-datan probabilitas f(x; θ), θ ∈ Ω ⊆ Rr.

Definisi 4.1

Interval random adalah interval berhingga atau tak berhingga dengan palingsedikit 1 titik ujungnya meruapakan variabel random.

Definisi 4.2

Misalkan L(X1, X2, . . . , Xn) dan U(X1, X2, . . . , Xn) dua statistik sehingga

L(X1, X2, . . . , Xn) ≤ U(X1, X2, . . . , Xn).

Interval random [L(X1, X2, . . . , Xn), U(X1, X2, . . . , Xn)] adalah interval keper-cayaan untuk θ dengan koefisien konfidensi 1− α(0 < α < 1) jika

P (L(X1, X2, . . . , Xn) ≤ θ ≤ U(X1, X2, . . . , Xn)) ≥ 1− α

untuk semua θ ∈ Ω. U(X1, X2, . . . , Xn) dinamakan batas kepercayaan atassedangkan L(X1, X2, . . . , Xn) dinamakan batas kepercayaan bawah untuk θjika untuk semua θ ∈ Ω berlaku sifat

P (−∞ < θ ≤ U(X1, X2, . . . , Xn)) ≥ 1− α

danP (L(X1, X2, . . . , Xn) ≤ θ <∞) ≥ 1− α

91

dengan koefisien kepercayaan 1− α.Interval random [L(X1, X2, . . . , Xn), U(X1, X2, . . . , Xn)] adalah interval

kepercayaan untuk θ dengan koefisien kepercayaan 1 − α jika probabilitasbahwa paling sedikit 1− α interval random

[L(X1, X2, . . . , Xn), U(X1, X2, . . . , Xn)]

mengandung parameter θ dengan θ ∈ Ω.Interpretasi dari pernyataan tersebut adalah : misalkan eksperimen ran-

dom dilakukan n kali dan jika xi adalah nilai pengamatan Xi, i = 1, 2, . . . , n.Bila dikonstruksikan interval

[L(X1, X2, . . . , Xn), U(X1, X2, . . . , Xn)]

dan proses tersebut diulang secara independen N kali sehingga diperoleh Ninterval. Bila N membesar maka paling sedikit (1−α)N dari N interval akanmengandung parameter θ yang sebenarnya. Panjang interval kepercayaanadalah

l = l(X1, X2, . . . , Xn) = U(X1, X2, . . . , Xn)− L(X1, X2, . . . , Xn)

dan harapan panjangnya adalah Eθ[l] jika harapannya ada.Dimungkinkan terdapat lebih dari satu interval kepercayaan untuk θ den-

gan koefisien konfidensi 1 − α. Untuk itu diinginkan untuk mencari inter-val kepercayaan yang mempunyai panjang minimum diantara kelas intervalkepercayaan . Prosedur umum untuk mengkontruksikan interval kepercayaanadalah sebagai berikut : dimulai dari variabel random

Tn(θ) = T (X1, X2, . . . , Xn; θ)

yang tergantung pada X hanya melalui statistik cukup θ yang distribusinyadapat ditentukan dengan pasti Ln(X1, X2, . . . , Xn) dan U(X1, X2, . . . , Xn)fungsi yang sederhana dari Tn(θ) yang dipilih dengan alasan yang jelas.

Contoh 4.1

Misalkan X1, . . . , Xn variabel random saling bebas dari distribusi N(µ, σ2).

Kasus 1 Jika σ diketahui dan µ parameter

Misalkan didefinisikan statistik

Tn(µ) =

√n(X − µ)

σ.

92

Statistik Tn(µ) tergantung padaX1, X2, . . . , Xn hanya melalui statistik cukupdari µ yaitu X dan mempunyai distribusi N(0, 1) untuk semua µ. Akanditentukan a dan b sehingga

P (a ≤ N(0, 1) ≤ b) = 1− α

P (a ≤√n(X − µ)

σ≤ b) = 1− α

P (X − b σ√n≤ µ ≤ X + b

σ√n

) = 1− α. (4.1.1)

Oleh karena itu [X − b σ√n, X + b σ√

n] adalah interval kepercayaan untuk µ

dengan koefisien kepercayaan 1− α. Panjang interval tersebut adalah

l =(b− a)σ√

n.

Interval kepercayaan yang memenuhi (4.1.1) dengan panjang interval terpen-dek sehingga b dan a memenuhi (4.1.1).

Dapat ditunjukkan bahwa l terpendek bila b = c(c > 0) dan a = −cdengan c adalah kuantil atas dari distribusi N(0, 1) yang dinotasikan den-gan Zα/2. Oleh karena itu interval kepercayaan terpendek untuk θ dengankoefisien konfidensi 1− α adalah

[X − Zα/2

σ√n, X + Zα/2

σ√n

].

Kasus 2 Jika µ diketahui dan σ parameter

Misalkan

Tn(σ2) =nS2

n

σ2

dengan S2n = 1

n

∑ni=1(Xi−µ)2. Berarti Tn tergantung pada σ2 hanya melalui

statistik cukup S2n dari σ2 dan distribusi χ2

n untuk semua σ2. Akan ditentukana dan b dengan a < b sehingga

P (a ≤ χ2n ≤ b) = 1− α

P (a ≤ nS2n

σ2≤ b) = 1− α

P (nS2

n

b≤ σ2 ≤ nS2

n

a) = 1− α

93

sehingga (nS2n

b, nS

2n

a) adalah interval kepercayaan untuk σ2 dengan koefisien

kepercayaan 1− α yang panjangnya adalah

l =(1

a− 1

b

)nS2

n.

Harapan panjang intervalnya adalah

E[l] = E[(1

a− 1

b

)nS2

n

]= E

[(1

a− 1

b

)nS2n

σ2σ2]

=(1

a− 1

b

)nσ2. (4.1.2)

Meskipun terdapat tidak berhingga banyak pasangan a dan b yang memenuhi(4.1.2), tetapi secara praktis biasanya dipilih a dan b sehingga luas ekornyaadalah α/2.

Akan tetapi hal ini bukanlah pilihan yang terbaik karena interval yangterbentuk bukanlah interval yang terpendek. Misalkan b = b(a) yaitu b

sebagai fungsi dari a. Karena l =(

1a− 1

b

)nS2

n maka a penyebab l terpendek

akan memenuhi dlda

= 0 atau

dl

da= − 1

a2+

1

b2

db

da= 0

yaitu dbda

= b2

a2 . Bila Gn dan gn masing-masing adalah fungsi distribusi danfungsi kepadatan probabilitas dari χ2

n maka Gn(b)−Gn(a) = 1−α sehingga

dGn(b)

da− dGn(a)

da=

d

da(1− α)

ataudGn(b)

db

db

da− gn(a) = 0

atau

gn(b)db

da− gn(a) = 0.

Hal itu berarti dbda

= gn(a)gn(b)

. Akibatnya a2gn(a) = b2gn(b) sehingga a dan b

ditentukan sehingga a2gn(a) = b2gn(b). dan∫ bagn(t)dt = 1− α.

Sebagai contoh, untuk n = 25, σ = 1 dan 1− α = 0, 95 sehingga Zα/2 =1, 96. Hal itu berarti interval kepercayaan 95% untuk µ adalah

[X − 0, 392, X + 0, 392].

Bila digunakan ekor yang sama diperoleh a = 13, 120 dan b = 40, 646 makainterval kepercayaan 95% untuk σ2 adalah

[ 25S225

40, 646,

25S225

13, 120

].

94

Pada sisi lain, interval kepercayaan % terpendek untuk σ2 adalah

[ 25S225

45, 7051,

25S225

14, 2636

].

dengan rasio panjang antara kedua interval tersebut medekati 1,068.

Contoh 4.2

Misalkan X1, . . . , Xn variabel random saling bebas dari distribusi Gammadengan parameter β dan α diketahui (misal α = r). Statistik

∑ni=1 Xi meru-

pakan statistik cukup untuk β. Karena setiap j = 1, 2, . . . , n, variabel ran-dom 2Xi/β berdistribusi χ2

2r maka

Tn(β) =2

β

n∑

i=1

Xi

berdistribusi chi-kuadrat dengan derajat bebas 2rn untuk semua β > 0.Akan ditentukan a dan b dengan a < b sehingga P (a ≤ χ2

2m ≤ b) = 1 − α.Diperoleh

P (a ≤ 2

β

n∑

i=1

Xi ≤ b) = 1− α

P (2∑n

i=1 Xi

b≤ β ≤ 2

∑ni=1 Xi

a) = 1− α

Oleh karena itu interval konfidensi dengan koefisien konfidensi 1− α adalah

[2∑n

i=1 Xi

b,

2∑n

i=1 Xi

a

]

Panjang interval kepercayaannya adalah

l = 2(1

a− 1

b

) n∑

i=1

Xi

Dengan harapan E(l) = β(

1a− 1

b

)E[∑n

i=12Xiβ

]= 2βrn

(1a− 1

b

). Prosedur

untuk menentukan interval kepercayaan dengan panjang terpendek analogpada Contoh 4.1, yaitu dipilih a dan b sehingga a2g2rn(a) = b2g2rn(b) dan

∫ b

a

g2rn(t)dt = 1− α.

95

Untuk n = 7, r = 2 dan 1−α = 0, 95 diperoleh a = 16, 5128 dan b = 49, 3675dan interval kepercayaan dengan panjang terpendek adalah

[2∑n

i=1 Xi

49, 3675,

2∑n

i=1 Xi

16, 5128

]

sedangkan interval kepercayaan dengan luas ekor sama adalah

[2∑n

i=1 Xi

44, 461,

2∑n

i=1 Xi

15, 308

]

dengan rasio panjang antara dua interval tersebut mendekati 1, 075.

Contoh 4.3

Misalkan X1, . . . , Xn variabel random saling bebas dari distribusi Beta den-gan parameter β = 1 dan α = θ tidak diketahui. Karena

∏ni=1 Xi atau

−∑ni=1 lnXi merupakan statistik cukup untuk θ. Karena Xi berdistribusi

Beta dengan β = 1 dan α = θ maka Yi = 2θ lnXi berdistribusi chi-kuadratdengan derajat bebas 2 sehingga dengan mengingat X1, . . . , Xn saling bebasdiperoleh

Tn(θ) = −2θn∑

i=1

lnXi

berdistribusi chi-kuadrat dengan derajat bebas 2n. Akan ditentukan a danb dengan a < b sehingga

P (a ≤ χ22n ≤ b) = 1− α

P (a ≤ −2θ

n∑

i=1

lnXi ≤ b) = 1− α

P (a

−2∑n

i=1 lnXi≤ θ ≤ b

−2∑n

i=1 lnXi) = 1− α.

Oleh karena itu interval kepercayaan 1− α untuk θ adalah

[− a

2∑n

i=1 lnXi,− b

2∑n

i=1 lnXi

].

Panjang intervalnya sama dengan l = a+b2Pni=1 lnXi

. Dengan menganggap dlda

= 0

maka diperoleh g2n(a) = g2n(b) dan

∫ b

a

g2n(t)dt = 1− α.

96

Contoh 4.4

Misalkan X1, . . . , Xn variabel random saling bebas dari distribusi U(0, θ).Statistik Yn = X(n) adalah statistik cukup untuk θ dan mempunyai fungsikepadatan probabilitas

gn(yn) =n

θnyn−1n

untuk 0 ≤ yn ≤ θ. Misalkan Tn(θ) = Ynθ

. Hal itu berarti Tn mempunyaifungsi kepadatan probabilitas

hn(t) = ntn−1

untuk 0 ≤ t ≤ 1. Akan ditentukan a dan b dengan sifat 0 ≤ a < b ≤ 1sehingga

P (a ≤≤ b) =

∫ b

a

ntn−1dt = bn − an = 1− α.

Diperoleh P (a ≤ Ynθ≤ b) = 1 − α atau P (

X(n)

b≤ θ ≤ X(n)

a) = 1 − α. Oleh

karena itu interval kepercayaan 1− α untuk θ adalah

[X(n)

b,X(n)

a

]

dan panjang intervalnya adalah l =(

1a− 1

b

)X(n). Akibatnya

dl

db= X(n)

[− 1

a2

da

db+

1

b2

].

Karena dldb

= bn−1

an−1 maka dlda

= X(n)an+1−bn+1

b2an+1 . Karena dlda< 0 untuk semua b

maka l turun dalam b dan nilai minimum dicapai bila a = α1/n. Oleh karenaitu interval kepercayaan dengan koefisien 1− α dinyatakan dengan

[X(n),

X(n)

α1/n

].

Untuk n = 23 dan 1− α = 0, 95 maka diperoleh [X(32), 1, 098X(32)].

97

4.2 Interval Kepercayaan Bila Muncul Param-

eter Nuisans

Contoh-contoh berikut ini menjelaskan bagaimana menentukan interval keper-cayaan bila muncul parameter nuisans.

Contoh 4.5

Misalkan X1, X2, . . . , Xn variabel random saling bebas dari distribusi N(µ, σ2)dengan µ dan σ2 tidak diketahui.

Kasus 1

Akan dikonstruksikan interval kepercayaan untuk µ. Misalkan

Tn(µ) =

√n(X − µ)

Sn−1

dengan

S2n−1 =

1

n

n∑

i=1

(Xi − µ)2.

Statistik Tn−1(µ) tergantung pada X1, . . . , Xn hanya melalui statistik cukup(Xn, S

2n−1) dari (µ, σ2)t. Karena

berdistribusi t dengan derajat bebas n−1 maka diperoleh interval keper-cayaan berbentuk [

Xn − bSn−1√n, Xn − a

Sn−1√n

].

Dengan alasan yang sama seperti pada Contoh 4.1 diperoleh interval keper-cayaan dengan panjang terpendek yaitu

[Xn − tn−1;α/2

Sn−1√n, Xn + tn−1;α/2

Sn−1√n

]

dengan tn−1;α adalah kuantil atas dari distribusi t dengan derajat bebas n−1.Untuk n = 25 dan α = 0, 96 interval kepercayaan yang bersesuaian denganµ diambil dengan t24;0,025 = 2, 0639 sehingga diperoleh

[Xn − 0, 41278S24, Xn + 0, 41278S24

].

98

Kasus 2

Akan dikonstruksikan interval kepercayaan untuk σ2. Misalkan

Tn(σ2) =(n− 1)S2

n−1

σ2.

Karena T (σ2) berdistribusi chi-kuadrat dengan derajat bebas n−1 maka den-gan menggunakan alasan seperti pada Contoh 4.1 diperoleh interval keper-cayaan untuk σ2 yaitu

[(n− 1)S2n−1

b,

(n− 1)S2n−1

a

]

dan interval kepercayaan terpendek diambil bila a dan b memenuhi

a2gn−1(a) = b2gn−1(b)

dan ∫ b

a

gn−1(t)dt = 1− α.

Untuk n = 25 dan 1 − α = 0, 95 diperoleh a = 13, 5227 dan b = 44, 4802yang bersesuaian dengan

[0, 539S224, 1, 775S2

24].

Contoh 4.6

Sampel random X1, X2, . . . , Xn berasal dari distribusi N(µ1, σ21) dan sam-

pel random berasal dari distribusi dengan µ − 1, µ2, σ1, σ2 tidak diketahui.Akan dikonstruksikan interval kepercayaan untuk µ1 − µ2 dengan mengang-gap σ1 = σ2 = σ. Misalkan

Tm,n(µ1 − µ2) =(Xm − Yn)− (µ1 − µ2)√

(m−1)S2m−1+(n−1)S2

n−1

m+n−2

(1m− 1

n

) .

Statistik Tm,n(µ1 − µ2) berdistribusi t dengan derajat bebas m+ n− 2. Halitu berarti interval kepercayaan 1− α untuk µ1 − µ2 adalah

[(Xm − Yn)− tm+n−2;α/2

√(m− 1)S2

m−1 + (n− 1)S2n−1

m + n− 2

( 1

m− 1

n

),

(Xm − Yn) + tm+n−2;α/2

√(m− 1)S2

m−1 + (n− 1)S2n−1

m+ n− 2

( 1

m− 1

n

)].

99

Untuk m = 13, n = 14 dan 1− α = 0, 95 diperoleh t25;0,025 sehingga

[(X − Y )− 0, 1586

√12S2

X + 13S2Y , (X − Y )− 0, 1586

√12S2

X + 13S2Y

].

Akan dikonstruksikan interval kepercayaan untukσ2

1

σ22. Misalkan

Tm,n

(σ21

σ22

)=σ2

1

σ22

S2n−1

S2n−1

.

Statistik Tm,n

(σ2

1

σ22

)berdistribusi F dengan derajat bebas n − 1 dan m − 1.

Akan ditentukan a dan b dengan 0 < a < b sehingga

P (a ≤ Fn−1;m−1 ≤ b) = 1− α

P (a ≤ σ21

σ22

S2n−1

S2m−1

≤ b) = 1− α

P (aS2m−1

S2n−1

≤ σ21

σ22

≤ bS2m−1

S2n−1

) = 1− α.

Oleh karena itu interval kepercayaan untukσ2

1

σ22

adalah

[aS2m−1

S2n−1

, bS2m−1

S2n−1

].

Khususnya untuk interval kepercayaan yang mempunyai ekor sama diny-atakan dengan

[Fn−1;m−1;α/2

S2m−1

S2n−1

, F ′n−1;m−1;α/2

S2m−1

S2n−1

]

dengan F ′n−1;m−1;α/2 dan Fn−1;m−1;α/2 masing-masing adalah kuantil α/2 atasdan bawah dari Fn−1;m−1. Bila titik dibaca dari Tabel distribusi F maka titikdapat dihitung dengan cara

F ′n−1;m−1;α/2 = 1/Fn−1;m−1;α/2.

Untuk m, n dan 1− α seperti di atas diperoleh dan sehingga interval keper-

cayaan untukσ2

1

σ22

adalah

[0, 3171

S212

S213

, 3, 2388S2

12

S213

].

100

4.3 Interval Kepercayaan dan Interval Keper-

cayaan Pendekatan

Konsep interval kepercayaan dapat diperumum menjadi daerah kepercayaanuntuk parameter multi-dimensi.

Contoh 4.7

Akan dikonstruksikan daerah kepercayaan dalam R2 untuk (µ, σ2)t. Vari-abel random berdistribusi N(0, 1) dan berdistribusi chi-kuadrat dengan de-rajat bebas n − 1 dan keduanya saling bebas. Akan dicari c(c > 0), a danb(0 < a < b) sehingga

P (−c ≤ N(0, 1) ≤ c) =√

1− α

dan P (a ≤ χ2n−1 ≤) =

√1− α. Diperoleh

P (−c ≤√n(X − µ)

σ≤ c, a ≤ (n− 1)S2

n−1

σ2≤ b) = 1− α

P (−c ≤√n(X − µ)

σ≤ c)× P (a ≤ (n− 1)S2

n−1

σ2≤ b) = 1− α

P ((µ− Xn)2 ≤ c2σ2

n,(n− 1)S2

n−1

b≤ σ2 ≤ (n− 1)S2

n−1

a) = 1− α.

Misalkan X1, X2, . . . , Xn variabel random dengan mean µ dan variansi σ2.Dengan menggunakan Teorema Limit Pusat diperoleh

√n(Xn − µ)

σ∼ N(0, 1).

Jika dianggap bahwa σ diketahui maka interval kepercayaan untuk µ dengankoefisien kepercayaan mendekati 1− α adalah

[X − Zα/2

σ√n, X + Zα/2

σ√n

]

asalkan n→∞. Misalkan σ juga tidak diketahui. Karena

S2n =

n∑

i=1

(Xi − Xn)2 → σ2

untuk n→∞ maka √n(Xn − µ)

Sn→ N(0, 1).

101

Oleh karena itu interval kepercayaan untuk µ dengan koefisien kepercayaan1− α dinyatakan dengan

[X − Zα/2

Sn√n, X + Zα/2

Sn√n

]

asalkan n→∞.

Contoh 4.8

Misalkan X1, . . . , Xn variabel random saling bebas dari distribusi Binom(1, θ).Akan dikonstruksikan interval kepercayaan untuk θ dengan koefisien keper-cayaan mendekati 1−α. Karena S2

n = Xn(1− Xn) maka dengan hasil di atasdiperoleh interval kepercayaan untuk θ berikut

[X − Zα/2

√Xn(1− Xn)

n, X + Zα/2

√Xn(1− Xn)

n

].

Contoh 4.9

Misalkan X1, . . . , Xn variabel random saling bebas dari distribusi Poisson(λ).Interval kepercayaan untuk λ dengan koefisien kepercayaan mendekati 1−αadalah [

X − Zα/2Sn√n, X + Zα/2

Sn√n

].

4.4 Hubungan antara Uji Hipotesis dan In-

terval Kepercayaan

Terdapat hubungan erat antara pengkonstruksian interval kepercayaan danpengujian hipotesis. Misalkan variabel random saling bebas dengan fungsikepadatan probabilitas f(x; θ), θ ∈ Ω ⊆ Rr. Untuk setiap θ∗ ∈ Ω, akan diujihipotesis H(θ∗) : θ = θ∗ pada tingkat α dan A(θ∗) menyatakan daerah pener-imaan dalam Rn. Misalkan Z = (X1, X2, . . . , Xn)t dan z = (x1, x2, . . . , xn)t

didefinisikan daerah T (z) dalam Ω sebagai T (z) = θ ∈ Ω|z ∈ θ. Dengankata lain, T (z) adalah himpunan bagian dari Ω dengan sifat : berdasarkanpada baris z, setiap H(θ) diterima bila θ ∈ T (z) yaitu

z ∈ θ → θ ∈ T (z).

102

Oleh karena itu

P (θ ∈ T (z)) = P (z ∈ A(θ)) ≥ 1− α,

sehingga T (z) adalah daerah kepercayaan untuk θ dengan koefisien keper-cayaan 1− α.

Teorema 4.1

Misalkan variabel random saling bebas dengan fungsi kepadatan probabil-itas f(x; θ), θ ∈ Ω ⊆ Rr. Untuk setiap θ ∈ Ω, misalkan masalah pengujianhipotesis pada tingkat α dan didefinisikan T (z) oleh

T (Z) = θ ∈ Ω|z ∈ A(θ)

maka T (z) adalah daerah kepercayaan untuk θ dengan koefisien kepercayaan1− α.

103

Brief History of Pearson

Karl Pearson (1857-1936) Biometrician, statistician & applied mathe-matician. MacTutor References. SC, LP.

Karl Pearson read mathematics at Cambridge but made his career at Uni-versity College London. Pearson was an established applied mathematicianwhen he joined the zoologist W. F. R. Weldon and launched what becameknown as biometry; this found institutional expression in 1901 with the jour-nal Biometrika. Weldon had come to the view that the problem of animalevolution is essentially a statistical problem and was applying Galtons statis-tical methods. Pearsons contribution consisted of new techniques and even-tually a new theory of statistics based on the Pearson curves, correlation,the method of moments and the chi square test. Pearson was eager that hisstatistical approach be adopted in other fields and amongst his followers wasthe medical statistician Major Greenwood. Pearson created a very powerfulschool and for decades his department was the only place to learn statistics.Yule, Wishart and F. N. David were among the distinguished statisticianswho started their careers working for Pearson. Among those who attendedhis lectures were the biologist Raymond Pearl, the economist H. L. Moore,the medical statistician Austin Bradford Hill and Jerzy Neyman; in the 1930sWilks was a visitor to the department. Pearsons influence extended to Russiawhere Slutsky (see minimum chi-squared method) and Chuprov were inter-ested in his work. Pearson had a great influence on the language and notationof statistics and his name often appears on the Words pages and Symbolspagessee e.g. population, histogram and standard deviation. When Pear-son retired, his son E. S. Pearson inherited the statistics part of his fathersempirethe eugenics part went to R. A. Fisher. Under ESP (who retired in1961) and his successors the department continued to be a major centre forstatistics in Britain. M. S. Bartlett went there as a lecturer after graduatingfrom Cambridge in 1933 (his teacher was Wishart) and again as a professorwhen ESP retired. For more on KP see Karl Pearson: A Readers Guide. SeeStigler (1986): Chapter 10, Pearson and Yule.

104

Brief History of Markov

A. A. Markov (1856-1922) Mathematician. MacTutor References. SC,LP.

Markov spent his working life at the University of St. Petersburg. Markovwas, with Lyapunov, the most distinguished of Chebyshevs students in prob-ability. Markov contributed to established topics such as the central limittheorem and the law of large numbers. It was the extension of the latter todependent variables that led him to introduce the Markov chain. He showedhow Chebyshevs inequality could be applied to the case of dependent randomvariables. In statistics he analysed the alternation of vowels and consonantsas a two-state Markov chain and did work in dispersion theory. Markov hada low opinion of the contemporary work of Pearson, an opinion not sharedby his younger compatriots Chuprov and Slutsky. Markovs Theory of Prob-ability was an influential textbook. Markov influenced later figures in theRussian tradition including Bernstein and Neyman. The latter indirectlypaid tribute to Markovs textbook when he coined the term Markoff theoremfor the result Gauss had obtained in 1821; it is now known as the Gauss-Markov theorem. J. V. Uspenskys Introduction to Mathematical Probability(1937) put Markovs ideas to an American audience. See Life & Work There isan interesting volume of letters, The Correspondence between A.A. Markovand A.A. Chuprov on the Theory of Probability and Mathematical Statis-tics ed. Kh.O. Ondar (1981, Springer) See also Sheynin ch. 14 and G. P.Basharin et al. The Life and Work of A. A. Markov.

105

Bibliography

[1] Lindgren, B. W., (1993), Statistical Theory 4th edition, Chapman &Hall Inc, New York.

[2] Oosterhoff, J., (1993), Algemene Statistiek, Faculteit Wiskunde enInformatica, Vrije Universiteit Amsterdam, Amsterdam.

[3] Roussas, G. G., (1973), A first Course in Mathematical Statistics,Addison-Wesley Publishing Company, Reading Massachusetts.

106