DR. Rahma Fitriani, S.Si., M.Sc

Ekonometrika

Program Studi StatistikaSemester Ganjil 2011

Regresi Linier Berganda Satu peubah respon (endogen) Beberapa peubah penjelas (eksogen) Dinotasikan dalam matriks

uXβY

nY

Y1

Y

knnn

k

k

k

XXX

XXXXXXXXX

...1

...1

...1

...1

32

33323

23222

13121

X

k

1

β

nu

u1

u

1n kn 1k 1n

Penduga OLS Penduga yang meminimumkan Jumlah kuadrat

galat (RSS), dalam notasi matriks:uu ˆˆ RSS

βXYβXY ˆˆ

RSS

βXYXβY ˆˆ βXXββXYYXβYY ˆˆˆˆ

βXXββXYYY ˆˆˆ2

Penduga OLS RSS akan minimum pada nilai penduga yang

merupakan solusi dari turunan pertama RSS yang disamadengankan nol

0ˆ22ˆ

βXXYX

RSS

YXβXX ˆ

YXXXβ 1ˆ

PENDUGA OLS

DR. Rahma Fitriani, S.Si., M.Sc

Asumsi-asumsi pada regresi linier berganda Sama dengan semua asumsi pada regresi linier

sederhana, dengan tambahan: Tidak ada hubungan linier sempurna di antara dua atau lebih

peubah penjelas (eksogen)

Dengan terpenuhinya asumsi maka penduga OLS akan bersifat: Linier: fungsi linier dari peubah respons (endogen) Tidak bias: nilai harapan penduga adalah nilai parameter Konsisten: untuk n→∞, penduga menuju nilai parameter

yang sebenarnya, dan ragam penduga →0 Ragam yang paling kecil di antara semua penduga yang

mungkin BLUE: Best Linear Unbiased Estimators

Struktur Ragam Peragam dari Penduga

Matriks berukuran k × k Ragam (variance) pada diagonal utama Peragam (covariance) selainnya

βββ ˆˆˆvar E

12 XX

Goodness of Fit dari garis Regresi Berganda R2 pada regresi linier sederhana tidak dapat dipakai

untuk membandingkan dua model dengan jumlah peubah eksogen yang berbeda.

Ketika jumlah peubah X ditambah: Proporsi keragaman Y yang terjelaskan oleh X akan selalu

meningkat. R2 akan selalu meningkat seiring jumlah X, tanpa melihat

penting tidaknya penambahan X dalam model.

Digunakan adjusted R2, Adjusted: disesuaikan terhadap jumlah peubah eksogen X

yang digunakan

Adjusted R2

Dengan penyesuaian terhadap jumlah peubah eksogen

TotalJK GalatJK 1

TotalJK JK Regresi2 R

n-kn-

n-n-kRadjusted

TotalJK

1GalatJK 11Total/JK

Galat/JK 1 2

Adjusted R2 dapat digunakan untuk memilih model mana yang terbaik berdasarkan jumlah peubah eksogen yang dipakai.

Terbaik: Adjusted R2 → 1

Kriteria lain untuk Pemilihan Model Beberapa kriteria digunakan, AIC, FPE, SBC, HQC Semua memberikan penalti terhadap JK Galat:

Semakin banyak peubah eksogen semakin besar penaltinya

Model terbaik (berdasarkan jumlah peubah eksogen) dipilih dari nilai terkecil kriteria-kriteria tersebut.

Harapan: model terbaik mempunyai nilai terkecil untuk semua kriteria Tidak selalu terjadi akibat bobot yang berbeda

AIC: lebih banyak digunakan pada data deret waktu

Kriteria lain untuk Pemilihan Model

nke

nAIC 2GalatJK

knkn

nFPE

GalatJK

nke

nSBC

GalatJK

nk

nn

HQC2

lnGalatJK

Akaike Information Criterion

Finite Prediction Error

Schwarz Bayesian Criterion

Hannah and Quinn Criterion

Beberapa Uji Hipotesis Pada Regresi Berganda Uji keberartian koefisien secara individu

Uji t (sama dengan uji t pada kasus regresi linier sederhana)

Uji keberartian koefisien secara simultan Uji F

Uji linear restriction: Uji hubungan linier antara dua atau lebih koefisien: uji F atau uji Wald

(pengembangan uji t)

Uji untuk penambahan atau pengurangan peubah eksogen Uji F atau Uji chi square dengan Likelihood Ratio

Semua uji merupakan perbandingan dari unrestricted model (menggunakan semua peubah eksogen) dan restricted model Jika perbedaan tidak nyata maka restriction tidak berarti secara statistik. Model unrestricted lebih baik digunakan.

Uji F Hipotesis nol: restricted model valid Menduga restricted model dan unrestricted model Memperoleh JK Galat untuk restricted model dan JK Galat

untuk unrestricted model, dan menghitung statistik uji F.

URU knkk

UU

RUUR Fkn

kkF

,~/JKG

/JKGJKG

JKGR: JK galat restricted modelJKGU: JK galat unrestricted modelkU: jumlah peubah eksogen (termasuk konstanta) pada unrestricted modelkR: jumlah peubah eksogen (termasuk konstanta) pada restricted model

Penggunaan uji F untuk Uji keberartian koefisien peubah X secara bersama-sama Uji goodness fit secara keseluruhan

Pada dua model Unrestricted: menggunakan semua peubah eksogen Restricted: hanya menggunakan konstanta (super restricted

model)

tiiiii uXβXβXβXββYU 554433221:

ti uβYR 1:

0: 54320 H

5,,2,0 satu salahsedikit paling:1 iH i

Dari pendugaan masing-masing model diperoleh JKGU dan JKGR kU =k= 5 kR = 1

Terdapat hubungan khusus untuk JKGR

21

2 iiR YuJKG Y1̂

2YYi UJKTotal

kn

k

U

UU

/JKG

1/JKGJKTotal UU

RUUR

knkkF

/JKG

/JKGJKG

kn

k

U

U

/JKG

1/JKRegresi

R2 diperoleh dari model unrestricted.

kn

kFU

U

/JKG

1/JKRegresiTotalJK

JKG1TotalJK

JK Regresi2 R

U

U

U

U

U

U

JKGJKTotal

JKTotalJKRegresi

JKGJKRegresi

U

UU

U

JKTotalJKG1

JKTotalJKRegresi

22

11R

R

knkF

knRkRF

,12

2

~/1

1/

Jika F nyata secara statistik (dari p value), maka terdapat cukup bukti untuk mendukung keberartian model

Uji Chi-Square dengan Likelihood Ratio Perbandingan likelihood dua model, restricted

dan unrestricted Unrestricted model: menggunakan semua peubah

eksogen (sejumlah k) Restricted model: terdapat beberapa peubah yang

tidak digunakan atau ditambahkan (sejumlah m) Hipotesis nol: beberapa parameter bernilai nol Menggunakan statistik uji chi-square:

2~2 muR llLR

Contoh Penggunaan uji Chi-Square untuk menguji pengurangan peubah eksogen Unrestricted Model:

Restricted Model:iiiiii uXβXβXβXββYU 554433221:

iiii uXβXββYR 33221:

0: 540 H

5,4,0 satu salahsedikit paling:1 iH i

Fungsi likelihood dari model regresi:

2

2

12

22

ˆ

21exp

2

1ˆ

21exp

21,

ii

nn

n

i

ii YYYYl

Fungsi likelihood dari model unrestricted:

2

25544332212

51 21exp

2

1,,,

iiiii

nn

XXXXYl

Fungsi likelihood dari model restricted:

2

2332212

31 21exp

2

1,,,

iii

nn

XXYl

Statistik uji chi-square dihitung berdasarkan dua fungsi likelihood tersebut:

22

2~2 muR llLR

Jika statistik uji tersebut nyata secara statistik, maka akan cukup bukti untuk mendukung hipotesis alternatif: Peubah eksogen X4 dan X5 tidak perlu dihilangkan

dari model

Uji Wald (pengembangan Uji t) Pengujian linear restriction Misalkan:

Dengan hipotesis bahwa koefisien-koefisien tsb mempunyai hubungan linier, misalkan:

iiii uXβXββY 33221

1: 320 ββH

333222ˆvar,~ˆ,ˆvar,~ˆ βNββNβ

322232ˆˆvar,~ˆˆ ββNββ

Ragam dari jumlah dua penduga tersebut:

323232ˆ,ˆcov2ˆvarˆvarˆˆvar ββββββ

Dengan sifat tersebut, dapat dilakukan uji t, berdasarkan hipotesis nol:

1: 320 ββH

32

3232

ˆˆvar

ˆˆ

ββ

ββββt

3

3232

32 ~ˆ,ˆcov2ˆvarˆvar

1ˆˆ

nt

ββββ

ββ

Uji ini tidak direkomendasikan, terutama jika linear restriction melibatkan lebih dari 2 parameter

Uji F untuk pengujian Linear Restriction Pengujian linear restriction Misalkan:

Dinyatakan sebagai unrestricted model

Dengan hipotesis bahwa koefisien-koefisien tsb mempunyai hubungan linier, misalkan:

iiii uXβXββY 33221

1: 320 ββH

iiii uXβXββY 32221 1

Modifikasi dari unrestricted model:

Unrestricted model

Lakukan transformasi pada peubah endogen dan eksogen:

iiii uXβXββY 32221 1

iiiii uXXββXY 32213

iii uXββY ** 221

iii XYY 3* iii XXX 322 *

Restricted model

3/JKGJKGJKG

/JKG/JKGJKG

nknkkF

U

UR

UU

RUUR

Dari pendugaan masing-masing model diperoleh JKGU dan JKGR

kU =3 kR = 2

Jika statistik uji F ini nyata maka cukup bukti untuk menolak hipotesis tentang hubungan linier yang ada Selainnya maka hubungan linier dapat diterima

Interpretasi Koefisien Pada Multiple RegressionContoh kasus: Observasi pada 900 karyawan suatu

perusahaan Hubungan antara gaji (wage) dan

lama tahun pendidikan (educ), tahun pengalaman kerja (exper), lama tahun bekerja di perusahaan yang sama

(tenure) Digunakan model log lin:

Perubahan Gaji dalam persen Perubahan Gaji bebas satuan

Output Software Model 1: OLS, using observations 1-900 Dependent variable: l_WAGE

coefficient std. error t-ratio p-value --------------------------------------------------------- const 5.52833 0.112795 49.01 8.70e-256 *** EDUC 0.0731166 0.00663568 11.02 1.44e-026 *** EXPER 0.0153578 0.00342531 4.484 8.29e-06 *** TENURE 0.0129641 0.00263073 4.928 9.90e-07 ***

Mean dependent var 6.786164 S.D. dependent var 0.420312 Sum squared resid 135.2110 S.E. of regression 0.388465 R-squared 0.148647 Adjusted R-squared 0.145797 F(3, 896) 52.14758 P-value(F) 4.53e-31 Log-likelihood -424.0434 Akaike criterion 856.0868 Schwarz criterion 875.2964 Hannan-Quinn 863.4250

Log-likelihood for WAGE = -6531.59

Uji statistik bagi koefisien-koefisien nyata, secara serempak maupun masing-masing

Model berarti secara statistik, walaupun R2 kecil

^l_WAGE = 5.53 + 0.0731*EDUC + 0.0154*EXPER + 0.0130*TENURE (0.113)(0.00664) (0.00343) (0.00263)

n = 900, R-squared = 0.149 (standard errors in parentheses)

Secara teori ekonomi: Tingkat Pendidikan berhubungan positif dengan gaji Pengalaman kerja berhubungan positif dengan gaji Masa kerja berhubungan positif dengan gaji

Interpretasi Masing-masing koefisien

Semua tanda koefisien bersesuaian dengan teori ekonomi

^l_WAGE = 5.53 + 0.0731*EDUC + 0.0154*EXPER + 0.0130*TENURE (0.113)(0.00664) (0.00343) (0.00263)

n = 900, R-squared = 0.149 (standard errors in parentheses)

1 tahun peningkatan tingkat pendidikan meningkatkan gaji sebesar 7.31% dengan menganggap peubah bebas lainnya konstan

1 tahun bertambahnya pengalaman kerja meningkatkan gaji sebesar 1.54% dengan menganggap peubah bebas lainnya konstan

1 tahun bertambahnya masa kerja di perusahaan meningkatkan gaji sebesar 1.3% dengan menganggap peubah bebas lainnya konstan