metode regresi ridge untuk mengatasi model regresi linier berganda

Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung Multikolinieritas, 2009. USU Repository © 2009

METODE REGRESI RIDGE UNTUK MENGATASI MODEL REGRESI LINIER BERGANDA YANG MENGANDUNG

MULTIKOLINIERITAS

SKRIPSI

NANANG PRADIPTA 030803013

DEPARTEMEN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA

MEDAN 2009


METODE REGRESI RIDGE UNTUK MENGATASI MODEL

REGRESI LINIER BERGANDA YANG MENGANDUNG MULTIKOLINIERITAS

SKRIPSI

Diajukan untuk melengkapi tugas dan memenuhi syarat mencapai gelar Sarjana Sains

NANANG PRADIPTA

030803013

DEPARTEMEN MATEMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNIVERSITAS SUMATERA UTARA MEDAN

2009


PERSETUJUAN

Judul : METODE REGRESI RIDGE UNTUK MENGATASI MODEL REGRESI LINIER BERGANDA YANG MENGANDUNG MULTIKOLINIERITAS

Kategori : SKRIPSI Nama : NANANG PRADIPTA Nomor Induk Mahasiswa : 030803013 Program Studi : SARJANA (S1) MATEMATIKA Fakultas : MATEMATIKA DAN ILMU PENGETAHUAN

ALAM (FMIPA) UNIVERSITAS SUMATERA UTARA

Medan, Maret 2009 Komisi Pembimbing : Pembimbing 2 Pembimbing 1 Drs. H. Haluddin Panjaitan Drs. Suwarno Ariswoyo, M.Si NIP. 130 701 888 NIP. 130 810 774 Diketahui/Disetujui oleh Departemen Matematika FMIPA USU Ketua, Dr. Saib Suwilo, M.Sc NIP. 131 796 149


PERNYATAAN

METODE REGRESI RIDGE UNTUK MENGATASI MODEL REGRESI LINIER BERGANDA YANG MENGANDUNG MULTIKOLINIERITAS

SKRIPSI

Saya mengakui bahwa skripsi ini adalah hasil kerja saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing disebutkan sumbernya. Medan, Maret 2009 NANANG PRADIPTA 030803013


PENGHARGAAN

Puji syukur penulis tujukan hanya kepada Allah SWT yang senantiasa mencurahkan nikmat dan kasih sayang-Nya sehingga penulis mampu menyelesaikan skripsi yang berjudul ”Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung Multikolinieritas” ini dengan baik. Skripsi ini sebagai salah satu mata kuliah wajib yang harus diselesaikan oleh seluruh mahasiswa Fakultas MIPA Departemen Matematika.

Pada kesempatan ini penulis mengucapkan terima kasih kepada : Bapak Dr. Eddy Marlianto, M.Sc, selaku Dekan Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Sumatera Utara. Bapak Dr. Saib Suwilo, M.Sc, dan Bapak Henry Rani S, M.Si selaku Ketua dan Sekretaris Departemen Matematika di FMIPA USU Medan. Bapak Drs. Suwarno Ariswoyo, M.Si selaku dosen pembimbing I dan Drs. H. Haluddin Panjaitan selaku dosen pembimbing II yang telah memberi dukungan moril, motivasi dan ilmu pengetahuan bagi penulis dalam menyelesaikan Tugas Akhir II ini. Seluruh Staf Pengajar dan Pegawai Departemen Matematika, Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Sumatera Utara. Keluarga tercinta, permata tercintaku Ayahanda Syafi`i Syam dan Ibunda Rida Wardiah yang selalu memberikan perhatian, dukungan dan motivasi baik moril maupun materil, Istriku tercinta Adinda Rina Zahara yang senantiasa mencurahkan kasih sayangnya, buah hatiku Mush`ab Hafizh Al-Bukhori, juga tidak terlupakan kepada mas Ndoyo, mbak Isa, mbak Ita dan adik-adikku tersayang Sugeng dan Tiwi serta keponakanku Abi dan Dinda.

Serta teman-temanku Mahasiswa Departemen Matematika khususnya stambuk 2003, Budi, Jumiana, Amel, Mardiana yang telah banyak membantu dalam penyelesaian penulisan skripsi ini dan buat teman-teman di MaTa AIR INDONESIA terima kasih atas semuanya. Dan semua pihak yang tidak mungkin disebut satu-persatu yang ikut membantu secara langsung maupun tidak langsung. Semoga Allah SWT memberikan balasan atas jasa-jasa mereka yang telah diberikan kepada penulis.

Penulis menyadari masih banyak kekurangan dalam penulisan ini, untuk itu

penulis meminta saran dan kritik yang membangun dari pembaca sekalian. Akhir kata penulis mengucapkan terima kasih atas perhatiannya, semoga

tulisan ini berguna bagi yang membutuhkan.

Medan, Maret 2009 Penulis, Nanang Pradipta


ABSTRAK

Metode kuadrat terkecil merupakan suatu metode estimasi parameter regresi yang paling sederhana untuk regresi linier sederhana maupun regresi linier berganda, tetapi jika diantara variabel-variabel bebas ditemukan multikolinieritas yang sempurna antara variable bebasnya maka estimator yang diperoleh dari metode kuadrat terkecil tidak dapat digunakan. Jika multikolinieritas yang terjadi hampir sempurna, meskipun metode kuadrat terkecil dapat digunakan tetapi galat yang dihasilkan akan menjadi besar, variansi dan kovariansi parameternya menjadi besar pula, padahal nilai estimasi yang diinginkan haruslah memiliki galat dan variansi yang minimum.

Metode Regresi Ridge merupakan salah satu cara untuk mengatasi masalah multikolinieritas diantara variable-variabel bebasnya karena memberikan tetapan bias yang relatif kecil dan memberikan variansi yang minimum. Metode ini merupakan modifikasi dari metode kuadrat terkecil dengan cara mengalikan tetapan bias c yang kecil pada diagonal matriks identitas. Sehingga parameter penduganya menjadi :

( ) ( ) YXcIXXc TT 1*ˆ −+=β

Dengan c adalah sebuah bilangan yang positif atau 0≥c , umumnya c terletak antara interval .10 << c


ABSTRACT

The Ordinary Least Square method is a method of the simplest regression parameter estimate for simple linear regression and also multiple linear regression, but if the perfect multicollinearity is found among independent variables between independent variables hence the obtained estimator from the ordinary least square method can not be used. If multicollinearity that happened almost perfect, though the ordinary least square method cam be used but the yielded error will become big, variance and covariance of its parameter also become big, though the wanted estimate assessment shall have error and minimum variance.

The Ridge regression method is one of the way to overcome problem of multicollinearity among independent variables because giving biased constanta which is relatively small and giving minimum variance. This method is modification of ordinary least square method by multiplying biased constanta of small deflect c on diagonal identity matrix. Therefore its parameter becomes :


With c is a positive number or 0≥c , generally c is located between interval .10 << c


DAFTAR ISI

Halaman Persetujuan i Pernyataan ii Penghargaan iii Abstrak iv Abstract v Daftar Isi vi Daftar Tabel viii Daftar Gambar ix Bab 1 Pendahuluan 1

1.1 Latar Belakang 1 1.2 Perumusan Masalah 3 1.3 Pembatasan Masalah 4 1.4 Tinjauan Pustaka 4 1.5 Tujuan Penelitian 5 1.6 Kontribusi Penelitian 5 1.7 Metodologi Penelitian 5

Bab 2 Landasan Teori 7 2.1 Ukuran Pemusatan dan Penyebaran 7

2.2 Matriks 9 2.2.1 Definisi 9 2.2.2 Jenis Matriks 11 2.2.3 Operasi Matriks 13

2.3 Nilai Eigen dan Vektor Eigen 17 2.4 Regresi Linier Berganda 18 2.5 Penduga Parameter 19 2.6 Matriks Korelasi 22 2.7 Multikolinieritas 23 2.8 Pendeteksian Multikolinieritas 25 2.9 Pengaruh Multikolinieritas 26 2.10 Metode Regresi Ridge 27

2.10.1 Gambaran Umum Regresi Ridge 27 2.10.2 Gambaran Umum Ridge Trace 28

2.11 Uji Regresi Linier 28 2.12 Uji Koefisien Korelasi Ganda 29

Bab 3 Pembahasan 30


3.1 Regresi Ridge 30 3.2 Ridge Trace 31 3.3 Pemodelan Regresi Ridge 34 3.4 Uji Keberartian Regresi 38

Bab 4 Kesimpulan Dan Saran 41 Daftar Pustaka 42


DAFTAR TABEL

Halaman

Tabel 2.1 Kumpulan data untuk n observasi pada k variabel 7 Tabel 3.1 Tabel barang import dan faktor – faktor yang mempengaruhinya 32 Tabel 3.2 Estimator Parameter Regresi Kuadrat Terkecil 33 Tabel 3.3 Tabel Anava Untuk Data Awal 33 Tabel 3.4 Data Transformasi 35 Tabel 3.5 Nilai VIF ( )cβ̂ Dengan Berbagai Nilai c 36 Tabel 3.6 Nilai ( )cβ̂ Dengan Berbagai Harga c 37 Tabel 3.7 Anava Ridge 39


DAFTAR GAMBAR

Halaman Gambar 3.1 Ridge Trace 38


BAB 1

PENDAHULUAN

1.1 Latar Belakang

Dalam suatu penelitian banyak hal menarik untuk diamati. Sehingga si peneliti harus

melihat berbagai faktor yang mempengaruhi serta menganalisisnya untuk keperluan

penelitiannya. Terkadang, terlalu banyaknya faktor yang mempengaruhi penelitian

maka dibutuhkan suatu model matematis yang ringkas dan sesuai untuk

menyelesaikan penelitian tersebut. Sebut saja model matematis tersebut adalah model

statistika. Model statistika merupakan suatu model matematis yang meliputi variabel

bebas dan variabel tak bebas dari parameter persamaan yang digunakan untuk

mengetahui bentuk hubungan antara peubah-peubah yang dipakai sebagai keperluan

pendugaan ataupun peramalan. Sehingga untuk keperluan tersebut maka parameter-

parameter yang terkait harus didefinisikan terlebih dahulu.

Salah satu dari model statistika yang sering digunakan dalam pemecahan suatu

permasalahan adalah model Regresi Linier (Linear Regression). Model regresi linier

merupakan sebuah model yang digunakan untuk menganalisis hubungan antar

variabel. Hubungan tersebut dapat diekspresikan dalam bentuk persamaan yang

menghubungkan variabel terikat Y dengan satu atau lebih variabel bebas X1, X2, ..., Xk .

Jika variabel terikat (Y) hanya dihubungkan dengan satu variabel bebas (X), maka

akan menghasilkan persamaan regresi linier yang sederhana (Simple Linear

Regression). Sedangkan jika variabel bebas (X) yang digunakan lebih dari satu, maka

persamaan regresinya adalah persamaan regresi linier berganda (Multiple Linear

Regression).

Secara umum persamaan regresi linier dengan k variabel bebas dinyatakan

dengan :

ikikiii XXXY εββββ +++++= 22110

dengan :


iY = variabel tak bebas / pengamatan ke i pada variabel yang dijelaskan y

iX = variabel bebas / pengamatan ke i pada variabel penjelas xk

kββ ,,1 = parameter / koefisien regresi variabel penjelas xk

iε = variabel gangguan / error

kββ ,,1 adalah parameter-parameter yang akan diduga, yang mana dalam

tulisan ini digunakan metode kuadrat terkecil biasa (Ordinary Least Square, OLS)

sebagai penduganya. Penduga dengan MKT akan menghasilkan taksiran yang

diijinkan jika asumsi berikut terpenuhi:

a. Nilai rata-rata kesalahan pengganggu nol, yaitu : ( ) 0=iE ε untuk ni ,,2,1 =

b. Var ( ) ( ) 22 σεε == ii E , adalah konstan untuk semua kesalahan pengganggu

(asumsi homoskedastisitas).

c. Tidak ada korelasi serial (autocorrelation) antara penggangu iε , berarti

kovarian ( ) jiji ≠= ,0εε

d. Peubah bebas nxxx ,,, 21 konstan dalam sampling yang terulang dan bebas

terhadap kesalahan pengganggu iε .

e. Tidak ada multikoloniaritas diantara peubah bebas.

f. ( )2,0 σε Ni ≈ , artinya kesalahan pengganggu menyebar mengikuti distribusi

normal dengan rata-rata 0 dan variansi 2σ .

Salah satu asumsi dari model regresi linier klasik diatas adalah bahwa tidak

ada multikolinieritas atau tidak ada hubungan linier (kolinieritas) antara variabel-

variabel bebasnya. Jika terdapat multikolinieritas di dalam persamaan regresi tersebut

maka akan mengakibatkan penggunaan OLS dalam mengestimasi parameter/koefisien

regresi akan terganggu. Jika multikolinieritas yang hampir sempurna terjadi, meskipun

metode kuadrat terkecil dapat digunakan tetapi galat yang dihasilkan akan menjadi

besar, variansi dan kovariansi parameter tidak terhingga.


Ada beberapa cara untuk mengatasi masalah ini, diantaranya ialah :

1. Dengan memperbesar ukuran sampel sehingga kovarian diantara parameter-

parameternya dapat dikurangi. Hal ini disebabkan karena kovariansi berhubungan

terbalik dengan ukuran sampel, tetapi harus diingat bahwa hal ini akan benar jika

interkorelasi yang terjadi hanya didalam sampel dan bukan didalam populasi dari

variabel-variabel. Jika variabel-variabel ini berkolinier dalam populasi maka

prosedur memperbesar ukuran sampel tidak akan mengurangi multikolinieritas

2. Mengeluarkan suatu variabel yang diketahui menyebabkan terjadinya

multikolinieritas, tetapi dalam mengeluarkan suatu variabel dari model, kita

mungkin melakukan bias spesifikasi. Bias spesifikasi timbul dari spesifikasi yang

tidak benar dari model yang digunakan dalam analisis.

3. Metode Regresi Ridge, metode ini pertama kali dikemukakan oleh A.E. Hoerl

pada tahun 1962. Regresi ini merupakan modifikasi dari metode kuadrat terkecil

dengan cara menambah tetapan bias c yang kecil pada diagonal matrik XTX.

Dari beberapa cara mengatasi masalah multikolinieritas diatas, metode Regresi

Ridge merupakan penyelesaian yang paling baik, karena mengingat tujuan Regresi

Ridge untuk memperkecil variansi estimator koefisien regresi.

Berdasarkan latar belakang inilah maka penulis memberi judul tulisan ini yaitu

”Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang

Mengandung Multikolinieritas".

1.2 Perumusan Masalah

Multikolinieritas merupakan salah satu faktor yang menyebabkan persamaan regresi

linier berganda menjadi tidak efektif dan akurat. Multikolinieritas juga mengakibatkan

penggunaan OLS dalam mengestimasi parameter/koefisien regresi akan terganggu.

Jika multikolinieritas yang hampir sempurna terjadi, meskipun metode kuadrat

terkecil dapat digunakan tetapi galat yang dihasilkan akan menjadi besar, variansi dan

kovariansi parameter tidak terhingga. Oleh karena itu, dalam tulisan ini akan dibahas

tentang penggunaan metode Regresi Ridge dalam mengatasi masalah multikolinieritas

yang terdapat dalam suatu persamaan linier berganda, sehingga dapat ditentukan


persamaan regresi linier berganda yang terbaik dan tidak memiliki masalah

multikolinieritas.

1.3 Pembatasan Masalah

Agar penyelesaian masalah tidak menyimpang dari pembahasan maka perlu dibuat

suatu pembatasan masalah yaitu dengan menganggap bahwa asumsi klasik yang lain

tetap terpenuhi.

1.4 Tinjauan Pustaka

Djalal Nachrowi et al, (2002) mengatakan prinsip Ordinary Least Square (OLS)

mengatakan bahwa kita perlu menaksir 1β dan 2β sehingga ∑ 2ie minimum. Artinya,

kita akan mencari 1β dan 2β sedemikian sehingga model regresi yang terestimasi

dekat sekali dengan model regresi yang sesungguhnya. Secara matematis, 1β dan 2β

kita pilih sedemikian sehingga bentuk berikut terpenuhi :

( )221

2 ∑∑ −−= iii XYeMinimum ββ

Supranto, J. (1992) dalam bukunya mengatakan istilah kolinieritas ganda

(Multicolliniearity) merupakan hubungan linier yang sempurna atau eksak diantara

variabel-variabel bebas dalam model regresi. Istilah kolinieritas sendiri berarti

hubungan linier tunggal, sedangkan kolinieritas ganda (multikolinieritas)

menunjukkan adanya lebih dari satu hubungan linier yang sempurna.

Walpole et al, (1986) dalam bukunya mengatakan suatu cara dalam menghadapi

multikolinieritas adalah meninggalkan metode kuadrat terkecil yang biasa dan

menggunakan cara penaksiran yang bias. Dalam menggunakan cara penaksiran yang

bias ini, pada dasarnya kita bersedia menerima sejumlah bias tertentu dalam taksiran

agar variansi penaksir dapat diperkecil. Taksiran bias yang diperoleh disini untuk

koefisien regresi kβββ ,,, 10 dalam model

εββββ +++++= kk xxxy 22110


dinyatakan dengan **1

*0 ,,, kbbb dan disebut taksiran regresi Ridge. Taksiran ini

diperoleh melalui pendekatan kuadrat terkecil terkendala yang berdasarkan intuisi

menarik dengan meminimumkan jumlah kuadrat galat dengan kendala

kjb jj ,,1,0,* == ρ dengan jρ merupakan tetapan positif yang berhingga.

1.5 Tujuan Penelitian

Masalah multikolinieritas merupakan kondisi buruk yang menyebabkan matrik XTX

hampir singular yang akan mengakibatkan nilai estimasi parameter tidak stabil.

Tujuan dari penelitian ini adalah menggunakan Regresi Ridge untuk mengatasi

masalah multikolinieritas antara variabel-variabel bebas sehingga diperoleh

persamaan regresi linier berganda yang lebih baik.

1.6 Kontribusi Penelitian

Regresi adalah salah satu metode yang digunakan untuk menaksir suatu peubah tak

bebas dengan memperhatikan faktor-faktor penyebabnya. Dari penulisan ini, penulis

berharap dapat memberikan satu solusi alternatif bagi pengguna analisis regresi linier

dengan masalah multikolinieritas yang terdapat pada data. Sehingga model regresi

tersebut dapat diatasi dan menjadi model regresi yang benar.

1.7 Metodologi Penelitian

Penelitian ini dibuat berdasarkan studi literatur dan mengikuti langkah-langkah

sebagai berikut :

1. Mengumpulkan dan mempelajari pustaka-pustaka yang berkenaan dengan

materi penelitian seperti regresi linier berganda, multikolinieritas, serta metode

Regresi Ridge.

2. Menyusun hasil langkah pertama dalam tulisan ini dengan :

a. Menerangkan konsep dasar matriks, multikolinieritas dan metode Regresi

Ridge.


b. Mendeteksi keberadaan multikolinieritas.

c. Menguraikan penyelesaian masalah multikolinieritas dengan metode

Regresi Ridge.

d. Menyelesaikan contoh kasus yang mengandung multikolinieritas dengan

metode Regresi Ridge. Dalam hal ini digunakan software SPSS sebagai

pengelolah data untuk menentukan persamaan regresi linier berganda

dengan menggunakan metode kuadrat terkecil dan software MATLAB

sebagai pendeteksi ada tidaknya multikolinieritas pada persamaan regresi

linier berganda yang telah diperoleh.


BAB 2

LANDASAN TEORI

2.1 Ukuran Pemusatan dan Penyebaran

Hasil penelitian riset maupun pengamatan baik yang dilakukan khusus ataupun dalam

bentuk laporan, sering diinginkan suatu uraian dan kesimpulan tentang persoalan yang

diteliti. Sebelum kesimpulan dibuat, keterangan atau data yang telah terkumpul itu

terlebih dahulu dipelajari, dianalisis atau diolah, serta berdasarkan pengolahan inilah

baru kesimpulan dibuat.

Statistika adalah pengetahuan yang berhubungan dengan cara-cara

pengumpulan data, pengolahan atau penganalisisan dan penarikan kesimpulan

berdasarkan kumpulan data dan penganalisisan yang dilakukan. Kumpulan data yang

lengkap dan jelas yang ingin dipelajari sifat-sifatnya dinamakan populasi sedangkan

sebagian data yang diambil dari populasi dinamakan sampel, dimana sampel

diharapkan dapat mewakili populasi. Jika 1≥k dari satu populasi maka akan ada k

buah data sampel, akan digunakan notasi Xji untuk mengenali setiap observasi ke-j

pada sampel atau variabel-variabel ke-i. Misalkan n observasi pada k variabel dapat

dibentuk sebagai berikut :

Tabel 2.1 Kumpulan data untuk n observasi pada k variabel

No. Observasi Variabel 1 2 3 ... k

1 X11 X12 X13 ... X1k 2 X21 X22 X23 ... X2k 3 X31 X32 X33 ... X3k


.

.

.

.

.

.

.

.

.

.

.

.

...

...

...

.

.

. n Xn1 Xn2 Xn3 ... Xnk

Kalau dalam bentuk matriks X didefinisikan sebagai berikut :

=

nknn

k

k

XXX

XXXXXX

X

21

22221

11211

Jika observasi sebuah sampel sebesar n, maka rata-rata sampel ke-j yang

merupakan ukuran pemusatan didefinisikan sebagai berikut :

∑= jij Xn

X 1 ; j = 1,2,3, ... , k dan i = 1,2,3, ... , n (2.1)

dengan n > k

Variansi sampel merupakan ukuran penyebaran didefinisikan sebagai berikut :

( ) ;1

1 22 ∑ −−

= jjij XXn

S j = 1,2,3, ... , k (2.2)

== jjj SS 2 variansi sampel ke-j

Variansi sampel yang menunjukkan tingkat hubungan antara dua sampel yang

didefinisikan sebagai berikut:

( ) ( )( )hhi

n

ijjihjjh XXXX

nXXCovS −−

−== ∑

=111 (2.3)

dengan j = 1,2,3, ... , k dan h = 1,2,3, ... , k

Sjh = kovariansi antara Xj dan Xh

Koefisien korelasi merupakan ukuran variansi khusus antara dua variabel yang

tidak bergantung pada suatu unit pengukuran antara dua variabel di definisikan

sebagai berikut :

hhjj

jhxjxh SS

Sr =


( )( )

( ) ( )∑∑

∑

==

=

−−

−−=

n

ihhi

n

ijji

hhi

n

ijji

XXXX

XXXX

1

22

1

1 (2.4)

dengan hj XXr = koefisien korelasi antara Xj dan Xh

Kumpulan dasar pemusatan dan penyebaran dalam bentuk matriks adalah :

Rata-rata sampel

=

kx

xx

X2

1

Variansi dan Kovariansi = Sk =

kkkk

k

k

SSS

SSSSSS

21

22221

11211

Korelasi sampel C =

1

11

21

221

112

kk

k

k

rr

rrrr

2.2 Matriks

2.2.1 Definisi

Matrik adalah suatu kumpulan angka – angka yang juga sering disebut elemen-elemen

yang disusun secara teratur menurut baris dan kolom sehingga berbentuk persegi

panjang, dimana panjang dan lebarnya ditunjukkan oleh banyaknya kolom dan baris

serta dibatasi dengan tanda “ [ ]“ atau “ ( )“.

Sebuah matriks dinotasikan dengan simbol huruf besar seperti A, X, atau Z.

Contoh :


=×

232221

13121132 aaa

aaaA

disebut matriks A dengan 2 baris dan 3 kolom. Jika A sebuah matriks, kita gunakan

untuk menyatakan elemen yang terdapat didalam baris i dan kolom j dari A. Dalam

contoh ini i = 1, 2 dan j = 1, 2, 3 atau dapat ditulis :

[ ] 3,2,12,1 === jiaA ij

Sebuah matriks yang berukuran m baris dan n kolom dengan ija dapat ditulis

sebagai berikut :

=×

mnmm

n

n

nm

aaa

aaaaaa

A

21

22221

11211

Atau juga dapat ditulis :

[ ] njmiaA ij ,,2,1;,,2,1 ===

Skalar

Suatu skalar adalah besaran yang hanya memiliki nilai tetapi tidak memiliki arah.

Vektor Baris

[ ]mxnijaA = disebut vektor baris 1=⇔ m

Contoh : [ ]527441 =xX

Vektor Kolom

[ ]mxnijaA = disebut vektor kolom 1=⇔ n


Contoh dari vektor kolom :

=

1325

14xX

Kombinasi linier

Vektor w merupakan kombinasi linier dari vektor-vektor nvvv ,,, 21 jika terdapat

skalar k1, k2, ... , kn sehingga berlaku :

,2211 nnvkvkvkw +++= (2.5)

Jika vektor w = 0 maka disebut persamaan homogen dan nvvv ,,, 21 disebut

vektor yang bebas linier, yang mengakibatkan k1 = k2 = ... = kn = 0, tetapi jika ada

bilangan k1, k2, ..., kn yang tidak semuanya sama dengan nol, maka

nvvv ,,, 21 disebut vektor yang bergantung linier.

2.2.2 Jenis-jenis Matriks

Matriks Kuadrat

Matriks kuadrat adalah matriks yang memiliki baris dan kolom yang sama banyak.

Dalam suatu matriks kuadrat, elemen – elemen nnaaa ,,, 2211 disebut elemen

diagonal utama. Jumlah elemen – elemen diagonal utama suatu matriks kuadrat A

disebut trace A ditulis tr (A). ( ) ( )jiaAtrn

iij ==∑

=1,

Contoh :

=×

nnnn

n

n

nn

aaa

aaaaaa

A

21

22221

11211

( ) .2211 nnaaaAtr +++=


Matriks Diagonal

Matriks kuadrat [ ]ijaA = dinamakan matriks diagonal jika semua elemen diluar

diagonal utama adalah nol, .0 jiuntukaij ≠=

Contoh :

=

6005

A , dan

−=

300050002

A merupakan matriks diagonal.

Matriks Simetris

Suatu matriks kuadrat [ ] njiaA ij ,,2,1,; == disebut matriks simetris jika elemen

dibawah diagonal utama merupakan cermin dari elemen diatas diagonal utama.

Matriks simetri jika AAT = artinya jiij aa = .

Contoh :

=

364620401

A

Matriks Identitas

Matriks A disebut matriks identitas dan biasa diberi simbol I.

[ ] nmIaA ij =⇔== dan untuk

jiajia

ij

ij

≠→=

=→=

0

1

Contoh :

=

100010001

33xI


Matriks Nol

Matriks Nol adalah suatu matrik dengan semua elemennya mempunyai nilai nol.

Biasanya diberi simbol 0, dibaca matriks nol.

Matriks Elementer

Suatu matriks nxn dikatakan matriks elementer jika matriks tersebut dapat diperoleh

dari matriks identitas n x n yakni nI dengan melakukan operasi baris elementer

tunggal.

Matriks Segitiga

Matriks [ ]ijaL = suatu matriks bujur sangkar dikatakan segitiga bawah (lower

triangular) jika 0=ija untuk ji < dan matriks [ ]ijaU = suatu matriks bujur sangkar

dikatakan segitiga atas (upper triangular) jika 0=ija untuk ji > .

Contoh :

Segitiga bawah

−

=

1453035200210005

L , Segitiga atas

−

=

3000620032105321

U

2.2.3 Operasi Matriks

Perkalian Matriks dengan skalar

Jika [ ]ijaA = adalah matriks mxn dan r adalah suatu skalar, maka hasil kali A dengan r

adalah [ ]ijbB = matriks mxn dengan ( )njmirab ijij ≤≤≤≤= 1,1


Contoh :

=

3254

A dengan diberikan 5=r maka

=

=

15102520

3254

55A

Perkalian Matriks dengan Matriks

Jika [ ]ijaA = adalah matriks mxp dan [ ]ijbB = adalah matriks pxn maka hasil kali

dari matriks A dan matriks B yang ditulis dengan AB adalah C matriks mxn. Secara

matematik dapat ditulis sebagai berikut :

pjipjijiij bababac +++= 2211

( )njmibap

kkjik ≤≤≤≤=∑

=

1,11

(2.6)

Penjumlahan Matriks

Jika [ ]ijaA = adalah matriks mxn dan [ ]ijbB = adalah matriks mxn maka penjumlahan

matriks dari matriks A dan matriks B yang ditulis dengan [ ]ijcC = dengan

),,2,1;,,2,1( njmibac ijijij ==+= .

Pengurangan Matriks

Jika [ ]ijaA = adalah matriks mxn dan [ ]ijbB = adalah matriks mxn maka pengurangan

matriks dari matriks A dan matriks B yang ditulis dengan [ ]ijcC = dengan

),,2,1;,,2,1( njmibac ijijij ==−= .

Transpose suatu matriks


Jika [ ]ijaA = matriks mxn maka matriks nxm dengan [ ]tij

T aA = dan

( )njmiaa jitij ≤≤≤≤= 1,1 disebut dengan transpose dari matriks A.

Contoh:

=

=

253612

265132

3223T

xx AA

Matriks mxn yang umum dapat ditulis :

[ ] njmia

aa

aa

A ij

mnm

n

mxn ,,2,1,,2,1

1

111

===

⋅⋅⋅⋅⋅⋅⋅⋅⋅

⋅⋅⋅

=

Maka

[ ] njmia

aa

aa

AA ji

nmn

m

nxmTmxn ,,2,1,,2,1

1

111

===

⋅⋅⋅⋅⋅⋅⋅⋅⋅

⋅⋅⋅

==

Invers Matriks

Misalkan A matriks nxn disebut nonsingular (invertible) jika terdapat matriks B maka

nIBAAB == (2.7)

matriks B disebut invers dari A. Jika tidak terdapat matriks B maka matriks A disebut

singular (noninvertible).

Secara umum invers matriks A adalah :

( ) ( )AAdjA

Adet

11 =−

Adjoint matriks A adalah suatu matriks yang elemen-elemennya terdiri dari

semua elemen-elemen kofaktor matriks A, dengan Ki j adalah kofaktor elemen-elemen

njiaij ,,2,1,, = . Sehingga dapat ditulis dalam bentuk matriks sebagai berikut :


=

nnnn

n

n

KKK

KKKKKK

Aadj

21

22221

12111

Sifat – sifat invers :

a. Jika A adalah matriks non singular, maka 1−A adalah nonsingular dan

( ) AA =−− 11

b. Jika A dan B adalah matriks non singular, maka AB adalah nonsingular dan

( ) 111 −−− = ABAB

c. Jika A adalah matriks non singular maka

( ) ( )11 −−= AAT

Determinan Matriks

Misalkan [ ]ijaA = adalah matriks nxn. Fungsi determinan dari A ditulis dengan det

(A) atau A . Secara matematikanya ditulis dengan :

( )nnjjj aaaAA

21 21)(det ∑ ±== dengan njjj ,,, 21 merupakan himpunan

{ }nS ,,2,1 = .

Teorema

Jika [ ]ijaA = adalah matriks nxn yang mengandung sebaris bilangan nol, maka

0=A .

Contoh : 0000412321

=→

= AA

Teorema


Jika A adalah matriks segitiga n x n, maka A adalah hasil kali elemen-elemen pada

diagonal utama, yaitu nnaaaA 2211= .

Contoh :

−

−

=

3000550026408582

44xA maka ( )( )( )( ) 1203542 −=−=A

Teorema

Jika A adalah sebarang matriks kuadrat, maka TAA = .

Terorema

Jika A dan B adalah matriks kuadrat yang ordonya sama, maka BAAB = .

Contoh :

=

1213

22xA

−=

8531

22xB ( )

=

143172

22xAB

( )( )23

23231

−=

−=−=

AB

BA

Sehingga det (AB) = det (A) det (B)

2.3 Nilai Eigen dan Vektor Eigen

Jika A adalah matriks nxn, maka vektor tak nol X di dalam Rn dinamakan vektor eigen

(eigenvektor) dari A jika AX adalah kelipatan skalar dari X; yakni,

XAX λ= (2.8)

untuk suatu sakalar λ . Skalar λ dinamakan nilai eigen (eigenvalue) dari A dan X

dikatakan vektor eigen yang bersesuaian dengan λ .

Untuk mencari nilai eigen matriks A yang berukuran nxn :


=

=

⋅⋅⋅⋅⋅⋅⋅⋅⋅

⋅⋅⋅

=

n

nxn

nnn

n

nxn

x

xx

XI

aa

aa

A

2

1

1

111

,

1000000

010000100001

,

IXAX

XXAXλλ

=≠= 0,

0)(0

=−=−

XAIAXIX

λλ

00 =−→≠ AIX λ

untuk memperoleh nilai λ .

0=− AIλ

0

1

111

=

−⋅⋅⋅−⋅⋅⋅⋅⋅⋅

−⋅⋅⋅−

nnn

n

aa

aa

λ

λ

( )n

nnnn

akarbuahnaaaaf

λλλλλλλ

,,,0

21

11

10

=++++= −−

(2.9)

Jika eigen value nλ disubsitusi pada persamaan 0)( =− XAIλ , maka solusi

dari eigen vektor Xn adalah 0)( =− nn XAIλ .

Definisi :

Misalkan [ ]ijaA = matriks nxn. Determinan

( ) ( )

−−−

−−−−−−

=−=

nnnn

n

n

n

aaa

aaaaaa

AIf

λ

λλ

λλ

21

22221

11211

det

Dikatakan karakteristik polinom dari A. Persamaan


( ) ( ) 0det =−= AIf nλλ

Dikatakan persamaan karakteristik dari A.

Matriks kuadrat A dinamakan dapat didiagonalisasikan (diagonalizable) jika terdapat

matriks P yang dapat dibalik sehingga P-1AP diagonal, matriks P dikatakan

mendiagonalisasi A.

Teorema : Jika A adalah matriks nxn, maka pernyataan – pernyataan berikut ekivalen

satu sama lain.

1. A dapat didiagonalisasi

2. A mempunyai n buah vektor eigen bebas linier

2.4 Regresi Linier Berganda

Beberapa permasalahan regresi dapat mencakup lebih dari satu variabel bebas. Model-

model regresi yang menggunakan lebih dari satu variabel bebas disebut model regresi

linier berganda. Regresi linier berganda merupakan salah satu teknik statistika yang

digunakan secara luas. Bentuk umum dari regresi linier berganda adalah :

ikikiii XXXY εββββ +++++= 22110

Model ini menggambarkan sebuah bidang banyak dalam ruang k pada tingkat

variabel-variabel bebas { }iX

Dalam melakukan analisis regresi linier berganda, sering dijumpai masalah

multikolinieritas pada peubah-peubah bebasnya (X). Akibat adanya pelanggaran

terhadap salah satu asumsi yang disyaratkan pada penggunaan regresi linier tersebut,

maka tentu mempengaruhi terhadap sifat-sifat penduga atau penaksir koefisien regresi

linier gandanya. Adapun asumsi-asumsi yang mendasari analisis regresi berganda

tersebut antara lain :

g. Nilai rata-rata kesalahan pengganggu nol, yaitu : ( ) 0=iE ε untuk ni ,,2,1 =

h. Var ( ) ( ) 22 σεε == ii E , adalah konstan untuk semua kesalahan pengganggu

(asumsi homoskedastisitas).


i. Tidak ada korelasi serial (autocorrelation) antara penggangu iε , berarti

kovarian ( ) jiji ≠= ,0εε

j. Peubah bebas nxxx ,,, 21 konstan dalam sampling yang terulang dan bebas

terhadap kesalahan pengganggu iε .

k. Tidak ada multikoloniaritas diantara peubah bebas.

l. ( )2,0 σε Ni ≈ , artinya kesalahan pengganggu menyebar mengikuti distribusi

normal dengan rata-rata 0 dan variansi 2σ .

Pengabaian multikolinieritas dalam analisis regresi akan mengakibatkan

penduga koefisien regresi linier ganda relatif tidak stabil atau kurang tepat. Salah satu

metode yang dapat digunakan mengatasi masalah multikolinieritas adalah dengan

metode Regresi Ridge.

2.5 Penduga Parameter

Metode Kuadrat Terkecil

Metode kuadrat terkecil (Ordinary Least Square, OLS) merupakan salah satu metode

untuk mengestimasi parameter pada regresi linier. Tujuan OLS adalah

meminimumkan jumlah kuadrat dari kesalahan (error sum of square). Misalkan model

yang akan diestimasi adalah parameter dari persamaan dengan :

ikikiii XXXY εββββ +++++= 22110 (2.10)

Penjabaran dari persamaan adalah :

nnkknnn

kk

kk

XXXy

XXXyXXXy

εββββ

εββββεββββ

+++++=

+++++=+++++=

22110

2222221102

1112211101

Persamaan-persamaan diatas dapat ditulis dengan menggunakan persamaan

matriks yaitu :


εβ += XY (2.11)

Dengan

=

ny

yy

2

1

Y

=

nknn

k

k

XXX

XXXXXX

21

22221

11211

1

11

X

=

kβ

ββ

β1

0

=

nε

εε

ε2

1

Untuk mendapatkan penaksir-penaksir OLS bagi β , maka dengan asumsi

klasik ditentukan dua vektor ( β̂ dan e ) sebagai :

=

kβ

ββ

β

ˆ

ˆˆ

ˆ 2

1

=

ne

ee

e2

1

Persamaan hasil estimasi dari persamaan (2.1.1) dapat ditulis sebagai :

e+= β̂XY

atau β̂XYe −= (2.12)

Karena tujuan OLS adalah meminimumkan jumlah kuadrat dari kesalahan, yaitu

=∑=

k

iie

1

2 minimum

maka :

222

21

1

2k

k

ii eeee +++=∑

=

[ ] ee

e

ee

eee T

k

k =

=

2

1

21 (2.13)

jadi :

eee Tk

ii =∑

=1

2

( ) ( )ββ ˆˆ XYXYT

−−=


ββββ ˆˆˆˆ XXXYYXYY TTTTTT +−−=

Oleh karena YX TTβ̂ adalah skalar, maka matriks transposenya adalah :

( ) ββ ˆˆ XYYX TTTT =

jadi,

βββ ˆˆˆ2 XXYXYYee TTTTTT +−= (2.14)

Untuk menaksir parameter β̂ maka eeT harus diminimumkan terhadap Tβ̂ , maka :

βββ ˆˆˆ21

2 XXYXYYe TTTTTk

ii +−=∑

=

0ˆˆˆ2ˆ 1

2 =+−=

∂∂ ∑

=

ββββ

XXYXYYe TTTTTk

iiT

0ˆ22 =+−= βXXYX TT

Atau

YXXX TT =β̂

( ) YXXX TT 1ˆ −=β dengan ketentuan ( ) 0det ≠XX T (2.15)

Penduga β̂ merupakan penduga tak bias linier terbaik atau efisien bagi β

yaitu :

1. β̂ adalah penduga tak bias bagi β

Akan ditunjukkan bahwa β̂ adalah penaksir linier tak bias dari β . Dari persamaan

(2.11) diketahui :

( ) YXXX TT 1ˆ −=β

( ) ( )εβ +=− XXXX TT 1

( ) ( ) εβ TTTT XXXXXXX 11 −−+=

( ) εβ TT XXX 1−+= (2.16)

Dengan ( ) IXXXX TT =−1


( ) ( ) ( )[ ]YXXXEE TT 1ˆ −=β

( ) ( )( ) ( )( )

ββ

β

β

===

=

=

−

−

−

IXXXX

XXXX

YEXXX

TT

TT

TT

1

1

1

2. Kovarian ( ) ( ) 21ˆ σβ−

= XX T

Cov ( ) ( )( ) ( )( )( ) −−=

TEEE βββββ ˆˆˆˆˆ

( )( ) ( ) ( )( )( )( )( )( )( ) ( )[ ]

( ) ( ) ( )( ) 21

11

11

11

11

σ

εε

εε

εε

βεββεβ

−

−−

−−

−−

−−

=

=

=

=

−+−+=

XX

EXXXXXX

XXXXXXE

XXXXXXE

XXXXXXE

T

TTTT

TTTT

TTTTT

TTTTT

2.6 Matriks Korelasi

Misalkan kita ingin mengestimasi parameter dalam model :

iikkiii XXXY εββββ +++++= 22110 i = 1, 2, ... , n

Kita dapat menuliskan kembali model ini dengan sebuah perubahan intercept *0β sebagai :

( ) ( ) ( ) ikikkiii XXXXXXY εββββ +−++−+−+= 222111*

0

Atau karena Y=*0β

( ) ( ) ( ) ikikkiii XXXXXXYY εβββ +−++−+−=−= 222111

Matriks XTX untuk model ini adalah :


=

kkkk

k

k

T

SSS

SSSSSS

XX

21

22221

11211

Dimana ( )( )∑=

−−=n

ijijkikkj xxxxS

1

Maka bentuk korelasi matriks XTX adalah :

==

1

11

1

321

33231

22321

11312

kkk

k

k

k

rrr

rrrrrrrrr

RC

Dimana ( ) 2

1jjkk

kjkj

SS

Sr = k, j = 1, 2, ... , n dan 11211 ==== kkrrr

Transformasi ini dihasilkan dalam sebuah variabel regresi yaitu : *

2211*

iikkiii ZbZbZby ε++++=

Dengan variabel-variabel barunya adalah :

( )

( ) jj

iij

yy

ii

SnxxZ

Snyyy

1

1

*

*

−−

=

−−

=

(2.17)

Hubungan parameter 1β̂ dan 2β̂ dalam model baru dengan parameter 0β , 1β , 2β dalam

model semula adalah :


kk

kk

ykk

y

y

xxxySS

SS

SS

ββββ

ββ

ββ

ββ

−−−−=

=

=

=

22110

2222

1111

ˆ

ˆ

ˆ

(2.18)

( )

11

2

−

−=∑=

n

yyS

n

ii

y dan ( )

11

2

−

−=∑=

n

xxS

n

ii

kk

2.7 Multikolinieritas

Istilah multikolinieritas mula-mula ditemukan oleh Ragnar Frisch pada tahun 1934

yang berarti adanya hubungan linier antar sesama variabel bebas Xi. Maksud dari

adanya hubungan linier antara variabel bebas Xi adalah sebagai berikut : misalkan

terdapat dua variabel bebas X1 dan X2. Jika X1 dapat dinyatakan sebagai fungsi linier

dari X2 atau sebaliknya, maka dikatakan bahwa ada hubungan linier antara X1 dan X2.

Misalkan secara substansi diketahui bahwa total pendapatan (X1) adalah penjumlahan

pendapatan dari upah (X2) dan pendapatan bukan dari upah (X3), hubungannya adalah

X1=X2 + X3. Bila model ini diestimasi dengan OLS, maka 1β tidak dapat diperoleh

karena [ ] 1−XX T tidak dapat dicari, kejadian inilah yang dinamakan multikolinieritas

sempurna.

Dalam hal lain, misalkan :

Konsumsi = 1β + 2β pendapatan + 3β kekayaan + ε

Ada hubungan positif antara kekayaan dan pendapatan, dalam arti seseorang

yang kaya cenderung berpendapatan tinggi. Jika model ini di estimasi dengan OLS, β

dapat ditentukan, tetapi variansi yang dihasilkan besar yang mengakibatkan galatnya

besar dan interval kepercayaannya semakin besar, sehingga β kurang tepat.


Disimpulkanlah terjadi multikolinieritas yang hampir sempurna. Permasalahan ini

membawa dampak yang tidak baik bagi model.

Pada analisis regresi, multikolinieritas dikatakan ada apabila bebarapa kondisi

berikut dipenuhi:

a. Dua variabel berkorelasi sempurna (oleh karena itu vektor-vektor yang

menggambarkan variabel tersebut adalah kolinier)..

b. Dua variabel bebas hampir berkorelasi sempurna yaitu koefisien korelasinya

mendekati 1± .

c. Kombinasi linier dari beberapa variabel bebas berkorelasi sempurna atau

mendekati sempurna dengan variabel bebas yang lain.

d. Kombinasi linier dari satu sub-himpunan variabel bebas berkorelasi sempurna

dengan suatu kombinasi linier dari sub-himpunan variabel bebas yang lain.

2.8 Pendeteksian Multikolinieritas

Ada beberapa cara untuk mengetahui ada tidaknya multikolinieritas diantaranya

adalah :

a. Faktor Variansi Inflasi

Adalah merupakan elemen diagonal utama dari invers matriks korelasi. Faktor

variansi inflasi yang kecil, maka multikolinieritas lebih sederhana. Faktor

inflasi yang melebihi 10 maka multikolinieritas di katakan ada.

b. Nilai Determinan

Nilai determinan terletak antara 0 dan 1. Bila nilai determinan satu, kolom

matriks X adalah ortogonal (seregresi) dan bila nilainya 0 disana ada sebuah

ketergantungan linier yang nyata antara kolom X. Nilai yang lebih kecil

determinannya maka tingkat multikolinieritasnya lebih besar.

c. Kadang – kadang pemeriksaan masing – masing elemen matriks korelasi

dapat menolong dalam mendapatkan multikolinieritas. Jika elemen [ ]ijr

mendekati satu, maka Xi dan Xj mungkin benar – benar ada masalah

multikolinieritas. Karena bila lebih dari dua variabel bebas yang dicakup

dalam sebuah multikolinieritas tidak selalu memungkinkan kita untuk

mendapatkan keberadaan multikolinieritas.


d. Jika pengujian F untuk regresi adalah nyata tetapi pengujian pada koefisien

regresi secara individu tidak nyata, maka multikolinieritas mungkin menjadi

ada.

2.9 Pengaruh Multikolinieritas

Multikolinieritas berpengaruh terhadap estimasi kuadrat terkecil dari koefisien regresi.

Akan diperlihatkan bagaimana β̂ , Variansi ( )jβ̂ dan kovariansi

( ) khjhj ,,2,1,,ˆ,ˆ =ββ . jika ada multikolinieritas. Misalkan ada dua variabel

bebas (X1,X2) dan Y variabel terikat sehingga model εββ ++= 2211 XXY Persamaan

normal dengan kuadrat terkecil adalah ( ) YXXX TT =β̂

=

11

21

12

rr

XX T

=

y

yT

rr

YX2

1

Diperoleh [ ]

−−−

−−

−=−

212

212

12

212

122

121

11

1

111

rrr

rr

rXX T

Elemen diagonal utama dari matriks [ ] 1−XX T adalah merupakan faktor variansi inflasi

(VIF), yaitu :

kjR

Cj

jj ,,2,11

12 =

−=

Dengan 2jR adalah koefisien determinansi dari regresi Xj

==2112 XXrr Korelasi antara X1 dan X2

YX jr = Korelasi antara Xj dan Y

=

y

y

rr

rr

2

1

2

1

21

12

ˆˆ

11

ββ

( ) ( )212

112222

12

21211 1

ˆ1

ˆr

rrrr

rrr yyyy

−

−=

−

−= ββ


Jika ada multikolinieritas antara x1 dan x2 yang sangat erat dan 112 →r .

Variansi dan kovariansi koefisien regresi menjadi sangat besar karena

( ) ∞→= 2ˆ rCV jjjβ seperti 112 →r , galat ( ) ±∞→= 2

1221ˆ,ˆ δββ CCov , variansi yang

besar untuk jβ̂ menyatakan bahwa koefisien regresi adalah perkiraan yang sangat

lemah. Pengaruh multikolinieritas adalah untuk memperkenalkan sebuah

ketergantungan linier yang dekat dalam kolom matriks. Selanjutnya jika kita

mengasumsikan YXYX TT21 → , seperti 112 →r , perkiraan koefisien regresi menjadi

sama besarnya, tetapi berlawanan tanda, yaitu 21ˆˆ ββ −= .

Masalah yang sama terjadi bila masalah multikolinieritas disajikan dan ada

lebih dari dua variabel bebas. Umumnya elemen diagonal matriks [ ] 1−= XXC T dapat

ditulis sebagai berikut :

211

jjj R

C−

=

2jR dihasilkan dari meregresikan jX pada variabel bebas lainnya. Kita katakan bahwa

variansi dari jβ̂ “Di-inflated” dengan ( ) 121 −− jR . Konsekuensinya kita biasa menyebut

:

( ) 211ˆ

jj R

VIF−

=β

Faktor Variansi Inflasi untuk jβ̂ ini adalah ukuran penting perkiraan

Multikolinieritas.

2.10 Metode Regresi Ridge

2.10.1 Gambaran Umum Regresi Ridge

Regresi Ridge bertujuan untuk mengatasi multikolinieritas yang terdapat dalam

regresi linier berganda yang mengakibatkan matriks XTX - nya hampir singular yang


pada gilirannya menghasilkan nilai estimasi parameter yang tidak stabil. Dalam

bentuknya yang sederhana adalah sebagi berikut :

( ) ( ) YXcIXXc TT 1ˆ −+=β

Dimana c adalah sebuah bilangan yang positif atau 0≥c , umumnya c terletak antara

interval .10 << c

Umumnya sifat dari penafsiran ridge ini memiliki variansi yang minimum

sehingga diperoleh nilai VIF-nya yang merupakan diagonal utama dai matriks :

( ) ( ) 11 −−++ cIXXXXcIXX TTT

2.10.2 Gambaran Umum Ridge Trace

Ridge Trace adalah plot dari estimator regresi ridge secara bersama dengan berbagai

kemungkinan tetapan bias c, konstanta c mencerminkan jumlah bias dalam estimator

( ).ˆ cβ Bila c = 0 maka estimator ( )cβ̂ akan bernilai sama dengan kuadrat terkecil β ,

tetapi cenderung lebih stabil dari pada estimator kuadrat terkecil.

Pemilihan tetapan bias c merupakan masalah yang perlu diperhatikan. Tetapan bias yang diinginkan adalah tetapan bias yang menghasilkan bias relatif kecil dan menghasilkan koefisien yang relatif stabil.

2.11 Uji Regresi Linier

Setelah model yang baik diperoleh kemudian model itu akan diperiksa. Pemeriksaan

ini ditempuh melalui hipotesis. Untuk mengujinya diperlukan dua macam jumlah

kuadrat sisa (JKS) yang dapat dihitung dengan rumus :

( ) 2ˆ ynyxJKR TT −= β

( )yxyyJKS TTT β̂−= (2.19)

JKSJKRJKT +=

Dengan JKT : jumlah kuadrat total.

Dengan JKR derajat kebebasannya sebanyak k dan (n-k-1) untuk derajat

kebebasan JKS.

F statistiknya dapat dicari dengan rumus :


)1/(/

−−=

knJKSkJKRFhitung (2.20)

F statistik inilah yang dipakai untuk menguji kelinieran suatu regresi. Jika

Tabhitung FF > dengan (taraf signifikan yang dipilih) maka dapat disimpulkan bahwa

regresi linier.

2.12 Uji Koefisien Korelasi Ganda

Koefisien korelasi ganda yang disimbolkan dengan refraksi dihitung dengan rumus :

JKTJKRR =2 (2.21)

Jadi statistik yang digunakan untuk menguji hipotesa nol adalah :

( ) ( )1/1/

2

2

−−−=

knRkRF (2.22)

Tolak hipotesa nol bahwa koefisien korelasi berarti jika Tabhitung FF > dalam hal ini

hipotesa bahwa koefisien korelasi ganda berarti harus diterima.


BAB 3

PEMBAHASAN

3.1 Regresi Ridge

Regresi Ridge merupakan salah satu metode yang digunakan untuk mengatasi masalah

multikolinieritas melalui modifikasi terhadap metode kuadrat terkecil. Modifikasi

tersebut ditempuh dengan cara menambah tetapan bias c yang relatif kecil pada

diagonal utama matriks XTX, sehingga koefisien estimator Ridge dipenuhi dengan

besarnya tetapan bias c.

Estimator regresi ridge diperoleh dengan meminimumkan jumlah kuadrat galat

untuk model :

εβ += XY

Dengan syarat memenuhi kendala tunggal ρβ =∑=

k

jj

1

2ˆ

Dari persamaan (2.10)

( ) ( )∑ −++−= ρβββεε 22 ˆˆˆ2 jTTTT cIXXYXYY

dengan menggunakan syarat minimum persamaan diatas didiferensialkan terhadap

β̂ dan estimasi regresi Ridge diperoleh sebagai berikut :

0ˆ2ˆ22ˆ =+−−= βββδεδε cIXXYX TT

T


YXcIXX TT =+ ββ ˆˆ

( ) YXcIXX TT =+ β̂


Sifat dari estimator Ridge adalah :

1. Bias

( )( ) ( ) YXcIXXcE TT 1ˆ −+=β dengan β̂XY =

( ) β̂1 XXcIXX TT −

+=

2. Variansi Minimum

( )[ ] ( ) ( )[ ]TTTTT XcIXXXcIXXcVar ∑ ++=−1

β̂

( ) ( ) 121 −−++= cIXXIXXcIXX TTT σ

( ) ( ) 112 −−++= cIXXXXcIXX TTTσ

Sehingga nilai VIF merupakan diagonal utama dari matriks

( ) ( ) 11 −−++ cIXXXXcIXX TTT .

3.2 Ridge Trace

Ridge Trace merupakan plot dari estimator regresi Ridge secara bersama dengan

berbagai kemungkinan nilai tetapan bias c. Konstanta c mencerminkan jumlah bias

dalam estimator ( )cβ̂ . Bila c = 0 maka estimator ( )cβ̂ akan bernilai sama dengan

estimator kuadrat terkecil β . Bila c > 0, koefisien estimator Ridge akan bias terhadap

parameter β , tetapi cenderung lebih stabil dari pada estimator kuadrat terkecil.

Umumnya nilai c terletak pada inverval 0<c<1.

Pemilihan besarnya tetapan bias c merupakan masalah yang perlu

diperhatikan. Tetapan bias yang diinginkan adalah tetapan bias yang menghasilkan

relatif kecil dan menghasilkan koefisien estimator yang relatif stabil.


Suatu acuan yang digunakan untuk memilih besarnya c, dengan melihat

besarnya VIF dan melihat pola kecenderungan Ridge Trace. VIF merupakan faktor

yang mengukur seberapa besar kenaikan variansi dari koefisien estimator kβ̂

dibandingkan terhadap variabel bebas lain yang saling ortogonal. Bila diantara

variabel bebas tersebut terdapat korelasi yang tinggi, nilai VIF akan besar. VIF

memiliki nilai mendekati 1 jika variabel bebas X tidak saling berkorelasi dengan

variabel-variabel bebas lainnya.

Determinan dari XTX dapat digunakan sebagai indeks dari multikolinieritas.

Nilai determinannya yaitu 10 ≤≤ XX T . Jika XTX = 1 maka terdapat hubungan yang

orthogonal antara variabel bebasnya. Jika 0=XX T terdapat hubungan yang linier

diantara variabel-variabel bebasnya. Dengan kata lain bahwa tingkat multikolinieritas

dilihat dari XX T mendekati 0.

Oleh karena itu nilai VIF untuk koefisien regresi ( )cβ̂ didefinisikan sebagai

diagonal utama dari matriks ( ) ( ) 11 −−++ cIXXXXcIXX TTT , maka sama halnya

dengan uraian diatas bahwa ( ) ( ) 111=++

−− cIXXXXcIXX TTT

Contoh Kasus :

Untuk memperjelas penggunaan Regresi Ridge dalam mengatasi multikolinieritas

pada variabel-variabel bebas, berikut ini akan dibahas suatu contoh kasus yang

memiliki multikolinieritas diantara variabel-variabel bebasnya. Data yang akan

dibahas adalah data yang tertera dalam tabel berikut :

Tabel 3.1 Tabel barang import dan faktor – faktor yang

mempengaruhinya

Tahun Y X1 X2 X3 1949 15,9 149,3 4,2 108,1 1950 16,4 161,2 4,1 114,8 1951 19,0 171,5 3,1 123,2 1952 19,1 175,5 3,1 126,9 1953 18,8 180,8 1,1 132,1 1954 20,4 190,7 2,2 137,7 1955 22,7 202,1 2,1 146,0 1956 26,5 212,4 5,6 154,1


1957 28,1 226,1 5,0 162,3 1958 27,6 231,9 5,1 164,3 1959 26,3 239,0 0,7 167,6 1960 31,1 258,0 5,6 176,8 1961 33,3 269,8 3,9 186,6 1962 37,0 288,4 3,1 199,7 1963 43,3 304,5 4,6 213,9 1964 49,3 323,4 7,0 223,8 1965 50,3 336,8 1,2 232,0 1966 56,6 353,9 4,5 242,9

Sumber : Chatterjee Samprit and Price Bertram 1977.

Keterangan :

Y = barang import (miliard Franc Prancis)

X1 = barang yang dipesan (miliard Franc Prancis)

X2 = persediaan barang (miliard Franc Prancis)

X3 = barang yang dikonsumsi (miliard Franc Prancis)

Akan dibuat suatu model yang sesuai dan diperiksa apakah terdapat

multikolinieritas diantara variabel bebas Xi. Analisa regresi dengan metode kuadrat

terkecil (pers. 2.15) terhadap data menghasilkan nilai estimator parameter (Tabel 3.2)

dengan daftar anava (Tabel 3.3)

Tabel 3.2 Estimator Parameter Regresi Kuadrat Terkecil

Peubah Penduga Parameter Simpangan Baku Konstan -15,687 3,808

X1 0,113 0,169 X2 -1,288 0,525 X3 0,155 0,256

Tabel 3.3 Tabel Anava Untuk Data Awal

Sumber Variansi

Jumlah Kuadrat DK RJK Fhitung

Regresi 256,8295 3 856,098 220,794 Sisa 54,283 14 3,877 Total 262,2578 17


Dari data diatas diperoleh persamaan regresi linier berganda seperti pada

persamaan (2.11) yaitu :

321 155,0288,1113,0687,15ˆ XXXy +−+−=

Untuk pendeteksian multikolinieritas ada beberapa cara yang dapat digunakan

antara lain :

1. Faktor Variansi Inflasi (Variance Inflation Factor, VIF)

( )

−−

−−=

−

939,4687234,05969,4687234,00499,19488,0

5969,4689488,03032,4691XX T

Dari data diatas ada 2 faktor variansi inflasi yang melebihi 10, ini merupakan

sebuah indikator yang baik bahwa multikolinieritas ada.

1. Koefisien Korelasi Parsial

Untuk memperoleh koefisien korelasi parsial antara Xj dan Xh dihitung dengan

menggunakan persamaan (2.4) maka diperoleh :

11 XXr = 1

21 XXr = 0,215

22 XXr = 1

31 XXr = 0,999

32 XXr = 0,214 33 XXr = 1

Sehingga korelasi parsial antara XjXh dapat dibuat dalam bentuk matriks korelasi C

sebagai berikut :

=

1214,0999,0214,01215,0999,0215,01

C

Dari matriks C terlihat bahwa korelasi antara variabel bebas X1 dan X3 sangat

tinggi sehingga mendekati 1. Ini menunjukkan bahwa adanya multikolinieritas antara

variabel bebasnya.

2. Determinan Matriks Korelasi

Dari matriks korelasi C dapat dihitung determinannya, yaitu :


=

1214,0999,0214,01215,0999,0215,01

C

0019,0=C

Nilai determinan dari matriks korelasi C mendekati 0, ini menunjukkan bahwa tingkat

multikolinieritasnya tinggi.

3.3 Pemodelan Regresi Ridge

Sebelum pemodelan regresi Ridge dibentuk, perlu dilakukan pentransformasian untuk

meminimumkan kesalahan pembulatan dan untuk menganggap regresi sudah dipenuhi

kenormalannya. Dengan menggunakan transformasi (pers. 2.17) diperoleh data

sebagai berikut :

Tabel 3.4 Data Transformasi

No Y* Z1 Z2 Z3 1 -0,2752 -0,3368 -0,0727 -0,3458 2 -0,2655 -0,2914 -0,0588 -0,3592 3 -0,2151 -0,2521 -0,0805 -0,2577 4 -0,2132 -0,2368 -0,0805 -0, 2361 5 -0,2190 -0,2166 -0,3590 -0,2058 6 -0,1880 -0,1788 -0,2058 -0,1731 7 -0,1046 -0,1355 -0,2197 -0,1247 8 -0,0697 -0,0959 0,2677 -0,0778 9 -0,0387 -0,0436 0,1842 -0,0296 10 -0,0484 -0,0214 0,1981 -0,0179 11 -0,0736 0,0057 -0,4147 0,0013 12 0,0195 0,0782 0,2677 0,0550 13 0,0622 0,1233 0,0310 0,1121 14 0,1339 0,1943 -0,0805 0,1885 15 0,2561 0,2558 0,1284 0,2714 16 0,3666 0,3279 0,4627 0,3291 17 0,3918 0,3791 -0,3451 0,3769 18 0,5139 0,4444 0,1145 0,4405


Dalam proses pengestimasian regresi Ridge pemilihan tetapan bias c

merupakan hal yang paling penting dalam penelitian ini, penentuan tetapan bias c

ditempuh melalui pendekatan nilai VIF dan gambar Ridge trace. Nilai dari koefisien

( )cβ̂ dengan berbagai kemungkinan tetapan bias c dapat dilihat pada tabel.

Tabel 3.5 Nilai VIF ( )cβ̂ Dengan Berbagai Nilai c

Nilai c VIF ( )c1β̂ VIF ( )c2β̂ VIF ( )c3β̂ 0,000 469,3032 1,0499 468,9395 0,001 125,1808 1,0465 125,0844 0,002 56,9900 1,0441 56,9495 0,003 32,3153 1,0418 32,4948 0,004 21,0415 1,0395 21,0260 0,005 14,7548 1,0373 14,7442 0,006 10,9425 1,0351 10,9348 0,007 8,4577 1,0328 8,4520 0,008 6,7488 1,0306 6,7443 0,009 5,5232 1,0285 5,5197 0,010 4,6146 1,0263 4,6118 0,020 1,4580 1,0048 1,4576 0,030 0,8059 0,9841 0,8060 0,040 0,5667 0,9640 0,5670 0,050 0,4522 0,9445 0,4525 0,060 0,3880 0,9256 0,3884 0,070 0,3479 0,9072 0,3483 0,080 0,3208 0,8894 0,3213 0,090 0,3014 0,8722 0,3019 0,100 0,2868 0,8554 0,2873 0,200 0,2250 0,7116 0,2254 0,300 0,1983 0,6014 0,7986


0,400 0,1790 0,5152 0,1793 0,500 0,1633 0,4465 0,1636 0,600 0,1500 0,3907 0,1502 0,700 0,1384 0,3449 0,1386 0,800 0,1282 0,3067 0,1284 0,900 0,1192 0,2746 0,1193 1,000 0,1111 0,2473 0,1112

Dari tabel diatas tampak bahwa mulai tetapan bias c = 0,000 sampai pada c =

1, VIF koefisien estimator ( )cβ̂ semakin lama semakin kecil. Nilai VIF yang diambil

adalah VIF yang relatif dekat dengan satu, sedangkan nilai koefisien estimator

parameter ( )cβ̂ dengan berbagai kemungkinan ketetapan bias c dapat dilihat pada

tabel 3.6.

Tabel 3.6 Nilai ( )cβ̂ Dengan Berbagai Harga c

Nilai c ( )c1β̂ ( )c2β̂ ( )c3β̂

0,000 0,1583 0,0600 0,8135 0,001 0,3166 0,0598 0,6548 0,002 0,3715 0,0598 0,5994 0,003 0,3993 0,0598 0,5712 0,004 0,4160 0,0598 0,5540 0,005 0,4271 0,0598 0,5424 0,006 0,4350 0,0598 0,5340 0,007 0,4419 0.0599 0,5276 0,008 0,4454 0.0599 0,5226 0,009 0,4490 0.0599 0,5185 0,010 0,4519 0,0600 0,5151 0,020 0,4645 0,0604 0,4977 0,030 0,4674 0,0608 0,4900 0,040 0,4677 0,0612 0,4848 0,050 0,4670 0,0616 0,4808 0,060 0,4658 0,0619 0,4773 0,070 0,4643 0,0623 0,4742 0,080 0,4626 0,0626 0,4713


0,090 0,4608 0,0629 0,4686 0,100 0,4590 0,0632 0,4659 0,200 0,4394 0,0656 0,4430 0,300 0,4207 0,0669 0,4231 0,400 0,4034 0,0675 0,4051 0,500 0,3873 0,0677 0,3888 0,600 0,3725 0,0674 0,3737 0,700 0,3588 0,0669 0,3599 0,800 0,3461 0,0663 0,3470 0,900 0,3343 0,0655 0,3351 1,000 0,3232 0,0646 0,3239

Atas dasar koefisien estimator pada tabel 3.6 dapat dibuat suatu gambar Ridge trace

yang disajikan pada gambar 3.1.

Gambar 3.1 Ridge Trace

Dari berbagai harga c yang ada, nilai VIF mulai tampak ada penurunan pada c

sebesar 0,03. harga c yang memberikan nilai VIF relatif dekat dengan 1, yaitu pada c

= 0,03 ini menunjukkan bahwa pada c = 0,03 koefisien β̂ lebih stabil. Dengan


demikian persamaan regresi Ridge yang diperoleh jika c yang diambil sebesar 0,03

yaitu :

321 1474,00608,04647,0*ˆ ZZZy ++=

3.4 Uji Keberartian Regresi

Setelah model diperoleh kemudian akan diuji keberartian dari model tersebut, untuk

melakukan pengujian regresi linier dilakukan sebagai berikut :

Ho : 0210 === βββ : regresi tidak berarti

H1 : 0≠iβ ; regresi berarti

Kriteria : tolak Ho bila Fhit > Ftab ; dalam hal lain terima Ho

Perhitungan Statistik

Dengan menggunakan rumus pada persamaan (2.19) dan (2.20) maka jumlah kuadrat

dapat diperoleh :

JKR = 0,9586 ; JKS = 0,0414 ; JKT = 1 ; Fhit =106,5. Untuk mempermudah

pengujian hasil tersebut dapat dibentuk dalam tabel ANAVA sebagai berikut :

Tabel 3.7 Anava Ridge

S. Varians JK DK RJK Fhit Ftab

Regresi

Sisa

Total

0,9586

0,0414

1

3

14

17

0,3195

0,003

106,5 3,34

Hasil : Dengan taraf nyata 05,0=α maka Ftabel(3,14,0,05) = 3,34 karena Fhit > Ftab

maka dapat dinyatakan bahwa regresi berarti.

Untuk mengetahui apakah koefisien yang diperoleh berarti atau tidak

dilakukan pengujian sebagai berikut :

Hipotesa : Ho : oµµ = ; koefisien korelasi berarti


H1 : oµµ ≠ ; koefisien korelasi tidak berarti

Kriteria

Terima Ho : jika Fhit > Ftab, dalam hal lain tolak Ho

Perhitungan statistik:

Dengan menggunakan persamaan (2.21) dan persamaan (2.22)

9586,02 ==JKTJKRR

5,106)1()1( 2

2

=−−−

=knR

kRFhit

Hasil : dengan taraf nyata 05,0=α maka Ftabel(3,14,0,05) = 3,34. maka disimpulkan

koefisien berarti.

Maka dengan menggunakan persamaan (2.18), persamaan diatas akan diubah

kebentuk semula dengan 0944,30=Y , 5167,2371 =X , 6778,32 =X , 3778,1673 =X ,

5082,12=YS , 1XS = 63,51674,

2XS = 1,74138, 3XS = 41,58106.

Sehingga model yang diperoleh adalah :

321 1474,04367,00929,00347,18ˆ XXXy +++−=


BAB 4

KESIMPULAN DAN SARAN

4.1 Kesimpulan

1. Estimasi yang diperoleh dengan menggunakan metode kuadrat terkecil yaitu :

321 155,0288,1113,0687,15ˆ XXXy +−+−=

2. Adanya multikolinieritas dalam persamaan regresi tersebut, ini terlihat dari

besarnya nilai korelasi antara variabel bebas ( 999.031 =Γ xx ), nilai determinan

dari matriks korelasi mendekati 0 dan nilai VIF dari (XTX)-1 besar (lebih besar

dari 10)

3. Dengan menggunakan metode regresi Ridge, yaitu dengan menambah tetapan

bias c pada diagonal matriks XTX yang bertujuan memperkecil variansinya.


Pada nilai c = 0.030 nilai VIF relatif dekat dengan 1, sehingga pada c = 0.030

koefisien β̂ lebih stabil. Jadi diperoleh persamaan Ridge yaitu :

321 1474,00608,04647,0*ˆ ZZZy ++=

4. Estimasi yang diperoleh dengam menggunakan regresi Ridge yaitu :

321 1474,04367,00929,00347,18ˆ XXXy +++−=

5. Nilai koefisien korelasi determinansi estimator mendekati 1 yaitu :

R2 = 93,42 %, hal ini menunjukkan bahwa estimator yang diperoleh sudah

dapat digunakan.

4.2 Saran

Multikolinieritas merupakan masalah yang dapat menimbulkan model yang diperoleh

kurang baik untuk peramalan, untuk itu disarankan kepada pembaca untuk terlebih

dahulu menghilangkan multikolinieritas tersebut. Salah satu cara yaitu dengan Regresi

Ridge.

DAFTAR PUSTAKA

Algifari. 2000. Analisis Regresi. Edisi 2. Yogyakarta: BPFE – Yogyakarta. Anton, Howard. 1987. Aljabar Linier Elementer. Edisi Kelima. Jakarta : Erlangga. Chatterjee, Samprit and Price, Bertram. 1977. Regression Analysis by Example.

Second Edition. New York: University New York. Djalal Nachrowi, Nachrowi et al. 2002. Penggunaan Teknik Ekonometri. Edisi

Revisi. Jakarta : PT. RajaGrafindo Persada. Drapper. N.R. and Smith. 1981. Applied Regression Analysis. Second Edition.

New York: John Wiley and Son Inc. Gaspersz, Vincent. 1991. Ekonometrika Terapan. Jilid 2. Bandung: Tarsito.


Schay, Geza. 1997. Introduction To Linear Algebra. London: Jones and Bartlett Publishers, Inc.

Sianipar, P. 1995. Aljabar Linier. Edisi Pertama. Medan : Intan Dirja Lela.

Sumodiningrat, Gunawan. 1994. Ekonometrika Pengantar. Yogyakarta: BPFE –

Yogyakarta. Supranto. J. 1984. Ekonometrik. Jilid 2. Jakarta : LPFE Universitas Indonesia. Walpole. R. and Raymond. Myers H. 1995. Ilmu Peluang dan Statistika Untuk

Insinyur dan Ilmuan. Edisi 4. Jakarta: Universitas Indonesia. Wono Setya, Budi. 1995. Aljabar Linier. Jakarta: Gramedia Pustaka Utama.

metode regresi ridge untuk mengatasi model regresi linier berganda

Documents