MODEL BERPANGKAT PENUH (MODEL REGRESI)

1

DAFTAR SLIDE

Formulasi Model

Estimasi Parameter Model

Pendugaan Interval

22

Pengujian Hipotesis

PENDAHULUAN

33

Analisis regresi berkenaan dengan studi ketergantungan dari satu variabel yang disebut variabel respon yang dilambangkan dengan y, pada satu atau lebih variabel penjelas atau peramal yang dilambangkan dengan X.

Tujuan: memperkirakan atau meramalkan nilai variabel respon apabila nilai dari variabel penjelas sudah diketahui.

Variabel peramal: variabel yang nilainya dapat ditentukan atau nilainya dapat diamati namun tidak dapat dikendalikan.

Analisis regresi berkenaan dengan studi ketergantungan dari satu variabel yang disebut variabel respon yang dilambangkan dengan y, pada satu atau lebih variabel penjelas atau peramal yang dilambangkan dengan X.

Tujuan: memperkirakan atau meramalkan nilai variabel respon apabila nilai dari variabel penjelas sudah diketahui.

Variabel peramal: variabel yang nilainya dapat ditentukan atau nilainya dapat diamati namun tidak dapat dikendalikan.

PENDAHULUAN

44

30 40 50 60 70 80

8X 798.0623.13ˆ Y

YX ,

SATU VARIABEL PENJELAS (X) DUA VARIABEL PENJELAS (X)

CONTOH :

PENDAHULUAN

55

Hubungan diantara dua variabel:

1. Fungsional: diekspresikan dengan rumus matematik.

y = f(x)

f adalah fungsi yang menunjukkan nilai y yang berhubungan dengan nilai x tertentu.

2. Statistik : bukan hubungan yang sempurna karena observasi tidak terletak tepat pada kurva hubungan.

y = f(x) + ε

ε adalah variabel random yang memiliki fungsi distribusi tertentu.

Hubungan diantara dua variabel:

1. Fungsional: diekspresikan dengan rumus matematik.

y = f(x)

f adalah fungsi yang menunjukkan nilai y yang berhubungan dengan nilai x tertentu.

2. Statistik : bukan hubungan yang sempurna karena observasi tidak terletak tepat pada kurva hubungan.

y = f(x) + ε

ε adalah variabel random yang memiliki fungsi distribusi tertentu.

PENDAHULUAN

66

Scatter diagram atau scatter plot: scattering/skenario titik-titik dalam hubungan statistik.

Dalam terminologi statistik tiap-tiap titik dalam scatter diagram menunjukkan observasi atau percobaan.

PENDAHULUAN

77

Skala data:

1. Data kualitatif:• Skala nominal: bisa dibedakan, disebut juga data

kategori.• Skala ordinal: bisa dibedakan dan memiliki urutan

tingkatan

2. Data kuantitatif:• Skala interval: bisa dibedakan, memiliki tingkatan,

dan memiliki nilai yang tidak mutlak.• Skala rasio: sama dengan interval tetapi tidak

memiliki nilai nol mutlak.

Skala data:

1. Data kualitatif:• Skala nominal: bisa dibedakan, disebut juga data

kategori.• Skala ordinal: bisa dibedakan dan memiliki urutan

tingkatan

2. Data kuantitatif:• Skala interval: bisa dibedakan, memiliki tingkatan,

dan memiliki nilai yang tidak mutlak.• Skala rasio: sama dengan interval tetapi tidak

memiliki nilai nol mutlak.

PENDAHULUAN

88

Berdasarkan pengumpulan data, terdapat 2 tipe data untuk model linier: Observational:

Nilai variabel X dalam model linier tidak terkontrol.Contoh: Data tentang penelitian psikologi, marketing, sosial dsb.

Experimental: Nilai variabel X dalam model linier terkontrol.Contoh:

X1 : temperatur, dapat ditentukan misalnya 100, 125, 150

X2 : tekanan, misalnya ditentukan 50, 60, 70Y : impurity (variabel random)

Berdasarkan pengumpulan data, terdapat 2 tipe data untuk model linier: Observational:

Nilai variabel X dalam model linier tidak terkontrol.Contoh: Data tentang penelitian psikologi, marketing, sosial dsb.

Experimental: Nilai variabel X dalam model linier terkontrol.Contoh:

X1 : temperatur, dapat ditentukan misalnya 100, 125, 150

X2 : tekanan, misalnya ditentukan 50, 60, 70Y : impurity (variabel random)

Linear Regression

ie

X

Y

Y X b b0 1+=Yi

Xi

? (the actual value of Yi)

FORMULASI MODEL

1010

Model regresi linier sederhana untuk n observasi:yi = 0 + 1 xi + i

xi : regressor variableyi : response variable0: the intercept, unknown

1: the slope, unknowni : error with E(i) = 0 and Var(i) = 2

(unknown)The errors are uncorrelated sehingga

cov(i,j) = 0; i ≠ ji = 1, …, n

FORMULASI MODEL

1111

Given x,E(y|x) = E(0 + 1 x + ) = 0 + 1 x

Var(y|x) = Var(0 + 1 x + ) = 2 Responses are also uncorrelated.Regression coefficients: 0, 1

1: the change of E(y|x) by a unit change in x

0: E(y|x=0)

PENDUGAAN TITIK

1212

Least-squares Estimation of the Parameters

Estimation of 0 and 1 n pairs: (yi, xi), i = 1, …, nMethod of least squares: Minimize

n

iii xyS

1

21010 )]([),(

PENDUGAAN TITIK

1313

Least-squares normal equations:

PENDUGAAN TITIK

1414

The least-squares estimator:

PENDUGAAN TITIK

1515

Properties of the Least-Squares Estimators:

are linear combinations of yi

are unbiased estimators.

01ˆ and ˆ

xxii

n

iii Sxxcyc /)( ,ˆ

11

xy 10ˆˆ

01ˆ and ˆ

PENDUGAAN TITIK

1616

011010

110

11

)ˆ()ˆ(

)(

)()()ˆ(

xxxyEE

xc

yEcycEE

iii

iii

n

iii

i xxii

xxi

iii

iii

Sxx

Sc

yVarcycVarVar

22

2

222

21

)(

)()()ˆ(

)1

()ˆ(2

20

xxS

x

nVar

PENDUGAAN TITIK

1717

Estimator of 2 Residual sum of squares:

xyT

xyi

i

ii

i

iii

ii

SSS

Syy

xxyy

yyeSS

1

12

21

22sRe

ˆ

ˆ)(

))(ˆ(

)ˆ(

PENDUGAAN TITIK

1818

Since , the unbiased estimator of 2 is

MSE is called the residual mean square.This estimate is model-dependent.

2)2()( nSSE E

EE MS

n

SSs

2ˆ 22

FORMULASI MODEL

1919

Model regresi linier berganda untuk n observasi:

dengan

: parameter

: konstanta diketahui

dan variabel random

Model regresi linier berganda untuk n observasi:

dengan

: parameter

: konstanta diketahui

dan variabel random

0 1 1 2 2i i i k i ,k iY X X X

0 1 2 k, , ,

1 2i i i ,kX ,X , X

i1i , ,n

iY

FORMULASI MODEL

2020

Arti parameter regresi: β0 dan βi dalam model regresi disebut koefisien.

βi : slope garis regresi, menunjukkan perubahan pada rataan distribusi probabilitas Y per satuan kenaikan Xi dengan asumsi Xj (i ≠ j) konstan.

β0 : intersep Y dari garis regresi. Jika cakupan model tdd X = 0, β0 menunjukkan

rataan distribusi probabilitas Y pada X = 0. Jika cakupan model tdk termasuk X = 0, β0 tidak

memiliki arti tertentu sebagai bentuk terpisah dalam model regresi.

Arti parameter regresi: β0 dan βi dalam model regresi disebut koefisien.

βi : slope garis regresi, menunjukkan perubahan pada rataan distribusi probabilitas Y per satuan kenaikan Xi dengan asumsi Xj (i ≠ j) konstan.

β0 : intersep Y dari garis regresi. Jika cakupan model tdd X = 0, β0 menunjukkan

rataan distribusi probabilitas Y pada X = 0. Jika cakupan model tdk termasuk X = 0, β0 tidak

memiliki arti tertentu sebagai bentuk terpisah dalam model regresi.

FORMULASI MODEL

2121

Dalam Bentuk MatriksDalam Bentuk Matriks

1

2

n

Y

Y

Y

y

0

1

k

β

1

2

n

ε

11 12 1

21 22 2

1 2

1

1

1

,k

,k

n n n,k

X X X

X X X

X X X

X

FORMULASI MODEL

2222

dengan

y : vektor respon

β : vektor parameter

X : matriks konstanta , full rank

ε : vektor random error

dengan

y : vektor respon

β : vektor parameter

X : matriks konstanta , full rank

ε : vektor random error

1 1 1 1 1n n k k n

y X β ε

Persamaan Dalam Bentuk MatriksPersamaan Dalam Bentuk Matriks

ESTIMASI PARAMETER MODEL

2323

Postulate Model: Model taksiran: Residual/sisaan: , metode:

1. Ordinary Least Square (OLS)

2. Maximum Likelihood Estimator (MLE)

3. Generalized Least Square (GLS)

Postulate Model: Model taksiran: Residual/sisaan: , metode:

1. Ordinary Least Square (OLS)

2. Maximum Likelihood Estimator (MLE)

3. Generalized Least Square (GLS)

y Xβ εˆ y Xb

???β ???bˆ e y y y Xb

ESTIMASI PARAMETER MODEL: OLS

2424

Asumsi:

vektor random dengan mean dan varians Cara: meminimumkan jumlah kuadrat sisaan

Asumsi:

vektor random dengan mean dan varians Cara: meminimumkan jumlah kuadrat sisaanε 2 I0

2

1

n

ii

e

e e y Xb y Xb

e

0

e e

b

1 b XX X y

ESTIMASI PARAMETER MODEL: MLE

2525

Asumsi tambahan: Tuliskan atau Tuliskan fungsi likelihood (L):

atau

Cari ln(L). Cari :

Asumsi tambahan: Tuliskan atau Tuliskan fungsi likelihood (L):

atau

Cari ln(L). Cari :

if y if

2 20 1 1

1

n

k n ii

L , , , , | y , , y L , | f y

β y

0

ln L ˆ

β

β

22

0ln L

2 21

1

n

n ii

L | , , L | f

ε

2,0N~ i

ESTIMASI PARAMETER MODEL: MLE

2626

2

1

- -ˆ

n k

y Xb y Xb

2 - -ˆ

n

y Xb y Xb

biased

unbiased

2

1ResSS

ˆn k

ESTIMASI PARAMETER MODEL: GLS

2727

Postulate Model: Model taksiran: →

V matriks definit positif berukuran n × n definit positif → definit positif.

Penduga minimumkan

Postulate Model: Model taksiran: →

V matriks definit positif berukuran n × n definit positif → definit positif.

Penduga minimumkan

11

21

2 2

1

2nf ; , e

ε V εε β V

V

1Q ε V ε1V*β 1Q ε V ε

* y Xβ ε*ˆˆ βXy

V0ε ,N~ n VXβy *,N~ n

ESTIMASI PARAMETER MODEL: GLS

2828

*β*β

ˆ0 Q

yVXXVX*β 111ˆ

*ˆE β*β

11ˆVar XVX*β

TEOREMA GAUSS MARKOV

2929

Diketahui dengan X matriks full rank

n × (k + 1), vektor parameter (k + 1) × 1, dan

vektor random n × 1 dengan mean 0 dan varians

Penduga kuadrat terkecil adalah penduga yang BLUE (Best Linier Unbiased Estimator) untuk . Best: varians minimum Linier: fungsi linier dari variabel respon (y). Unbiased:

Diketahui dengan X matriks full rank

n × (k + 1), vektor parameter (k + 1) × 1, dan

vektor random n × 1 dengan mean 0 dan varians

Penduga kuadrat terkecil adalah penduga yang BLUE (Best Linier Unbiased Estimator) untuk . Best: varians minimum Linier: fungsi linier dari variabel respon (y). Unbiased:

y Xβ ε

2nσ I

β

bβ

E b β

ε

ESTIMASI PARAMETER MODEL: GLS

3030

Definisi (Myers, hal: 103):

Diketahui Z variabel random normal standar dan

variabel random berdistribusi chi-squared dengan derajat bebas n dan saling bebas, maka variabel random

berdistribusi t dengan derajat bebas n.

Definisi (Myers, hal: 103):

Diketahui Z variabel random normal standar dan

variabel random berdistribusi chi-squared dengan derajat bebas n dan saling bebas, maka variabel random

berdistribusi t dengan derajat bebas n.

2n

Z

n

ESTIMASI PARAMETER MODEL: GLS

3131

Teorema (Myers, hal: 105)

Diketahui: model , , maka:

dan saling bebas.

Teorema (Myers, hal: 105)

Diketahui: model , , maka:

dan saling bebas.b

2ResSS

y Xβ ε nI0ε 2,N~

21,N~ XXβb

2122

2

~1

kn

SSresskn

LATIHAN

3232

A random sample of 14 students is selected from an elementary school, and each student is measured on a creativity score (Create) using a new testing instrument and on a task score (Task) using a standard instrument. The Task score is the mean time taken to perform several hand-eye coordination tasks. Because the test for the creativity test is much cheaper, it is of interest to know whether you can substitute it for the more expensive Task score. create a regression equation that will effectively predict a Task score (the dependent variable) from the Create score (the independent variable) !

LATIHAN

3333

Sampel 15 pasang data adalah sebagai berikut X1 X2 Y

18 8,1 36 21 11,2 44 26 9,4 35 14 10,3 43 19 8,5 37 22 7,5 41 20 8,4 40

X1 X2 Y 15 7,7 36 22 8,2 39 16 7,8 35 19 9,3 43 22 8,2 40 20 8,8 42 28 12,1 49 14 8,0 38

Carilah persamaan regresi linier dari data diatas !

PENDUGAAN INTERVAL

3434

100(1-α)% CI untuk βj :

cjj: elemen diagonal ke –j dari 100(1-α)% CI untuk

100(1-α)% confidence region untuk β

100(1-α)% CI untuk βj :

cjj: elemen diagonal ke –j dari 100(1-α)% CI untuk

100(1-α)% confidence region untuk β

2 1j ,n k jjb t s c

1XXa β

1

2 1,n kt s

a b a XX a

21 1 1,k ,n kF s k

b β XX b β

PENGUJIAN HIPOTESIS

3535

Uji ketepatan Model Hipotesis:

Metode: analysis of variance (ANOVA) Statistik uji:

Keputusan: Tolak H0 jika

Uji ketepatan Model Hipotesis:

Metode: analysis of variance (ANOVA) Statistik uji:

Keputusan: Tolak H0 jika

0 1H : H :vs β 0 β 0

regratio

res

MSF

MS

1 1ratio ; k ;n kF F

PENGUJIAN HIPOTESIS

3636

Sumber Variasi

Sum of Squares

Degrees of Freedom

Mean Square

Fratio

Regresi/Model SSreg k + 1 MSreg

Error/Residual SSres n – (k+1) MSres

Total SStotal n

1

regSS y X XX X y

1

resSS y y y X XX X y

total reg resSS SS SS y y

1reg

reg

SSMS

k

1res

res

SSMS

n k

Tabel ANOVA

PENGUJIAN HIPOTESIS

3737

Uji Subvektor Hipotesis:

Statistik uji:

Keputusan: Tolak H0 jika

Uji Subvektor Hipotesis:

Statistik uji:

Keputusan: Tolak H0 jika

0 1 1 1H : H :vs γ 0 γ 0

1 2

1ratiores

R | rF

SS n k

1ratio ;r ;n kF F

0

1

1

2

1

r

r

r

k

1γ

β

γ

PENGUJIAN HIPOTESIS

3838

Sumber Variasi Sum of Squares

Degrees of Freedom

Mean Square

Fratio

Regresi/Model

Full model k + 1

Reduced model (k + 1) – r

in presence r

Error/Residual SSres n – (k+1) MSres

Total SStotal n

1R

β y X XX X y

resSS R y y β

1γ 2γ

R β

R 2γ 1R | 2γ γ

1R | R R 2 2γ γ β γ

res

R | r

MS1 2γ γ

1

R

2 2 2 2 2γ y X X X X y

Tabel ANOVA

PENGUJIAN HIPOTESIS

3939

( dan )

Sumber Variasi SS df MS

Regresi SSreg k MSreg

Residual SSres n – k - 1 MSres

Total (corrected) SStotal n - 1

22reg

ˆSS R | ny 1γ γ β X y

res tot regSS SS SS 2totSS ny y y

22R nyγ

Faktor Koreksi:

1 2 k 1γ 2 0 γ

Jumlah Kuadrat Terkoreksi

PENGUJIAN HIPOTESIS

4040

H0 : vs H1 :

Statistik uji:

Kesimpulan:

Jika |t*| ≤ t(1 – α/2; n – p): terima H0

H0 : vs H1 :

Statistik uji:

Kesimpulan:

Jika |t*| ≤ t(1 – α/2; n – p): terima H0

0j 0j

j j

jjj

ˆ ˆt*

ˆ s cs

20 0 1 0 1

211 0 1 1 12

21 0 1 1 1

p

p

p p p

ˆ ˆ ˆ ˆ ˆs s , s ,

ˆ ˆ ˆ ˆ ˆs , s s ,ˆ MSE

ˆ ˆ ˆ ˆ ˆs , s , s

s β X X

pertanyaan