stk511 analisis statistika - stat.ipb.ac.id · regresi logistik ... 400 600 800 1,000 1,200 0 2,000...

STK511 Analisis Statistika

Pertemuan – 10

Analisis Korelasi & Regresi (1)

Jenis/tipe hubungan

Skala pengukuran peubah

Ukuran Keterkaitan

Pemodelan Keterkaitan

10. Analisis Korelasi & Regresi

Analisis Hubungan

anang kurnia ([email protected]) 2

• Tidak semua hubungan (relationship) berupa hubungan sebab-akibat

• Penentuan suatu hubungan bersifat sebab-akibat memerlukan well-argued position dari bidang ilmu terkait


Relationship vs Causal Relationship


Nominal Ordinal

Categorical

Interval Ratio

Numeric

Data/Variabel

Hanya nama/lambang

Ordered: A>B>C>D>E

Hanya mengukur selisih

tidak mampu mengukur

Nisbah/rasio

Mampu Mengukur

Nisbah/rasio


Skala Pengukuran


Ditentukan oleh:

1. Skala pengukuran data/peubah

2. Jenis hubungan antar peubah

Causal relationship

X Y

Numerik Kategorik

Numerik Regresi Linier ANOVA

Kategorik

Regresi Logistik, Diskriminan,

Classification and Regression Tree, Neural Network

Regresi Logistik Classification and

Regression Tree Neural Network

Relationship Numerik Kategorik

Numerik Korelasi PEARSON, SPEARMAN

Tabel Ringkasan Korelasi Biserial

Kategorik Tabel Ringkasan Korelasi Biserial

SPEARMAN (ordinal), CHI SQUARE

Korelasi Tetrachoric


Alat Analisis Pola Hubungan

anang kurnia ([email protected])

Analisis Korelasi

Hubungan Keterkaitan Peubah Secara Linier


Peubah kontinu

Peu

bah

ko

nti

nu


Koefisien Korelasi (linier)

• tidak menggambarkan hubungan sebab akibat

• nilainya berkisar antara -1 dan 1

• tanda (+) / (-) arah hubungan

– (+) searah;

– (-) berlawanan arah



Koefisien korelasi (linier)



Pola hubungan peubah vs koefisien korelasi


• LINEAR RELATIONSHIP • TREND RELATIONSHIP RANK CORRELATION

PEARSON CORRELATION SPEARMAN CORRELATION


Parametrik vs Nonparametrik


Pearson correlation

1

)(dan

1

)(

1

))((

22

n

yyS

n

xxS

n

yyxxS

SS

Sr

i

y

i

x

ii

xy

yx

xy

xy

Spearman correlation

R = peringkat dari X S = peringkat dari Y = rataan peringkat X = rataan peringkat Y




0

4

8

12

16

20

0 2 4 6

Pearson: rp = 0.95 Spearman: rs = 1




• Ho : tidak ada Korelasi ( = 0)

• H1 : Ada korelasi ( ≠ 0)

• Statistik uji :

))1(

)1(ln(

2

1)(

r

rrz

)3/(1

)()(

n

pzrzz

21

2

r

nrt

Hipotesis nol lebih umum(Ho : = p) :

, db = n-2


Pengujian Korelasi


100

120

140

160

180

200

220

52 56 60 64 68 72 76

USIA

PE

ND

AP

AT

AN


Ilustrasi: Hubungan antara usia dengan pendapatan

Correlations:

Usia, Pendapatan

Pearson correlation of Usia

and Pendapatan = 0.693

P-Value = 0.000


Analisis Regresi Linier


Menganalisis hubungan/pengaruh antara

satu atau lebih peubah numerik terhadap sebuah

peubah numerik lain

Model Umum Y = b0 + b1X1 + b2X2 + … + bkXk + e

Menduga nilai suatu peubah berdasarkan nilai peubah lainnya

Mendapatkan model hubungan antar peubah

Y peubah respon X peubah bebas

b0, …, bk koefisien regresi


Regresi Linier



Regresi Linier

Pengertian regresi :

1. Tempat kedudukan nilai tengah dari peubah Y (peubah

respon) untuk berbagai nilai atau selang nilai peubah X

(peubah bebas). membentuk garis atau kurva

2. Usaha mengepas suatu fungsi atau kurva terhadap pencaran

titik-titik pada sistem salib sumbu X-Y. jika data terbatas,

hanya ada beberapa nilai Y untuk setiap nilai X


• Plot antara umur vs berat badan

• Plot antara kelembaban ruang penyimpanan vs kandungan air bahan


Regresi Linier


• Deskripsi data: penyarian data dan pembandingan

• Gambaran hubungan sebab akibat: X menyebabkan Y dengan kontrol yang baik terhadap faktor lain

• Peningkatan ketelitian dalam pembandingan: ANCOVA

• Prediksi: memperkirakan nilai Y berdasarkan nilai X tertentu, diperlukan hubungan sebab akibat yang cukup tepat

• Penyusunan model dugaan: pola hubungan antara peubah penjelas dengan peubah respon.


Regresi Linier : tujuan


• Model Linier peubah respon merupakan kombinasi linier dari parameter-parameter – Regresi Linier Sederhana

Yi = 0 + 1Xi + i

– Regresi Linier Berganda Yi = 0 + 1X1i + … + kXki + i

– Regresi Polynomial Yi = 0 + 1Xi + 2X2

i + i

• Model Non Linier peubah respon bukan merupakan kombinasi linier dari parameter-parameter – Model Cobb-Douglas

Yi = 0 Li1 Ki

2


Model Regresi


• Perhatikan hubungan linier Y dengansatu X berdasarkan model Yi = 0 + 1Xi + i

0 adalah nilai Y ketika X = 0, sedangkan 1 adalah perubahan nilai Y untuk setiap perubahan 1 satuan X.


Analisis Regresi Linier Sederhana


• Mencari penduga koefisien regresi sehingga jumlah kuadrat dari residual (error) sekecil-kecilnya.

• Meminimumkan e2

• Merupakan penduga yang bersifat tak bias dan terbaik (minimum variance) jika error bersifat

independently and identically distributed (iid).


Penduga OLS (ordinary least squares)



Sedikit tentang OLS


Model hubungan antara besarnya saldo di bulan tertentu dengan jumlah nasabah dari berbagai kantor cabang suatu bank

Persamaan Regresi Linier

349.79 0.093Y X

Konstanta/intersep Nilai Y saat X=0

Slope: Besar perubahan Y akibat kenaikan satuan X

200

400

600

800

1,000

1,200

0 2,000 4,000 6,000 8,000 10,000

JMLNASABAH

SA

LD

O


Ilustrasi


Regression Analysis: Saldo versus Jumlah Nasabah

The regression equation is

Saldo = 350 + 0.0929 Jumlah Nasabah

Predictor Coef SE Coef T P

Constant 349.79 61.81 5.66 0.000

Jumlah Nasabah 0.09286 0.01705 5.44 0.000

S = 162.079 R-Sq = 67.9% R-Sq(adj) = 65.6%

Analysis of Variance

Source DF SS MS F P

Regression 1 778763 778763 29.65 0.000

Residual Error 14 367774 26270

Total 15 1146537


Ilustrasi


Bagaimana Pengujian terhadap model regresi ??

• parsial (per koefisien) uji-t

• bersama uji-F (Anova)

Bagaimana menilai kesesuaian model ??

R2 Koef. Determinasi

(% keragaman Y yang mampu dijelaskan oleh X)


Uji dan Kebaikan Model Regresi


n

i

ii

n

i

i

n

i

i yyyyyy1

2

1

2

1

2 )ˆ()ˆ()(

H0 : 1=0 vs H1: 10

ANOVA (Analysis of Variance) Uji F

JK total = JK regresi + JK error Keragaman total = keragaman yang dapat dijelaskan oleh model +

keragaman yang tidak dapat dijelaskan oleh model

Sumber db JK KT F

Regresi 1 JKR KTR KTR/KTE

Error n - 2 JKE KTE

Total n - 1 JKT

Anova

F ~ F (1,n-2)


Uji Hipotesis


Uji Parsial Statistik uji:

11 /1,( 2)n bb t s

H0 : 1=0 vs H1: 10


Uji Hipotesis

Selang kepercayaan:

1

1

1

2

2

ˆ( ),

( ) 2

hit

b

i i

b

i

bt

s

y yss s

x x n


• Dilihat dari nilai koefisien determinasi (R2) merupakan ukuran seberapa besar keragaman dari peubah respon (y) dapat dijelaskan oleh model (peubah penjelas (x))

• Nilainya antara 0 - 100%, semakin mendekati 100% maka semakin bagus

SST

SSRR 2

MST

MSE

dftSST

dfeSSER adj 1

/

/12


Kebaikan Model


Regression Analysis: Saldo versus Jumlah Nasabah

The regression equation is

Saldo = 350 + 0.0929 Jumlah Nasabah

Predictor Coef SE Coef T P

Constant 349.79 61.81 5.66 0.000

Jumlah Nasabah 0.09286 0.01705 5.44 0.000

S = 162.079 R-Sq = 67.9% R-Sq(adj) = 65.6%


Ilustrasi

R2 =67.9 artinya keragaman dari total saldo dapat diterangkan oleh besarnya jumlah nasabah sebesar 67.9% sedangkan sisanya diterangkan oleh faktor lain


• Nilai mean dari peubah-peubah Y dimodelkan secara akurat oleh fungsi linier dari peubah-peubah X.

• Istilah galat acak, , diasumsikan menyebar normal dengan nilai tengah nol dan memiliki ragam yang konstan, 2.

• Galat bersifat independen/saling bebas


Asumsi Model Regresi


• Melakukan pengecekan terhadap asumsi dapat dilakukan melalui evaluasi residual

Konsep Analisis Residual dalam Regresi


Diagnostik Model


• Diagnostic Plots

– Plot antara Standardized Residuals vs Predicted Values

– Plot Peluang Normal (normal probability plot) dari Residual

– Histogram Residual

• Uji Formal


Pemeriksaan Pelanggaran Asumsi


Heterogen

Homogen




Masih terlihat pola, tidak linear?

Terlihat acak sisaannya




Tidak normal

Normal




Bersambung …….


stk511 analisis statistika - stat.ipb.ac.id · regresi logistik ... 400 600 800 1,000 1,200 0 2,000...

Documents