Metode Statistika STK211/ 3(2-3)

Pertemuan XIII

Analisis Regresi

Septian Rahardiantoro - STK IPB 1

Definisi

Analisis statistika yang memanfaatkan hubungan sebab akibat antara dua atau lebih peubah kuantitatif sehingga salah satu peubah dapat diramalkan dari peubah lainnya.

2

Fokus Regresi Linear Sederhana Linear terhadap parameter

Hanya satu peubah penjelas

Peubah Y

peubah terikat/ peubah tak bebas/ peubah respon (yang dipengaruhi)

Peubah X

peubah bebas/ peubah penjelas (yang mempengaruhi)

Analisis Regresi

• Hubungan Antar Peubah: • Fungsional (deterministik) Y=f(X) ; misalnya: Y=10X

• Statistik (stokastik) amatan tidak jatuh pas pada kurva (terdapat galat)

• Mis: IQ vs Prestasi, Berat vs Tinggi, Dosis Pupuk vs Produksi

3

Analisis Regresi

• Model regresi linear sederhana: 𝑌𝑖 = 𝛽0 + 𝛽1𝑋𝑖 + 𝜀𝑖; 𝑖 = 1,2, … , 𝑛

Regresi Linear Sederhana

4

0

2

4

6

8

10

0 5 10

Y

X

0

2

4

6

8

10

0 5 10

Y

X

Plot data Y dengan X diperoleh persamaan garis regresi 𝑌 = 𝑏0 + 𝑏1𝑋

Sehingga:

Persamaan regresi 𝑌 = 𝑏0 + 𝑏1𝑋

diduga oleh Model regresi

𝑌 = 𝛽0 + 𝛽1𝑋 + 𝜀

Regresi Linear Sederhana (2) • Maka

– 𝛽0 diduga oleh 𝑏0

– 𝛽1 diduga oleh 𝑏1

5

Interpretasi?

0

2

4

6

8

10

0 2 4 6 8 10

Y

X

𝑏0

1 unit

𝑏1 unit

𝑏0 adalah nilai rataan Y ketika X= 0 (tidak dapat diinterpretasikan oleh X) 𝑏1 adalah perubahan nilai rataan Y untuk setiap perubahan 1 satuan X.

Regresi Linear Sederhana (3)

The Baseline Model

6

𝑦 = 𝛽0 + 𝜀

0

1

2

3

4

5

6

7

8

9

10

0 2 4 6 8 10

Y

X

𝑦

Pendugaan Parameter

Metode Kuadrat Terkecil

7

0

2

4

6

8

10

12

14

16

0 2 4 6 8 10

Y

X

𝑦 = 𝑏0 + 𝑏1𝑋

𝑒 = 𝑦 − 𝑦

Meminimumkan jumlah kuadrat galat

Pendugaan Parameter (2)

• Pendugaan terhadap koefisien regresi dengan metode kuadrat terkecil: • 𝛽1 diduga oleh 𝑏1

𝑏1 =𝐽𝐾𝑋𝑌

𝐽𝐾𝑋𝑋

• 𝛽0 diduga oleh 𝑏0 𝑏0 = 𝑌 − 𝑏1𝑋

8

Persamaan regresi 𝑌 = 𝑏0 + 𝑏1𝑋

Pendugaan Parameter (3)

Kergamaman yang dapat dijelaskan dan tidak dapat dijelaskan

9

0

2

4

6

8

10

12

14

16

0 2 4 6 8 10

Y

X

𝑦 = 𝑏0 + 𝑏1𝑋

Unexplained Variability

𝑦

Explained Variability

Total Variability

Uji Hipotesis

• Uji parsial (per koefisien) Uji t – Uji apakah peubah penjelas mempengaruhi peubah respon?

• Uji simultan (bersama) Uji F – Uji apakah model tersebut sesuai/pas?

– Dengan tabel ANOVA

10

Uji Hipotesis (2)

• Uji parsial (per koefisien) Uji t – Uji apakah peubah penjelas mempengaruhi peubah respon?

11

• Hipotesis : H0 = β1 = 0 (X tidak mempengaruhi Y) H1 = β1 ≠ 0 (X mempengaruhi Y)

• Statistik Uji

𝑡ℎ𝑖𝑡𝑢𝑛𝑔 =𝑏1 − 𝛽1

𝑆𝑏1; 𝑆𝑏1 =

𝐾𝑇𝐺

𝐽𝐾𝑋𝑋

• Titik kritis 𝑡𝛼2, 𝑛−2

Uji Hipotesis (3)

12

• Kesimpulan Tolak H0 Cukup bukti untuk menyatakan bahwa X mempengaruhi Y secara linear pada taraf nyata α

• Wilayah penolakan H0

Tolak H0 Tolak H0

−𝑡𝛼2, 𝑛−2

𝑡𝛼2, 𝑛−2

Uji Hipotesis (4) • Uji simultan (bersama) Uji F (ANOVA)

– Uji apakah model tersebut sesuai/pas?

13

• Hipotesis : H0 = β1 = 0 (model tidak sesuai/pas) H1 = β1 ≠ 0 (model sesuai/pas)

• Statistik Uji

𝐹ℎ𝑖𝑡𝑢𝑛𝑔 =𝐾𝑇𝑅

𝐾𝑇𝐺

Sumber db JK KT 𝐹ℎ𝑖𝑡𝑢𝑛𝑔

Regresi 1 JKR = 𝑏1𝐽𝐾𝑋𝑌 KTR=JKR/1 KTR/KTG

Galat n - 2 JKG = JKT-JKR KTG=JKG/(n-2)

Total n - 1 JKT = 𝐽𝐾𝑌𝑌

ANOVA

Uji Hipotesis (4)

14

• Titik kritis 𝐹𝛼,(𝑑𝑏𝑅,𝑑𝑏𝐺) = 𝐹𝛼,(1,𝑛−2)

• Kesimpulan Tolak H0 Cukup bukti untuk menyatakan bahwa model tersebut sesuai/pas pada taraf nyata α

• Wilayah penolakan H0

𝐹𝛼,(1,𝑛−2)

Tolak H0

Koefisien Determinasi

𝑅2 =𝐽𝐾𝑅

𝐽𝐾𝑇100%

Interpretasi : sebesar 𝑅2 keragaman 𝑌 mampu dijelaskan

oleh 𝑋, sedangkan sisanya (100- 𝑅2)% dijelaskan oleh faktor lain yang tidak dimasukkan dalam model

Dalam regresi linear sederhana 𝑟 2 = 𝑅2

15

Latihan 3

• Percobaan dalam bidang lingkungan

• Apakah semakin tua mobil semakin besar juga emisi HC yang dihasilkan?

• Diambil contoh 10 mobil secara acak, kemudian dicatat jarak tempuh yang sudah dijalani mobil (dalam ribu kilometer) dan diukur Emisi HC-nya (dalam ppm)

16

Jarak 31 38 48 52 63 67 75 84 89 99

Emisi 553 590 608 682 752 725 834 752 845 960

Latihan 3 (2)

• Soal : Tentukan 1. Plot Jarak dengan Emisi

2. Peubah respon dan peubah penjelas

3. Apakah variabel Y mampu dijelaskan oleh X (α=5%)

4. Apakah model tersebut sesuai (α=5%)

5. Koefisien determinasi

6. Berapa dugaan emisi yang dihasilkan jika jarak 50 dan 200

17

Catatan !

• Keterbatasan Korelasi dan Regresi Linear Sederhana – Korelasi dan Regresi Linear hanya menggambarkan

hubungan yang linear

– Korelasi dan metode kuadrat terkecil pada regresi linear tidak resisten terhadap pencilan

– Prediksi di luar selang nilai X tidak diperkenankan karena kurang akurat

– Hubungan antara dua peubah bisa dipengaruhi oleh peubah lain di luar model

18

19