1

REGRESI

LINIER SEDERHANA

Dr. Ir. H. Tjiptogoro Dinarjo, MM

PROGRAM PASCASARJANA

UNIVERSITAS ISLAM AS-SYAFI’IYAH

2011

2

Least Squares Method.Populasi Mahasiswa dan penjualan perkuartal untuk 10 restoran

Restoranti

Populasi MahasiswaXi

Penjualan per KuartalYi

12345678910

2688121620202226

5810588118117137157169149202

3

PerhitunganŶi = b0+ b1X

• Yi = perhitungan perolehan penjualan kuartalan restoran ke i.

• b0 = bilangan konstanta (intercept) regresi garis hasil perhitungan.

• b1 = sudut (slope) garis regresi hasil perhitungan.

• Xi = jumlah mahasiswa untuk restoran ke i

Rumus penting.

• Least Square Criterion: min Σ (Yi – Ŷi)2

• Slope b1 = {Σ (Xi – X4 ) (Yi - Y)}/Σ(Xi-X4 )2

• Intercept b0 = Y – b1X4

• X4 = (Σxi)/n

• Y= (Σ Yi)/n

Note:Yi : Nilai pengamatan dari dependent variable untuk ke i pengamatan.

Ŷi : Nilai perhitungan dari dependent variable untuk ke i pengamatan.

Y : Nilai mean dari dependent variableXi : Nilai dari independent variable untuk ke i pengamatan.

X4 : Nilai mean dari independent variable untuk ke i pengamatan.n : Total angka pengamatan.

4

Jumlah sampel 10 restoran atau n = 10

• X4 = (Σxi)/n = 140/ 10 = 14

• Y= (ΣYi)/n = 1300/10 =130

b1 = {Σ (Xi – X4 ) (Yi - Y)}/Σ(Xi-X4 )2

= 2840/568 = 5

b0 = Y – b1X4 = 130 – 5x14 = 60

Maka persamaan regresi : Ŷ = 60 + 5X

Dengan persamaan ini dapat memperkirakan berapa penjualan yang dapat terjadi sesuai dengan jumlah Mahasiswa yang ditentukan jumlahnya. Jika jumlah Mahasiswa misalkan 16000 orang maka penjualan diperkirakan akan mencapai Ŷ

= 60 + 5x16 = 140

Restoran i

Xi Yi Xi - X. Yi - Y (Xi - X.) (Yi - Y ) (Xi - X.)2

123456789

10

2688

121620202226

140Σxi

58105

88118117137157169149202

1300ΣYi

-12-8-6-6-22668

12

-72-25-42-12-13

727391972

864200252

722614

162234152864

2840Σ(Xi - X4 ) (Yi - Y )

144643636

44

363664

144568

Σ(Xi - X4 )2

5

Welcome to Minitab, press F1 for help. Regression Analysis: Quarterly versus Student

The regression equation isQuarterly = 60,0 + 5,00 Student

Predictor Coef SE Coef T PConstant 60,000 9,226 6,50 0,000Student 5,0000 0,5803 8,62 0,000

S = 13,8293 R-Sq = 90,3% R-Sq(adj) = 89,1%

Analysis of Variance

Source DF SS MS F PRegression 1 14200 14200 74,25 0,000Residual Error 8 1530 191Total 9 15730

6

7

8

Latihan Soal

Seorang Manager mengumpulkan data pengalaman dan kemampuan menjual dari10 orang Sales dengan data sebagai berikut:

1. Gambarkan scatter diagram dengan pengalaman sebagai variabel bebas.

2. Hitung persamaan regresinya dapat menggunakan prediksi penjualan berdasarkan pengalaman tenaga sales.

3. Berapa prediksi kemampuan penjualan dari tenaga sales dengan pengalaman 9 tahun?

Tenaga Sales Pengalaman(Th)

Hasil Penjualan Rp 000.000,-

123456789

10

134468

10101113

809792

102103111119123117136

9

10

11

Regression Analysis: Annual sales versus Pengalaman

The regression equation isAnnual sales = 80,0 + 4,00 Pengalaman

Predictor Coef SE Coef T PConstant 80,000 3,075 26,01 0,000Pengalaman 4,0000 0,3868 10,34 0,000

S = 4,60977 R-Sq = 93,0% R-Sq(adj) = 92,2%

Analysis of Variance

Source DF SS MS F PRegression 1 2272,0 2272,0 106,92 0,000Residual Error 8 170,0 21,3Total 9 2442,0

12

Coeffisient Determination.

Koefisien determinasi adalah alat ukur the goodness of fit atas estimasi persamaan regresi.

1. Sum Of Squares Due to Error (SSE)

SSE = Σ (Yi – Ŷi)2

SSE adalah mengukur kesalahan penggunaan estimasi persamaan regresi untuk menghitung nilai variabel terikat dari sampel. Contoh x1 = 2 dan Y1 = 58, dengan menggunakan persamaan regresi kita peroleh Ŷ1 = 60 + 5x(2) = 70. Error atau kesalahan perhitungan Y1 – Ŷ1 = 58 – 70 = -12. kesalahan kuadratis menjadi (-12)2 = 144. SSE = 1530 sebagai ukuran kesalahan estimasi dg menggunakan persamaan regresi Ŷ = 60 + 5X untuk memprediksi penjualan. SSE= jumlah kuadratis perbedaan nilai data penjualan restoran ke i terhadap nilai persamaan garis ke i.

Restorant

iXi: Populasi Mahasiswa

(1000)

Yi :Penjualan Perkuartal

Rp 0.000.000

Prediksi Penjualan

Ŷi = 60 + 5Xi

Error (Kesalahan)Yi – Ŷi

Kesalahan (Error)

Kuadratis

123456789

10

2688

121620202226

58105

88118117137157169149202

7090

100100120140160160170190

-1215

-1218-3-3-39

-2112

144225144324

999

81441144

SSE = 1530

13

2. Total Sum Of Squares (SST)

SST = Σ (Yi – Ŷ)2

SST adalah menggunakan nilai rata-rata (mean) hasil penjualan kuartalan untuk 10 sampel: Ŷ = Σ Yi /n = 1300/10 = 130 dan angka ini yaitu Ŷ = 130 untuk menghitung jumlah kuadratis deviasi yang terjadi pada sampel atau disebut SST. SST= jumlah kuadratis nilai perbedaan data penjualan restoran ke i terhadap rata-rata penjualan 10 restoran.

3. Sum Of Square Due To Regression (SSR)

SSR = Σ (Ŷi – Ŷ)2

Hubungan SST, SSR dan SSE: SST = SSR + SSE

Restoranti

Xi = Populasi Mahasiswa

(000)

Yi = Penjualan Perkuartal(0.000.000)

DeviationYi – Ŷ

Kuadrat Deviasi(Yi – Ŷ)2

123456789

10

2688

121620202226

58105

88118117137157169149202

-72-25-42-12-13

727391972

5.184625

1.764144169

49729

1.521361

5.184SST= 15.730

14

100

50

25

200

125

75

2 4 6 8 10 12 14 16 18 20 22 24 26

Y

X

Y10 - Ȳ

Ŷ10 - Ȳ

Y10 - Ŷ

Populasi Mahasiswa (000)

Pe

nju

ala

n K

ua

rta

lan

(R

p0

.00

0.0

00

,-)

Y = Ȳ = 130

Ŷ = 60 + 5X

DEVIASI TENTANG GARIS REGRESI ESTIMASI DAN GARIS Y = Ȳ

15

4. Koefisien Determinasi.

r2 = SSR/SST

dari data contoh restoran

r2 = SSR/SST = 14.200/15.730 = 0,9027

Dengan kata lain 90,27% variabilitas penjualan dapat dijelaskan terdapat hubungan linier antara jumlah populasi mahasiswa dengan penjualan dengan menggunakan persamaan regresai Ŷ = 60 + 5X.

5. Test Signifikan.

a. Mean Square Error (Estimate of σ2)

s2 = MSE = SSE/ n-2

n – 2 = degrees of freedom.

SSE pada kasus restoran SSE = 1530

s2 = MSE = SSE/ n-2 = 1530/(10-2) = 191,25

Standard error of estimate = s = √MSE = √191,25 = 13,829

16

b. t test

Estimate Standard Deviastion of b1

Sb1 = S/√Σ(Xi - X4 )2

S = 13,829

Σ(Xi - X4 )2 = 568

Sb1 = 13,829/√568 = 0,5803

b1 = 5

t = b1/ sb1 = 5/ 0,5803 = 8,62

t tabel dengan degrees of freedom n – 2 = 10 – 2 = 8, dengan tingkat signifikan α = 0,01 maka diperoleh t = 3,355 dengan luas area diatas ekor ½ α = 0,01/2 = 0,005. Karena test menggunakan distribusi normal 2 ekor maka p value dengan t = 8,62 harus memiliki luas p kurang dari 2(0,005) = 0,01. Dari hasil perhitungan MINITAB p-value = 0.000. Karena p-value < α = 0,01 maka H0 ditolak dan disimpulkan β1 tidak sama dengan 0 pada persamaan regresi Y = β0 + β1X +ε

Kesimpulan: t Test untuk signifikan pada regresi linier sederhana

H0 : β1 = 0

Ha : β1 ≠ 0

Test Statistik t = b1/Sb1

Aturan Penolakan:

p-value approach: Tolak H0 bila p- value ≤ α Critical value approach: Tolak H0 bila t≤ -tα/2 atau bila t ≥ tα/2

Dimana tα/2 berdasarkan t distribusi dengan n – 2 degrees of freedom

17

c. Confidence Interval untuk β1

Bentuk confidence interval untuk β1 sebagai berikut:

b1 ± tα/2Sb1

b1 adalah angka koefisien faktor hasil perhitungan

sedangkan tα/2Sb1 adalah margin kesalahan

Koefisien confidence dihubungkan dengan interval 1 – α, dan tα/2 adalah nilai t yang dihasilkan pada daerah α/2 pada ekor distribusi t dengan degree of freedom n – 2.

Contoh: nilat t yang terkait dengan α = 0,01 dengan degree of freedom n – 2 = 10 – 2 = 8. dari tabel t0,005 = 3,355. Dengan demikian 99% confidence interval atas perhitungan β1 adalah:

b1 ± tα/2Sb1 = 5 ± 3,355(0,5803) = 5 ± 1,95

= 3,05 atau 6,95

Kesimpulan: Hipotesis H0: β1 = 0

Ha: β1 ≠ 0

Dengan menggunakan t test unutuk test signifikan dengan interval tingkat kepercayaan 99% diperoleh interval β1 dengan nilai antara 3,05 sd 6,95, hal ini berarti β1 = 0 tidak dalam interval tersebut maka H0 ditolak

18

d. F test.

Pada regresi dengan satu variabel bebas F test hasilnya sama dengan t test, bila t test mengindikasikan β1 ≠ 0 dan hubungan signifikan maka Ftest akan menghasilkan kesimpulan yang sama. Tetapi pada variabel bebas lebih dari satu hanya F test yang menghasilkan hasil test secara keseluruhan terdapat hubungan yang signifikan.

Mean square due to regression atau disebut juga mean square regression disingkat MSR

MSR = SSR/ Regression degree of freedom.

Regression degree of freedom adalah sama dengan jumlah variabel bebas. Mengingat regresi sederhana jumlah variabel bebas 1, maka

MSR = SSR/1 = SSR

F = MSR/MSE

Pada kasus restoran maka F = 14.200/191,25 = 74,25

Lihat tabel F.

Cara mencari tabel F tsb:• Lihat kolom Denominator Degrees of Freedom kebawah adalah angka n –

2, dimana n adalah jumlaf sampel.• Lihat kolom Area Upper Tail kebawah adalah angka luas area diatas ekor

yang mencerminkan angka dari α• Pada angka degree of freedom n – 2 lihat kekanan pada angka α kemudian

lihat angka numerator degree of freedom yang sama dengan banyaknya variabel bebas, untuk regresi linier atau sederhana dengan variabel bebas 1 maka lihat pada angka 1 disitu tertera 11,26 inilah nilai F = 11,26

19

Kesimpulan F test.

F Test untuk test signifikan regresi linier sederhana

Hipotesis H0: β1 = 0

Ha: β1 ≠ 0

Test statistik

f = MSR/MSE

Aturan penolakan:

p-value approach: Tolak H0 bila p-value ≤ α

Critical value approach: Tolak Ho bila F ≥ Fα

Dengan catatan: Fα sama dengan F distribusi dimana degree of freedom sama dengan 1

pada kolom numerator. Dan n – 2 pada kolom denominator

Tabel ANOVA Untuk Regresi Linier Sederhana

Source of Variance

Sum of Squares Degree of Freedom

Mean Square F P-value

Regression SSR 1 MSR = SSR/1 F = MSR/MSE p-value

Error SSE n - 2 MSE = SSE/ (n – 2)

Total SST n - 1

Source of Variance

Sum of Squares Degree of Freedom

Mean Square F P-value

Regression SSR 1 MSR = SSR/1 F = MSR/MSE p-value

Error SSE n - 2 MSE = SSE/ (n – 2)

Total SST n - 1

20

Soal latihan no 1.

Berikut ini data mengenai berat badan dan tinggi badan dari 5 orang perenang.

a. Buat scatter diagram dengan tinggi badan sebagai variabel bebas.

b. Apakah scatter diagram tersebut mengindikasikan adanya hubungan tinggi badan seseorang dengan berat badannya?

c. Coba buat perkiraan garis lurus yang mencerminkan adanya hubungan tinggi badan dengan berat badan perenang tsb.

d. Buat persamaan regresi dengan menghitung nilai b0 dan b1.

e. Jika perenang tinggi 63 inchies berapa perkiraan berat badan yang bersangkutan.

Sampel Tinggi(inchies)

Berat Badan(pounds)

12345

6864626566

132108102115128

21

Soal latihan No 2

Dari hasil survey terhadap Guru Pengajar Matematika pada 10 Kelas III IPA SMU unggulan di Kota A diperoleh data (fiktif) sebagai berikut.

a. Buat scatter diagram dengan pengalaman sebagai variabel bebas.

b. Buat bentuk persamaan regresi yang dapat digunakan memprediksi hubungan pengalaman mengajar Guru matematika dengan prestasi belajar matematika untuk murid SMU untuk menghasilkan nilai diatas 7

c. Menggunakan persamaan regresi tersebut untuk memprediksi % pelajar /klas bernilai diatas 7 untuk pelajaran matematika dengan Guru yang berpengalaman mengajar matematika selama 5 th

Guru(Sampel)

Pengalaman Mengajar Matematika

(Th)

% Pelajar/ Kelas Bernilai Ujian

Diatas 7

123456789

10

134468

10101113

30304035404560706070