download

Matakuliah
Tahun
Versi
: I0174/Analisis regresi
: 2005
:1
Pertemuan 23
Pemilihan regresi terbaik
1
Learning Outcomes
Pada akhir pertemuan ini, diharapkan mahasiswa
akan mampu :
• Memilih regresi terbaik
2
Outline Materi
•
•
•
•
all possible regression
best subset regression
backward elimination
step-wise regression
3
Prosedur
• (1) semua kemungkinan regresi (all
possible regression)
• (2) regresi himpunan bagian terbaik (best
subset regression)
• (3) eliminasi langkah mundur (backward
elimination),
• (4) regresi bertatar (step-wise regression)
4
Prosedur semua kemungkinan
regresi
• Pertama-tama prosedur ini menentukan
semua kemungkinan persamaan regresi
• Setiap persamaan regresi harus dievaluisi
menurut kriterium tertentu; tiga kriteria
yang akan kita bahas adalah
• 1. nilai R2 yang dicapai,
• 2. nilai s2, jumlah kuadrat sisa, dan
• 3. statistik Cp.
5
• Jika ada 4 perubah peramal (X1, X2, X3 dan X4)
• Kelompokkan persamaan-persamaan regresi itu ke
dalam lima kelompok:
• Kelompok A :
terdiri atas satu persamaan regresi dengan hanya nilai
tengah
model Y=βo
• Kelompok B terdiri atas empat persamaan regresi
dengan 1-peubah peramal
model Y = βo + β1 Xi
• Kelompok C terdiri atas enam persamaan regresi
dengan 2-peubah peramal
model Y = βo + β1 Xi + β1 Xj
6
• Kelompok B terdiri atas empat persamaan
yaitu Y = βo + β1 X1
Y = βo + β2 X2
Y = βo + β3 X3
Y = βo + β4 X4
7
• Kelompok C terdiri atas enam persamaan
regresi yaitu
model Y = βo + β1 X1 + β2 X2
Y = βo + β1 X1 + β3 X3
Y = βo + β1 X1 + β4 X4
Y = βo + β2 X2 + β3 X3
Y = βo + β2 X2 + β4 X4
Y = βo + β3 X3 + β4 X4
8
Penggunaan R2
• Kelompok D terdiri atas empat persamaan
regresi dengan 3-peubah peramal
model Y = βo + β1 X1 + β2 X2 + β3 X3
Y = βo + β1 X1 + β3 X2 + β4 X3
Y = βo + β2 X2 + β3 X3 + β4 X4
Y = βo + β1 X1 + β2 X2 + β4 X4
9
• Kelompok E terdiri atas satu persamaan
regresi dengan 4-peubah peramal
model Y= βo + β1 X1 + β1 X2 + β1 X3 + β1 X4
10
Pemilihan model
• Pertimbangkan nilai R2 yang diperoleh
• Pertimbangannya: nilainya besar
• Nilai R2 : min -1 hingga maks +1
• Regresi yang memilki R2 terbesar yang
dipilih
11
Penggunaan Kuadrat tengah Sisa
(S2)
• Bila jumlah amatannya cukup besar,
evaluasi terhadap rata-rata kuadrat tengah
sisa untuk setiap kelompok seringkali
dapat menunjukkan titik pemisah yang
terbaik bagi banyaknya peubah yang
sebaiknya disertakan dalam regresi.
12
Penggunaan Cp Mallow
• Model "terbaik" ditentukan setelah
memeriksa tebaran Cp. Yang dicari adalah
persamaan regresi dengan nilai Cp rendah
yang kira-kira sama dengan p (banyaknya
parameter dalam model termasuk βo) .
• Cp = JKSp/s2 – (n-p)
13
Regresi "Himpunan Bagian Terbaik" ("Best
Subset" Regression)
• Tiga kriteria dapat digunakan untuk
menentukan himpunan bagian "K terbaik",
yaitu:
• 1. Nilai R2 maksimum,
• 2. Nilai R2 terkoreksi maksimum
• 3. Statistik Cp Mallows.
R2 terkoreksi = 1- (1-R2){(n-1)/n-p)}
14
Pemilihan regresi terbaik
• Pemilihan berdasarkan nilai R2 tertinggi
• Nilai Cp terendah
15
• Pemilihan regresi terbaik dapat dimulai
dari:
• Semua kemungkinan dengan satu, dua
atau lebih variabel
• Sub-set variabel yang diperkirakan harus
berpengaruh
16

Download Report