Pemodelan

“The model should be complex enough to fit the data well,”

“but simpler modelsare easier to interpret”

tujuantujuan

Study

ExploratoryExploratoryConfirmatoryConfirmatory

How Many Predictors Can You Use?

Strategi Pemilihan Model

Strategi pemilihan model• Evaluasi variabel bebas :Ideal : 10 respon untuk 1 prediktor

Example :Jika n = 1000hanya ada 30 pengamatan dengan Y = 1 Idealnya hanya ada≤ 3 prediktor

Prediktor yang banyak rentan dengan kasusMULTIKOLINIERITAS

CONTOH KASUS• Studi mengenai faktor yang mempengaruhi banyaknya satellite kepiting betina.

• Berat• Lebar cangkang• Warna1 = agak terang2 = sedang3 = agak gelap4 = gelap• Kondisi Capit1 = kedua-duanya baik, 0 selainnya2 = salah satunya cacat, 0 selainnya

X Y1 = memiliki satellite ≥ 10 = tidak memiliki satellite

Menggunakan peubah boneka:MODEL LOGITNYA :Logit [P(Y=1)] = α +β1Weight +β2Width + β3C1 + β4C2 + β5C3 + β6S1 + β7S2

X 1 = BeratX2 = Lebar CangkangC1 = 1 untuk warna agak terang, 0 selainnyaC2 = 1 untuk warna sedang, 0 selainnyaC3 = 1 untuk warna agak gelap, 0 selainnyaS1 = 1 untuk kondisi capit yang kedua-duanya baik, 0 selainnyaS2 = 1 untuk kondisi capit yang salah satunya jelek, 0 selainnya

HASIL ANALISISParameter Estimate SEIntercept -9.273 3.838Color (1) 1.609 0.936Color (2) 1.506 0.567Color (3) 1.120 0.593Spine (1) -0.400 0.503Spine (2) -0.496 0.629

Weight 0.826 0.704Width 0.263 0.195

Testing Global Null Hypothesis: BETA=0• Test Chi-Square DF Pr > ChiSqLikelihood Ratio 40.5595 7

Uji likelihood-ratio (simultan)• Hipotesis UjiH0 : β1 = · · · = β7 = 0.H1 : minimal ada βi ≠ 0, i = 1, 2,…,7• Statistik Uji• G = −2(L0 − L1) = 40.6db = 7, Pvalue < 0.0001.• Yang berarti tolak H0 didapatkan kesimpulanbahwa minimal ada 1 prediktor yang mempengaruhi banyaknya satellite pada kepitingbetina.

UJI PARSIAL (WALD)Parameter Estimate Std Error WaldChi Square Pr> Chisq

Intercept -9.273 3.838 5.835 0.0157Color (1) 1.609 0.936 2.959 0.0854Color (2) 1.506 0.567 7.063 0.0079Color (3) 1.120 0.593 3.565 0.0590Spine (1) -0.400 0.503 0.634 0.4259Spine (2) -0.496 0.629 0.623 0.4301

Weight 0.826 0.704 1.379 0.2402Width 0.263 0.195 1.813 0.1781

Uji Parsial lanjutanCatatan :• Walaupun secara simultan hasilnya signifikan, tetapisecara parsial hanya color yang sedang yang signifikan, inimengindikasikan adanya multikolinieritas.• Telah diuji dan dibuktikan bahwa width berpengaruhsignifikan terhadap model, sehingga variabel widthdigunakan untuk analisis. Sedangkan variabel weightdibuang.• weight and width have a strong correlation (0.887). For practical purposes they are equally good predictors, but it is nearly redundant to use them both.• width (W), Color (C) dan spine (S).

SELEKSI MODEL• Stepwise untuk menyeleksi variabel prediktoryang masuk dalam model :

1.Forward : Menyeleksi satu persatu variabelyang masuk dalam model secara sequential2. Backward : Dimulai dengan memasukkansemua variabel prediktor, kemudian dibuang satupersatu secara sequential, sampai didapatkanmodel yang paling layak digunakan

CONTOH KASUS : METODE BACKWARD• Data Kepiting

Model Prediktor Deviance df AIC ModelBanding BedaDeviance1 C*S+C*W+S*W 173.7 155 209.7 -2 C + S + W 186.6 166 200.6 (2)-(1) 12.9 (df=11)

3a C + S 208.8 167 220.8 (3a)-(2) 22.2 (df=1)3b S + W 194.4 169 202.4 (3b)-(2) 7.8 (df=3)3c C + W 187.5 168 197.5 (3c)-(2) 0.9 (df=2)4a C 212.1 169 220.1 (4a)-(3c) 24.6 (df=1)4b W 194.5 171 198.5 (4b)-(3c) 7.0 (df=3)5 C = dark + W 188.0 170 194.0 (5)-(3c) 0.5 (df=2)6 None 225.8 172 227.8 (6)-(5) 37.8 (df=2)

Memilih modelUJI signifikansi MODEL :

Model 2 (C+S+W)VsModel 1 (C*S+C*W+S*W)

Beda Deviance = 186.6 - 173.7 = 12.9db = 166-155 = 11, P-value = 0.30,Tolak Ha : Tidak diperlukan interaksi pada semua factordalam model

Hipotesis Ujinya :Ho : model sederhana lebih baikHa : model Yang lebih Lengkap yang lebih baik

l.

Model 4b (W)VsModel 3c ( C+W)Beda deviance = 194.5 - 187.5 = 7.0Db = 171-168 = 3, P-value = 0.07Tolak Ha : untuk model ini tidak perlu memasukan variabelColor

MEMILIH model lanjutan• Akaike information criterion (AIC)

AIC = -2 (log likelihood – jumlah parameter dalam model)= -2 log likelihood + 2 (jumlah parameter dalam model)

Model C + W didapat -2 log likelihood = 187.5Jumlah parameter 5 ( 1 intercept, width, dan 3 color),AIC = 187.5 + 2(5) = 197.5

Model yang lebih sederhanaC = dark + W didapat -2 log likelihood = 188Jumlah parameter 3 ( 1 intercept, color, width)AIC = 188 + 2(3) = 194.0

TINGKAT KEBAIKAN PREDIKSI MODEL• TABEL KLASIFIKASI

ŷ = 1 ketika πi > π o dan ŷ =0 ketika πi ≤ π ountuk beberapa nilaicut off pada π 0Untuk model (C + W)sebagai prediktor, daridata 173 kepiting sebanyak 111 memilikisatellite dengan proporsi sampel

= 111 / 173 = 0.64.

Uji Diagnostik• Semakin sensitif uji diagnostik, semakin besar kemungkinanAnda akan mengklasifikasikan individu dengan penyakitsebagai positif.• Semakin spesifik uji diagnostik, semakin besar kemungkinanAnda akan mengklasifikasikan individu tanpa penyakit sebagainegatif.• Agar uji diagnostik untuk menjadi akurat, uji tersebut HARUS sensitive DAN spesifik.

Tabel Uji DiagnostikSakit

Ya TidakHas

il uji Positif TP (a) FP(b)

Negatif FN(c) TN(d)

a= TP=True Positiveb=FP = False Positivec =FN = False Negatived= TN = True Negative

Sensitivitas = proporsi pasien dengan penyakit yang memiliki hasil tes positif = a / (a + c)Spesifisitas = proporsi pasien tanpa penyakit yang memiliki hasil tes negatif = d / (b + d)Positif Predictive Value (PPV) = proporsi pasien dengan hasil tes positif yang memilikipenyakit = a / (a + b)Negatif Nilai prediktif (NPV) = proporsi pasien dengan hasil tes negatif yang tidak memilikipenyakit = d / (c + d)

• A classification table has limitations: It collapses continuous predictive values πˆ into binary ones. • The choice of π0 is arbitrary.• Results are sensitive to the relative numbers of times that y = 1 and y = 0.

PREDIKSI MODEL• Table klasifikasi π0 = 0.50 dan π0 = 0.64

TABEL KLASIFIKASI lanjutan• Sensitivitas =• Spesifisitas =• Ketika π0 = 0.642 dugaan sensitivitasnya = 74 / 111 = 0.667 dandugaan spesifisitasnya = 42/62 = 0.677.• Proporsi keseluruhan untuk kebenaranklasifikasi• = (74 + 42) / 173 = 0.671

1|1ˆ yyP 0|0ˆ yyP

Kurva ROC• ROC menggambarkan hubungan antarasensitivitas dan spesifisitas (lihat slide berikutnya). ROC berhubungan sensitivitasdisumbu x dan 1-spesifisitas pada sumbu y.

Kurva ROC (A receiver operating charateristic)

1 - Specificity

ROC curve for the model for the horseshoe crabs using width and color as predictors

• Ketika π0 mendekati 0, hampir semua prediksi y = 1; sensitivitas dekat 1, spesifisitas dekat 0, dan titik untuk (1 -spesifisitas, sensitivitas) memiliki koordinat dekat (1, 1).

• Ketika π0 mendekati 1, hampir semua prediksi y = 0; sensitivitas dekat 0, spesifisitas dekat 1, dan titik untuk (1 -spesifisitas, sensitivitas) memiliki koordinat dekat (0, 0).

• Untuk spesifisitas, daya prediksi yang lebih baik adalah yang memiliki sensitivitas lebih tinggi.

• Jadi, semakin baik daya prediksi, semakin tinggi kurva ROC.

• When π0 = 0.642, specificity = 0.68, sensitivity = 0.67, and the point plotted has coordinates (0.32, 0.67).• The area under the ROC curve is identical to the value of a measure of predictive power called the concordance index. • Consider all pairs of observations (i, j ) such that yi = 1 and yj = 0. • The concordance index c estimates the probability that the predictions and the outcomes are concordant, which means that the observation with the larger y also has the larger πˆ .

• A value c = 0.50 means predictions were no betterthan random guessing. This corresponds to a model having only an intercept term. Its ROC curve is a straight line connecting the points (0, 0) and (1, 1).

• For the horseshoe crab data, c = 0.639 with color alone as a predictor, 0.742 with width alone, 0.771with width and color, and 0.772 with width and an indicator for whether a crab has dark color.

ilustrasi

Sumber: https://rossisanusi.files.wordpress.com

Sumber: https://rossisanusi.files.wordpress.com

Gambar A menunjukkan bahwa dengan titikcut-off dari CK> = 280 IU,sensitivitas sedikit rendah sementaraspesifisitas tinggi.

Gambar B menunjukan bahwa dengan cut-off point >=80 IU, sensitivitas dan spesifisitastinggi.

Gambar C menunjukkan bahwa dengan cut-off point >=40 IU, sensitivitas tinggi danspesifisitas agak rendah. Intinya, cut-off point yang dipilih menentukan sensitivitas danspesififitas tes

Sumber: https://rossisanusi.files.wordpress.com

Ketepatan (akurasi) keseluruhan tes diagnostikdapat diterangkan oleh luasnya area di bawahkurva ROC; makin luas area makin bertambahbaik hasil tesnya (terbaik adalah area ROC pada Gambar B).

Choose Sensitive or Specific Test? • Sebuah uji yang ideal sangat sensitif dan spesifik. Namun, karena baiksensitivitas dan spesifisitas yang dibingkai tabel kontingensi 2x2, kenaikansensitivitas akan menyebabkan penurunan spesifisitas, dan sebaliknya.• Pilih tes yang sangat sensitif jika pengobatan yang efektif tersedia untukTP(mis tuberkulosis,syphillis, dll). Selain menjadi efektif, perawatan inimungkin murah, dan non-ekspansif, sehingga efek samping diabaikan.• Di sisi lain, temuan FN akan merugikan pasien dan komunitas yang lebihbesar dan menempatkan mereka pada risiko tinggi untuksuatu penyakitkarena mereka tidak diobati dengan tersedia pengobatan yang efektif.• Pilih uji yang sangat spesifik jika tes invasif, mahal, dan mengakibatkanefek samping banyak (kemoterapi misalnya untuk kanker) untuk temuanTN, sementara temuan FP akan menstigmatisasi pasien (mis HV / AIDS)

Sumber: https://rossisanusi.files.wordpress.com

PEMERIKSAAN MODEL• Uji Likelihood-ratio

yaitu : membandingkan model yang sederhana dengan model yang lebih kompleksModel kompleks kemungkinan mengandungefek non linier

PERBANDINGAN MODELMis : X = width sebagai prediktor

Modelnya : logit[π(x)] = α + βxDibandingkan dengan unsur Kuadrat

Modelnya : logit[ (x)] = α + β1x + β2x 2Hipotesis Uji :Ho : β2 = 0Ha : β2 ≠ 0

• Statistik Uji :• Uji Likelihood Ratio =0.83 dengan db=1,

P-Value = 0.36Kesimpulan : Terima Ho yang artinya

Model sederhana lebih baik atau tidak perlumenggunakan unsur kuadrat dalam model.

GOODNESS Of FIT dan DEVIANCE• Deviance dapat dicari dengan rumus :

G2(M) = 2 observed [log(observed/fitted)]Statistic pearson dengan rumus :

X2(M) =(observed − fitted)2/fitteddengan; M = model yang diduga

CONTOH KASUSSuatu studi ingin mengetahui apakah AZT dapat memperlambatgejala AIDS

Logit() = -1.074 – 0.720X + 0.056z

• Peluang gejala AIDS-nya akan terus meningkat bagi subjekyang menggunakan AZT secepatnya yaitu :• Proporsi Ras putih yang menggunakan AZT Proporsi = 14/107 = 0.131Peluangnya = 0.131/(1 - 0.131) = 0.150 Karena ada 107veteran kulit putih yang menggunakan AZT makaDugaannya : 107 (0.150) = 16 Dugaan veteran yang gejala AIDSnya tidak meningkat= 107 (0.85) = 91.

• G2 = 1.38 dan X2 = 1.39.• G2 dan X2 yang kecil mengindikasikan bahwamodel yang didapatkan cocok.

RESIDUAL MODEL LOGIT

CONTOH KASUSPelamar yang diterima (Y), gender (G) dan Departemen (D). nik adalah Jumlahgender i dalam departemen k, Yik adalah jumlah pelamar yang lulus dan πikadalah peluang sukses.

contoh departemen astronomi menerima 6 wanita dengan standar deviasi = 2.87 departemen memiliki standar residual yang paling besar yang diduga oleh model.

•the model may be inadequate, perhaps because a gender effect exists in•some departments or because the binomial assumption of an identical probability•of admission for all applicants of a given gender to a department is unrealistic. Its•goodness-of-fit statistics are G2 = 44.7 and X2 = 40.9, both with df = 23. This•model fits rather poorly (P-values = 0.004 and 0.012).

• Departments with large standardized residuals are responsible for the lack of fit.• Significantly more females were admitted than the model predicts in the Astronomy and Geography departments, and fewer were admitted in the Psychology department.• Without these three departments, the model fits adequately (G2 = 24.4,X2 = 22.8, df = 20).• For the complete data, next we consider the model that also has a gender effect. It does not provide an improved fit (G2 = 42.4,X2 = 39.0, df = 22),

DIAGNOSTIK PENGARUHIdentifikasi pengamatan berpengaruhdapat dilakukan dengan statistic Df beta, DifChisq, dan C bar (miripdengan cook’s distance pada regresilinear).

Contoh kasus• Suatu studi dengan subyek pria berusia 40-59 digolongkan :• x = tekanan darah• y = sakit jantungnya meningkat atau tidak selamaperiode pengamatan.• Πi = peluang sakit jantung untuk tekanan darahkategori i• Modelnya :• logit(πi ) = α + βxi• xi memiliki skor (111.5, 121.5, 131.5, 141.5, 151.5, 161.5, 176.5, 191.5)

HASIL ANALISIS

• Untuk data ini didapatkan G2 = 5.9, X2 = 6.3 dengan df = 6 tidak mengindikasikan lack of fit ( ketidakcocokan model).