3.7 Further Results and Technical NotesYenni Angraini-G161150051

Outline

• Nonlinear Gauss-Seidel Algorithm (NLGSA)

• Sifat asimtotik dari penduga Penalized Generalized Weighted Least Squares (PGWLS)

• Mean Square Error (MSE) dari Empirical Best Predictor

• Mean Square Predictor Error (MSPE) dari Model-Assisted EBP

Nonlinear Gauss-Seidel Algorithm (NLGSA)

• Digunakan untuk menghitung Maximum Posterior Estimators (MPE)---Jiang (2000)

• Pengembangan dari Gauss-Seidel Algorithm dalam analisis numerik untuk menyelesaikan persamaan linear yang dimensinya besar

• Menyelesaikan 𝜕𝑙𝐽

𝜕𝛼= 0 bersyarat 𝛽

Nonlinear Gauss-Seidel Algorithm (NLGSA)

• Misalkan pengaruh acak saling bebas (dan menyebar normal).

• Dengan kata lain matriks 𝑮, matriks koragam dari 𝛼 = 𝛼𝑘 1≤𝑘≤𝑚adalah matriks diagonal (𝐺 = 𝑑𝑖𝑎𝑔(𝑑1, … , 𝑑𝑚)).

• Selanjutnya diasumsikan juga fungsi penghubung kanonik 𝜉𝑖 = 𝜂𝑖.

• Elemen matriks rancangan pengaruh acak, Z, dituliskan sebagai 𝑧𝑖 =

𝑧𝑖𝑘 1≤𝑘≤𝑚 sehingga 𝜕𝑙𝐽

𝜕𝛼= 0 dapat dituliskan sebagai

𝛼𝑘

𝑑𝑘+

𝑖=1

𝑛𝑧𝑖𝑘

𝑎𝑖(𝜙)𝑏′ 𝑥𝑖

′𝛽 +

𝑙=1

𝑚

𝑥𝑖𝑙𝛼𝑙 =

𝑖=1

𝑛𝑧𝑖𝑘

𝑎𝑖(𝜙)𝑦𝑖 , 1 ≤ 𝑘 ≤ 𝑚

Misalkan 𝑓𝑘(𝛼1, … , 𝛼𝑘−1, 𝛼𝑘+1, … , 𝛼𝑚) menyatakan solusi unik dari 𝜆 untuk

persamaan berikut ini :

𝜆

𝑑𝑘+

𝑖=1

𝑛𝑧𝑖𝑘

𝑎𝑖(𝜙)𝑏′ 𝑥𝑖

′𝛽 + 𝑧𝑖𝑘𝜆 +

𝑙≠𝑘

𝑧𝑖𝑙𝛼𝑙 =

𝑖=1

𝑛𝑧𝑖𝑘

𝑎𝑖(𝜙)𝑦𝑖

Algoritma rekursif ditandai dengan 𝛼𝑘(𝑡)

= 𝑓𝑘 𝛼1𝑡

, … , 𝛼𝑘−1𝑡

, 𝛼𝑘−1𝑡−1

, … , 𝛼𝑚𝑡−1

,

1 ≤ 𝑘 ≤ 𝑚

Untuk 𝑡 = 1,2,… , atau ekuivalen dengan

𝛼𝑘(𝑡)

𝑑𝑘+

𝑖=1

𝑛𝑧𝑖𝑘

𝑎𝑖(𝜙)𝑏′ 𝑥𝑖

′𝛽 +

𝑙=1

𝑘

𝑧𝑖𝑙𝛼𝑙(𝑡)

+

𝑙=𝑘+1

𝑚

𝑧𝑖𝑙𝛼𝑙(𝑡−1)

=

𝑖=1

𝑛𝑧𝑖𝑘

𝑎𝑖(𝜙)𝑦𝑖 ,

1 ≤ 𝑘 ≤ 𝑚

Jiang (2000b) membuktikan teorema berikut ini terkait dengan kekonvergenan dari NLGSA atau dikenal dengan Global Convergence of NLGSA Theorem :

Untuk 𝛽 yang tetap dan sembarang nilai awal, maka NLGSA konvergen ke suatu solusi yang unik 𝛼 = 𝛼(𝛽) pada persamaan 𝑔 𝜇𝑖 = 𝜂𝑖 = 𝑥𝑖

′𝛽 + 𝑧𝑖′𝛼.

Sifat asimtotik dari penduga Penalized Generalized Weighted Least Squares (PGWLS)

Teori asimtotik terkait pengaruh acak sangat berbeda dengan paremeter tetap. Hal ini disebabkan oleh beberapa hal :

1. Pengaruh acak individu biasanya tidak dapat diidentifikasi

2. Jumlah pengaruh acak (m) dimungkinkan meningkat dengan meningkatnya ukuran contoh

Sifat asimtotik dari penduga Penalized Generalized Weighted Least Squares (PGWLS)

• Penduga Penalized Generalized Weighted Least Squares (PGWLS) dari 𝛾 = 𝛽′, 𝛼′ ′ didefenisikan sebagai maximizer dari

𝑙𝑃 𝛾 =

𝑖=1

𝑛

𝑤𝑖 𝑦𝑖𝜂𝑖 − 𝑏𝑖(𝜂𝑖) −𝜆

2𝑃𝐴𝛼 2

dimana 𝜆 adalah konstanta positif.

• Penduga PGWLS didapatkan dengan menyelsaikan 𝜕𝑙𝑃

𝜕𝛾= 0

Sifat asimtotik dari penduga Penalized Generalized Weighted Least Squares (PGWLS)

• Untuk mengekplorasi lebih lanjut sifat asimtotik dari penduga PGWLS, perlu diasumsikan bahwa m meningkat sangat lambat dari n ( 𝑚 𝑛 → 0).

• Teknik dasar yang digunakan adalah penalization.

• Tujuan dari penalization adalah agar pengaruh individu dapat diidentifikasi

• Mengacu ke persamaan 𝑙𝑃 𝛾 = 𝑖=1𝑛 𝑤𝑖 𝑦𝑖𝜂𝑖 − 𝑏𝑖(𝜂𝑖) −

𝜆

2𝑃𝐴𝛼 2, salah satu alasan dibutuhnya

suatu penalizer (𝑃𝐴) adalah karena 𝑙𝐶 𝛾 = 𝑖=1𝑛 𝑤𝑖 𝑦𝑖𝜂𝑖 − 𝑏𝑖(𝜂𝑖) tergantung pada 𝛾 = 𝛽′, 𝛼′ ′

hanya melalui 𝜂 = 𝑋𝛽 + 𝑍𝛼.

• Namun 𝛾 tidak dapat diidentifikasi melalui 𝜂 sehingga akan banyak vektor 𝛾 yang bersesuaian dengan 𝜂 yang sama.

• Perlu dilakukan pembatasan ruang 𝑆 = 𝛾: 𝑃𝐴𝛼 = 0 , akibatnya 𝛾 dapat ditentukan unik oleh 𝜂

Sifat asimtotik dari penduga Penalized Generalized Weighted Least Squares (PGWLS)

• Ada tahapan yang harus dilakukan untuk mengekplorasi sifat asimtotik dari penduga PGWLS, pertama adalah bagaimana cara pemilihan matriks 𝑃𝐴 pada 𝑙𝑃 𝛾 = 𝑖=1

𝑛 𝑤𝑖 𝑦𝑖𝜂𝑖 − 𝑏𝑖(𝜂𝑖) −𝜆

2𝑃𝐴𝛼 2.

• Ketika matriks 𝑃𝐴 dapat dipilih dengan tepat maka penduga PGWLS dari pengaruh tetap dan acak akan konsisten.

MSE dari EBP

• Suatu prediksi terbaik 𝜁 adalah prediksi yang memiliki Mean Square Error (MSE) paling minimum.

• Prediksi terbaik tergantung pada 𝑦𝑆 dan 𝜓, 𝜁 = 𝑢(𝑦𝑆, 𝜓)

• Biasanya 𝜓 tidak diketahui, dan diduga dengan 𝜓

• Sehingga 𝜁 = 𝑢(𝑦𝑆, 𝜓) dan disebut sebagai prediksi terbaik empirik (EBP)

Aproksimasi MSE dari EBP

• Diasumsikan parameter dispersi 𝜙 diketahui

• MSE dari EBP : 𝑀𝑆𝐸 𝜁 = 𝑀𝑆𝐸 𝜁 + 𝐸 𝜁 − 𝜁2

= 𝑏 𝜓 + 𝐸( 𝜁 − 𝜁)2, 𝑏 𝜓 = 𝑏(𝜃)

• MSE dari BP : 𝑏 𝜃 = 𝑀𝑆𝐸 𝜁 = 𝐸 𝜁2 − 𝐸 𝜁2

= 𝐸 𝜁 𝛽, 𝛼𝑆2 − 𝐸 𝑢(𝑦𝑆, 𝜃) 2

• Aproksimasi 𝜁 − 𝜁 dimana 𝜁 = 𝑢 𝑦𝑆, 𝜃 , 𝜁 = 𝑢 𝑦𝑆, 𝜃

𝜁 − 𝜁 = 𝑢 𝑦𝑆, 𝜃 − 𝑢 𝑦𝑆, 𝜃 =𝜕𝑢

𝜕𝜃′ 𝜃 − 𝜃 + 𝑜(𝑚−1/2)

Sehingga

𝐸 𝜁 − 𝜁2

= 𝑚−1𝐸𝜕𝑢

𝜕𝜃′ 𝑚 𝜃 − 𝜃

2

+ 𝑜 𝑚−1

Aproksimasi MSE dari EBPAsumsi yang digunakan untuk menghitung aproksimasi MSE dari EBP:

• Mengasumsikan 𝜃 adalah penduga yang diperoleh berdasarkan pada 𝑦𝑆−, sebagai konsekuensinya 𝜃 adalah bebas terhadap 𝑌𝑆

• Misalkan 𝜃 = 𝜃𝑆− maka

𝐸𝜕𝑢

𝜕𝜃′ 𝑚 𝜃𝑆− − 𝜃

2

= 𝐸 𝐸𝜕𝑢

𝜕𝜃′ 𝑚 𝜃𝑆− − 𝜃

2

𝑦𝑠 = 𝑤 𝑤=𝑦𝑠

= 𝐸𝜕

𝜕𝜃′ 𝑢 𝑤, 𝜃 𝑉𝑆− 𝜃𝜕

𝜕𝜃𝑢 𝑤, 𝜃 𝑤=𝑦𝑠 = 𝐸

𝜕

𝜕𝜃′ 𝑢 𝑦𝑠, 𝜃 𝑉𝑆− 𝜃𝜕

𝜕𝜃𝑢 𝑦𝑠, 𝜃 = 𝑒𝑆−(𝜃)

dimana 𝑉𝑆− 𝜃 = 𝑚𝐸( 𝜃𝑆− − 𝜃)( 𝜃𝑆− − 𝜃)′

• Dengan memisalkan 𝜁1 = 𝑢(𝑦𝑠, 𝜃𝑆−) maka akan diperoleh

𝑀𝑆𝐸 𝜁1 = 𝑏 𝜃 + 𝑚−1𝑒𝑆− 𝜃 + 𝑜 𝑚−1

Aproksimasi MSE dari EBP• Misalkan 𝜃 adalah penduga yang diperoleh berdasarkan semua data.

• Diasumsikan 𝜃𝑆− memenuhi 𝜃𝑆− − 𝜃 = 𝑂(𝑚−1

2) dan 𝜃 − 𝜃𝑆− = 𝑜(𝑚−1

2).

• Sehingga aproksimasi MSE adalah sebagai berikut:

𝑀𝑆𝐸 𝜁 = 𝐸 𝜁 − 𝜁12

+ 2𝐸 𝜁 − 𝜁1 𝜁1 − 𝜁 + 𝐸 𝜁1 − 𝜁

2

= 𝑀𝑆𝐸 𝜁1 + 𝑜 𝑚−1

= 𝑏 𝜃 + 𝑚−1𝑒 𝜃 + 𝑜 𝑚−1

dimana 𝑒 𝜃 = 𝑒𝑆− 𝜃 , 𝑉𝑆− 𝜃 𝑑𝑖𝑔𝑎𝑛𝑡𝑖𝑘𝑎𝑛 𝑉(𝜃) = 𝑚𝐸( 𝜃 − 𝜃)( 𝜃 − 𝜃)′

Penduga MSE dari EBP• 𝜃 pada 𝑒 𝜃 dapat digantikan dengan 𝜃, namun 𝜃 pada 𝑏 𝜃 tidak dapat digantikan

karena bias 𝐸 𝑏 𝜃 − 𝑏 𝜃 = 𝑂(𝑚−1

2) atau dengan kata lain belum tentu konvergen ke

nol. Namun jika 𝜃 − 𝜃 = 𝑂(𝑚−1

2) dan 𝐸 𝜃 − 𝜃 = 𝑂(𝑚−1) dengan menggunakan

deret Taylor akan diperoleh

𝑏 𝜃 = 𝑏 𝜃 +𝜕𝑏

𝜕𝜃′ 𝜃 − 𝜃 +

1

2 𝜃 − 𝜃

′ 𝜕2𝑏

𝜕𝜃𝜕𝜃′ 𝜃 − 𝜃 + 𝑜 𝑚−1

𝐸 𝑏 𝜃 = 𝐸 𝑏 𝜃 +𝜕𝑏

𝜕𝜃′ 𝜃 − 𝜃 +

1

2 𝜃 − 𝜃

′ 𝜕2𝑏

𝜕𝜃𝜕𝜃′ 𝜃 − 𝜃 + 𝑜 𝑚−1

= 𝑏 𝜃 + 𝑚−1𝜕𝑏

𝜕𝜃′ 𝑚𝐸 𝜃 − 𝜃 +1

2𝐸 𝑚 𝜃 − 𝜃

′ 𝜕2𝑏

𝜕𝜃𝜕𝜃′ 𝑚 𝜃 − 𝜃

+ 𝑜 𝑚−1

𝐸 𝑏 𝜃 = 𝑏 𝜃 + 𝑚−1𝐵 𝜃 + 𝑜 𝑚−1

𝐵(𝜃)

Penduga MSE dari EBP

Jika pendugaan bagi MSE adalah sebagai berikut :

𝑀𝑆𝐸 𝜁 = 𝑏 𝜃 + 𝑚−1 𝑒 𝜃 − 𝐵 𝜃

Dengan menggunakan beberapa persamaan diatas, sehingga dapat ditunjukkan persamaan berikut

ini terpenuhi

𝐸 𝑀𝑆𝐸 𝜁 − 𝑀𝑆𝐸 𝜁 = 𝑜 𝑚−1

Aproksimasi MSPE dari Model-Assisted EBP

• Sifat penting dari Model-Assisted EBP konsisten

• MSPE sama seperti MSE namun MSPE adalah suatu arbitary predictor dari 𝑌𝑖 atau dilambangkan dengan 𝜁𝑖 . Dimana 𝑌𝑖 adalah rata-rata dari populasi yang terbatas. Populasi terbatas ini dibagi dalam m domain dan 𝑁𝑖 adalah ukuran populasi dari domain ke-i

sehingga𝑀𝑆𝑃𝐸 𝜁𝑖 = 𝐸( 𝜁𝑖 − 𝑌𝑖)

2

𝜁𝑖 − 𝑌𝑖2

= 𝜁𝑖 − 𝜁𝑖2

+ 𝑂𝑃(𝑁𝑖

−12)

• Sehingga 𝑀𝑆𝑃𝐸 𝜁𝑖 akan diaproksimasi melalui 𝐸 𝜁𝑖 − 𝜁𝑖2

dengan asumsi ukuran populasi 𝑁𝑖 lebih besar dari 𝑚

Aproksimasi MSPE dari Model-Assisted EBP

𝑀𝑆𝑃𝐸 𝜁𝑖 = 𝑀𝑆𝑃𝐸 𝜁 + 𝐸 𝜁𝑖 − 𝜁𝑖2

+ 2𝐸 𝜁𝑖 − 𝜁𝑖 𝜁𝑖 − 𝜁𝑖 + 𝑜(𝑚−1)

𝑀𝑆𝑃𝐸 𝜁 = 𝐸 𝜁𝑖2 − 𝐸 𝜁𝑖

2 = 𝐸

𝑗=1

𝑛𝑖

𝑤𝑖𝑗𝐸 𝑦𝑖𝑗 𝑣𝑖

2

+ 𝐸 𝑢𝑖2 𝑦𝑖𝑤 , 𝜃 ≡ 𝑏𝑖(𝜃)

• Seperti yang diperoleh pada MSE dari EBP,

𝐸 𝜁𝑖 − 𝜁𝑖2

= 𝑒𝑖 𝜃 𝑚−1 + 𝑜 𝑚−1 , dimana 𝑒𝑖 𝜃 = 𝐸𝜕𝑢𝑖

𝜕𝜃′ 𝑉(𝜃)𝜕𝑢𝑖

𝜕𝜃

dengan 𝑉 𝜃 = 𝑚𝐸( 𝜃 − 𝜃)( 𝜃 − 𝜃)′

dan

𝐸 𝜁𝑖 − 𝜁𝑖 𝜁𝑖 − 𝜁𝑖 = 𝑔𝑖 𝜃 𝑚−1 + 𝑜(𝑚−1)

• Sehingga 𝑀𝑆𝑃𝐸 𝜁𝑖 = 𝑏𝑖 𝜃 + 𝑒𝑖 𝜃 + 2𝑔𝑖 𝜃 𝑚−1 + 𝑜(𝑚−1)

Penduga MSPE dari Model-Assisted EBP

𝑀𝑆𝑃𝐸 𝜁𝑖 = 𝑏𝑖 𝜃 + 𝑒𝑖 𝜃 + 2𝑔𝑖

𝜃 − 𝐵𝑖(𝜃) 𝑚−1

Dimana

𝐵𝑖 𝜃 = 𝑚𝜕𝑏𝑖

𝜕𝜃′𝐸 𝜃 − 𝜃 +

1

2𝐸 𝜃 − 𝜃

′ 𝜕2𝑏𝑖

𝜕𝜃𝜕𝜃′ 𝜃 − 𝜃

Selajutnya akan diperoleh

𝐸 𝑀𝑆𝑃𝐸 𝜁𝑖 − 𝑀𝑆𝑃𝐸 𝜁𝑖 = 𝑜(𝑚−1)

Butir penting terkait GLMM sesuai dengan pemahaman saya

• GLMM adalah perluasan dari model GLM dimana peubah responnya harusmengikuti sebaran keluarga eksponensial sedangkan peubah bebasnya terdiri daripeubah tetap dan acak

• Sama halnya seperti pada model campuran, penentuan pengaruh tetap danpengaruh acak yang masuk ke dalam model merupakan hal penting yang perludiperhatikan

• Sama halnya seperti GLM, GLMM memiliki tiga komponen yaitu peubah tak bebas Y(komponen acak) yang mengikuti sebaran tertentu yang berasal dari keluargaeksponential (Ballinger 2004), komponen sistematik yang terdiri dari beberapapeubah kovariat X yang dapat dikombinasikan dalam bentuk fungsi linier serta fungsihubung yang menghubungkan komponen acak dan komponen sistematik

• Fungsi likelihood pada GLMM

• Metode prediksi bagi pengaruh acak pada model GLMM