TUGAS PRESENTASI MODEL LINEAR
description
Transcript of TUGAS PRESENTASI MODEL LINEAR
TUGAS PRESENTASI MODEL LINEAR
KELOMPOK 1:
Annisa Nur Fadhilah 11.6548
Apella Melianta 11.6553
Hasti Amanda 11.6692
Hasti Putri Hulu 11.6693
Nurul Lia Shinta D 11.6836
Sanefaro Mofu 11.6894
Zukha Latifa 11.6978
UJI HIPOTESIS DALAM MODEL FULL RANK
Model dasar yang diasumsikan:
Dimana
Uji Adequacy atau model keberartian.
Metode yang digunakan adalah Analysist of Variance (ANOVA).kita tahu bahwa
Misalkan
Maka
Theorem 4.1.1
“ Misalkan notasi jumlah kuadrat regresi dalam model
linear full rank, maka mengikuti distribusi Cho-
Square non-central dengan derajat bebas p= k+1 dan
parameter non central “
Bukti
Y = vektor n x 1
=matriks simetris nxn yang idempoten
sama dengan trace nya dimana tr
=tr =tr =k+1
mengikuti Non-Central Chi-Square Distribution dengan derajat bebas k+1 dan noncentrality parameter
Theorem 4.1.2
“ Misalkan notasi jumlah kuadrat residual dalam
model linear full rank, maka mengikuti distribusi
Cho-Square non-central dengan derajat bebas n-p. “
Theorem 4.1.3
dan adalah bentuk kuadrat yang independen
Theorem 4.1.4
“ Jika X adalah n x p full rank, maka adalah definite
positif.”
Bukti
Contoh soal
A data processing System entails there basic structural
elements: file (X1), flows (X2), and processes (X3). Files are
permanent records, flows are data interfaces, and processes
are functionally defined logical manipulations of the data.
An investigation of the cost of developing software was
reported in “A Software Matrix for Coast Estimation and
Efficiency Measurement in Data Processing System
Development”, journal of System software 3, 1983. These
data are based on that Study.
Coast (in Units of 1000)
FILES FLOWS PROCESSES
(y) (X1) (X2) (x3)
22.6 4 44 18
15.0 2 33 15
78.1 20 80 80
28.0 6 24 21
80.5 6 227 50
24.5 3 20 18
20.5 4 41 13
147.6 16 187 137
4.2 4 19 15
48.2 6 50 21
20.5 5 48 17
JAWABAN
The assumed linear regression model is: i= 1,2,3,..,11
Let us test
for these data,
SAS is used to find that
SSReg=y'XX'X-1X'y=38978.38
y'y=39667.01
SSres=y'y-SSReg=688.63
MSReg=SSRegp=SSReg4=38978.384=9744.595
MSRes=SSResn-p=SSRes7=688.387=98.375
F4,7=MSRegMSRes=9744.59598.375=99.055
Since The F ratio exceeds i , it is expected That H0
will be rejected based on The distribution. Since
The critical point for an α = 0.01 level Test is 7.85,
The true P value is less 0.01. There is strong evidenci
that β≠0. That is, at least on of the Parameters
is not zero. Our task eventually to discover exactly
whice of these parameter is nonzero. The result of this
analysis are summarized in Table 4.2
Table 4.2 ANOVA for cost data of Example 4.1.1
Source of
Variance Sum of Square
Derees of
freedomMean Square F Ratio
Regression 38978.38 4 9744.595
99.055Residual or error 688.63 7 98.375
Total 39667.01 11
UJI HIPOTESIS A SUBVECTOR DARI β
Di bagian 4.1 kita menguji
H0 : β = 0 dengan H1 : β ≠ 0
Model Regresi linear dapat di tuliskan sebagai berikut
y = Xβ +
dimana dan . Jika H0 benar, maka dan .Hipotesis nol dapat menyatakan bahwa variabel respon acak dengan rata-rata 0. Jika β ≠ 0, maka tetapi varian y adalah tetap . Karena itu, hipotesis alternative menyatakan bahwa variansi respon acak dengan rata-ratabukan nol. Dikatakan bahwa β ≠ 0 menyiratkan bahwa setidaknya salah satu dari parameters β0,β1,...,βk adalah bukan nol. Khususnya, kita ingin tahu apakah ada atau tidak ada bukti bahwa regressors x1,x2,...,xk berguna untuk menjelakan variasi respon, dan dimana regressors ini yang paling penting.
Untuk menentukan ini, kita harus membuat sebuah metode untuk uji hypothesismengenai subset dari himpunan parameters {β0,β1,…,βk}. Dan
Memiliki bentuk seperti
dan
Jadi partisi β adalah
kita akan menguji dengan
Ingat bahwa jumlah kuadrat regresi( regressions sum of square) untuk full model adalah
Dalam konteks ini berguna untuk menunjukkan bentuk kuadrat dari R(β). Jumlah kuadrat regresi ( regressions sum of square) untuk reduced model di notasikan dengan R(γ2) dan di tunjukkan sebagai berikut
Perbedaaan antara R(β) dan R(γ2) adalah jumlah dari respon variasi yang bukan merupakan merupakan acak tetapi tidak dapat dihitung hanya dengan reduced model. Perbedaan ini di sebut sum of square for regressions pada γ1 dihadapan γ2dan di notasikan sebagai berikut
Untuk mengembangkan uji statistic matematis, kita harus mempertimbangkan identitas sebagai berikut
Dengan menulis ulang identitas tersebut dengan menggunakan notasi yang hanya sebagai berikut sehingga memudahkan kita untuk melihat
Dan bahwa :
Theorem 4.2.1Diketahui z adalah random variable n x 1 dari normal multivariate dengan mean µ danvarians I. dan jika
Kondisi perlu dan cukup untuk bentuk kuadratik yang independent dan didistribusikan sebagai random variable chi-square noncentral dengan parameter ri dan γi, dimana
dan dimana
Untuk menerapkan teoremaini, z=y/σ. Perhatikan asumsi model di bawah ini
Dan
Dari teorema Cochran-fisher, dapat disimpulkan bahwa bentuk kuadrat yang terlibat adalah random variable independent dari chi-square noncentral. Dan bentuk kuadraticnya adalah sebagai berikut
Sesuai dengan distribusi chi-square non central dengan rank r dan parameter noncentralitya adalah
Dari berbagai argumen di atas bahwa besar dari menunjukkan ada bukti atau tidak ada bukti untuk menolak. Kita harus ketahui bahwa, uji statistika harus dari satu distribusi yang merupakan asumsi bahwa hipotesis nol adalah benar. Untuk mengembangkan statistic dalam kasus ini, kita harus memperhatikan ratio dari
Theorem 4.2.2Jika H0:γ1=0 adalah benar, maka mengikuti distribusi F dengan derajat bebas r dan n-p.
Pembuktian
Melalui teorema cochran-fisher, diketahui bahwa
Jika H0:γ1=0 adalah benar, maka γ reduces to
Tabel Anova 4.3
Source of Variation SS db MS F ratio
Regression
Full model R(β1) p
Reduced model R(γ2) p-r
γ1 in presence γ2R(β)-R(γ2)=R(γ1|
γ2) r R(γ1|γ2)/rR(γ1|γ2)/r/SSRes/(n-p)
Residual y'y - R(β) = SSRes n-p SSRes/(n-p)
Total y'y n
Contoh 4.2.1
4.3 Partial dan Sequential Test
Pada pembahasan di depan sebuah metode untuk subset
parameter telah dibangun. Ketika ϒ1 = 1 x 1, maka ketika
hanya sebuah parameter yang diuji untuk menyimpulkan
seluruh model yang lain, maka uji F berdasarkan derajat bebas
1 dan n – p disebut Partial F test.
Sehingga, H0 : βj = 0 vs H1: βj ≠ 0
Regresi sum of square untuk setiap model dinotasikan dengan
R(β0, β1, β2, . . ., βj) dan diberikan dengan R(β0, β1, β2, . . .,
βj)=y’X˜( X˜’ X˜)-1 X˜y
Itu bisa digunakan untuk determine series “extra sum of
square unruk regresi” dengan menemukan perbedaan antara
“full” model regeresi sum square itu lebih dan lebih parameter
ditambahkan ke model tersebut
Itu diberikan dengan
R(β0|β1)= R(β0,β1)- R(β0)R(β2|β0, β1)= R(β0, β1, β2)- R(β0,β1)R(β3|β0, β1, β2)= R(β0, β1, β2, β3)- R(β0, β1, β2).R(βk|β0, β1,..., βk-1)= R(β0, β1,..., βk)- R(β0, β1,..., βk-1)Atau R(β)= R(β0)+ R(β0|β1)+ R(β2|β0, β1)+ R(β3|β0, β1, β2)+...+ R(βk|β0, β1,..., βk-1)
F ratio
Digunakan untuk uji hipotesis nol dimana βj tidak dibutuhkan di dalam model yang terdiri dari β0, β1,..., βj-1. Tes tersebut disebut sequential F test.
Contoh 4.3.1
4.4 Alternatif lain dalam pengujian hipotesis dalam subvektor
Dalam bagian 4.2 statistik
dikembangkan untuk menguji tetapi, seperti disepakati, perdebatan bahwa uji tersebut adalah right-tailed hanyalah sebuah anggapan belaka. Pada bagian ini ,sebuah metode alternatif lain untuk penghitungan diturunkan. Dalam bentuk alternatif, uji F yang dikembangkan merupakan raight-tailed. Penurunan bentuk alternatif ini berdasarkan kemampuan untuk menulis dan inversnya dalam bentuk partisi.
Theorem 4.4.1
Misalkan matriks berukuran dengan rank
dinyatakan dalam bentuk partisi sebagai
Dimana matriks berukuran dengan rank r dan
matriks berukuran dengan rank p-r .
sehingga dapat dinyatakan sebagai
kemudian, jika
Maka
Theorem 4.4.2
Misalkan matriks berukuran dengan rank dinyatakan dalam bentuk partisi sebagai
Dimana matriks berukuran dengan rank r dan matriks berukuran dengan rank . Misal dipartisi sebagai
Dimana adalah sebuah vektor berukuran dan adalah vektor berukuran . Maka
dimana merupakan least square estimator untuk
Bukti
Sekarang anggap bahwa statistik F digunakan untuk menguji. Statistik ini dapat dinyatakan dengan
Diketahui bahwa . Least square estimator untuk yaitu , diketahui berdistribusi normal dengan rata-rata dan varians
Menggunakan teorema 2.2.1
Mudah untuk dilihat bahwa jika benar,
maka .Sehingga jika benar, F ratio
harus memberikan nilai yang mendekati 1. Karena
merupakan principal minor dari matriks positif definit ,
juga positif definit, begitu juga dengan inversnya.
Menurut definisi
untuk . Selanjutnya jika tidak benar,
pembilang statistik F harus lebih besar dari ,
sehingga akan menghasilkan nilai F ratio yang
melampaui 1. Logika memerintahkan bahwa
harus ditolak untuk nilai uji statistik yang
besar. sehingga, uji F dikembangkan untuk menguji
hipotesis nol bahwa sebuah subvektor nol merupakan
uji right-tailed.
UJI t PADA
Kasus khusus ketika merupakan parameter tunggal. Disini kita menguji
dan
Seperti yang telah diketahui, hipotesis ini dapat diuji dengan menggunakan uji F parsial dengan bentuk
Bentuk ini merupakan kuadrat dari random variabel pada bab 3 yang digunakan untuk mencari confidence interval untuk . Mudah untuk menunjukkan bahwa kuadrat dari t random variabel akan mengikuti distribusi F. Sebahai hasil dari hubungan ini, hipotesis nol bahwa memiliki nilai o dapat diuji dengan uji t atau uji parsial F. Uji t memiliki kelebihan dibandingkan dengan uji parsial F yaitu uji t dapat diinterpretasikan dalam pengertian arah, yaitu tanda aljabar dari statistik t menunjukkan tanda dari . F ratio selalu memberikan hasil yang positif dan hanya mengindikasikan apakah berbeda dari 0.