ANALISIS REGRESI SEDERHANA

Disusun oleh :

Cut Anly Tritama 1305102010057Fajriani 1305102010040Friska Utari 1305102010024Rahmatun Fauza 1305102010051Risha Muliana 1305102010036

BAB IPENDAHULUANRegresimerupakan suatu alat ukur yang juga dapat digunakan untuk mengukur ada atau tidaknya korelasi antarvariabel. Jika kita memiliki dua buah variabel atau lebih maka sudah selayaknya apabila kita ingin mempelajari bagaimana variabel-variabel itu berhubungan atau dapat diramalkan.Analisis regersi berguna untuk mendapatkan hubungan fungsional antara dua variabel atau lebih. Selain itu analisis regersi berguna untuk mendapatkan pengaruh antar variabel prediktor terhadap variabel kriteriumnya atau meramalkan pengaruh variabel prediktor terhadap variabel kriteriumnya.Analisis regresi mempelajari hubungan yang diperoleh dinyatakan dalam persamaan matematika yang menyatakan hubungan fungsional antara variabel-variabel. Hubungan fungsional antara satu variabel prediktor dengan satu variabel kriterium disebut analisis regresi sederhana (tunggal), sedangkan hubungan fungsional yang lebih dari satu variabel disebut analisis regresi ganda.Istilah regresi (ramalan/taksiran) pertama kali diperkenalkan oleh Sir Francis Galton pada tahun 1877 sehubungan dengan penelitiannya terhadap tinggi manusia, yaitu antara tinggi anak dan tinggi orang tuanya. Pada penelitiannya Galton mendapatkan bahwa tinggi anak dari orang tua yang tinggi cenderung meningkat atau menurun dari berat rata-rata populasi. Garis yang menunjukkan hubungan tersebut disebut garis regresi.Analisis regresi linier sederhana adalah hubungan secara linear antara satu variabel independen (X) dengan variabel dependen (Y). Analisis ini untuk mengetahui arah hubungan antara variabel independen dengan variabel dependen apakah positif atau negatif dan untuk memprediksi nilai dari variabel dependen apabila nilai variabel independen mengalami kenaikan atau penurunan.. Data yang digunakan biasanya berskala interval atau rasio.Rumus regresi linear sederhana sebagi berikut:Y = a + bXKeterangan:Y = Variabel dependen (nilai yang diprediksikan)X = Variabel independena = Konstanta (nilai Y apabila X = 0)b = Koefisien regresi (nilai peningkatan ataupun penurunan)

BAB IIPEMBAHASAN

Dalam bab ini akan dibahas suatu model regresi linier yang sederhana, yaitu hubungan antara dua buah variabel yang dinyatakan dalam suatu bentuk fungsi linier. Terlebih dahulu akan dibahas dua bentuk hubungan yang penting; Stokastik dan Nir-skokastik, yang akan digunakan dalam metode-metode ekonometri.

2.1. Hubungan Stokastik dan Nir-stokastikHubungan antara X dan Y yang berbentuk Y = f(x) dikatakan deterministik pasti atau nir-stokastik, jika setiap nilai variabel bebas (X) terdapat satu nilai variabel terikat (Y). Suatu hubungan antara X dan Y dikatakan stokastik, jika suatu nilai X tertentu terdapat distribusi probabilitas menyeluruh dari nilai Y. Dengan demikian, dalam kasus stokastik ini, setiap nilai X tertentu, variabel terikat (Y) dapat memiliki beberapa nilai dengan probabilitas yang tertentu.Contoh : Permintaan akan suatu barang tertentu, diasumsikan, tergantung pada harga barang itu saja, dan bentuk fungsinya adalah linier.q = f(p) = + Dengan data p dan q tertentu misalnya diperoleh = 25 dan = -2, sehingga persamaan permintaan menjadi :q = 25 2pHubungan antara p dan q diatas menunjukkan setiap nilai p tertentu, misalnya 2 satuan; hanya ada satu nilai q, yaitu = 21 satuan. Jika harga p adalah 5 satuan, maka jumlah barang yang diminta menjadi 15 satuan, dan seterusnya.Hubungan diatas disebut hubungan deterministik (nor-stokastik), karena setiap harga barang hanya ada satu jumlah barang yang diminta atau dijual. Hubungan pasti (exact) atau hubungan deterministik antara p dan q ini tidak pernah sesuai dengan dunia nyata.Oleh karena itu, persamaan permintaan ini perlu diubah menjadi :q = 25 - 2p + UHubungan q = 25 - 2p + U adalah hubungan stokastik karena terdapat variabel gangguan (U). Dalam hubungan stokastik, nilai variabel bebas (p) yang berbeda-beda menimbulkan distribusi probabilitas variabel terikat (q) yang berbeda-beda pula. Dalam teori ekonomi, semua hubungan dinyatakan dalam bentuk nir-stokastik, tetapi hal ini tidak sesuai dengan kenyataannya, karena hubungan-hubungan ekonomi yang nir-stokastik memang tidak pernah ada.

2.2. Model Regresi Linier SederhanaBentuk paling sederhana dari hubungan stokastik antara dua variabel X dan Y disebut model regresi linier.Yi = + Xi + Ui ( i = 1, ....., n)Adapun dan adalah parameter-parameter regresi. Subskrip i menunjukkan pengamatan yang ke-i. Parameter dan ditaksir atas dasar data yang tersedia untuk variabel X dan Y. Sifat stokastik dari model regresi mengandung arti bahwa setiap niai X terdapat suatu distribusi probabilitas seluruh nilai Y. Dengan kata lain, nilai Y tidak dapat diprediksikan secara pasti. Ketidakpastian mengenai nilai Y ini timbul, karena faktor stokastik U yang memberi sifat random pada Y.Dengan mengabaikan (untuk sementara) bahwa teori tersebut mungkin tidak benar, alasan penyisipan faktor U tersebut adalah :a) Karena kesalahan dalam persamaan.b) Karena kesalahan dalam pengukuran (Kesalahan dalam variabel).c) Karena ketidaksempurnaan spesifikasi bentuk matematis model.d) Karena agregasi.Jadi, dalam pembuatan model semaksimal mngkin memasukkan variabel-variabel penjelas ke dalam model, sebagai variable-variabel yang terpisah, sedangkan sisanya diperhitungkan sebagai variabel gangguan random. Penyisipan U ke dalam model merupakan cara untuk memasukkan variabel yang berpengaruh namun sukar dipisahkan.Untuk sebuah model regresi linier sederhana, spesifikasi dikelompokkan menjadi 5 asumsi dasar atau dikenal dengan Asumsi-asumsi Model Regresi Linier.Asumsi 1. Ui adalah sebuah variabel random riil dan memiliki distribusi normal.Asumsi 2.Nilai rerata dari Ui setiap periode tertentu adalah nol.E[Ui] = 0(i = 1,...., n).Asumsi 3. Varian dari Ui adalah konstan setiap periode.E[Ui2] = 2(2 adalah konstan).Asumsi ini dikenal sebagai asumsi homoskedastisitas (homoscedasticity).Asumsi 4.Faktor gangguan dari pengamatan yang berbeda-beda (Ui, Uj) tidak tergantung (independent).E[Ui, Uj] = 0 (i j)Asumsi ini dikenal sebagai asumsi nir-otokorelasi (nonautocorrelation).Asumsi 5. Variabel-variabel penjelas/bebas adalah variabel nir-stokastik dan diukur tanpa kesalahan; Ui tidak tergantung pada variabel penjelas/bebas.E[XiUi] = Xi E[Uj] = 0, untuk seluruh i, j = 1, ...., nKelima asumsi tersebut memainkan peranan penting dalam distribusi sampel parameter-parameter: dan . Oleh karena itu, asumsi-asumsi tersebut harus dipahami.

2.3. Penaksiran Parameter-parameter RegresiAdapun maksud dari penaksiran dan salah satunya adalah metode kuadrat terkecil (Ordinary Least Squares = OLS) atau sering pula disebut dengan metode kuadrat terkecil klasik (Classical Least Squares = CLS). Metode ini dikemukakan oleh Carl Friedrich Gauss, seorang ahli matematik Jerman.Dari garis regresi sampel Y = + Xi + ei; diperoleh:ei = Yi ( + Xi) dan ei2 = ( Yi ( + Xi)2Adapun nilai-nilai pada dan yang meminimumkan jumlah kuadrat, didapat dengan menurunkan secara parsial fungsi kuadrat residual ei2 dan menyamakan turunan ini dengan nol.ei2/ = -2(Yi - Xi)= 0ei2/ = -2Xi(Yi - Xi)= 0atau Yi = n + Xi XiYi = Xi + Xi

Penaksiran suatu fungsi yang intercept-nya nolJika ingin diestimasi garis Y = + X + U dengan syarat = 0. Metode Lagrange dapat dipakai untuk menyelesaikan masalah ini dengan tujuan meminimumkan:

dengan syarat : = 0 dimana fungsi gabungannya menjadi : Z = (Yi - + Xi)2 , dimana adalah pengganda Lagrange (Lagrange multiplier).

2.4. Sifat-sifat Penaksir Kuadrat Terkecil(a). Linier (Linearity)Contoh : = (Xi - X) (Yi- Y) (Xi - X)2

= Yi(Xi - X) - Y (Xi- X) (Xi - X)2sehingga : = Yi Xi Xi2

(b). UnbiasednessContoh : = kiYi = ki ( + Xi + Ui ) = ki + kiXi + kiUimaka:kiXi = ki (Xi + X) = Xi2 = 1 Xi2

(c). Varian Minimum dari dan Harus dibuktikan dan memiliki carian sampel terkecil dibandingkan dengan penaksir-penaksir linier tidak bias lainnya. Untuk itu, pertama-tama akan dicari varian dan kemudian dibuktikan bahwa varianya minimum.Adapun untuk membuktikan bahwa memiliki varian minimum, perlu dibandingkan dengan varian dengan varian beberapa penaksir (katakanlah *) yang tidak bias.Misalkan: * = wiYi ; dimana konstanta wi ki, tetapi wi = ki + ci sehingga :* = wi ( + Xi + Ui )= wi ( + wi Xi + wi Ui )dan = wi + wi Xi {karena E[Ui] = 0}

Adapun penaksir-penaksir yang memnuhi syarat BLU (Best, Linear, Unbiased) sangatlah penting baagi penaksir-penaksir OLS (ordinary Least Square). Berikut ini adalah penejelasannya.Pentingnya Sifat BLU(a). Linier Sifat ini dibutuhkan untuk memudahkan perhitungan dalam penaksiran.(b). Unbiasedness Bila jumlah sampel sangat besar, penaksir parameter diperoleh dari sampel besar kira-kira lebih mendekati nilai parameter sebenarnya.(c). Best Pentingnya sifat ini kelihatan bila diterapkan dalam uji signifikansi baku (standard) terhadap dan , serta membuat interval keyakinan taksiran-taksiran.

2.5. Penaksir Maximum Likehood ( Maximum Likehood Estimator)Ada dua hal penting yang diamati dari hasil penurunan (derivasi) subbab 3 dan 4, yaitu:a.) Untuk membuktikan sifat BLU penaksir kuadrat terkecil, tidak semua asumsi klasik dipergunakan. Misalnya, untuk membuktikan sifat linieritas diperlukan asumsi kovarian antara faktor gangguan dan variabel bebas E[XiUj] = 0. Devirasi dari parameter dan sifat varian minimum tergantung pada asumsi-asumsi yang berkaitan dengan sifat homoskedastisitas dan nir-otoregresif dari faktor-faktor gangguan {E[Ui2] = 2 dan E[XiUj] = 0}.b.) Untuk membuktikan sifat-sifat BLU tidak perlu dibuat asumsi bentuk spesifik dari distribusi faktor-faktor gangguan. Kenyataannya asumsi normalitas dari U tidak diperlukan untuk membuktikan dan sebagai BLUE (Best Linier Unbiased Estimator).

2.6. Distribusi Sampel Penaksir Kuadrat TerkecilKarena penaksir-penaksir kuadrat terkecil merupakan kombinasi linier variabel-variabel normal Y1, Y2, Y3, ...... Yn tidak saling tergantung, maka dan juga berdistribusi normal, dengan sifat-sifat sebagai berikut :(i) dan adalah penaksir-penaksir yang tidak bias, yaitu rerata masing-masing sama dengan nilai dan yang sebenarnya,(ii)Varian dari setiap penaksir, diketahui.

2.7. Interval Keyakinan dan Uji Hipotesis Penyusunan interval keyakinan penting untuk memperoleh ketepatan dan . Untuk itu, semua informasi yang berhubungan dengan distribusi dan sudah dibahas. Dalam hal ini,

Z = danZ =

dimana Z ~ N(0,1)adalah varian dari faktor gangguan yang tak teramati dan yang tiak diketahui. Jika penaksir yang tidak bias dari 2 didistribusikan ke dalam variabel normal standar Z, maka variabel yang dihasilkan adalah :Z ( ) ~ t dengan derajat bebas (n-2). VDalam kasus , maka : , V2 sehingga .

Jadi, dengan mengubah bentuk variabel Z menjadi variabel t, varian faktor gangguan yang tidak diketahui () tidak muucul dalam rumus. Sehingga diperoleh formula untuk pengujian yang hanya tergantung pada pengamatan-pengamatan sampel dan nilai hipotesis dari .Dengan menyusun kembali persamaan diatas, diperoleh : Oleh karena itu, 95% interval keyakinan untuk adalah ; t0,025 . Dengan cara yang sama, pengujian diatas dilakukan sebagai berikut : , dan V2 .

Jadi: (yang memberikan 95% interval keyakinan untuk .Variabel t yang diperoleh dari (5.23) dan (5.24) penting artinya dalam uji hipotesis yang berkaitan dengan parameter regresi. Salah satu hipotesis yang menarik adalah hipotesis tentang tidak adanya hubungan antara variabel bebas X dan variabel terikat Y dalam model regresi: Y = + X. Dengan kata lain, garis regresi populasi berupa garis horizontal. Dengan demikian, hipotesis nol mengenai tidak adanya hubungan antara X dan Y adalah:H0 : = 0dan hipotesis alternatifnya, Ha : 0Untuk menguji H0 terhadap Ha, statistik-t sudah ditentukan pada (5.23) dan (5.24) dapat dipergunakan, disertai penentuan daerah penerimaan dan daerah kritisnya.Untuk pengujian dua sisi dengan tingkat signifikasi 5% dan derajat bebas (n-2), daerah penerimaannya ditentukan dengan: t0,025.SE t0,025.SE

2.8. Goodness of Fit (R2)Koefisien determinasi (r2) merupakan suatu ukuran yang menyatakan seberapa baik garis regresi sampel mencocokkan data.Untuk menghitung r2dalam bentuk simpangan:yi=i=eiJika dikuadratkan pada kedua sisis dan menjumlahkan untuk semua sampel, diperoleh:yi2 = i2 + ei2 + 2 iei = i2 + ei2 = 12 xi2 + ei2Total variansi Y sebenarnya di sekitar rata-rata sampelnya disebut jumlah kuadrat total (total sum of squares / TSS) yaitu: yi2 = (Yi i2).Hubungan ini menunjukkan bahwa total variasi dalam nilai Y yang diobservasi di sekitar nilai rata-ratanya dapat dipisahkan ke dalam dua bagian. Sebagian yang diakibatkan oleh garis regresi dan bagian lain diakibatkan oleh kekuatan random karena tidak semua pengamatan Y yang sebenarnya terletak pada garis yang dicocokkan.(Yi i) 2 menunjukkan jumlah kuadrat total perbedaan (deviasi) Yi dari Y, yaitu ukuran dari total perubahan (variasi) Y. Total variasi dibagi menjadi dua bagian, yaitu :a). 2 xi2 : variasi Y yang dapat diterangkan oleh variasi X (Explained Sum of Squares).b). ei2:mewakili variasi Y yang tidak bisa dijelaskan oleh variasi X (Unexplained Sum of Squares).Rincian total variasi Y ini menunjukkan suatu derajat ketepatan Koefisien Determinasi (Goodness of Fit) dengan simbol R2. Berikut ini adalah rumusnya :R2 = Variasi yang bisa dijelaskanVariasi yang bisa ingin djelaskan

2.9. Pelaporan Hasil-hasil Analisi RegresiDalam praktek, koefisien- koefisien regresi bersama dengan kesalahan standar (standard errors) dan nilai R2 harus dilaporkan. Sudah menjadi kebiasaan menyajikan persamaan hasil taksiran dengan menempatkan kesalahan standar, dalam kurung dibawah masing-masing nilai taksiran parameter. Kemudian melengkapinya dengan pencantuman nilai R2 di sebelah kanan persamaan regresi tersebut.Berikut ini adalah contoh pelaporannya :i = 92,95 + 5,54 XiR2 = 0,934 (4,39) (0,347)

2.10. Aplikasi (Penerapan)Contoh 1:Tentukan hasil-hasil regresi dari data 20 pasang pengamatan atas X (variabel bebas) dan Y (variabel terikat) berikut ini :Xi = 228, Xi = 3121, XiYi = 38927, Xi2 = 3204,xiyi = 3347,60, xi2 = 604,80, dan yi = 19837.

Jawaban:(i) Penaksiran dan Xi = 228; n = 20; sehingga = 11,4Xi = 3121; n = 20; seningga = 156,05Dari (5.5) diperoleh = 5,54Dengan (5.3), = 156,05 - (5,54)(11,40) = 92,95Maka hasil taksiran garis regresi adalah: = 92,95 + 5,54 Xi

(ii) Panaksiran varianDari (5.12) dan (5.13), diperoleh:Var () = 2dan Var () Oleh karena itu 2 tidak diketahui, maka dapat disubstitusikan penaksir yang tidak bias bagi varian faktor gangguan ke dalam persamaan diatas, sehingga:Var () = dan Var ( = Dimana, = = = = = 70,82Sehingga: Var () = 70,82 = 19,25 SE() = 4,38dan Var = = 0,117 SE = 0,34

(iii) Penetapan Interval Keyakinan

Misalnya, kita ingin ditetapkan suatu interval keyakinan (confidence) interval dan pada tingkat probabilitas p = 0,95. Dengan kata lain, ingin diperoleh nilai t yang membatasi 0,025 area dikedua sisi distribusi. Derajat bebas = 18, lihat baris ke-18 dan kolom dengan tanda *0.025* pada tabel-t. Nilai pada koordinat adalah 2,101.Oleh karena itu, 95% interval keyakinan untuk dan adalah:92,95 (2,101)(4,38) 92,95 + (2,101)(4,38)83,75 102,15dan:5,54 (2,101)(0,34) 5,54 + (2,101)(0,34)4,38 6,25

(iv) Pengujian HipotesisDiketahuiH0 : = 0danHa : 0Di atas telah ditentukan daerah penerimaan pada tingkat signifikasi 5% sebagai: t0,025[SE] t0,025[SE]Atau: t0,025 + t0,025 = = 16,29; t0,025(n-18) = 2,101Oleh karena nilai 16,29 terletak di luar daerah permintaan, maka hipotesis yang menyatakan tidak ada hubungan anatara X dan Y, yakni H0, ditolak.