Bayangkan suatu desa yang terdiri dari 60 keluarga. Misalkan kita ingin mempelajari hubungan antara pengeluaran konsumsi sebagai variabel terikat (Y) dengan pendapatannya sebagai variabel bebas (X). Misalkan 60 keluarga itu dijadikan 10 kelompok berdasarkan kemiripan tingkat pendapatan. Data hipotesisnya seperti berikut ini.

Kelompok Pendapatan Keluarga (X )80 100 120 140 160 180 200 220 240 260

PengeluaranKonsumsi (Y )

5560657075

657074808580

7984909498

809395103108113115

102107110116118125

110115120130135140

120136140144145

135137140152157160162

137145155165175189

150152175178180185191

E(Y∨X ) 65 77 89 101 113 125 137 149 161 173

sumber: Mulyono, Sri. Statistika Untuk Ekonomi. Edisi kedua. LPFEUI. 2003.

dapat ditafsirkan seperti berikut. Ada 5 keluarga yang pendapatannya 80 dengan tingkat konsumsi antara 55 sampai 75. Dengan kata lain, masing-masing kolom memberikan distribusi pengeluaran konsumsi untuk setiap nilai pendapatan tertentu. Untuk masing-masing distribusi Y dapat dihitung nilai rata-ratanya yang dilambangkan dengan E(Y∨X )atau dikenal sebagai conditional mean. Sebagai contoh, E(Y∨80)= 1/5(55) + 1/5(60) + 1/5(65) + 1/5(70) + 1/5(75) = 65.

Telah jelas bahwa setiap conditional mean E(Y∨X i) adalah fungsi dari X i yang dilambangkan

E (Y|X i )=f (X i). Dalam contoh kita E(Y∨X i) adalah fungsi linier terhadap X i, misalkan fungsi

regresi populasi linier dua variabel itu berbentuk :

E (Y|X i )=A+B X i

A dan B masing-masing dinamakan intercept dan koefisien kemiringan (slope). Dalam analisis regresi tujuan kita adalah menduga garis regresi populasi atau menduga nilai-nilai A dan B yang tak diketahui berdasar pengamatan variabel-variabel yang terlibat.

Karena titik-titik pasangan (X ,Y ) tidak semuanya jatuh pada garis regresi populasi, maka hubungan yang pasti seperti ditunjukkan di atas harus dimodifikasi dengan memasukkan unsur kesalahan (random disturbance term, error term, atau stochastic term (u) sehingga persamaan menjadi :

Y i=A+B X i+u

di mana Y iadalah nilai observasi pengeluaran konsumsi.

Error term (u) dapat timbul melalui beberapa kekuatan yang saling mempengaruhi. Pertama, kesalahan muncul karena model adalah suatu penyederhanaan dari realitas. Kita menganggap bahwa pendapatan merupakan faktor tunggal yang mempengaruhi konsumsi. Kenyataannya, banyak kekuatan yang mempengaruhi tetapi dihilangkan dari analisis misalnya kekayaan, konsumsi tahun lalu, tingkat bunga dan lain-lain dan ini mungkin akan ditangkap dalam error term. Kedua, sumber kesalahan berkaitan dengan pengumpulan dan pengukuran data. Data ekonomi seringkali sulit untuk diukur. Ketiga, karena ksalahan bentuk fungsi yang digunakan. Anda harus ingat bahwa terdapat banyak bentuk fungsi yang menyatakan hubungan antar variabel.

Untuk setiap nilai variabel bebas X , terdapat suatu distribusi probabilitas dari u (error term). Karena itu untuk setiap X terdapat distribusi probabilitas dari Y maupun distribusi probabilitas intercept (a) dan koefisien kemiringan (b).

Sejalan dengan garis regresi populasi, kita dapat menunjukkan garis regresi sampel. Persamaan garis regresi sampel dituliskan sebagai :

Y i=A+B X i+u idimana :

Y iadalah penduga terhadap E (Y|X i ) a

adalah penduga terhadap Ab adalah penduga terhadap B

Sekarang kita akan menyatakan persamaan garis regresi sampel itu dalam bentuk stochastic seperti berikut :

Y i=a+b X i+ei

dimana e i adalah residual dan merupakan penduga terhadap ui.

Akhirnya timbul pertanyaan, bagaimana membentuk persamaan regresi populasi sehingga a sedekat mungkin dengan A (yang sesungguhnya) dan b sedekat mungkin dengan B (yang sesungguhnya)?Telah disebutkan bahwa dalam analisis regresi tujuan utamanya adalah menduga fungsi regresi populasi berdasar fungsi sampel setepat mungkin. Sampai saat ini ada banyak metode untuk menyusun persamaan regresi sampel, misalnya free hand, least squares dan maximum likelihood.

Dalam analisis regresi metode yang paling banyak digunakan adalah metode least squares. Berikut adalah penurunan rumus dari regresi populasi ke metode least squares.

E (Y|X i )=A+B X i model populasi

Y i=a+b X i model sampel

Y i=a+b X i+ei bentuk stokastik

Y i=Y i+eie i=Y i−Y iDimulai dari rumus di atas, maka dimulailah pencarian metode least squares. Metode

least squares merupakan metode yang memiliki jumlah kuadrat kesalahan paling kecil. Artinya meminimumkan :

∑i

e2=∑i

(Y i−Y i)2=¿∑

i

(Y i−a−b X i)2 ¿

Karena jumlah residual adalah fungsi dari a dan b, dengan proses diferensiasi dihasilkan rumus berikut :

Dan

dimana n banyaknya observasi.

Bila persamaan regresi sampel telah dibentuk maka kurva yang sesuai dapat dibuat lebih mudah. Penduga yang diperoleh melalui prinsip least squares dinamakan penduga least squares.

Sementara itu garis regresi sampelnya memiliki ciri-ciri:

melalui rata-rata X dan Y yang diperoleh dari sampel, atau melalui titik  .

rata-rata nilai residu sama dengan 0 karena  .

Contoh: suatu sampel random sebanyak 10 keluarga bertujuan untuk melihat hubungan antara pengeluaran konsumsi (Y) dengan pendapatan keluarga (Xi). Hasil pengamatan itu dapat dilihat pada tabel di bawah ini.

Kelompok (Y) Pendapatan (X) XY

70659095110115120140155150

80100120140160180200220240260

560065001080013300176002070024000308003720039000

6400100001440019600256003240040000484005760067600

 = 1110  = 1700  = 205500  = 322000

sumber: Mulyono, Sri. Statistika Untuk Ekonomi. Edisi kedua. LPFEUI. 2003.

Jawab:

sehingga persamaan regresi sampelnya : 

ini berarti bahwa jika X naik satu satuan maka Y akan bertambah sebesar 0,5091. Bila b = 0 berarti tak ada hubungan antara Y dan X dan regresi sampelnya merupakan garis horizontal. Garis regresi sampel dapat digambarkan dengan mengambil dua pasang titik (X,Y) secara sembarang.