Hồi quy và tương quan - ctump

Hồi quy và tương quan

ThS. Nguyễn Chí Minh Trung

Mục tiêu

1. Phân tích được sự liên quan giữa hai biến

định lượng thông qua biểu đồ

2. Xây dựng và phiên giải đường hồi quy

3. Tính và phiên giải được hệ số tương quan

4. Kiểm định đường hồi quy

Hồi quy và tương quan

Nội dung chính:

1. Giới thiệu chung

2. Mô hình hồi quy

3. Phương trình hồi quy

4. Đánh giá phương trình hồi quy

5. Sử dụng mô hình hồi quy để ước lượng và dự đoán

6. Mô hình tương quan

1. Giới thiệu

Hồi quy (regression) :

• Khẳng định mối liên hệ giữa hai biến số,

• Dự đoán hoặc ước lượng giá trị của một biến số từ

các giá trị của một hay nhiều biến số khác.

Ví dụ: dự đoán huyết áp dựa trên tuổi, cân nặng, ....

Ý tưởng về hồi quy được nhà khoa học người Anh,

Francis Galton (1822-1911) đưa ra lần đầu tiên trong

nghiên cứu về di truyền – hình thể con người.

1. Giới thiệu

Tương quan (correlation).

• Đo lường độ lớn của mối quan hệ giữa các biến

số với nhau


- cần đưa ra một dự đoán hoặc ước lượng giá trị của một

biến số từ các giá trị của một hay nhiều biến số,

- người nghiên cứu đưa ra được một mô hình toán học

hoặc áp dụng được các mô hình để phân tích các quần

thể này.

- mô hình đó có, hoặc ít nhất là một xấp xỉ đại diện cho

quần thể đó không

- mô hình đó là một đại diện tốt nhất cho quần thể họ quan

tâm


Các giả thuyết cho mô hình hồi quy

Trong mô hình hồi quy tuyến tính:

+ X là một biến độc lập và bao giờ cũng được kiểm soát bởi

người nghiên cứu.

+ Y được biết đến là biến phụ thuộc (còn gọi là biến tiên

lượng)


Mô hình hồi quy dựa trên một số giả thuyết sau:

1. Giá trị của biến X là cố định và có một số lượng giới hạn các

giá trị

2. Biến X được thu thập không có sai số, hoặc sai số rất

3. Đối với mỗi giá trị của biến X thì ta sẽ xác định được một tập

hợp giá trị của biến Y; tập hợp giá trị của Y có phân bố chuẩn.

4. Tất cả các phương sai của các tập hợp giá trị Y là bằng nhau

5. Tất cả các giá trị trung bình của tập hợp giá trị Y đều nằm trên

một đường thẳng.

6. Các giá trị của Y là độc lập với nhau


• Mô hình tuyến tính

Y= + bX+ e • Trong đó

Y = biến phụ thuộc

X = biến độc lập

= giao điểm

b = độ dốc

e = giá trị sai số

X

Y

b


Các bước tiến hành một phân tích hồi quy

1.Đánh giá xem các giả thuyết về mối liên hệ tương quan

tuyến tính trong bộ số liệu để phân tích có thoả mãn không.

2.Xác định phương trình đường hồi quy mô tả bộ số liệu đó

một cách chính xác nhất

3.Đánh giá phương trình hồi quy để xác định mức độ của

mối tương quan và tính áp dụng của nó trong việc dự đoán

và ước lượng.

4.Nếu các số liệu được thể hiện tốt trong mô hình tuyến

tính vừa xây dựng, sử dụng phương trình hồi quy để dự

đoán và ước lượng các giá trị.


Biểu đồ chấm điểm

gợi ý cho chúng ta

được mối quan hệ tự nhiên

của hai biến

đường thẳng nào trong

các đường thẳng đó cho

phép mô tả tốt nhất về mối

liên hệ giữa hai biến X và

Y?


Đường bình phương tối thiểu (least-

square line)

Là một đường thẳng mà từ đó tổng

bình phương tới đường thẳng trung

bình là nhỏ nhất (tối thiểu)

Tính toán đường bình phương tối

thiểu

n

i

n

i

i

i

n

i

n

i

n

i

ii

ii

n

i

i

n

i

ii

n

x

x

n

yx

yx

xx

yyxx

b

1

1

2

2

1

1 1

1

2

1

)(

))((

)(

))((

Tính các hệ số hồi quy từ mẫu

xbya

Ví dụ

Kết quả đo vòng bụng (X) và độ dày mỡ bụng (Y) của 109 đàn ông

ID X Y ID X Y ID X Y ID X Y ID X Y ID X Y

1 74.75 25.72 21 76.85 36.6 41 83.5 73.13 61 77.6 57.05 81 103.5 132 101 106 151

2 72.6 25.89 22 80.9 40.25 42 76 50.5 62 84.9 99.73 82 110 126 102 109.7 229

3 81.8 42.6 23 79.9 35.43 43 80.5 50.88 63 79.8 27.96 83 110 153 103 115 253

4 83.95 42.8 24 89.2 60.09 44 86.5 140 64 108.3 123 84 112 158 104 101 188

5 74.65 29.84 25 82 45.84 45 80 96.54 65 119.6 90.41 85 108.5 183 105 100.1 124

6 71.85 21.68 26 92 70.4 46 107.1 118 66 119.9 106 86 104 184 106 93.3 62.2

7 80.9 29.08 27 86.6 83.45 47 94.3 107 67 96.5 144 87 111 121 107 101.8 133

8 83.4 32.98 28 80.5 84.3 48 94.5 123 68 105.5 121 88 108.5 159 108 107.9 208

9 63.5 11.44 29 86 78.89 49 79.7 65.92 69 105 97.13 89 121 245 109 108.5 208

10 73.2 32.22 30 82.5 64.75 50 79.3 81.29 70 107 166 90 109 137

11 71.9 28.32 31 83.5 72.56 51 89.8 111 71 107 87.99 91 97.5 165

12 75 43.96 32 88.1 89.31 52 83.8 90.73 72 101 154 92 105.5 152

13 73.1 38.21 33 90.8 78.94 53 85.2 133 73 97 100 93 98 181

14 79 42.48 34 89.4 83.55 54 75.5 41.9 74 100 123 94 94.5 80.95

15 77 30.96 35 102 127 55 78.4 41.71 75 108 217 95 97 137

16 68.85 55.78 36 94.5 121 56 78.6 58.16 76 100 140 96 105 125

17 75.95 43.78 37 91 107 57 87.8 55.85 77 103 109 97 106 241

18 74.15 33.41 38 103 129 58 86.3 155 78 104 127 98 99 134

19 73.8 43.35 39 80 74.02 59 85.5 70.77 79 106 112 99 91 150

20 75.9 29.31 40 79 55.48 60 83.7 75.08 80 109 192 100 102.5 198

Ví dụ

xbxay 4557,39167,215ˆ

Đường hồi qui

n

i

n

i

i

i

n

i

n

i

n

i

ii

ii

n

x

x

n

yx

yx

b

1

1

2

2

1

1 1

)(

))((

xbya

Ví dụ

Kết quả từ excel SUMMARY OUTPUT

Regression Statistics

Multiple R 0.81730461

R Square 0.66798682

Adjusted R Square 0.66488389

Standard Error 33.2575684

Observations 109

ANOVA

df SS MS F Significance F

Regression 1 238109.8 238109.8 215.2764 2.26E-27

Residual 107 118349 1106.066

Total 108 356458.9

Coefficients Standard

Error t Stat P-value Lower 95% Upper 95%

Intercept -215.916652 21.87322 -9.87128 9.99E-17 -259.278 -172.556

X Variable 1 3.45569752 0.235525 14.6723 2.26E-27 2.988796 3.922599

xy 4557,39167,215ˆ

Đường hồi quy mô tả mối quan hệ giữa

vòng bụng và độ dày mỡ bụng là:

Ví dụ

độ dày mỡ bụng = -215,9167 + 3,4557* vòng bụng

0

50

100

150

200

250

300

0 20 40 60 80 100 120 140

độ

dày m

ỡ b

ụn

g

vòng bụng

Biểu đồ chấm điểm thể hiện vòng bụng (X) và độ dày mỡ bụng (Y) của

109 đàn ông

Giá trị độ dốc (với mỗi một cm

vòng bụng tăng lên thì độ dày

mở bụng sẽ tăng 3,4557 cm2)

Giá trị điểm cắt

4. Đánh giá đường hồi qui

• Phương pháp bình phương tối thiểu sẽ cho

chúng ta đường hồi qui kể cả khi không có

mối quan hệ tuyến tính giữa X và Y

• Chúng ta cần phải đánh giá xem đường hồi

qui có phải là tốt nhất hay không?

• Chúng ta đánh giá độ dốc (slope) của đường

hồi qui.


Có mối quan hệ tuyến tính

(độ dốc khác 0)

Không có mối quan hệ tuyến tính,

hoặc mối quan hệ chưa đủ mạnh

(độ dốc bằng 0)

độ dốc (slope) của đường hồi qui.


H0: b = 0

H1: b ≠ 0

Kiểm định được sử dụng:

thống kê này sẽ có phân bố t-student với df=n-2

bs

bt

b

2

2

)( xx

ss

i

btrong đó

2222 )()(2

1xxbyy

ns ii

Kiểm định giả thuyết H0: b=0 với kiểm định t


Ví dụ: Kiểm định giả thuyết thống kê về mối quan hệ tuyết

tính giữa giữa vòng bụng và độ dày mỡ bụng, sử dụng =

5%.

Bác bỏ giả thuyết H0 vì giá trị 14,6723 > 1,9824

+Kết luận: giá trị độ dốc của đường hồi quy khác 0 và

phương trình hồi quy này đã mô tả tốt mối liên quan giữa

biến X và Y.

+Phiên giải kết quả: Mô hình hồi qui có thể giúp ước lượng

tốt lớp mỡ bụng thông qua chỉ số vòng bụng.

6723,142355,0

04557,3

bs

bt

b


b+t(1-/2)sb

• Trong ví dụ trên, khoảng tin cậy 95% của giá trị b sẽ là

• 3,4557 + 1,9824 (0,2355) và bằng (2,9888; 3,9226)

• Chúng ta sẽ phiên giải giá trị khoảng tin cậy như sau: có

thể 95% chắc chắn rằng giá trị b sẽ nằm trong khoảng

từ 2,9888 tới 3,9226.

Khoảng tin cậy 100(1-)% cho giá trị b


Để đo lường độ mạnh của mối quan hệ tuyến tính chúng ta dùng hệ số xác định

SST

SSR

yy

yyR

2

2

2

)(

)ˆ(

Hệ số xác định


• Sự biến thiên của các giá trị quan sát và

giá trị trung bình:

Tổng biến thiên của Y (SST)

Mô hình hồi qui (SSR)

Sai số (SSE)


x1 x2

y1

y2

y

Hai điểm số liệu (x1,y1) và (x2,y2)

22

21 )yy()yy( 2

22

1 )yy()yy( 222

211 )yy()yy(

Tổng biến thiên y = Biến thiên lý giải bằng

đường hồi qui

+ Phần chưa lý giải (sai số)

biến thiên của y = SSR + SSE


• R2 đo lường tỷ lệ biến thiên của y được lý giải bằng

sự biến thiên của x

n

yy

n

xxb

yy

SSRR

i

i

i

i

i

2

2

2

22

2

2

)(

)((

)(

• R2 có giá trị từ 0 đến 1 R2 = 1: lý tưởng, đường hồi qui trùng với các điểm số

liệu.

R2 = 0: không có mối liên hệ giữa x và y.

Ví dụ

SUMMARY OUTPUT

Regression Statistics

Multiple R 0.5813

R Square 0.3379

Adjusted R Square 0.3011

Standard Error 0.5892

Observations 20

ANOVA

df SS MS F Sig. F

Regression 1 3.1894 3.1894 9.1865 0.0072

Residual 18 6.2493 0.3472

Total 19 9.4387

Coef. SE t Stat P-value Lower 95% Upper 95%

Intercept -8.4465 4.0611 -2.0798 0.0521 -16.9786 0.0856

X Variable 1 0.0744 0.0245 3.0309 0.0072 0.0228 0.1260

Hệ số xác định=0,3379, nghĩa

là chỉ có 33,8% biến thiên của

FEV được lý giải bằng sự biến

thiên của chiều cao (mô hình

chưa phải là mô hình tốt)

Sử dụng đường hồi qui

• Nếu mô hình hồi quy là mô tả tốt cho mối

quan hệ giữa hai biến chúng ta có thể

dùng mô hình đó để dự đóan giá trị của y:

– Ước lượng điểm

– Ước lượng khỏang

Ước lượng điểm

• Ví dụ:

– Ước lượng FEV của một sinh viên cao 187cm:

y=-8,45+0,0744*187=5,46 lít

– Một sinh viên cao 187cm sẽ có dung tích thở

gắng sức là 5,46 lít

– Kết quả này chính xác như thế nào?

Ước lượng khoảng

• Hai giá trị khỏang:

– Ước lượng khỏang giá trị của y với một giá trị của

x

– Khỏang tin cậy – ước lượng trung bình của y với

mỗi giá trị của x.

2

2

|)2/1()(

)(11ˆ

xx

xx

nsty

i

p

xy

2

2

|)2/1()(

)(1ˆ

xx

xx

nsty

i

p

xy

Kiểm định F cho mô hình hồi quy

Giả thuyết thống kê H0: b = 0 và H1: b ≠ 0 (or < 0,or > 0)

ANOVA

df SS MS F Sig. F

Regression

(SSReg) 1

SSReg/

df MSR/MSE

Residual

(SSRes) n-2 SST-SSReg

SSRes/

df

Total n-1

Bác bỏ H0 nếu F>F1,n-2, 1-

Không bác bỏ H0 nếu F< F1,n-2, 1-

Hệ số tương quan

• Hệ số tương quan (Coefficient of correlation)

được sử dụng để đo lường độ lớn của mối quan

hệ giữa hai biến số.

Y

X

Y

X

Y

X

Y

X

Y

X

Ví dụ một số giá trị hệ số tương quan

r = -1 r = -.6 r = 0

r = .6 r = 1

Cách tính

• Công thức

• Giá trị hệ số tương quan nằm trong khỏang -1 đến 1 – nếu r = -1 (mối tương quan nghịch) hoặc r = +1 (mối

tương quan thuận) tất cả các điểm số liệu nằm trên đường hồi quy

– nếu r = 0 không có mối tương quan

nyy

nxxbr

i

ii

/

/22

222

Kiểm định giả thuyết cho r

• Giả thuyết

H0: = 0 (không liên quan)

H1: 0 (có mối quan hệ tuyến tính)

• Kiểm định

2

2

rt

r

n

với df = n - 2

Ví dụ

• Hệ số tương quan giữa FEV và chiều cao

• Kiểm định H0: = 0 (không liên quan)

H1: 0 (có mối quan hệ tuyến tính)

t>t tra bảng=2,1 bác bỏ H0, có mối quan hệ tuyến tính giữa FEV và chiều cao,

58,0

20/)1,77(6,306

20/)6,3307(2,547587)0744,0(2

22

r

02,3

220

58,01

058,02

t

Mô hình tuyến tính – không

tuyến tính

Không tuyến tính,

hồi quy bội Tuyến tính

X

e e X

Y

X

Y

X

Hồi quy đa biến

• Có nhiều biến độc lập

– y = b0+b1x1 + b2x2+ ....+bnxn+ e

• Hồi quy logistics:

– y = b0+b1x1 + b2x2+ ....+bnxn+ e

– Trong đó y là biến phụ thuộc chỉ có hai giá trị

có/không

Tóm tắt • Hệ số tương quan: -> có/không,

thuận/nghịch, mạnh yếu

• Biểu đồ chấm điểm:

• Mô hình hồi quy tuyến tính: Y= a + bX

Dự đoán: X tăng 1-> Y tăng b

Y0 tương ứng X0 nào đó

Hệ số xác định: -> X chi phối ?% đến Y

Sử dụng SPPP • Hệ số tương quan:

Analyze\Correlate\Bivariate:

• Biểu đồ chấm điểm:

Graphs Lagacy Dialogs Scatter

Dot Simple Scatter Define

• Mô hình hồi quy tuyến tính:

Analyze\Regression\Linear

Hồi quy và tương quan - ctump

Documents

Transcript of Hồi quy và tương quan - ctump