Reduksi Dimensi Image dengan Principal Components...

21
1 Page 1 Reduksi Reduksi Dimensi Dimensi Image Image dengan dengan Principal Components Principal Components Analysis (PCA) Analysis (PCA) Sumber Sumber: -Trucco & Verri chap. 10 chap. 10 - Standford Standford Vision & Modeling Vision & Modeling Contoh Contoh : problem Pattern Recognition : problem Pattern Recognition

Transcript of Reduksi Dimensi Image dengan Principal Components...

Page 1: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

1

Page 1

ReduksiReduksi DimensiDimensi Image Image dengandenganPrincipal Components Principal Components

Analysis (PCA) Analysis (PCA)

SumberSumber::

-Trucco & Verri chap. 10chap. 10

--StandfordStandford Vision & ModelingVision & Modeling

ContohContoh: problem Pattern Recognition: problem Pattern Recognition

Page 2: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

2

Page 2

Rotate coordinate system:Rotate coordinate system:

Problem Problem DimensiDimensi tinggitinggi ????

Page 3: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

3

Page 3

PCA (Principal Component Analysis)PCA (Principal Component Analysis)

•• UntukUntuk reduksireduksi dimensidimensi data (Dimensional data (Dimensional Reduction) !!!Reduction) !!!

•• EkstraksiEkstraksi strukturstruktur data data daridari dataset high dataset high dimensondimenson. .

•• MencariMencari basis signal basis signal berdasarkanberdasarkan data data statistikstatistikobjekobjek..

PCAPCA

Page 4: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

4

Page 4

PCAPCA

Demo Demo dengandengan MatlabMatlab::

•• MencariMencari basis signal basis signal citracitra wajahwajah..

•• Image recognition, face recognition.Image recognition, face recognition.

Page 5: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

5

Page 5

PCAPCA

ReduksiReduksi dimensidimensi linear:linear:

High-dimensionalInput Space

Page 6: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

6

Page 6

Linear Subspace:Linear Subspace:

+=

+ 1.7=

Linear Subspace:Linear Subspace:

Page 7: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

7

Page 7

Principal Components Analysis:Principal Components Analysis:

xWy ~=

∑=

−=N

nT mnys

1

22 )][(

TN

nT xxS )~()~(

1

µµ −−= ∑=

TTT WWSs =2

m

ContohContoh::

Data:

Kirby, Weisser, Dangelmayer 1993

Page 8: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

8

Page 8

ContohContoh::

Data:

PCA

New Basis Vectors

ContohContoh::

Data:

PCA

EigenLips

Page 9: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

9

Page 9

ContohContoh::

Face Recognition dengan Eigenfaces (Turk+Pentland, ):

ContohContoh::

Face Recognition System (Moghaddam+Pentland):

Page 10: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

10

Page 10

ContohContoh: Visual Cortex: Visual Cortex

Hubel

ContohContoh: Visual Cortex: Visual Cortex

Hubel

Page 11: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

11

Page 11

ContohContoh: Receptive Fields: Receptive Fields

Hubel

ContohContoh: Receptive Fields: Receptive Fields

Hancock et al: The principal components of natural images

Page 12: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

12

Page 12

ContohContoh: Receptive Fields: Receptive Fields

Hancock et al: The principal components of natural images

ContohContoh::

Active Appearance Models (AAM): (Cootes et al)

Page 13: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

13

Page 13

ContohContoh::

Active Appearance Models (AAM): (Cootes et al)

ContohContoh::

Active Appearance Models (AAM): (Cootes et al)

Page 14: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

14

Page 14

ContohContoh::

3D Morphable Models (Blanz+Vetter)

UlasanUlasan

E(V)V V

Constrain-

Analytically derived:Affine, Twist/Exponential Map

Learned:Linear/non-linear

Sub-Spaces

Page 15: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

15

Page 15

S = (p ,…,p )

E(S) Constrain

1 n

Non-Rigid Constrained Spaces

Non-Rigid Constrained Spaces

Nonlinear Manifolds:

Linear Subspaces:

• Small Basis Set

• Principal Components Analysis

Mixture Models

Page 16: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

16

Page 16

Training Data Mixture of Patches

EM

Manifold Learning

���������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

����������������������������������������������������������������������������������������������������

������������������������������

��������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

���������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

������������������������������������������

������������������

����� ������

��

��������������������������������������������������������������������������������������

���������������������������������������������������������������������������������������������������������������������������

��������������

�������������

���������

�������������

������

�������������

������

�������������

������

��

����������������������

��������������

�������������

������

�����������������

����������

��������

������

�����������

�����

����������

InfluenceFunction

LinearPatch

P1 P2

��������������������������������������������������������

G1G2

P x( )

Gi x( ) Pi x( )⋅i

Gi x( )i

∑----------------------------------------=

�������

�������������

�������

������������� �������

������������� ��

���������

����������������

���������

�����������������

������������

�������

�������

�����������

�����������������

���������

��������

��������

�������������

Mixture of Projections

Page 17: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

17

Page 17

ContohContoh::

Eigen Tracking (Black and Jepson)

ContohContoh::

Shape Models for tracking:

Page 18: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

18

Page 18

Feature/Shape Models secara umum:

Visual Motion Contours:Blake, Isard, Reynard

Feature/Shape Models secara umum:

Visual Motion Contours:Blake, Isard, Reynard

Page 19: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

19

Page 19

Linear Linear DiscriminantDiscriminant Analysis:Analysis:

Fisher’s linear Fisher’s linear discriminantdiscriminant::

∑∑∈∈

−−+−−=21

))(())(( 1111Cn

Tnn

Cn

TnnW xxxxS µµµµT

BS ))(( 1212 µµµµ −−=

wSw

WSwJ

WT

BT

=

∑∈

=KCn

nK

k xN

)( 121 µµ −∝ −

WSw

Page 20: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

20

Page 20

ContohContoh: : EigenfacesEigenfaces vsvs FisherfacesFisherfaces

Glasses or not Glasses ?

ContohContoh: : EigenfacesEigenfaces vsvs FisherfacesFisherfaces

Input New Axis

Belhumeur, Hespanha, Kriegman 1997

Page 21: Reduksi Dimensi Image dengan Principal Components …web.cecs.pdx.edu/~mperkows/CLASS_479/Biometrics/FaceRecognitio… · 1 Page 1 Reduksi Dimensi Image dengan Principal Components

21

Page 21

Basis Shape Algorithms Basis Shape Algorithms lainnyalainnya::

• ICA (Independent Components Analysis, Bell+Sejnowski)• Maximize Entropy (or spread of output distribution):

Basis Shape Algorithms Basis Shape Algorithms lainnyalainnya::

• NMF (non-negative matrix factorization, Lee+Seung)• LNMF (local NMF, Li et al)