Teoria RP Bayes

Post on 06-Jul-2018

233 views 0 download

Transcript of Teoria RP Bayes

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 1/56

TEORIA DE LA DECISIONDE BAYES

1

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 2/56

TEORIA DE LA DECISION DE BAYES

2

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 3/56

TEORIA DE LA DECISION DE BAYES

PROBABILIDAD A PRIORI

3

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 4/56

TEORIA DE LA DECISION DE BAYES

4

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 5/56

TEORIA DE LA DECISION DE BAYES

5

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 6/56

TEORIA DE LA DECISION DE BAYES

DENSIDAD DE PROBABILIDAD

Además de la probabilidad a priori a menudo setiene información adicional: el valor de laobservación x que se va a clasificar.

Ejemplo:¿Cómo etiquetaríamos a una persona cuya analítica

Ha ue considerar:• Probabilidad a priori• Valor de la observación

6

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 7/56

TEORIA DE LA DECISION DE BAYES

DENSIDAD DE PROBABILIDAD

7

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 8/56

TEORIA DE LA DECISION DE BAYES

DENSIDAD DE PROBABILIDAD

8

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 9/56

TEORIA DE LA DECISION DE BAYES

9

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 10/56

TEORIA DE LA DECISION DE BAYES

10

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 11/56

TEORIA DE LA DECISION DE BAYES

11

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 12/56

TEORIA DE LA DECISION DE BAYES

PROBABILIDAD A POSTERIORI

12

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 13/56

TEORIA DE LA DECISION DE BAYES

PROBABILIDAD A POSTERIORI

13

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 14/56

TEORIA DE LA DECISION DE BAYES

14

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 15/56

TEORIA DE LA DECISION DE BAYES

Efecto de la prob. a priori sobre la prob. a posteriori

15

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 16/56

TEORIA DE LA DECISION DE BAYES

REGLA DE CLASIFICACIÓN DE BAYES

16

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 17/56

TEORIA DE LA DECISION DE BAYES

17

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 18/56

TEORIA DE LA DECISION DE BAYES

18

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 19/56

TEORIA DE LA DECISION DE BAYES

19

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 20/56

TEORIA DE LA DECISION DE BAYES

20

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 21/56

TEORIA DE LA DECISION DE BAYES

Al considerar robabilidades a riori las clases

muy infrecuentes resultan ‘castigadas’

21

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 22/56

TEORIA DE LA DECISION DE BAYES

PROBLEMAS MULTICLASE CON PATRONES MULTIDIMENSIONALES

REGLA DE CLASIFICACIÓN DE BAYES

22

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 23/56

TEORIA DE LA DECISION DE BAYES

FUNCIONES DISCRIMINANTES Y SUPERFICIES DE DECISIÓN

Supongamos que existen gi(X) funciones discriminantes:Una función discriminante para la clase ‘i’ (gi(X)) tiene

la propiedad de que alcanza un mayor valor quecua qu er o ra unc n scr m nan e g j  para o as asotras clases

 

Seleccionarwi si gi(X) >= g j(X) para todo j

23

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 24/56

TEORIA DE LA DECISION DE BAYES

FUNCIONES DISCRIMINANTES Y SUPERFICIES DE DECISIÓN

Una posibilidad para considerar gi(X) es:gi(X)=P(wi|X)

o bien cualquier otra función equivalente:gi = i  πi

Para un problema de clasificación en dos clases, laformulación se simplifica. Basta considerar:

g(X)=g1(X)-g2(X)Siendo la regla de clasificación:

  1   2  

24

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 25/56

TEORIA DE LA DECISION DE BAYES

FRONTERA Y REGIONES DE DECISIÓN ENTRE 2 CLASES

25

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 26/56

TEORIA DE LA DECISION DE BAYES

FRONTERA Y REGIONES DE DECISIÓN ENTRE 2 CLASES

26

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 27/56

TEORIA DE LA DECISION DE BAYES

FRONTERA Y REGIONES DE DECISIÓN ENTRE 2 CLASES

Influencia de la Probabilidad a Priori i

27

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 28/56

TEORIA DE LA DECISION DE BAYES

ERROR EN LA CLASIFICACION

28

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 29/56

TEORIA DE LA DECISION DE BAYES

ERROR EN LA CLASIFICACION

29

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 30/56

TEORIA DE LA DECISION DE BAYES

ERROR EN LA CLASIFICACION

 MÍNIMO ERROR

30

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 31/56

TEORIA DE LA DECISION DE BAYES

ERROR EN LA CLASIFICACION

31

 

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 32/56

TEORIA DE LA DECISION DE BAYES

ESTIMACIÓN DEL ERROR Y VERIFICACIÓN DE LOS RESULTADOS

32

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 33/56

TEORIA DE LA DECISION DE BAYES

ESTIMACIÓN DEL ERROR Y VERIFICACIÓN DE LOS RESULTADOS

33

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 34/56

TEORIA DE LA DECISION DE BAYES

ESTIMACIÓN DEL ERROR Y VERIFICACIÓN DE LOS RESULTADOS

34

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 35/56

TEORIA DE LA DECISION DE BAYES

35

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 36/56

TEORIA DE LA DECISION DE BAYES

ESTIMACIÓN POR RESUSTITUCIÓN

36

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 37/56

TEORIA DE LA DECISION DE BAYES

ESTIMACIÓN POR RESUSTITUCIÓN

37

TEORIA DE LA DECISION DE BAYES

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 38/56

TEORIA DE LA DECISION DE BAYES

 

38

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 39/56

TEORIA DE LA DECISION DE BAYES

ESTIMACIÓN POR CONJUNTO DE PRUEBA O TEST

39

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 40/56

TEORIA DE LA DECISION DE BAYES

ESTIMACI N POR VALIDACI N CRUZADA 

40

TEORIA DE LA DECISION DE BAYES

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 41/56

 

41

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 42/56

TEORIA DE LA DECISION DE BAYES

ESTIMACIÓN POR VALIDACIÓN CRUZADA

42

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 43/56

TEORIA DE LA DECISION DE BAYES

VERIFICACIÓN DE RESULTADOS

Matriz de confusión o Matriz de contingencia• Presentación y análisis del resultado de una

clasificación

• Matriz cuadrada de orden JxJ que tiene anexas filas

y columnas auxiliares para contabilizar totales y otras

métricas

43

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 44/56

TEORIA DE LA DECISION DE BAYES

VERIFICACIÓN DE RESULTADOS

EJEMPLO DE MATRIZ DE CONFUSIÓN con 5 clases

44

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 45/56

TEORIA DE LA DECISION DE BAYES

VERIFICACIÓN DE RESULTADOS

45

TEORIA DE LA DECISION DE BAYES

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 46/56

TEORIA DE LA DECISION DE BAYES

VERIFICACIÓN DE RESULTADOS

46

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 47/56

.

EJEMPLO DETALLADO

DE UNSISTEMA DE RECONOCIMIENTO DE PATRONES

47

EJEMPLO

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 48/56

EJEMPLO

SISTEMA DE RECONOCIMIENTO DE PATRONES PARALA CONCESION O NO DE UN PRÉSTAMO BANCARIO

Variables disponibles: Clases:

• a

•Salario mensual

•   o va a evo ver

• No lo va a devolver (MOROSO)

Se disponen de 20 ejemplos, 10 por cada clase

48

EJEMPLO

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 49/56

EJEMPLO

49

EJEMPLO

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 50/56

EJEMPLO

1.8

2

1.8

2

NO devuelve el prestamo SI devuelve el prestamo

1.6 1.6

1.2

.

   i   d  u  o  s 1.2

.

   i   d  u  o  s

0.8

1

   N  o   d  e

   i  n   d   i

0.8

1

   N  o   d  e

   i  n   d   i

0.6 0.6

0.2

.

0.2

.

50

0 20 40 60 800

Edad

0 20 40 60 800

Edad

EJEMPLO

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 51/56

EJEMPLO

1.8

NO devuelve el prestamo SI devuelve el prestamo

1.4

1.6.

1.2

   i  v   i   d  u  o  s

2

   i  v   i   d  u  o  s

0.8

1

   N  o   d

  e   i  n   d 1.5

   N  o   d

  e   i  n   d

0.4

0.61

0.2

0.5

51

0 1000 2000 30000

Salario mensual

0 1000 2000 30000

Salario mensual

EJEMPLO

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 52/56

EJEMPLO

2500Concesion de prestamo

 SI devuelve el prestamo

2000

1500

  e  n  s  u  a   l

1000   S  a   l  a  r   i  o

500

10 20 30 40 50 60 70 800

52

Edad

EJEMPLO

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 53/56

EJEMPLO

Probabilidad a riori: 0.5 ara las 2 clases

 No se conocen las densidades de probabilidad de los atributos

,

Clasificador utilizado:

DISTANCIA EUCLIDEA A LA MEDIA DE CADA CLASE

53

EJEMPLO

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 54/56

J O

2500 Concesion de prestamo

NO devuelve el prestamoSI devuelve el prestamo

2000

62 1745

1500

  n  s  u  a   l

media CLASE SI

1000   S  a   l  a  r

   i  o  m  e

500media CLASE NO

(33, 589)

0

54

10 20 30 40 50 60 70 80

Edad

EJEMPLO

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 55/56

55

EJEMPLO

8/16/2019 Teoria RP Bayes

http://slidepdf.com/reader/full/teoria-rp-bayes 56/56

MATRIZ DE CONFUSIÓN

Clases 1 2 Total Éxito Error  1 9 1 10 90% 10%

2 1 9 10 90% 10%

BONDAD MEDIA

56