Redes Neuronales Artificiales Arquitecturas y Aprendizaje

Profesor:

Eduardo Caicedo Bravo Ph.D.

eduardo.caicedo@correounivalle.edu.co

Contenido

• Introducción • Redes Monocapa • Redes Multicapa • Redes Feedforward • Redes Recurrentes • Aprendizaje en las Redes Neuronales

– Aprendizaje Supervisado – Aprendizaje No-Supervisado – Aprendizaje por Corrección de Error – Aprendizaje basado en Memoria – Aprendizaje de Hebb – Aprendizaje Competitivo

Introducción

• La arquitectura de una red neuronal artificial es la forma

como se organizan las neuronas en su interior y está

estrechamente ligada al algoritmo de aprendizaje usado

para entrenar la red.

• Dependiendo del número de capas:

• Redes Monocapa

• Redes Multicapa

• Dependiendo de cómo fluye la información:

• Redes Feedforward

• Redes Recurrentes.

Redes Monocapa

• Primer Nivel asociado al vector de entrada.

• No hay procesamiento de estos datos, por

esta razón no se considera formalmente como

una capa.

• Este primer nivel tiene la misma dimensión

del vector de entrada, la información entra al

mismo nivel y los datos son transferidos al

siguiente nivel, modificados por los pesos

sinápticos.

• Como las neuronas de este nivel reciben el

mismo tipo de información lo denominamos

capa y como a su vez corresponde a la salida

de la red, la llamaremos Capa de Salida.

• Notemos que en esta arquitectura solo

disponemos de una capa de procesamiento, de

ahí su nombre arquitectura monocapa.

• Observemos que hay conectividad total entre

el nivel de entrada y la capa de salida

Redes Multicapa

• La red tiene un nivel de entrada con n

neuronas y una capa de salida de m

neuronas

• La red incluye una capa intermedia,

denominada Capa Oculta, que está

conformada por h neuronas

• ¿Por qué el nombre de oculta?

• Como en el caso anterior, la información

fluye en única dirección

• En este ejemplo, presentamos una única

capa oculta, pero una red puede tener más

de una capa intermedia.

Redes Feedforward

En este tipo de red neuronal artificial la

información fluye en un único sentido

desde las neuronas de entrada a la

capa o capas de procesamiento, para

los casos de redes monocapa y

multicapa, respectivamente; hasta

llegar a la capa de salida de la red

neuronal.

Redes Recurrentes

La información no siempre fluye en un sentido, puesto que puede realimentarse

hacia capas anteriores a través de conexiones sinápticas

Monocapa Multicapa

Aprendizaje en las RNA

• Qué es el aprendizaje para los seres vivos?

– (Clase, experiencia, estímulos)

• Qué es aprendizaje para la RNA?

– Habilidad de la red para aprender del ambiente y mejorar su performance a través del aprendizaje

– Proceso interactivo que permite ajustar los pesos sinápticos y los niveles de los bias

Mendel McClare [1970]

Aprendizaje es un proceso mediante el cual los parámetros libres

de una RNA son adaptados a través de un proceso de estimulación

del ambiente en el cual está embebida la red.

Aprendizaje en las RNA

El tipo de aprendizaje está determinado por la forma como

se cambian los parámetros en el proceso

w(t+1) : Valor actualizado del peso sináptico

w(t) : Valor actual del peso sináptico

Δw(t) : Variación del peso sináptico

)()()1( twtwtw

Aprendizaje Supervisado

y : Salida de la red neuronal artificial

d : Salida deseada

yderror

Aprendizaje No-Supervisado

Aprendizaje por Corrección de Error

Una o más

Capas

Ocultas

[x1

xi

xn]

Neurona

k-ésima X yk(n)

dk(n)

RNA X yk(n)

dk(n)

xk(n)

ek(n)

nyndne kkk

El propósito es aplicar una secuencia

De correctivos a los pesos sinápticos

Tal que el error tienda a cero

La señal de salida de la neurona debe

Ser muy cercana al valor deseado

nen

GlobalErrorn

k

2

21)(

:

Aprendizaje basado en Memoria

En este tipo de aprendizaje, la mayoría de las experiencias

pasadas son almacenadas explícitamente en una

gran memoria.

xi : Vector de entrada

di : Respuesta deseada

N

iii dx1

,

Aprendizaje de Hebb

• Es una de las más antiguas y famosas reglas de aprendizaje propuesta por el Neuropsicólogo Hebb en su libro The Organization of Behavior [1949]:

– Cuando un axón de A está lo suficientemente cerca de B para excitar una célula B y repetida o persistentemente hace parte de su disparo, de alguna manera se genera un proceso metabólico, tal que A se convierte en una célula que dispara eficientemente a B

• Hebb propone este cambio como una base del aprendizaje asociativo:

– Si dos neuronas en cada lado de una conexión sináptica son activadas simultáneamente (sincrónicamente), entonces la

intensidad de la sinapsis crece selectivamente.

– Si dos neuronas en cada lado de la sinapsis son activadas

asincrónicamente, su sinapsis es debilitada o eliminada

Aprendizaje Competitivo

• Mientras que en una RNA basada en aprendizaje Hebbiano, pueden activarse simultáneamente diferentes neuronas de salida, en aprendizaje competitivo solamente una neurona se activa al tiempo.

• Esta característica las hace adecuada para extraer características relevantes en un clasificador.

• Elementos básicos [Rumelhart 1985]:

– Un conjunto de neuronas que responden diferente para un conjunto dado de patrones

– Se impone un límite en la “intensidad” de cada neurona

– Un mecanismo que les permite a las neuronas competir

Aprendizaje Competitivo

1

2

l

h

x1

x2

xi

xn

Conexiones feedforward excitatorias

Conexiones laterales inhibitorias

casootroen

kjjvvsiy

jk

k

,

0

1

Considerando el peso sináptico wkj,

supongamos que estos valores son

positivos y limitados a:

kwj

kj 1

El cambio en los pesos se ajusta:

perdedoraNeurona

ganadoraNeuronawxw

kjj

kj

0

Esta regla mueve el vector de pesos

sinápticos wkj de la neurona

ganadora k hacia el patrón

de entrada x

PREGUNTAS???