Post on 01-Feb-2023
Redes Neuronales Artificiales Arquitecturas y Aprendizaje
Profesor:
Eduardo Caicedo Bravo Ph.D.
eduardo.caicedo@correounivalle.edu.co
Contenido
• Introducción • Redes Monocapa • Redes Multicapa • Redes Feedforward • Redes Recurrentes • Aprendizaje en las Redes Neuronales
– Aprendizaje Supervisado – Aprendizaje No-Supervisado – Aprendizaje por Corrección de Error – Aprendizaje basado en Memoria – Aprendizaje de Hebb – Aprendizaje Competitivo
Introducción
• La arquitectura de una red neuronal artificial es la forma
como se organizan las neuronas en su interior y está
estrechamente ligada al algoritmo de aprendizaje usado
para entrenar la red.
• Dependiendo del número de capas:
• Redes Monocapa
• Redes Multicapa
• Dependiendo de cómo fluye la información:
• Redes Feedforward
• Redes Recurrentes.
Redes Monocapa
• Primer Nivel asociado al vector de entrada.
• No hay procesamiento de estos datos, por
esta razón no se considera formalmente como
una capa.
• Este primer nivel tiene la misma dimensión
del vector de entrada, la información entra al
mismo nivel y los datos son transferidos al
siguiente nivel, modificados por los pesos
sinápticos.
• Como las neuronas de este nivel reciben el
mismo tipo de información lo denominamos
capa y como a su vez corresponde a la salida
de la red, la llamaremos Capa de Salida.
• Notemos que en esta arquitectura solo
disponemos de una capa de procesamiento, de
ahí su nombre arquitectura monocapa.
• Observemos que hay conectividad total entre
el nivel de entrada y la capa de salida
Redes Multicapa
• La red tiene un nivel de entrada con n
neuronas y una capa de salida de m
neuronas
• La red incluye una capa intermedia,
denominada Capa Oculta, que está
conformada por h neuronas
• ¿Por qué el nombre de oculta?
• Como en el caso anterior, la información
fluye en única dirección
• En este ejemplo, presentamos una única
capa oculta, pero una red puede tener más
de una capa intermedia.
Redes Feedforward
En este tipo de red neuronal artificial la
información fluye en un único sentido
desde las neuronas de entrada a la
capa o capas de procesamiento, para
los casos de redes monocapa y
multicapa, respectivamente; hasta
llegar a la capa de salida de la red
neuronal.
Redes Recurrentes
La información no siempre fluye en un sentido, puesto que puede realimentarse
hacia capas anteriores a través de conexiones sinápticas
Monocapa Multicapa
Aprendizaje en las RNA
• Qué es el aprendizaje para los seres vivos?
– (Clase, experiencia, estímulos)
• Qué es aprendizaje para la RNA?
– Habilidad de la red para aprender del ambiente y mejorar su performance a través del aprendizaje
– Proceso interactivo que permite ajustar los pesos sinápticos y los niveles de los bias
Mendel McClare [1970]
Aprendizaje es un proceso mediante el cual los parámetros libres
de una RNA son adaptados a través de un proceso de estimulación
del ambiente en el cual está embebida la red.
Aprendizaje en las RNA
El tipo de aprendizaje está determinado por la forma como
se cambian los parámetros en el proceso
w(t+1) : Valor actualizado del peso sináptico
w(t) : Valor actual del peso sináptico
Δw(t) : Variación del peso sináptico
)()()1( twtwtw
Aprendizaje por Corrección de Error
Una o más
Capas
Ocultas
[x1
xi
xn]
Neurona
k-ésima X yk(n)
dk(n)
RNA X yk(n)
dk(n)
xk(n)
ek(n)
nyndne kkk
El propósito es aplicar una secuencia
De correctivos a los pesos sinápticos
Tal que el error tienda a cero
La señal de salida de la neurona debe
Ser muy cercana al valor deseado
nen
GlobalErrorn
k
2
21)(
:
Aprendizaje basado en Memoria
En este tipo de aprendizaje, la mayoría de las experiencias
pasadas son almacenadas explícitamente en una
gran memoria.
xi : Vector de entrada
di : Respuesta deseada
N
iii dx1
,
Aprendizaje de Hebb
• Es una de las más antiguas y famosas reglas de aprendizaje propuesta por el Neuropsicólogo Hebb en su libro The Organization of Behavior [1949]:
– Cuando un axón de A está lo suficientemente cerca de B para excitar una célula B y repetida o persistentemente hace parte de su disparo, de alguna manera se genera un proceso metabólico, tal que A se convierte en una célula que dispara eficientemente a B
• Hebb propone este cambio como una base del aprendizaje asociativo:
– Si dos neuronas en cada lado de una conexión sináptica son activadas simultáneamente (sincrónicamente), entonces la
intensidad de la sinapsis crece selectivamente.
– Si dos neuronas en cada lado de la sinapsis son activadas
asincrónicamente, su sinapsis es debilitada o eliminada
Aprendizaje Competitivo
• Mientras que en una RNA basada en aprendizaje Hebbiano, pueden activarse simultáneamente diferentes neuronas de salida, en aprendizaje competitivo solamente una neurona se activa al tiempo.
• Esta característica las hace adecuada para extraer características relevantes en un clasificador.
• Elementos básicos [Rumelhart 1985]:
– Un conjunto de neuronas que responden diferente para un conjunto dado de patrones
– Se impone un límite en la “intensidad” de cada neurona
– Un mecanismo que les permite a las neuronas competir
Aprendizaje Competitivo
1
2
l
h
x1
x2
xi
xn
Conexiones feedforward excitatorias
Conexiones laterales inhibitorias
casootroen
kjjvvsiy
jk
k
,
0
1
Considerando el peso sináptico wkj,
supongamos que estos valores son
positivos y limitados a:
kwj
kj 1
El cambio en los pesos se ajusta:
perdedoraNeurona
ganadoraNeuronawxw
kjj
kj
0
Esta regla mueve el vector de pesos
sinápticos wkj de la neurona
ganadora k hacia el patrón
de entrada x