Aprendizaje Supervisado Redes Neuronales - GTE … · Perceptrón Multicapa Estructura Regiones de...
18
Redes Neuronales Aprendizaje Supervisado José Manuel Quero Reboul Dpto. Ingeniería Electrónica Universidad de Sevilla
Transcript of Aprendizaje Supervisado Redes Neuronales - GTE … · Perceptrón Multicapa Estructura Regiones de...
Redes NeuronalesAprendizaje Supervisado
José Manuel Quero ReboulDpto. Ingeniería Electrónica
Universidad de Sevilla
Indice
• Perceptrón– Regla delta
• Perceptrón Multicapa– Retropropagación
• Ejemplos• Video
Perceptrón•Memoria Asociativa
−= ∑
=
θn
jjjh iwfo
1
Interpretación Geométrica
10
1
01 w
iwwi θ+−=
Σ
w1
wn
w2
θ-
+
1i
2i
ni
A
AA
A
A
B
B
BB
0i
1i
Recta de Decisión
Perceptrón
)()]()([ titotddt
dwi
i −=α
•Aprendizaje Supervisado: Regla δ
10 −≤≤ ni { }1,1)(),( −∈totd
Aprendizaje a partir de aleatoriosiw
Problema: Oscilación ante entradas no separablesEjemplo: función XOR
Patron de Entrada Patron de Salida00011011
0110
01
10
PerceptrónSolución: Añadir una dimensión adicional
Patron de SalidaPatron de Entrada Patron Intermedio00011011
000010100111
0110
0 1
1
0
Nodos de representación interna
Indice
• Perceptrón– Regla delta
• Perceptrón Multicapa– Retropropagación
• Ejemplos• Video
Perceptrón MulticapaEstructura Regiones de
DecisiónProblema XOR Clases
ComplejasUna capa
Semiespacioslimitados por hiperplanos
A
AB
B
Regiones de Decisión Generales
BA
Dos capas Regiones convexas abiertas o cerradas
A
AB
B
BA
Arbitrarias.Complejidad limitada por el número de nodos
Tres capasA
AB
B
BA
Perceptrón Multicapa
Capa de Salida
Capa de Entrada
Capas Ocultas
OR
AND
HIPERPLANOS
)( θ−= ii netfo ∑==
n
jjiji iwnet
1
xexf −+
=1
1)(
θ
1
0
x
x
eexf −
−
+−=
11)( θ
1
-1
)( ii netfo =
Indice
• Perceptrón– Regla delta
• Perceptrón Multicapa– Retropropagación
• Ejemplos• Video
Perceptrón Multicapa
Capa de Salida
Capa de Entrada
Capas Ocultas
OR
AND
HIPERPLANOS
Retropropagación
(Regla δ generalizada)
j a previa i capa)1( ijijp itw δη=+∆
′−′
=∑ Ocultas Capas)(
Salida de Capa))((
kijkpjj
jjpjj
j wnetfodnetf
δδ
Queda determinar qué es para cada neurona pjδ
Perceptrón MulticapaRetropropagación: Demostración
∑∑∑ −=≡p j
pjpjp
p odEE 2)(21Error Cuadrático Médio
Cambio del error al variar la excitación en j
Cambio de la excitación la variar el peso de conexiónji
pj
pj
p
ji
p
wnet
netE
wE
∂∂
∂∂
=∂∂Regla de la cadena (1)
Segundo Término
pii
pijijiji
pj oowww
net∑ =
∂∂=
∂∂
)( (2)
(3)pj
ppj net
E∂∂
−≡δ
Primer Término
Definamos pjpjjip ow ηδ=∆⇒Sustituyendo (2) y (3)en (1)
Perceptrón Multicapa
pi
pj
pj
p
pj
ppj net
ooE
netE
∂∂
∂∂
−=∂∂
−=δRegla de la cadena
Cambio del error al variar la salida
Cambio de la salida por cambiar la excitación
Segundo Término
)( pjpj netfo =Dado que )( pjpj
pj netfneto
′=∂∂
⇒ Derivada de la función de salida
2)(21∑ −=
jpjpjp odE
Primer Término
Para neurona de salida. Dado que )( pjpjpj
p odoE
−−=∂∂
⇒
( )pjpjpjpj odnetf −′=⇒ )(δ
Perceptrón MulticapaPara neurona oculta.
∑ ∂∂
∂∂
=∂∂
k pj
pk
pk
p
pj
p
onet
netE
oE
∂∂
∂∂
= ∑∑i
pikik pjpk
p owonet
E∑ ∂
∂=
kkj
pk
p wnetE
∑−=k
kjpk wδ
∑′=⇒
kkjpkpjpj wnetf δδ )(
δ de la capa previa Conexión con la neurona previa
Cómo afecta a la capa previa
jnetpj eo −+
=1
1Particularizando ( ) )1(1
)( 2 pjpjnet
net
jpj ooe
enetfoj
j
−=+
=′=′⇒−
−
−−−
=⇒∑ Ocultas Capas)1(
Salida de Capa))(1(
kijkjj
jjjj
j wiiodoo
δδ
Indice
• Perceptrón– Regla delta
• Perceptrón Multicapa– Retropropagación
• Ejemplos• Video
EjemplosIdentificación de sistemas.
[ ] )()1(),()1( kukykyfky ppp +−=+
[ ] [ ])1()(1
52́)()1()()1(),( 22 −++
+−=−
kykykykyky
kykyfpp
ppppp
Planta nolineal
TDL TDL
RedNeuronal
Σ
z-1
-
+
)(ku )(kyp
)(kei
)1(ˆ +kyp )(ˆ kyp
[ ] )()1(),()1( kukykyNky ppp +−=+
2,20,10,1N∈N
Modelode
Referencia
ControladorNeuronal
Planta NoLineal
IdentificadorNeuronal Σ
-
+Σ
-
+
EjemplosControl de sistemas. [ ] )()1(),()1( kukykyfky ppp +−=+
[ ] [ ])1()(1
52́)()1()()1(),( 22 −++
+−=−
kykykykyky
kykyfpp
ppppp
)(ku
)(kym
)(kei
r
)(kyp
)(kec
)(ˆ kyp
)()1(2'0)(6'0)1( krkykyky mmm +−+=+
2,20,10,1N∈iN
2,25,10,1N∈cN
EjemplosControl de sistemas.
Respuesta sin controlador Respuesta con controlador
EjemplosControl de sistemas.
Respuesta con Ti=Tc=1 Respuesta con Ti=1 y Tc=3
