Redes NeuronalesAprendizaje Supervisado

José Manuel Quero ReboulDpto. Ingeniería Electrónica

Universidad de Sevilla

Indice

• Perceptrón– Regla delta

• Perceptrón Multicapa– Retropropagación

• Ejemplos• Video

Perceptrón•Memoria Asociativa

−= ∑

=

θn

jjjh iwfo

1

Interpretación Geométrica

10

1

01 w

iwwi θ+−=

Σ

w1

wn

w2

θ-

+

1i

2i

ni

A

AA

A

A

B

B

BB

0i

1i

Recta de Decisión

Perceptrón

)()]()([ titotddt

dwi

i −=α

•Aprendizaje Supervisado: Regla δ

10 −≤≤ ni { }1,1)(),( −∈totd

Aprendizaje a partir de aleatoriosiw

Problema: Oscilación ante entradas no separablesEjemplo: función XOR

Patron de Entrada Patron de Salida00011011

0110

01

10

PerceptrónSolución: Añadir una dimensión adicional

Patron de SalidaPatron de Entrada Patron Intermedio00011011

000010100111

0110

0 1

1

0

Nodos de representación interna

Indice

• Perceptrón– Regla delta

• Perceptrón Multicapa– Retropropagación

• Ejemplos• Video

Perceptrón MulticapaEstructura Regiones de

DecisiónProblema XOR Clases

ComplejasUna capa

Semiespacioslimitados por hiperplanos

A

AB

B

Regiones de Decisión Generales

BA

Dos capas Regiones convexas abiertas o cerradas

A

AB

B

BA

Arbitrarias.Complejidad limitada por el número de nodos

Tres capasA

AB

B

BA

Perceptrón Multicapa

Capa de Salida

Capa de Entrada

Capas Ocultas

OR

AND

HIPERPLANOS

)( θ−= ii netfo ∑==

n

jjiji iwnet

1

xexf −+

=1

1)(

θ

1

0

x

x

eexf −

−

+−=

11)( θ

1

-1

)( ii netfo =

Indice

• Perceptrón– Regla delta

• Perceptrón Multicapa– Retropropagación

• Ejemplos• Video

Perceptrón Multicapa

Capa de Salida

Capa de Entrada

Capas Ocultas

OR

AND

HIPERPLANOS

Retropropagación

(Regla δ generalizada)

j a previa i capa)1( ijijp itw δη=+∆

′−′

=∑ Ocultas Capas)(

Salida de Capa))((

kijkpjj

jjpjj

j wnetfodnetf

δδ

Queda determinar qué es para cada neurona pjδ

Perceptrón MulticapaRetropropagación: Demostración

∑∑∑ −=≡p j

pjpjp

p odEE 2)(21Error Cuadrático Médio

Cambio del error al variar la excitación en j

Cambio de la excitación la variar el peso de conexiónji

pj

pj

p

ji

p

wnet

netE

wE

∂∂

∂∂

=∂∂Regla de la cadena (1)

Segundo Término

pii

pijijiji

pj oowww

net∑ =

∂∂=

∂∂

)( (2)

(3)pj

ppj net

E∂∂

−≡δ

Primer Término

Definamos pjpjjip ow ηδ=∆⇒Sustituyendo (2) y (3)en (1)

Perceptrón Multicapa

pi

pj

pj

p

pj

ppj net

ooE

netE

∂∂

∂∂

−=∂∂

−=δRegla de la cadena

Cambio del error al variar la salida

Cambio de la salida por cambiar la excitación

Segundo Término

)( pjpj netfo =Dado que )( pjpj

pj netfneto

′=∂∂

⇒ Derivada de la función de salida

2)(21∑ −=

jpjpjp odE

Primer Término

Para neurona de salida. Dado que )( pjpjpj

p odoE

−−=∂∂

⇒

( )pjpjpjpj odnetf −′=⇒ )(δ

Perceptrón MulticapaPara neurona oculta.

∑ ∂∂

∂∂

=∂∂

k pj

pk

pk

p

pj

p

onet

netE

oE

∂∂

∂∂

= ∑∑i

pikik pjpk

p owonet

E∑ ∂

∂=

kkj

pk

p wnetE

∑−=k

kjpk wδ

∑′=⇒

kkjpkpjpj wnetf δδ )(

δ de la capa previa Conexión con la neurona previa

Cómo afecta a la capa previa

jnetpj eo −+

=1

1Particularizando ( ) )1(1

)( 2 pjpjnet

net

jpj ooe

enetfoj

j

−=+

=′=′⇒−

−

−−−

=⇒∑ Ocultas Capas)1(

Salida de Capa))(1(

kijkjj

jjjj

j wiiodoo

δδ

Indice

• Perceptrón– Regla delta

• Perceptrón Multicapa– Retropropagación

• Ejemplos• Video

EjemplosIdentificación de sistemas.

[ ] )()1(),()1( kukykyfky ppp +−=+

[ ] [ ])1()(1

52́)()1()()1(),( 22 −++

+−=−

kykykykyky

kykyfpp

ppppp

Planta nolineal

TDL TDL

RedNeuronal

Σ

z-1

-

+

)(ku )(kyp

)(kei

)1(ˆ +kyp )(ˆ kyp

[ ] )()1(),()1( kukykyNky ppp +−=+

2,20,10,1N∈N

Modelode

Referencia

ControladorNeuronal

Planta NoLineal

IdentificadorNeuronal Σ

-

+Σ

-

+

EjemplosControl de sistemas. [ ] )()1(),()1( kukykyfky ppp +−=+

[ ] [ ])1()(1

52́)()1()()1(),( 22 −++

+−=−

kykykykyky

kykyfpp

ppppp

)(ku

)(kym

)(kei

r

)(kyp

)(kec

)(ˆ kyp

)()1(2'0)(6'0)1( krkykyky mmm +−+=+

2,20,10,1N∈iN

2,25,10,1N∈cN

EjemplosControl de sistemas.

Respuesta sin controlador Respuesta con controlador

EjemplosControl de sistemas.

Respuesta con Ti=Tc=1 Respuesta con Ti=1 y Tc=3