Redes Neurais

Artificiais

Fabricio Breve fabricio@rc.unesp.br

12/04/2018 1Fabricio Breve

1

2

1

2

Pesos

sinpticos

Sinais de

entrada

Bias

Juno

aditiva

(. )

Sada

1

2

3

+1 +1

+1

1

2

Por que Redes Neurais?

Computadores convencionais so

eficientes em vrias reas

Entretanto, no tm obtido desempenho prximo da natureza em vrios domnios de

aplicao

Sistema visual humano

Reconhece rosto familiar em ambiente estranho (100~200

metros)

Sonar de morcegos

Reconhece alvos (distncia e velocidade)

Crebro do tamanho de uma ameixa

12/04/2018 Fabricio Breve 2

Redes Neurais Artificiais

Caractersticas em comum com o sistema

nervoso:

O processamento de informaes ocorre em muitos elementos simples chamados neurnios

(artificiais), ns (nodes) ou unidades (units)

Estes neurnios podem receber e enviar estmulosde e para outros neurnios e o ambiente

Neurnios podem estar conectados a outros neurnios, portanto formando redes de

neurnios ou redes neurais (neural networks)

12/04/2018 Fabricio Breve 3

Redes Neurais Artificiais

Caractersticas em comum com o sistema nervoso: Informaes (sinais) so transmitidos entre

neurnios por elos chamados sinapses

A eficincia de uma sinapse, representada por um valor de peso (weight) ou fora (strength) associado, corresponde a informao armazenada no neurnio, e portanto na rede

O conhecimento adquirido do ambiente por um processo conhecido como aprendizado (learning) Responsvel por adaptar a fora das conexes (valor de

peso) ao estmulo do ambiente

12/04/2018 Fabricio Breve 4

Redes Neurais Artificiais

Onde o conhecimento est armazenado?

Nas foras de conexes (sinpticas) entre unidades que permitem que padres sejam

recriados

Aprendizado uma questo de encontrar as foras de conexes apropriadas para produzir

padres de ativao satisfatrios sob certas

circunstncias

Conhecimento distribudo pelas conexes entre um

grande nmero de neurnios

12/04/2018 Fabricio Breve 5

Redes Neurais Artificiais

So compostas por:

1. Um conjunto de neurnios artificiais

Chamados ns, unidades ou simplesmente

neurnios

2. O padro de conectividade entre os

neurnios

Arquitetura ou Estrutura

3. Um mtodo para determinar os pesos

Treinamento ou Aprendizado

12/04/2018 Fabricio Breve 6

NEURNIOS ARTIFICIAIS

Redes Neurais Artificiais

12/04/2018 Fabricio Breve 7

Neurnios Artificiais

Neurnio Natural

12/04/2018 Fabricio Breve 8

Neurnios Artificiais

12/04/2018 Fabricio Breve 9

Entradas

Sinal

Sada

Neurnio de McCulloch e Pitts

McCulloch e Pittsescreveram um artigo famoso e influente sobre clculos que poderiam ser feitos com neurnios de dois estados

Umas das primeiras tentativas de entender a atividade do sistema nervoso

Baseada em unidades computacionais neuronais

Modelo bastante abstrato das propriedades fisiolgicas dos neurnios e suas conexes

12/04/2018 Fabricio Breve 10

Neurnio de McCulloch e Pitts

Neurnio binrio

Sua sada pode ter apenas dois estados:

0 ou 1

Cada neurnio tem um limiar fixo e recebe entrada das sinapses que tem pesos idnticos

Se a soma dos valores de entrada maior que o

limiar o neurnio ativado (responde com 1)

Seno permanece inativo (responde com 0)

12/04/2018 Fabricio Breve 11

Neurnio de McCulloch e Pitts

Modelo bastante simples

Porm j mostra caractersticas importantes da maioria dos modelos neuronais

Integrao dos estmulos de entrada

Presena de uma funo de ativao (limiar)

12/04/2018 Fabricio Breve 12

()1

2

Funo de

Ativao

SadaJuno

somatria

()

Neurnio de McCulloch e Pitts

Exemplo:

Duas unidades excitativas 1 e 2 e limiar = 1

Equivalente ao operador OU

Aumente o limiar para = 2

Equivalente ao operador E

12/04/2018 Fabricio Breve 13

E

0 0 0

0 1 0

1 0 0

1 1 1

OU

0 0 0

0 1 1

1 0 1

1 1 1

Neurnio Genrico

12/04/2018 Fabricio Breve 14

1

2

1

2

Pesos

sinpticos

Sinais de

entrada

Bias

Juno

aditiva

(. ) Sada

Neurnio Genrico

o peso da sinapse entre a entrada e o neurnio

A juno de soma faz a soma de todos os

sinais de entrada ponderados por seus

respectivos pesos e adiciona tambm o

valor do bias Funo de ativao usada para limitar a

amplitude da sada do neurnio

12/04/2018 Fabricio Breve 15

Neurnio Genrico

Bias

Aumenta ou diminui a entrada para a funo

de ativao

Usado no lugar do limiar

fixo

Bias ser ajustado

durante o aprendizado

Exemplo

No neurnio de McCulloch e Pitts

Substituindo o limiar pelo bias

12/04/2018 Fabricio Breve 16

21

contrrio caso 0

se 1)(

x xu

uufy

bx xu

uufy

21

contrrio caso 0

0 se 1)(

Finalidade do Termo Bias

12/04/2018 Fabricio Breve 17

= 0 Define um hiperplano passando pela origem

+ = 0 Deslocase o hiperplano da origem

Neurnio Genrico

Matematicamente:

12/04/2018 Fabricio Breve 18

m

j

kjkjkk bxwfvfy1

1

2

1

2

Pesos

sinpticos

Sinais de

entrada

Bias

Juno

aditiva

(. )

Sada

Neurnio Genrico

Simplificando

Considere bias como sendo um peso 0 de uma conexo

de entrada

0 = 1

12/04/2018 Fabricio Breve 19

m

j

jkjkk xwfufy0

1

2

1

2

Pesos

sinpticos

Sinais de

entrada Juno

aditiva

(. )

Sada

0Entrada fixa 0 = +10 = (bias)

Funo de Ativao

Funo Linear

Relaciona a entrada

diretamente

com sua sada

12/04/2018 Fabricio Breve 20

kk uuf

Funo de Ativao

Funo de Limiar

(Threshold, Step)

A sada 1 se a sada maior ou igual um

certo limiar

Seno 0 ou 1 Depende de a funo ser

Binria {0,1}

Bipolar {1,1}

Usada no trabalho de

McCulloch e Pitts

12/04/2018 Fabricio Breve 21

k

k

ku

uuf

se1

se1

Funo de Ativao

Funo Sigmide

Funo estritamente crescente que oferece um balanceamento adequado entre comportamento linear e no-linear

O tipo mais usado na literatura de redes neurais artificiais

Em forma de S

Pode ser obtida com muitas funes Logstica (0 a 1)

Arco-tangente (/2 a +/2)

Tangente hiperblica (1 a +1)

12/04/2018 Fabricio Breve 22

Funo de Ativao

Funo Sigmide Logstica

12/04/2018 Fabricio Breve 23

k

ku

uf

exp1

1

Funo de Ativao

Funo de Base

Radial

Funo no monotnica que

simtrica em torno

de sua base.

Exemplo: Gaussiana

Principal funo de ativao nas redes

neurais de funo de

base radial

12/04/2018 Fabricio Breve 24

2exp kk uuf

Funo de Ativao

As funes mostradas e ilustradas mostram apenas a forma geral de tais funes

Estas formas podem ser modificadas Exemplo:

Multiplicando por uma constante na funo logstica controlamos a suavidade da funo

Valores altos de tornam a funo parecida com uma funo de limiar

Valores baixos de tornam a funo parecida com uma funo linear

12/04/2018 Fabricio Breve 25

k

ku

uf.exp1

1

12/04/2018 Fabricio Breve 26

k

ku

uf.exp1

1

= 1

= 2

= 0,5

= 0,1 = 10

ARQUITETURA DE REDES NEURAIS

Redes Neurais Artificiais

12/04/2018 Fabricio Breve 27

Arquitetura de Redes Neurais

O comportamento complexo do sistema nervoso se deve a interao de um grande nmero de neurnios Um neurnio sozinho no tem sentido

No se sabe muito sobre como essa interconexo feita Temos apenas alguns conhecimentos sobre a

interconexo em reas especficas do crebro, mas pouco sabemos sobre o crebro como um todo Sabemos que os neurnios do crtex podem ser

divididos em camadas

12/04/2018 Fabricio Breve 28

Arquitetura de Redes Neurais

Redes Neurais Artificiais

Camadas de Neurnios se referem a camadas funcionais

Arquiteturas padronizadas especialmente projetadas

com foco no propsito de soluo de problemas

H basicamente trs tipos possveis de camada:

Uma camada de entrada

Recebe estmulo do ambiente

Uma ou mais camadas intermedirias (ocultas)

No tem contato direto com o ambiente

Uma camada de sada

Envia sada para o ambiente

12/04/2018 Fabricio Breve 29

Arquitetura de Redes Neurais

Existem trs tipos bsicos de arquitetura:

Redes feedforward de uma nica camada

Redes feedforward de mltiplas camadas

Redes recorrentes

12/04/2018 Fabricio Breve 30

Redes Feedforward de uma nica

camada o tipo mais simples

Uma camada de ns de entrada que alimenta uma camada de ns de sada

Ca