Redes Neurais Artificiais - Fabricio Breve · PDF fileRedes Neurais Artificiais...

Click here to load reader

  • date post

    05-Jun-2018
  • Category

    Documents

  • view

    213
  • download

    0

Embed Size (px)

Transcript of Redes Neurais Artificiais - Fabricio Breve · PDF fileRedes Neurais Artificiais...

  • Redes Neurais

    Artificiais

    Fabricio Breve fabricio@rc.unesp.br

    12/04/2018 1Fabricio Breve

    1

    2

    1

    2

    Pesos

    sinpticos

    Sinais de

    entrada

    Bias

    Juno

    aditiva

    (. )

    Sada

    1

    2

    3

    +1 +1

    +1

    1

    2

  • Por que Redes Neurais?

    Computadores convencionais so

    eficientes em vrias reas

    Entretanto, no tm obtido desempenho prximo da natureza em vrios domnios de

    aplicao

    Sistema visual humano

    Reconhece rosto familiar em ambiente estranho (100~200

    metros)

    Sonar de morcegos

    Reconhece alvos (distncia e velocidade)

    Crebro do tamanho de uma ameixa

    12/04/2018 Fabricio Breve 2

  • Redes Neurais Artificiais

    Caractersticas em comum com o sistema

    nervoso:

    O processamento de informaes ocorre em muitos elementos simples chamados neurnios

    (artificiais), ns (nodes) ou unidades (units)

    Estes neurnios podem receber e enviar estmulosde e para outros neurnios e o ambiente

    Neurnios podem estar conectados a outros neurnios, portanto formando redes de

    neurnios ou redes neurais (neural networks)

    12/04/2018 Fabricio Breve 3

  • Redes Neurais Artificiais

    Caractersticas em comum com o sistema nervoso: Informaes (sinais) so transmitidos entre

    neurnios por elos chamados sinapses

    A eficincia de uma sinapse, representada por um valor de peso (weight) ou fora (strength) associado, corresponde a informao armazenada no neurnio, e portanto na rede

    O conhecimento adquirido do ambiente por um processo conhecido como aprendizado (learning) Responsvel por adaptar a fora das conexes (valor de

    peso) ao estmulo do ambiente

    12/04/2018 Fabricio Breve 4

  • Redes Neurais Artificiais

    Onde o conhecimento est armazenado?

    Nas foras de conexes (sinpticas) entre unidades que permitem que padres sejam

    recriados

    Aprendizado uma questo de encontrar as foras de conexes apropriadas para produzir

    padres de ativao satisfatrios sob certas

    circunstncias

    Conhecimento distribudo pelas conexes entre um

    grande nmero de neurnios

    12/04/2018 Fabricio Breve 5

  • Redes Neurais Artificiais

    So compostas por:

    1. Um conjunto de neurnios artificiais

    Chamados ns, unidades ou simplesmente

    neurnios

    2. O padro de conectividade entre os

    neurnios

    Arquitetura ou Estrutura

    3. Um mtodo para determinar os pesos

    Treinamento ou Aprendizado

    12/04/2018 Fabricio Breve 6

  • NEURNIOS ARTIFICIAIS

    Redes Neurais Artificiais

    12/04/2018 Fabricio Breve 7

  • Neurnios Artificiais

    Neurnio Natural

    12/04/2018 Fabricio Breve 8

  • Neurnios Artificiais

    12/04/2018 Fabricio Breve 9

    Entradas

    Sinal

    Sada

  • Neurnio de McCulloch e Pitts

    McCulloch e Pittsescreveram um artigo famoso e influente sobre clculos que poderiam ser feitos com neurnios de dois estados

    Umas das primeiras tentativas de entender a atividade do sistema nervoso

    Baseada em unidades computacionais neuronais

    Modelo bastante abstrato das propriedades fisiolgicas dos neurnios e suas conexes

    12/04/2018 Fabricio Breve 10

  • Neurnio de McCulloch e Pitts

    Neurnio binrio

    Sua sada pode ter apenas dois estados:

    0 ou 1

    Cada neurnio tem um limiar fixo e recebe entrada das sinapses que tem pesos idnticos

    Se a soma dos valores de entrada maior que o

    limiar o neurnio ativado (responde com 1)

    Seno permanece inativo (responde com 0)

    12/04/2018 Fabricio Breve 11

  • Neurnio de McCulloch e Pitts

    Modelo bastante simples

    Porm j mostra caractersticas importantes da maioria dos modelos neuronais

    Integrao dos estmulos de entrada

    Presena de uma funo de ativao (limiar)

    12/04/2018 Fabricio Breve 12

    ()1

    2

    Funo de

    Ativao

    SadaJuno

    somatria

    ()

  • Neurnio de McCulloch e Pitts

    Exemplo:

    Duas unidades excitativas 1 e 2 e limiar = 1

    Equivalente ao operador OU

    Aumente o limiar para = 2

    Equivalente ao operador E

    12/04/2018 Fabricio Breve 13

    E

    0 0 0

    0 1 0

    1 0 0

    1 1 1

    OU

    0 0 0

    0 1 1

    1 0 1

    1 1 1

  • Neurnio Genrico

    12/04/2018 Fabricio Breve 14

    1

    2

    1

    2

    Pesos

    sinpticos

    Sinais de

    entrada

    Bias

    Juno

    aditiva

    (. ) Sada

  • Neurnio Genrico

    o peso da sinapse entre a entrada e o neurnio

    A juno de soma faz a soma de todos os

    sinais de entrada ponderados por seus

    respectivos pesos e adiciona tambm o

    valor do bias Funo de ativao usada para limitar a

    amplitude da sada do neurnio

    12/04/2018 Fabricio Breve 15

  • Neurnio Genrico

    Bias

    Aumenta ou diminui a entrada para a funo

    de ativao

    Usado no lugar do limiar

    fixo

    Bias ser ajustado

    durante o aprendizado

    Exemplo

    No neurnio de McCulloch e Pitts

    Substituindo o limiar pelo bias

    12/04/2018 Fabricio Breve 16

    21

    contrrio caso 0

    se 1)(

    x xu

    uufy

    bx xu

    uufy

    21

    contrrio caso 0

    0 se 1)(

  • Finalidade do Termo Bias

    12/04/2018 Fabricio Breve 17

    = 0 Define um hiperplano passando pela origem

    + = 0 Deslocase o hiperplano da origem

  • Neurnio Genrico

    Matematicamente:

    12/04/2018 Fabricio Breve 18

    m

    j

    kjkjkk bxwfvfy1

    1

    2

    1

    2

    Pesos

    sinpticos

    Sinais de

    entrada

    Bias

    Juno

    aditiva

    (. )

    Sada

  • Neurnio Genrico

    Simplificando

    Considere bias como sendo um peso 0 de uma conexo

    de entrada

    0 = 1

    12/04/2018 Fabricio Breve 19

    m

    j

    jkjkk xwfufy0

    1

    2

    1

    2

    Pesos

    sinpticos

    Sinais de

    entrada Juno

    aditiva

    (. )

    Sada

    0Entrada fixa 0 = +10 = (bias)

  • Funo de Ativao

    Funo Linear

    Relaciona a entrada

    diretamente

    com sua sada

    12/04/2018 Fabricio Breve 20

    kk uuf

  • Funo de Ativao

    Funo de Limiar

    (Threshold, Step)

    A sada 1 se a sada maior ou igual um

    certo limiar

    Seno 0 ou 1 Depende de a funo ser

    Binria {0,1}

    Bipolar {1,1}

    Usada no trabalho de

    McCulloch e Pitts

    12/04/2018 Fabricio Breve 21

    k

    k

    ku

    uuf

    se1

    se1

  • Funo de Ativao

    Funo Sigmide

    Funo estritamente crescente que oferece um balanceamento adequado entre comportamento linear e no-linear

    O tipo mais usado na literatura de redes neurais artificiais

    Em forma de S

    Pode ser obtida com muitas funes Logstica (0 a 1)

    Arco-tangente (/2 a +/2)

    Tangente hiperblica (1 a +1)

    12/04/2018 Fabricio Breve 22

  • Funo de Ativao

    Funo Sigmide Logstica

    12/04/2018 Fabricio Breve 23

    k

    ku

    uf

    exp1

    1

  • Funo de Ativao

    Funo de Base

    Radial

    Funo no monotnica que

    simtrica em torno

    de sua base.

    Exemplo: Gaussiana

    Principal funo de ativao nas redes

    neurais de funo de

    base radial

    12/04/2018 Fabricio Breve 24

    2exp kk uuf

  • Funo de Ativao

    As funes mostradas e ilustradas mostram apenas a forma geral de tais funes

    Estas formas podem ser modificadas Exemplo:

    Multiplicando por uma constante na funo logstica controlamos a suavidade da funo

    Valores altos de tornam a funo parecida com uma funo de limiar

    Valores baixos de tornam a funo parecida com uma funo linear

    12/04/2018 Fabricio Breve 25

    k

    ku

    uf.exp1

    1

  • 12/04/2018 Fabricio Breve 26

    k

    ku

    uf.exp1

    1

    = 1

    = 2

    = 0,5

    = 0,1 = 10

  • ARQUITETURA DE REDES NEURAIS

    Redes Neurais Artificiais

    12/04/2018 Fabricio Breve 27

  • Arquitetura de Redes Neurais

    O comportamento complexo do sistema nervoso se deve a interao de um grande nmero de neurnios Um neurnio sozinho no tem sentido

    No se sabe muito sobre como essa interconexo feita Temos apenas alguns conhecimentos sobre a

    interconexo em reas especficas do crebro, mas pouco sabemos sobre o crebro como um todo Sabemos que os neurnios do crtex podem ser

    divididos em camadas

    12/04/2018 Fabricio Breve 28

  • Arquitetura de Redes Neurais

    Redes Neurais Artificiais

    Camadas de Neurnios se referem a camadas funcionais

    Arquiteturas padronizadas especialmente projetadas

    com foco no propsito de soluo de problemas

    H basicamente trs tipos possveis de camada:

    Uma camada de entrada

    Recebe estmulo do ambiente

    Uma ou mais camadas intermedirias (ocultas)

    No tem contato direto com o ambiente

    Uma camada de sada

    Envia sada para o ambiente

    12/04/2018 Fabricio Breve 29

  • Arquitetura de Redes Neurais

    Existem trs tipos bsicos de arquitetura:

    Redes feedforward de uma nica camada

    Redes feedforward de mltiplas camadas

    Redes recorrentes

    12/04/2018 Fabricio Breve 30

  • Redes Feedforward de uma nica

    camada o tipo mais simples

    Uma camada de ns de entrada que alimenta uma camada de ns de sada

    Ca