CAPITOLO 14 La Clusterizzazione e La Classificazione non supervisionata CLASSIFICAZIONE A. Dermanis,...

CAPITOLO 14CAPITOLO 14

La Clusterizzazione eLa Clusterizzazione eLa Classificazione non supervisionataLa Classificazione non supervisionata

CLASSIFICAZIONECLASSIFICAZIONE

A. Dermanis, L. Biagi

m = x1

N i xi

CT = ST

1

N

i xi

ST = (x – m)(x – m)T

xi

Si = (x – mi)(x – mi)T

Ci = Si

1ni

mi = xxi

1ni

Clusterizzazione = divisione di N pixel in K classi ω1, ω2, …, ωK Clusterizzazione = divisione di N pixel in K classi ω1, ω2, …, ωK

media globale

ClusterizzazioneClusterizzazione

matrice di dispersione totale:

media della classe ωi :matrice di dispersione della classe ωi :

matrice di covarianza totale:

matrice di covarianza della classe ωi :


Sex = ni (mi – m)(mi – m)T i

i xi

Sin = Si = (x – mi)(x – mi)T i

Criteri di clusterizzazioneCriteri di clusterizzazione

indice di coerenza delle classi matrice di dispersione interna

indice di distanza fra le classi matrice di dispersione esterna

Algoritmo ottimale: Sin = min e Sex = max contemporaneamente

Problema: Quanti cluster ? (K = ?)

Scelta estrema: K = N (una classe per ogni pixel) k = {xk}

Scelta estrema: K = 1 (un’unica classe) Sin = ST, Sex = 0

ST = Sin + Sex = costanteST = Sin + Sex = costante

mk = xk, Sk = 0, Sin = Sk = 0 = min, Sex = ST =maxk


F

E

D

C

B

AG

GLO

ME

RA

TIV

E

DIV

ISIV

E

1 2 3 4 5 6A

Clusterizzazione gerarchica

Agglomerativa: Ad ogni passovengono uniti i due cluster più vicini

Divisiva:Ad ogni passo il cluster più disperso viene diviso in due nuovi cluster

Sono necesssari:

Criteri di unione.Criteri di divisione.


A B D

F

E

D

C

B

1 2

3

4

5

6

AG

GLO

ME

RA

TIV

E

DIV

ISIV

E

1 2 3 4 5 6A

Clusterizzazione gerarchica

C E F


Distanza fra due cluster (alternative): Distanza fra due cluster (alternative):

i kki nn

d x x

xx ||||1

)()( |||| xxxxxx T

distanza media:

||||min,

min xxxx

ki

d

distanza minima:

||||max,

max xxxx

ki

d

distanza massima:

Utilizzate nella clusterizzazione gerarchicaUtilizzate nella clusterizzazione gerarchica


1 2 3 4 5 6 7 8 9

1

2

3

4

5

6

7

8

9

1

2

3

4

5

6

7

8 9

10

11

1213

14

15

16

L’algoritmo K-means (o delle medie mobili) L’algoritmo K-means (o delle medie mobili)


1 2 3 4 5 6 7 8 9

1

2

3

4

5

6

7

8

9

1

2

3

4

5

6

7

8 9

10

11

1213

14

15

16

L’algoritmo K-means (o delle medie mobili)L’algoritmo K-means (o delle medie mobili)

Passo 0:

Selezione di K = 3 pixel come posizioni iniziali delle medie


1 2 3 4 5 6 7 8 9

1

2

3

4

5

6

7

8

9

1

2

3

4

5

6

7

8 9

10

11

1213

14

15

16

Passo 1:

Assegnazione di ogni altro pixel al clustercon la media più vicina.

Ricalcolo delle nuove medieper ogni cluster.



1 2 3 4 5 6 7 8 9

1

2

3

4

5

6

7

8

9

1

2

3

4

5

6

7

8 9

10

11

1213

14

15

16

Passo 2:

Riassegnazione di ogni pixel al clustercon la media più vicina.




1 2 3 4 5 6 7 8 9

1

2

3

4

5

6

7

8

9

1

2

3

4

5

6

7

8 9

10

11

1213

14

15

16

Passo 3:





1 2 3 4 5 6 7 8 9

1

2

3

4

5

6

7

8

9

1

2

3

4

5

6

7

8 9

10

11

1213

14

15

16

Passo 4:


Tutti i pixel rimangononella classe in cui erano.Le medie non cambiano.

Fine della clusterizzazione !



L’algoritmo IsodataL’algoritmo Isodata

Una variante di quello K means.Ad ogni passo una delle 3 seguenti procedure:

Una variante di quello K means.Ad ogni passo una delle 3 seguenti procedure:

1. ELIMINAZIONEELIMINAZIONE

2. UNIONEUNIONE

3. DIVISIONEDIVISIONE

Elimina clustercon pochi pixel

Unisci coppie di clusterreciprocamente vicini

Dividi clusterdispersi in due nuovicluster



1. ELIMINAZIONEELIMINAZIONE

Elimina clustercon pochi pixel



2. UNIONEUNIONE

Unisci coppie di clusterreciprocamente vicini



3. DIVISIONEDIVISIONE

Dividi clusterdispersi in due nuovicluster


Il processo di unioneIl processo di unione

Il processo di divisioneIl processo di divisione


m2

m1

m2+kσ2

m2–kσ2


K-means: 5 classi

K-means: 7 classi K-means: 9 classi

K-means: 3 classi

Esempi diclassificazione:l’algoritmo K-means

Esempi diclassificazione:l’algoritmo K-means


ISODATA : 3 classi ISODATA : 5 classi

ISODATA : 7 classi ISODATA : 9 classi

Esempi di classificazione:l’algoritmo ISODATA

Esempi di classificazione:l’algoritmo ISODATA


CAPITOLO 14 La Clusterizzazione e La Classificazione non supervisionata CLASSIFICAZIONE A. Dermanis,...

Documents

Transcript of CAPITOLO 14 La Clusterizzazione e La Classificazione non supervisionata CLASSIFICAZIONE A. Dermanis,...