CAPITOLO 14CAPITOLO 14

La Clusterizzazione eLa Clusterizzazione eLa Classificazione non supervisionataLa Classificazione non supervisionata

CLASSIFICAZIONECLASSIFICAZIONE

A. Dermanis, L. Biagi

m = x1

N i xi

CT = ST

1

N

i xi

ST = (x – m)(x – m)T

xi

Si = (x – mi)(x – mi)T

Ci = Si

1ni

mi = xxi

1ni

Clusterizzazione = divisione di N pixel in K classi ω1, ω2, …, ωK Clusterizzazione = divisione di N pixel in K classi ω1, ω2, …, ωK

media globale

ClusterizzazioneClusterizzazione

matrice di dispersione totale:

media della classe ωi :matrice di dispersione della classe ωi :

matrice di covarianza totale:

matrice di covarianza della classe ωi :

A. Dermanis, L. Biagi

Sex = ni (mi – m)(mi – m)T i

i xi

Sin = Si = (x – mi)(x – mi)T i

Criteri di clusterizzazioneCriteri di clusterizzazione

indice di coerenza delle classi matrice di dispersione interna

indice di distanza fra le classi matrice di dispersione esterna

Algoritmo ottimale: Sin = min e Sex = max contemporaneamente

Problema: Quanti cluster ? (K = ?)

Scelta estrema: K = N (una classe per ogni pixel) k = {xk}

Scelta estrema: K = 1 (un’unica classe) Sin = ST, Sex = 0

ST = Sin + Sex = costanteST = Sin + Sex = costante

mk = xk, Sk = 0, Sin = Sk = 0 = min, Sex = ST =maxk

A. Dermanis, L. Biagi

F

E

D

C

B

AG

GLO

ME

RA

TIV

E

DIV

ISIV

E

1 2 3 4 5 6A

Clusterizzazione gerarchica

Agglomerativa: Ad ogni passovengono uniti i due cluster più vicini

Divisiva:Ad ogni passo il cluster più disperso viene diviso in due nuovi cluster

Sono necesssari:

Criteri di unione.Criteri di divisione.

A. Dermanis, L. Biagi

A B D

F

E

D

C

B

1 2

3

4

5

6

AG

GLO

ME

RA

TIV

E

DIV

ISIV

E

1 2 3 4 5 6A

Clusterizzazione gerarchica

C E F

A. Dermanis, L. Biagi

Distanza fra due cluster (alternative): Distanza fra due cluster (alternative):

i kki nn

d x x

xx ||||1

)()( |||| xxxxxx T

distanza media:

||||min,

min xxxx

ki

d

distanza minima:

||||max,

max xxxx

ki

d

distanza massima:

Utilizzate nella clusterizzazione gerarchicaUtilizzate nella clusterizzazione gerarchica

A. Dermanis, L. Biagi

1 2 3 4 5 6 7 8 9

1

2

3

4

5

6

7

8

9

1

2

3

4

5

6

7

8 9

10

11

1213

14

15

16

L’algoritmo K-means (o delle medie mobili) L’algoritmo K-means (o delle medie mobili)

A. Dermanis, L. Biagi

1 2 3 4 5 6 7 8 9

1

2

3

4

5

6

7

8

9

1

2

3

4

5

6

7

8 9

10

11

1213

14

15

16

L’algoritmo K-means (o delle medie mobili)L’algoritmo K-means (o delle medie mobili)

Passo 0:

Selezione di K = 3 pixel come posizioni iniziali delle medie

A. Dermanis, L. Biagi

1 2 3 4 5 6 7 8 9

1

2

3

4

5

6

7

8

9

1

2

3

4

5

6

7

8 9

10

11

1213

14

15

16

Passo 1:

Assegnazione di ogni altro pixel al clustercon la media più vicina.

Ricalcolo delle nuove medieper ogni cluster.

L’algoritmo K-means (o delle medie mobili)L’algoritmo K-means (o delle medie mobili)

A. Dermanis, L. Biagi

1 2 3 4 5 6 7 8 9

1

2

3

4

5

6

7

8

9

1

2

3

4

5

6

7

8 9

10

11

1213

14

15

16

Passo 2:

Riassegnazione di ogni pixel al clustercon la media più vicina.

Ricalcolo delle nuove medieper ogni cluster.

L’algoritmo K-means (o delle medie mobili)L’algoritmo K-means (o delle medie mobili)

A. Dermanis, L. Biagi

1 2 3 4 5 6 7 8 9

1

2

3

4

5

6

7

8

9

1

2

3

4

5

6

7

8 9

10

11

1213

14

15

16

Passo 3:

Riassegnazione di ogni pixel al clustercon la media più vicina.

Ricalcolo delle nuove medieper ogni cluster.

L’algoritmo K-means (o delle medie mobili)L’algoritmo K-means (o delle medie mobili)

A. Dermanis, L. Biagi

1 2 3 4 5 6 7 8 9

1

2

3

4

5

6

7

8

9

1

2

3

4

5

6

7

8 9

10

11

1213

14

15

16

Passo 4:

Riassegnazione di ogni pixel al clustercon la media più vicina.

Tutti i pixel rimangononella classe in cui erano.Le medie non cambiano.

Fine della clusterizzazione !

L’algoritmo K-means (o delle medie mobili)L’algoritmo K-means (o delle medie mobili)

A. Dermanis, L. Biagi

L’algoritmo IsodataL’algoritmo Isodata

Una variante di quello K means.Ad ogni passo una delle 3 seguenti procedure:

Una variante di quello K means.Ad ogni passo una delle 3 seguenti procedure:

1. ELIMINAZIONEELIMINAZIONE

2. UNIONEUNIONE

3. DIVISIONEDIVISIONE

Elimina clustercon pochi pixel

Unisci coppie di clusterreciprocamente vicini

Dividi clusterdispersi in due nuovicluster

A. Dermanis, L. Biagi

L’algoritmo IsodataL’algoritmo Isodata

1. ELIMINAZIONEELIMINAZIONE

Elimina clustercon pochi pixel

A. Dermanis, L. Biagi

L’algoritmo IsodataL’algoritmo Isodata

2. UNIONEUNIONE

Unisci coppie di clusterreciprocamente vicini

A. Dermanis, L. Biagi

L’algoritmo IsodataL’algoritmo Isodata

3. DIVISIONEDIVISIONE

Dividi clusterdispersi in due nuovicluster

A. Dermanis, L. Biagi

Il processo di unioneIl processo di unione

Il processo di divisioneIl processo di divisione

L’algoritmo IsodataL’algoritmo Isodata

m2

m1

m2+kσ2

m2–kσ2

A. Dermanis, L. Biagi

K-means: 5 classi

K-means: 7 classi K-means: 9 classi

K-means: 3 classi

Esempi diclassificazione:l’algoritmo K-means

Esempi diclassificazione:l’algoritmo K-means

A. Dermanis, L. Biagi

ISODATA : 3 classi ISODATA : 5 classi

ISODATA : 7 classi ISODATA : 9 classi

Esempi di classificazione:l’algoritmo ISODATA

Esempi di classificazione:l’algoritmo ISODATA

A. Dermanis, L. Biagi