ΠΛΗ31 ΜΑΘΗΜΑ 3.6 (ΕΚΤΥΠΩΣΗ)
-
Upload
dimitris-psounis -
Category
Education
-
view
1.126 -
download
2
Transcript of ΠΛΗ31 ΜΑΘΗΜΑ 3.6 (ΕΚΤΥΠΩΣΗ)
���31
������� 3: ����� ��� ��
������ 3.6:
������ Kohonen
�������� ������
����������
��������
� ���� ��������
� �������
�� ������������������ �
�� ���!���"#$#%&%
� �'(��!'�����!)'��"#$#%&%
�� *��!'������!�+�����,+�+�-. '�
/� ���� ��������!)'��"#$#%&%
� 0+��!1��2����,�'�
�� 2��� ���(�!�
/� 2���!������������!'+����.���('�'����' �� '���
3�4�������
� 5��('�1�
����������� ��������������������������� �!"!
A. !"���1. ��#��$!�%� ���1. �&%�'"'�
����������� ��������������������������� �!"!
� !�#��$!�%� !�(� ��� !���& ��� �#�)�'&%�&�� $&�$&��%�� %��� �#���«!�#�&$!����!» �� ��� #���!&�*��� �� ���!& ��� !#&������ !�'�%��, $�)�$�:
• �� �#���� ���, '&� ���! �!�&�( #�(��#�.• �� �#���� +,� '&� ���! �����&�( #�(��#�.
-! *�� ��� !�(� �!��.��, � !�#��$!�%� %���%����& %�� �� �#�)�'&%����:
• �� /��� �"� !&%($"� w1,w2,…• H �&�� ��� ���"0)��� �.
1$� *2���! ���!& ��� $&�$&��%�� !�#��$!�%�� !�(� ���:
• � !��!%� �"� /��.� ��& ��� ���"0)��� �! ��� $&�$&��%�� ��� '��0&���$&�2"�&%��� �"� #����#"� %! �!�&�� ��& �����&�� %�&'�&(��#�.
3!�&�� �& $&�$&��%�!� !�#��$!�%�� !�(� ��� 2"��4����& %! 3 ����'���!�:• ��� ����%� �! !#�/)!5�• ��� ������ ��� ���� ��• ��� ����%� �! !��%2�%� (!��(� �)��)
A. !"���1. ��#��$!�%� ���3. ����%� 2"��� �#�/)!5�
#���������� ��������������������������� �!"!
-��� ����%� 2"��� !#�/)!5�:• �� #�(��#� $�$����& �(�� "� !&%($�& ($!� $������& %�� %�%���� �&!#&�����*� *6�$�&)
�! �)'��&��&�*� $&�$&��%�!� 4��!���& �#( �� %�%����• �� ���!& #"� %2!��4����& �� $!$��*�� !&%($��. • �� /�!� �(�� ��� �&� �#����%!&� #�� #�*#!& �� $�$����&.
�� %�!#�&�( !���& (�& $!$��*�� #�� «��&�4���» ���!�� �!��6� ����, ��*2��� ��� �$&� �#����%�. �#(�! �� %�%���� #��%#��!� �� ���$�#�&�%!& ��$!$��*�� !&%($�� %! $&�0��!�&�*� ���$!�.
�� clustering !���& ��� �#( �&� $&�$!$��*�!� �!2�&�*� #�� 2��%&��#�&!���&'&� �� ����%� 2"��� !#�/)!5� ��& %��� &$*� ���� %����4����& �� $�����Kohonen.
$
�
#
�
%
�$
$ � � � # & � ' % ( �$
A. !"���1. ��#��$!�%� ���3. ����%� 2"��� �#�/)!5� (Clustering)
&���������� ��������������������������� �!"!
�� clustering (���$�#���%�) %����4!��& %��� &$*� (�& #�(��#� �! %���0!��#��$&�'��0*� (%���!��'�*�!�) �� #�*#!& �� ��6&��������& %��� �$&� �)�%�$!$��*�"�. 7�%& �� #�(/)��� !���& � 2"�&%�(� �"� $!$��*�"� %! ���$!�#�� *2��� #��(��&!� %���!��'�*�!�. �.2. %��� $&$&�%���� 2.��:
�� $!$��*�� ��� ���$�#�&�����& %! $�� �)�%!&� � ��& 8
)$
�
#
�
%
�$
$ � � � # & � ' % ( �$
CLUSTERING *
A. !"���1. ������ Kohonen1. ���� ��� �&����� Kohonen
����������� ��������������������������� �!"!
7�� ��� ��� $���� Kohonen $��!���& "� !6��:
• �� � ������ 2 ��� ��
• �� #�.�� !#�#!$� !���& �� !#�#!$� !&%($��
• �#��!)!���& �#( N �!��.�!� #�� �#)� �!��0*���� �� %��� ����.
• �� $!��!�� !#�#!$� !���& �� !#�#!$� !6($�� (�����4!��& ��& !#�#!$�
Kohonen)
• �$. *2���! � �!��.�!� (%����"� %! ��#�&� ����$&�%���� �
$&$&�%���� $��� #)*'�����)
• ��! �!��.��� !&%($�� %��$*!��& �! ����� ���� �!��.�!� %�� !#�#!$� !6($��
�
�#&#!$� !&%($��
�#&#!$� Kohonen
������ Kohonen 3 !&%($"�
�! 7 �!��.�!� !6($�������� Kohonen �! �!��.�!�
!6($�� %! $&$&�%���� #)*'��
A. !"���1. ������ Kohonen2. �!&����'�� �"� �!��.�"� !6($��
'���������� ��������������������������� �!"!
�!$��*��� �&�� !&%($�� [x1, x2, x3,…, xN]
• ��! �!��.��� k (k=1,…M) �#�)�'�4!& ��� !��)!�$&� �#(%��%� ��� $&���%�����
!&%($�� �#( �� $&���%�� �"� /��.� �"� !&%($"� ��� [wk1, wk2, wk3,…, wkN]
%��0"�� �! ��� ��#�:
�� � � ��� � � �
�� � ��� � � � � ��� � � � ��� ��� � � �
• � �!��.��� #�� *2!& ��� �&��(�!�� �&��, !���& � �&����� �!��.��� ��&
#���'!& *6�$� 1 (%! #!��#�"%� &%�#�)��� !#&)*'!��& ��2��� ��#�&�� �&�����)
• +)�& �& �#()�&#�& �!��.�!� !���& �����*��& �!��.�!� ��& #���'��� *6�$� 0
$ $
�#&#!$� !&%($��
�#&#!$� Kohonen $ � $ $ $
A. !"���1. ������ Kohonen2. �!&����'�� �"� �!��.�"� !6($��
%���������� ��������������������������� �!"!
����$!&'��:
���!��& �� $����� Kohonen ��� %2������ , �! 4
!&%($��� ��& 2 �(�/��� %�� !#�#!$� Kohonen.
�� /��� �"� ���.� $������& �#( ��� ��()����
#�����:
(#�� %�&� '����*� *2���! ���&%��&2&-
%!& �&� 4 !&%($��� ��& %�&� %��)!�
*2���! ���&%��&2�%!& ���� �(�/���
��� !#&#*$�� Kohonen.
#�)�'�%�! ��� �&����-�!��.�� %��� #!��#�"%� #�� #����%&�%���� %�� $����� ��
��()���� $&���%����
�=[1 1 0 0]
1�� �!��.��� Kohonen:
2�� �!��.��� Kohonen:
� �&����� �!��.��� !���& � �!��.��� 1
�’=[0 0 0 1]
1�� �!��.��� Kohonen:
2�� �!��.��� Kohonen:
� �&����� �!��.��� !���& � �!��.��� 2
0.2 0.8
0.6 0.4,
0.7 0.5
0.1 0.9
� �� �� ��� �� �� �
2 2 2 2
1 (1 0.2) (1 0.6) (0 0.7) (0 0.1) 1.14018.d � � � � � �
2 2 2 2
2 (1 0.8) (1 0.4) (0 0.5) (0 0.9) 1.2083.d � � � � � �
2 2 2 2
1 (0 0.2) (0 0.6) (0 0.7) (1 0.1) 1.3038.d � � � � � �
2 2 2 2
2 (0 0.8) (0 0.4) (0 0.5) (1 0.9) 1.0296.d � � � � � �
A. !"���2. ��#��$!�%� �"� �&���"� Kohonen1. �)'(�&���� ��#��$!�%�� �&����� Kohonen
(���������� ��������������������������� �!"!
��2&��#���%�:
��2&��#���%� �"� /��.� (�#( !�0.��%� � �! ��2��� ��(#�)
a=���(� ��#��$!�%�� (�#( !�0.��%�)
�#���)��/�����!:
• �#&)*'���! ��2��� *�� #�(��#�.
• #�)�'�4!��& � �&����� �!��.���, *%�" k
• �&(��"%� �"� /��.� �(�� ��� �&���� �!��.�� "� !6��:
• 3&� ���! /���� wjk, j=1,…n ('&� ���! /���� !&%($�� ��� �&����)
• #�)�'�4!��& � #�%(����: �Wjk=a(xj-wjk)
• *����! wjk= wjk +�Wjk
�"� (��� !��!)!%�!� *�� #)���� ���)"� !�#��$!�%�� �
$ $
�#&#!$� !&%($��
�#&#!$� Kohonen $ � $ $ $
A. !"���1. ��#��$!�%� �&���"� Kohonen1. �)'(�&���� ��#��$!�%�� �&����� Kohonen
�$���������� ��������������������������� �!"!
����$!&'��:
���!��& �� $����� Kohonen �! 2 �!��.�!� !&%($�� ��& 2 �!��.�!� !6($�� #�� �*)���! ��
!�#�&$!��!� #��" %�� !6�� #�(��#�
�=[7 8]
�=[8 6]
�=[1 3]
�=[2 2]
�=[7 9]
=[3 3]
7%�" !#�%�� (�& �� /��� !���& w11=4, w12=5, w21=4, w22=4
�� !��!)*%!�! *�� ���)� !�#��$!�%�� 2��%&��#�&.���� $&�$�2&�� �� #�(��#� �,3,8 �! �=0.5
+�
+� �
�
�#�#!$�
�&%($��
�#�#!$�
Kohonen
�&�&%���&��:
�� #�(��#� !���& ���0"�*�� %��
!#�#!$� %�&� %���!��'�*�!� ����.
�� /��� �"� ���.� ���! �!��.�� Kohonen
���&%��&2��� %! *�� %��!�� %�� !#�#!$�
$
�
#
�
%
�$
$ � � � # & � ' % ( �$
� �
A. !"���1. ��#��$!�%� �&���"� Kohonen1. �)'(�&���� ��#��$!�%�� �&����� Kohonen
������������ ��������������������������� �!"!
(…%��*2!&�…)
���!)���! �! �� #�(��#� �=[7 8]. ��*2���� 8��� w1=[4 4] ��& w2=[5 4]:
1�� �!��.��� Kohonen: �� � ��� � � � � ��� � � � � � � � � � � � � �=5.00
2�� �!��.��� Kohonen: �� � ��� � � � � ��� � � � � � � � � � � � � �=4.47
� �&����� �!��.��� !���& � �!��.��� 2
-��!#.� $&���.�����& �� /��� ��� �!��.�� 2:
���� � � � � ��� � ��� � � � � �, ��� � ��� � ���� � � � � � ����� � � � � ��� � ��� � � � � , ��� � ��� � ���� � � � � �
�&�&%���&��:
� �!��.��� 2 «�!���&�!���&» .%�! �� #��%!''�%!&
�� #�(��#� �
$
�
#
�
%
�$
$ � � � # & � ' % ( �$
� �
�
A. !"���1. ��#��$!�%� �&���"� Kohonen1. �)'(�&���� ��#��$!�%�� �&����� Kohonen
������������ ��������������������������� �!"!
(…%��*2!&�…)
���!)���! �! �� #�(��#� 3=[1 3]. ��*2���� 8��� w1=[4 4] ��& w2=[6 6]:
1�� �!��.��� Kohonen: �� � ��� � � � � ��� � � � � � � � � � � � � �=3.16
2�� �!��.��� Kohonen: �� � ��� � � � � ��� � � � � � � � � � � � � �=5.83
� �&����� �!��.��� !���& � �!��.��� 1
-��!#.� $&���.�����& �� /��� ��� �!��.�� 1:
���� � � � � ��� � ��� � � � � ����, ��� � ��� � ���� � � � ��� � ������ � � � � ��� � ��� � � � � ����, ��� � ��� � ���� � � � ��� � ���
�&�&%���&��:
� �!��.��� 2 «�!���&�!���&» .%�! �� #��%!''�%!&
�� #�(��#� 3
$
�
#
�
%
�$
$ � � � # & � ' % ( �$
��
�
A. !"���1. ��#��$!�%� �&���"� Kohonen1. �)'(�&���� ��#��$!�%�� �&����� Kohonen
������������ ��������������������������� �!"!
(…%��*2!&�…)
���!)���! �! �� #�(��#� 8=[8 6]. ��*2���� 8��� w1=[2.5 3.5] ��& w2=[6 6]:
1�� �!��.��� Kohonen: �� � ��� � � � � ��� � � � � �� � � � � ��� � � �=6.04
2�� �!��.��� Kohonen: �� � ��� � � � � ��� � � � � � � � � � � � � �=2
� �&����� �!��.��� !���& � �!��.��� 2
-��!#.� $&���.�����& �� /��� ��� �!��.�� 2:
���� � � � � ��� � ��� � � � � �, ��� � ��� � ���� � � � � � ����� � � � � ��� � ��� � � � � �, ��� � ��� � ���� � � � � � �
�&�&%���&��:
� �!��.��� 2 «�!���&�!���&» .%�! �� #��%!''�%!&
�� #�(��#� 8
$
�
#
�
%
�$
$ � � � # & � ' % ( �$
�
� �
A. !"���1. ��#��$!�%� �&���"� Kohonen1. �)'(�&���� ��#��$!�%�� �&����� Kohonen
�#���������� ��������������������������� �!"!
(…%��*2!&�…)
�!�� �#( �!�&���� ���)��� !�#��$!�%�� ��(��, �� *2!& !#&�!�2�!� �� clustering ��& �� *2!&
«�!�����&%�!�» �� %��!�� #�� ���&%��&2!� %���� �!��.�!� 1 ��& 2 ����!%� %�&� ���$!� %��!�"�.
$
�
#
�
%
�$
$ � � � # & � ' % ( �$
�
�
�
A. !"���2. ��#��$!�%� �"� �&���"� Kohonen2. ������ ���(-��'��"%�� (Self Organizing Maps - SOMs)
�&���������� ��������������������������� �!"!
�� #�(/)��� '��!��& *����� (�� *2���! #�))��� �!��.�!� %�� !#�#!$� Kohonen
3&� �� �#!�/���! �� #�(/)���:
• �&%�'���! �!��/)��( ����( ����%��
• �����! ���#�#���%� %�� /��� %! ()��� ���� �!��.�!� ��� '!&���&�� ��� �&����.
�%�(%� ���)�'� �! ��� ��2&�� �&�� �"� /��.� �"� �!��.�"� Kohonen !�$*2!��&
�� *2���! �� #�(/)��� �"� � !"� � �"�� ($�)�$� �!��.�"� #��
%�������� �� ��2&�� ���� /���, 2"��� �� '������& #��* �&���*�-�!��.�!�, ��� $!�
%��/�))��� %��� 2"�&%�( %! ���$!�):
$
�
#
�
%
�$
$ � � � # & � ' % ( �$
�
�
� �����-�
$
�
#
�
%
�$
$ � � � # & � ' % ( �$
�
�
A. !"���2. ��#��$!�%� �"� �&���"� Kohonen2. ��#��$!�%� ��& �"� '!&���&�.� �(�/"� ��� �&����
������������ ��������������������������� �!"!
���#�#�&�%!&� %��� /�%&�( �)'(�&���:
• � ����(� !�#��$!�%�� !���& �!��/)��(� ���)�'� �! �� /��� !�#��$!�%��
• -����"� 2��%&��#�&���! ��� ��#�:
! � � � � � !"
• +#�� �(0) � ��2&�� �&�� ��� ������ !�#��$!�%��
• n: �� ��*2�� /��� ��& �: �� %���)&�� /����� !�#��$!�%��
• ���#�#�&�����& �� /��� (2& �(�� ��� �&���� �!��.��, �))� ��& �"� '!&�(�"� ���
�! ��� �$&� ��#�.
• � '!&���&� ��� ���4!��& �#( ��� ������ ��� �#(%��%�� �#( ���(�
• � ������ !���& %����"� �!��/)��� ��& ���4!��& �#( *��� ��#� ��� ���0��:
� ! � � � � � !"
• +#�� d(0) � ��2&�� �&�� ��� ���&���
• n: �� ��*2�� /��� ��& �: �� %���)&�� /����� !�#��$!�%��
• ((%�& '!����!� �#*2��� ���� �� �� #�)� ���� d(n) �#( ��� �&����-�!��.��
���#�#�&�����&)
A. !"���2. ��#��$!�%� �&���"� Kohonen2. ��#��$!�%� ��& �"� '!&���&�.� �(�/"� ��� �&����
�'���������� ��������������������������� �!"!
����$!&'��
A. !"���2. ��#��$!�%� �&���"� Kohonen2. ��#��$!�%� ��& �"� '!&���&�.� �(�/"� ��� �&����
�%���������� ��������������������������� �!"!
��������� ���� ��� ���� � �������� ��� ����� ������ � ������� � �� � ���� (1), ���� p ��� � � ������� �����
��� ����� � � P � �������� ����� ��� ������ ��� ����� � � d(0)=3. ���� � ����� ���� ��� ������� Kohonen
� ������� � �� � ���� (2) �� (0)=0.5.
)1(*)0()(P
pdpd �� (���� 1)
)1(*)0()(P
papa �� (���� 2)
���������� �� ��� ��� � � �� ���� ��� ��� ������ ��� � �� � ������� ��� ����� ������ ��� ����� ������������
� �� ���� � ������� �� � ����� �� �� ���� ������ � � � ������� ���:
���� ������� ������� ���������� �� �� � ����� ��� ����� � �
��� ��� ����� ��� ������� ���� ����� � �� �� � ����� � ��� 3 �� ��������.
A. !"���1. ��#��$!�%� �&���"� Kohonen2. ������ ���(-��'��"%�� (Self Organizing Maps - SOMs)
�(���������� ��������������������������� �!"!
1�������� – 1
���� � ��������� (������ �� ��������)
��������� d1, d2, …., d6 �� �� �� ��������� ���� � ��� X1 �� � ����� ��:
��
����n
i
jii wxwxd1
2)(
!����:
316.0)7.06.0()8.05.0( 22
1 ����d
!���� � � � ������� .
d2=0.806
d3=0.632
d4=0.200
d5=0.400
d6=0.608
"�������� ��� �� d4 ��� � �� ���������, ����� ������������ � � ������ 4 ��� ������� Kohonen.
#����� �� �������� ��� � ������������� �� � �������� �������� �� � ���� (1): (���� p=1,P=3 � � d(0)=3)
d(1)=d(0)*(1-1/3)=3*2/3=2.
$� ���� � �������� ��� � 2. %����� ��� ������ � � �� ��� ������ 4 � � ��� 2 ���������� ��� (5,6 � � 2,3)
��������� � � �� (1) �� � ���� (2): (1)= (0)*(1-1/3)=0.333 (���� (0)=0.5)
&���� � ��������� �� � ������ ��� ��� �� ��� ������� 2,3,4,5 � � 6.
��
���
���
6.0
5.0)0()1( 11 WW (�� ��� ��� ������ 1 � � ����� � �������)
��
���
���
�
���
���
�
���
��
�
���
����
433.0
333.0)
3.0
1.0
7.0
8.0(*333.0
3.0
1.0))0((*)1()0()1( 2122 WXaWW
!���� ����������� � � � � ������� :
��
���
��
567.0
4.0)1(3W , �
�
���
��
7.0
667.0)1(4W , �
�
���
��
7.0
533.0)1(5W , �
�
���
��
633.0
4.0)1(6W
A. !"���1. ��#��$!�%� �&���"� Kohonen2. ������ ���(-��'��"%�� (Self Organizing Maps - SOMs)
�$���������� ��������������������������� �!"!
2�������� – 2
���� � ��������� (������ �� ��������)
��������� d1, d2, …., d6 �� �� �� ��������� ���� � ��� X2 �� � � ������ �� (��� ������ 1, ��. W1(1), W2(1)
��
����n
i
jii wxwxd1
2)(
"��������:
200.01 �d
d2=0.403
d3=0.254
d4=0.194
d5=0.105
d6=0.194
"�������� ������ ��� �� d5 ��� � �� ���������, ����� ������������ � � ������ 4 ��� ������� Kohonen. #����� �� �������� ���
� ������������� �� � �������� �������� �� � ���� (1): (���� p=2,P=3 � � d(0)=3)
d(2)=d(0)*(1-2/3)=3*1/3=1.
$� ���� � �������� ��� � 1. %����� ��� ������ � � �� ��� ������ 5 � � ��� ���� ���������� ��� (6 � � 4).
��������� � � �� (2) �� � ���� (2): (2)= (0)*(1-2/3)=0.167 (���� (0)=0.5)
&���� � ��������� �� � ������ ��� ��� �� ��� ������� 4,5 � � 6.
��
���
���
6.0
5.0)1()2( 11 WW ,
��
���
���
433.0
333.0)1()2( 22 WW
��
���
���
567.0
4.0)1()2( 33 WW
' � ����� ��� ���������� ��� ������ 4.
��
���
���
�
���
���
�
���
��
�
���
����
717.0
639.0)
7.0
667.0
8.0
5.0(*167.0
7.0
667.0))1((*)2()1()2( 4244 WXaWW
!���� ����������� � � � � ������� :
��
���
��
717.0
528.0)2(5W , �
�
���
��
661.0
416.0)2(6W
A. !"���1. ��#��$!�%� �&���"� Kohonen2. ������ ���(-��'��"%�� (Self Organizing Maps - SOMs)
������������ ��������������������������� �!"!
3�������� – 3
���� � ��������� (������ �� ��������)
��������� d1, d2, …., d6 �� �� �� ��������� ���� � ��� X3 �� � � ������ �� (��� ������ 2, ��. W1(2), W2(2)
���:
��
����n
i
jii wxwxd1
2)(
"��������:
316.01 �d
d2=0.149
d3=0.267
d4=0.480
d5=0.436
d6=0.361
"�������� ������ ��� �� d2 ��� � �� ���������, ����� ������������ � � ������ 2 ��� ������� Kohonen. #����� �� �������� ���
� ������������� �� � �������� �������� �� � ���� (1): (���� p=3,P=3 � � d(0)=3)
d(3)=d(0)*(1-3/3)=3*0=0.
$� ���� � �������� ��� � 0. %����� ��� ������ � � �� ��� ������ 2 ����.
��������� � � �� (3) �� � ���� (2): (3)= (0)*(1-3/3)=0 (���� (0)=0.5)
%����� � � � � ������ ������ � ��� ���� �� ��� ��� ������ 2, (�� � ����� ��� ����� ���������, ��� � ��� ����
���� ��� �� ���. $� � �� ��� �������� ���� ����� 3 ��� � � ��� �� ��� ��� ������ 2.
8. �%��%!&��0����'� 1
������������ ��������������������������� �!"!
���!��& $����� Kohonen $�� !&%($"� ��& 3 !6($"�.
�� /��� �"� %���5!"� !���& ��2&��:W11=1W12=2W13=3W21=1W22=2W23=3
�! ����( !�#��$!�%�� �=1, �� #��'����#�&�%!�! *��� ���)� !�#��$!�%��$&�$�2&�� '&� �� #�(��#� !&%($��,1=[0 0],2=[6 4] �& �� #���%��%!�! '��0&�� �� �#��*)!%�� ��� !��*)!%�� %! ���! /���.
8. �%��%!&��0����'� 2
������������ ��������������������������� �!"! �#���������� ��������������������������� �!"!
(�) �(%�& !�%�$�& ��& #(%�& ����'"�&%�&��� �!��.�!� �#��2��� %�� $�����; -2!$&�%�! �� $����� �! �&���2&�*� ��� �&�*�. (�) �� !�#�&$!�%!�! �� $����� '&� �� $&���%���� !&%($�� (2,6) ��& (6,3) #������.���� ���! 0������ �))�'� �"� /��.� ��� $&�����; �& %��#!����!�!;