Μέθοδος Εμποδιών και εσωτερικές μεθοδοι σημείου

Μέθοδος ποινική ρήτρας και προσαρτημένη μέθοδος Lagrange

Γεώργιος Θ. Ράμμος

Περίληψη

Οι μέθοδοι βελτιστοποίησης είναι ένα απαραίτητο εργαλείο στην επιστήμη των

Μαθηματικών. Στην διπλωματική αυτή εργασία η επιλογή του υλικού έγινε με βάση τη

χρησιμότητά του στον κλάδο της Επιχειρησιακής Έρευνας.

Η διπλωματική αυτή εργασία αναπτύσσει δύο από τις πιο σημαντικές τεχνικές,

την μέθοδο εμποδίων και την μέθοδο εσωτερικών σημείων (Barrier and interior point

methods), καθώς και την μέθοδο ποινικής ρήτρας και την προσαρτημένη μέθοδο

Lagrange (Penalty methods and Augmented Lagrangian methods). Αυτό που

χαρακτηρίζει αυτή την εργασία είναι ότι τα αποτελέσματά της δεν είναι μόνο

θεωρητικά αλλά κυρίως πρακτικά. Αναπτύσουμε και μελετάμε την κάθε μέθοδο

χωριστά από όλες τις πλευρές της και στην συνέχεια την εφαρμόζουμε σε

παραδείγματα.

Τα παραδείγματα που αναπτύσσουμε βασίζονται σε περιορισμούς με ισότητες ή

ανισότητες ή σε προβλήματα χωρίς περιορισμούς. Βασικός στόχος των προβλημάτων

είναι η ελαχιστοποίηση της αντικειμενικής συνάρτησης και ο εντοπισμός του

ελαχίστου.

Πρόλογος

Ο στόχος αυτής της διπλωματικής εργασίας είναι η αναφορά και η μελέτη δύο

σημαντικών μεθόδων και τεχνικών βελτιστοποίησης του γραμμικού και μη γραμμικού

προγραμματισμού. Η μέθοδος εμποδίων και οι εσωτερικές μέθοδοι σημείου (Barrier

and interior point methods) καθώς και η μέθοδος ποινικής ρήτρας και η προσαρτημένη

μέθοδος Lagrange (Penalty methods and Augmented Lagrangian methods) είναι

ενδιαφέρουσες τεχνικές που αφορούν τον κλάδο της Επιχειρησιακής έρευνας.

Πρέπει να τονίσουμε ότι μία μέθοδος βελτιστοποίησης δεν πρέπει να αρκείται

μόνο σε θεωρητικά αποτελέσματα αλλά πρέπει να αποδεικνύεται αρκετά

αποτελεσματική και στην πράξη. Γι αυτό σε κάθε μέθοδο αναφέρουμε χαρακτηριστικά

παραδείγματα και παρουσιάζουμε σχήματα με σκοπό την καλύτερη κατανόηση των

τεχνικών. Τα παραδείγματα αυτά στοχεύουν στον εντοπισμό της βέλτιστης λύσης μέσα

από μια διαδικασία σύγκλισης και επαναλήψεων.

Τα παραδείγματα αναφέρονται σε προβλήματα ελαχιστοποίησης. Τα

προβλήματα μπορεί να μην έχουν περιορισμούς ή να έχουν περιορισμούς ισοτικούς ή

ανισοτικούς.

Γενική ανάλυση των αλγόριθμων εσωτερικών σημείων ελαχιστοποίησης και της

διαιρθητικής βάσης τους.

Μια γενική ανάλυση της κατηγορίας αλγορίθμων "εσωτερικού σημείου"

ελαχιστοποίησης προβλημάτων χωρίς περιορισμούς που ισχύει για το πρόβλημα με

ανισοτικούς περιορισμούς,

(Β)

δίνεται παρακάτω.

Θέτουμε να είναι μια βαθμωτή(scalar) συνάρτηση ως προς με τις

ακόλουθες δύο ιδιότητες:

Ιδιότητα 1:Η είναι συνεχής στην περιοχή

.

Ιδιότητα 2: Εάν είναι οποιαδήποτε ακολουθία άπειρων σημείων στο που

συγκλίνει στο έτσι ώστε για τουλάχιστον ένα i, τότε .

1

Θέτουμε να είναι μια βαθμωτή συνάρτηση με μεταβλητή r με τις

ακόλουθες ιδιότητες. Εάν , τότε . Εάν είναι μια άπειρη

ακολουθία σημείων έτσι ώστε , τότε .

Ορισμός :Η τεχνική ελαχιστοποίησης εσωτερικού σημείου ενός προβλήματος χωρίς

περιορισμούς είναι η εξής:

1. Ορίζουμε την συνάρτηση , όπου είναι ένας θετικός

αριθμός. Παίρνουμε ως αρχικό σημείο το . Εάν ένα τέτοιο σημείο δεν είναι

εύκολα διαθέσιμο μπορεί να ληφθεί από την επαναλαμβανόμενη εφαρμογή της

μεθόδου.

2. Προχωρούμε από το σε ένα σημείο όπου αυτό είναι ένα τοπικό ελάχιστο της

U στη εφικτή περιοχή . Πιθανώς το θα προκύπτει

από ένα πρόβλημα χωρίς περιορισμούς δεδομένου ότι θα βρίσκεται μέσα στο ,

διαφορετικά U = + , το οποίο έρχεται σε αντίθεση με την υπόθεση ότι το ήταν

ένα τοπικό ελάχιστο ενός προβλήματος χωρίς περιορισμούς της U μέσα στο R.

3. Αρχικά από το βρίσκουμε ένα τοπικό ελάχιστο της , όπου .

4. Συνεχίζοντας με αυτό τον τρόπο, βρίσκουμε ένα τοπικό ελάχιστο για την

αρχίζοντας από και συνεχίζουμε με μια αυστηρά μονότονη φθίνουσα

ακολουθία .

Παράδειγμα

Η επιλογή του και ικανοποιoύν τις ανάγκες που εκφράστηκαν πριν.

2

Στην συνέχεια παίρνουμε την λογαριθμική συνάρτηση ποινικής ρήτρας

και αντικαθιστούμε όπου , και . Άρα έχουμε

.

Αυτό το πρόβλημα μπορεί να λυθεί αναλυτικά αφού η είναι δύο φορές

διαφορίσιμη. Άρα

=0

Άρα

3

Άρα

=0

(1)

και

. (2)

(2)

Κάνω αντικατάσταση στην σχέση (1) και έχουμε

.

Πολλαπλασιάζω τα μέλη της εξίσωσης με

4

Επειδή το πρέπει να είναι θετικό, μόνο η είναι δεκτή.

Αντικαθιστούμε το στην σχέση (2) και έχουμε

Τα και είναι τα τοπικά ελάχιστα για τις διάφορες τιμές του r.

Για r=1 και

.

5

Για r=0.5 και

.

Για r=0.25 και

.

Για r=0.1 και

.

r

1.000 0.500 1.250

0.500 0.309 0.595

0.250 0.183 0.283

0.100 0.085 0.107

Ο παραπάνω πίνακας δίνει τις τιμές των και για τις 4 τιμές του r. Στο

σχήμα το πρόβλημα ερμηνεύεται γεωμετρικά και φαίνονται τα σημεία που

αντιστοιχούν στις διάφορες τιμές του r. Παρατηρούμε ότι καθώς το r πηγαίνει στο

μηδέν οι συντεταγμένες του σημείου ελαχιστοποιούνται στο .

6

Σχήμa: Η λύση του προβλήματος της λογαριθμικής συνάρτησης χωρίς περιορισμούς. Η

γραμμοσκιασμένη περιοχή είναι η εφικτή περιοχή.Το πρόβλημα είναι:

Θα λύσουμε το ίδιο παράδειγμα με ένα πρόγραμμα στο MATHEMATICA

7

8

9

Ποινική ρήτρα και προσαρτημένες μέθοδοι Lagrange(Penalty and Augmented

Lagrangian methods)

Η βασική ιδέα στις μεθόδους ποινικής ρήτρας είναι να αποβληθούν μερικοί ή

όλοι οι περιορισμοί και να προστεθεί στη συνάρτηση κόστους ένας όρος ποινικής

ρήτρας που ορίζει ένα υψηλό κόστος στα μη εφικτά σημεία. Με αυτές τις μεθόδους

συνδέεται μια παράμετρος ποινικής ρήτρας που καθορίζει το μέγεθος της ποινικής

ρήτρας και κατά συνέπεια, ο βαθμός στον οποίο το προκύπτον πρόβλημα χωρίς

περιορισμούς προσεγγίζει το αρχικό πρόβλημα με περιορισμούς. Καθώς το παίρνει

τις υψηλότερες τιμές, η προσέγγιση γίνεται όλο και περισσότερο ακριβής. Στρέφουμε

την προσοχή πρώτιστα στη δημοφιλή τετραγωνική συνάρτηση ποινικής ρήτρας.

Μερικές άλλες συναρτήσεις ποινικής ρήτρας, συμπεριλαμβανομένου του εκθέτη,

συζητούνται στην υποενότητα 1.2.5.

Εξετάζουμε πρώτα την ισότητα του προβλήματος με περιορισμούς

(2.1)

όπου , και το Χ είναι ένα υποσύνολο του .

Ένα μεγάλο μέρος της ανάλυσής μας σε αυτό το τμήμα θα εστιαστεί στο μαζί με

έναν πολλαπλασιαστή Lagrange στην περίπτωση όπου Χ = . Στο κέντρο της

ανάπτυξής μας είναι η προσαρτημένη λαγκρανζιανή συνάρτηση

: , όπου

(2.2)

και το c είναι μια θετική παράμετρος ποινικής ρήτρας.

Υπάρχουν δύο μηχανισμοί από τους οποίους η ελαχιστοποίηση χωρίς

περιορισμούς μπορεί να σημειώσει τιμές κοντά στο :

nf: R , : n mR h R R nR

nR

cL n mR R R

2( , ) ( ) ( ) ( ) ,2ccL x f x h x h x

( , )cL

10

(α) Με τη λήψη του κοντά στο . Πράγματι, εάν το c είναι υψηλότερο από ένα

ορισμένο κατώτατο όριο, τότε για μερικά γ > 0 και > 0 έχουμε

(2.3)

έτσι ώστε το να είναι ένα ακριβές τοπικό ελάχιστο της προσαρτημένης

Λανγκρανζιανής σε αντιστοιχία με το . Αυτό προτείνει ότι εάν το λ είναι

κοντά στο , μια καλή προσέγγιση στο μπορεί να βρεθεί από την ελαχιστοποίηση

χωρίς περιορισμούς .

(β) Με τη λήψη του c πολύ μεγάλου. Πράγματι εάν βάλουμε υψηλή τιμή στο c θα

υπάρξει μεγαλύτερο κόστος για την μη εφικτή περιοχή. Συνεπώς το ελάχιστο χωρίς

περιορισμούς θα είναι σχεδόν εφικτό. Από για το εφικτό x,

αναμένουμε εκείνο που για κοντινό εφικτό . Επομένως, μπορούμε

επίσης να αναμείνουμε να λάβουμε μια καλή προσέγγιση στο από την

ελαχιστοποίηση χωρίς περιορισμούς όταν το c είναι υψηλό.

Παράδειγμα

Εξετάζουμε το διδιάστατο πρόβλημα

(2.4)

με τη βέλτιστη λύση = (1,0) και αντίστοιχο πολλαπλασιαστή Lagrange = -1,

Η προσαρτημένη Λανγκρανζιανή είναι η

( , )cL

( , )cL

( , )cL ( , ) ( )cL x f x

( , ) ( )cL x f x

( , )cL

11

και αν αντικαθιστούμε όπου και , έχουμε

(2.5)

και εξισώνοντας την κλίση της με μηδέν βρίσκουμε ότι το μοναδικό ελάχιστο χωρίς

περιορισμούς έχει συντεταγμένες

=0

Άρα .

Άρα

2( , ) ( ) ( ) ( ) ,2ccL x f x h x h x

2 2 21 2 1 1

1( , ) ( ) ( 1) ( 1) ,2 2c

cL x x x x x

( , )x c

12

και

.

Συνεπώς

και . (2.6)

Κατά συνέπεια, έχουμε για όλα τα > 0,

και

.

Επειδή ο αντίστοιχος πολλαπλασιαστής Lagrange είναι = -1 άρα

και

.

Χρησιμοποιώντας τους τύπους (2.6) και έχουμε

13

,

όπου φαίνεται ότι όταν το επιλέγεται κοντά στο , το ελάχιστο ενός προβλήματος

χωρίς περιορισμούς πλησιάζει το ελάχιστο ενός προβλήματος με περιορισμούς

(βλ. σχήμα 1.2.1).

Σχήμα 1.2.1:Οι επιφάνειες ίσων δαπανών της προσαρτημένης Λανγκραζιανής

( , )cL x

2 2 21 2 1 1

1( , ) ( ) ( 1) ( 1) ,2 2c

cL x x x x x

14

του παραδείγματος ΙΙ, για c= 1 και δύο διαφορετικές τιμές του λ. Το ελάχιστο χωρίς

περιορισμούς πλησιάζει το ελάχιστο του προβλήματος με περιορισμούς

όταν λ λ* = -1.

Χρησιμοποιόντας τους τύπους (2.6) και , έχουμε ότι για

όλα τα ,

το οποίο είναι απροσδιόριστο. Άρα παραγωγίζω αριθμητή και παρονομαστή σύμφωνα

με τον κανόνα DE L’ HOSPITAL

και

,

που σημαίνει ότι καθώς το αυξάνει, το ελάχιστο του προβλήματος χωρίς

περιορισμούς πλησιάζει το ελάχιστο του προβλήματος με περιορισμούς (βλ.

το σχήμα 1.2.2).

( , )cL x

( , )cL x

15

Σχήμα 1.2.2: Επιφάνειες ίσων δαπανών της προσαρτημένης Λανγκραζιανής

του παραδείγματος ΙΙ, για λ = 0 και δύο διαφορετικές τιμές του c. Το ελάχιστο χωρίς

περιορισμούς πλησιάζει το το ελάχιστο του προβλήματος με περιορισμούς

όταν .

Μέθοδοι Πολλαπλασιαστών - Βασικές Ιδέες

Επιστρέφουμε στην περίπτωση όπου και το πρόβλημα έχει μόνο

ισοτικούς περιορισμούς, δηλαδή

(2.25)

Αναφέραμε νωρίτερα ότι οι λύσεις αυτού του προβλήματος μπορούν να

προσεγγιστούν καλά από τα ελάχιστα χωρίς περιορισμούς της προσαρτημένης

Λανγκρανζιανής , κάτω από δύο τύπους συνθηκών:

2 2 21 2 1 1

1( , ) ( ) ( 1) ( 1) ,2 2c

cL x x x x x

( , )cL x

* (1,0)x c

nX R

( , )cL

16

(α) Το διάνυσμα λ είναι κοντά σε έναν πολλαπλασιαστή Lagrange.

(β) Η παράμετρος ποινικής ρήτρας c είναι μεγάλη.

Εξετάζουμε τώρα ορισμένους τρόπους να βελτιώσουμε την εκτίμηση για το

έτσι ώστε να τείνει σε έναν πολλαπλασιαστή Lagrange. Θα δούμε ότι σε μερικές

λογικές περιπτώσεις, αυτή η προσέγγιση είναι εφαρμόσιμη ακόμα και όταν τα δεν

τείνουν στο . Με αυτόν τον τρόπο μειώνουμε ένα μεγάλο μέρος της δυσκολίας λόγω

της ευαισθησίας των συνθηκών (ill conditioning). Επιπλέον, ακόμα και όταν τείνουν τα

στο , ο βαθμός σύγκλισης ενισχύεται σημαντικά με τις συνεχόμενες επαναλήψεις

των .

Η μέθοδος πολλαπλασιαστών

Ένας πρώτος τύπος αναπροσαρμογών για τα στην τετραγωνική μέθοδο

ποινικής ρήτρας είναι

. (2.26)

Η λογική παρέχεται από την πρόταση 1.2.2, η οποία δείχνει ότι εάν η παραγόμενη

ακολουθία { } συγκλίνει σε ένα τοπικό ελάχιστο το οποίο είναι κανονικό, τότε το

συγκλίνει στον αντίστοιχο πολλαπλασιαστή Lagrange .

Η τετραγωνική μέθοδος ποινικής ρήτρας με τον προηγούμενο τύπο

αναπροσαρμογών για το είναι γνωστή ως μέθοδος πολλαπλασιαστών. Επεξηγούμε

αρχικά την μέθοδο με ένα παράδειγμα.

Παράδειγμα

kc

kc

k

k

1 ( )k k k kc h x

kx *x

{ ( )}k k kc h x

k

17

με βέλτιστη λύση = (1,0) και πολλαπλασιαστή Lagrange = -1. Η προσαρτημένη

Λανγκρανζιανή είναι

και αν αντικαταστήσουμε όπου και , έχουμε

Τα διανύσματα που παράγονται με την μέθοδο πολλαπλασιαστών ελαχιστοποιούν

το δίνονται από τον τύπο

(2.27)

Χρησιμοποιώντας τον προηγούμενο τύπο (2.27) και το γεγονός ότι , ο

τύπος του πολλαπλασιαστή (2.26) μπορεί να γραφεί

2( , ) ( ) ( ) ( ) ,2ccL x f x h x h x

2 2 21 2 1 1

1( , ) ( ) ( 1) ( 1) .2 2c

cL x x x x x

kx

( , )kk

cL

,0 .1

k kk

k

cxc

1 ( )k k k kc h x

18

,

,

ή με την εισαγωγή του πολλαπλασιαστή Lagrange ,

.

Επειδή = -1

,

.

Αυτός ο τύπος δείχνει ότι

(α) και για κάθε μη φθίνουσα ακολουθία { }

[παίρνοντας το και πολλαπλασιάζοντάς το με , προκύπτει αριθμός

πάντα μικρότερος από ένα ].

(β) Ο βαθμός σύγκλισης αυξάνεται ταχύτερα καθώς τα γίνονται μεγαλύτερα, στην

πραγματικότητα το συγκλίνει υπεργραμμικά στο ανώτατο όριο εάν .

* 1k * (1,0)kx x kc

11kc *k

kc

*{ }k kc

19

Σημειώνουμε ότι δεν είναι απαραίτητο να αυξηθούν τα στο αν και όταν αυτό

συμβαίνει τα αποτελέσματα παρουσιάζουν καλύτερη σύγκλιση.

Παράδειγμα

Εξετάζουμε το πρόβλημα

με βέλτιστη λύση = (1,0) και πολλαπλασιαστή Lagrange . Η προσαρτημένη

Λανγκρανζιανή δίνεται από τον τύπο

και αν αντικαταστήσουμε όπου και , έχουμε

Τα διανύσματα ελαχιστοποίησης του δίνονται από τον τύπο

(2.28)

Εντούτοις, αυτός ο τύπος για να είναι σωστός, είναι απαραίτητο ότι . Για

της προσαρτημένης Λανγκραζιανής δεν έχει κανένα ελάχιστο, και το ίδιο πράγμα ισχύει

για εκτός αν . Χρησιμοποιώντας τον προηγούμενο τύπο (2.28) και το

kc

* 1

2( , ) ( ) ( ) ( ) ,2ccL x f x h x h x

2 2 21 2 1 1

1( , ) ( ) ( 1) ( 1) .2 2c

cL x x x x x

kx ( , )kk

cL x

,0 .1

k kk

k

cxc

1kc 1kc

1kc 1k

20

γεγονός ότι , ο τύπος του πολλαπλασιαστή (2.26)

μπορεί να γραφεί

,

,

ή με την εισαγωγή του πολλαπλασιαστή Lagrange ,

.

Επειδή = 1

,

,

(2.29)

1 ( )k k k kc h x

*1 * .

1

kk

kc

21

Από αυτήν την επανάληψη, μπορεί να φανεί ότι μπορούν να συναχθούν

παρόμοια συμπεράσματα με εκείνα του προηγούμενου παραδείγματος. Ειδικότερα, δεν

είναι απαραίτητο να αυξηθούν τα στο για να επιτευχθεί η σύγκλιση, αν και

κάνοντάς το τα αποτελέσματα οδηγούν σε ένα καλύτερο ρυθμό σύγκλισης. Εντούτοις,

υπάρχει μια διαφορά εκτιμώντας ότι στο προηγούμενο παράδειγμα, η σύγκλιση

πραγματοποιείται για όλες τις θετικές ακολουθίες { }, στο παρόν παράδειγμα, τα

σημεία ελαχιστοποίησης υπάρχουν μόνο εάν . Επιπλέον, φαίνεται από τον τύπο

(2.29) ότι για να επιτευχθεί η σύγκλιση, η παράμετρος ποινικής ρήτρας πρέπει

τελικά να υπερβεί το 2 [έτσι ώστε ο αριθμός πολλαπλασιασμένος με να

έχει απόλυτη τιμή μικρότερη από ένα]. Κατά συνέπεια στο παρόν παράδειγμα, υπάρχει

μια τιμή κατώτερη που η παράμετρος ποινικής ρήτρας πρέπει να υπερβεί για να

δουλέψει η μέθοδος

Συνοψίζοντας παρατηρούμε ότι η μέθοδος εμποδίων και η εσωτερική μέθοδος σημείων

χρησιμοποιείται σε προβλήματα ελαχιστοποίησης με ανισοτικούς περιορισμούς και τα

μετασχηματίζει σε προβλήματ χωρίς περιορισμούς ενώ η μέθοδος ποινικής ρήτρας και

η προσαρτημένη μέθοδος Lagrange χρησιμοποιείται κυρίως σε προβλήματα

ελαχιστοποίησης με ισοτικούς περιορισμούς και τα μετασχηματίζει σε προβλήματα

χωρίς περιορισμούς .Ουσιαστικά έχει ως σκοπό να αποβάλλει μερικούς ή όλους τους

περιορισμούς και να προστέσει στη συνάρτηση κόστους έναν όρο ποινικής ρήτρας.

ΒΙΒΛΙΟΓΡΑΦΙΑ

1.Karmarkar, N., 1984. “A New Polynomial-Time Algorithm for Linear Programming”,

Combinatorica, Vol.4, pp.373-395.

2.“Linear and Nonlinear Rrogramming”, Stephen G.Nash / Ariela Sofer

3.Anthony V.Fiacco and Garth P.McCormick “Nonlinear Programming Sequential

Unconstrained Minimization Techniques”

kc

kc

1kc

kc

11kc

k

22

4.Bertsekas, D. P., 1976. “On Penalty and Multiplier Methods for Constrained

Optimization,” SIAM J. on Control and Optimization, Vol . 14, pp. 216 – 235.

5.Bertsekas, D. P., 1976. “Multiplier Methods: A Survey,” Automatica, Vol. 12, pp.

133 – 145 .

6.Bertsekas, D. P., 1982 .Constrained Optimization and Lagrange Multiplier Methods,

Academic Press, N. Y.

7.Conn, A. R., Gould, N. I. Μ., and Toint, 1991. “A Globally Convergent Augmented

Lagrangian Algorithm for Optimization with General Constraints and Simple Bounds,

SIAM J .Numer. Anal., Vol. 28, pp. 545 – 572.

8.Fiacco, A.V., and McCormick, G.P., 1968. Nonlinear Programming: Sequential

Unconstrained Minimization Techniques, Wiley, N. Y.

9.Wright, S. J., 1993. “Interior Point Methods for Optimal Control of Discrete Time

Systems,” J . Opt. Theory and Appl., Vol .77, pp. 161 – 187.

10.Wright, S. J., 1993. “A Path – Following Infeasible - Interior – Point Algorithm for

Linear Complementarity Problems,” Optimization Methods and Software, Vol. 2, pp.

79 – 106 .

23