Vorlesung Einf uhrung in die Mathematische Optimierung ...

37
1 Vorlesung Einf¨ uhrung in die Mathematische Optimierung (Wintersemester 2016/17) Kapitel 2: Konvexe Mengen und Kegel Volker Kaibel Otto-von-Guericke Universit¨ at Magdeburg (Version vom 24. Oktober 2016)

Transcript of Vorlesung Einf uhrung in die Mathematische Optimierung ...

1

VorlesungEinfuhrung

in dieMathematische Optimierung

(Wintersemester 2016/17)Kapitel 2: Konvexe Mengen und Kegel

Volker Kaibel

Otto-von-Guericke Universitat Magdeburg

(Version vom 24. Oktober 2016)

2

Gliederung

Konvexe Mengen und Polyeder

Kegel

Polare Kegel

Polyedrische Kegel

3

Konvexe Mengen

Definition 2.1

Eine Menge X ⊆ Rn heißt konvex, falls fur alle x , y ∈ X

λx + (1− λ)y ∈ X

fur alle 0 ≤ λ ≤ 1 gilt.

konvex nicht konvexI Eine Menge ist genau dann konvex, wenn sie mit je zwei

Punkten auch deren Verbindungstrecke enthalt.

I Konvexe Mengen sind (weg-)zusammenhangend.

4

Konvexe Funktionen auf konvexen Mengen

Definition 2.2

Sei X ⊆ Rn konvex. Eine Funktion f : X → R heißtkonvex/konkav, wenn fur alle x , y ∈ X und 0 ≤ λ ≤ 1

f (λx + (1− λ)y) ≤ / ≥ λf (x) + (1− λ)f (y)

gilt.

Bemerkung 2.3

Nimmt eine konvexe/konkave Funktion auf einer konvexen Mengein einem Punkt ein lokales Minimum/Maximum an, so nimmt siedort auch ihr globales Minimum/Maximum an.

(Beweis wie Beweis von Bem. 1.8.)

5

Niveaumengen

Beobachtung 2.4

Ist f : Rn → R konvex, so ist fur jedes α ∈ R die Menge

{x ∈ Rn : f (x) ≤ α}

konvex.

6

Ellipsoide

Bemerkung 2.5

Fur eine positiv definite symmetrische Matrix Q ∈ Rn×n undz ∈ Rn ist das von Q definierte Ellipsoid

Ell(z ,Q) := {x ∈ Rn | (x − z)TQ−1(x − z) ≤ 1}

mit Zentrum z konvex (und kompakt).

7

Ellipsoide und Balle

I Das einfachste Ellipoid ist der Ball

B(z , %) := Ell(%2In, z) = {x ∈ Rn | ||x − z || ≤ %}

vom Radius % > 0 um z ∈ Rn.I Spalten von C ∈ Rn×n: Mit Quadratwurzeln der Eigenwerte

skalierte Orthonormalbasis aus Eigenvektoren von QI Dann ist Ell(Q, z) = C · B(On, 1) + z

(Spalten von C : Halbachsen von Ell(Q, z)).

8

Schnitte konvexer Mengen

Beobachtung 2.6

Ist I eine Indexmenge (beliebiger Kardinalitat), und sind Xi ⊆ Rn

konvexe Mengen (i ∈ I ), so ist auch ihre Schnittmenge⋂i∈I

Xi

konvex.

9

Konvexe Hullen

Definition 2.7

Fur X ⊆ Rn heißt

convX := ∩{X ′ ⊆ Rn |X ⊆ X ′,X ′ konvex}

die konvexe Hulle von X .

I Lineare Hulle:

linX := ∩{L ⊆ Rn |X ⊆ L, L linearer Unterraum}

I Affine Hulle:

aff X := ∩{A ⊆ Rn |X ⊆ A,A affiner Unterraum}

10

Kombinationen

Fur x (1), . . . , x (r) ∈ Rn und λ1, . . . , λr ∈ R ist

r∑i=1

λix(i)

eine lineare Kombination von x (1), . . . , x (r).

I Falls∑r

i=1 λi = 1: affine Kombination

I Falls λ1, . . . , λr ≥ 0: konische Kombination

I Konische affine Kombinationen: konvexe Kombinationen

Bemerkung 2.8

Die konvexe / lineare / affine Hulle von X ⊆ Rn ist die Menge allerkonvexen /linearen / affinen Kombinationen von (endlich vielen)Punkten aus X .

11

Halbraume, Hyperebenen

Definition 2.9

Fur a ∈ Rn \ {On} und β ∈ R heißen

H≤(a, β) := {x ∈ Rn : 〈a, x〉 ≤ β}

undH=(a, β) := {x ∈ Rn : 〈a, x〉 = β}

der von (a, β) definierte (affine) Halbraum bzw. die von (a, β)definierte (affine) Hyperebene (falls β = 0: linear).

Beobachtung 2.10

I Halbraume sind konvex (und abgeschlossen).

I Hyperebenen sind konvex.

I Affine Unterraume sind konvex.

I Die Schnittmenge beliebig vieler Halbraume ist konvex.

12

Polyeder

Definition 2.11

Eine Teilmenge P ⊆ Rn heißt ein (konvexes) Polyeder, wenn Pdie Schnittmenge endlich vieler affiner Halbraume ist.

I P = ∅ und P = Rn (Schnitt uber leerer Indexmenge) sindPolyeder

I Affine Unterraume sind Polyeder.

Beobachtung 2.12

1. Polyeder sind konvex und (topologisch) abgeschlossen.

2. Die Menge P≤(A, b) := {x ∈ Rn : Ax ≤ b} der zulassigenLosungen eines linearen Optimierungsproblems ist einPolyeder.

13

Polyeder: Beispiele

14

Minkowski-Summen und Skalierungen

Definition 2.13

Fur Mengen X1, . . . ,Xq ⊆ Rn heisst

q∑i=1

Xi = X1 + · · ·+ Xq :={ q∑

i=1

x (i) : x (i) ∈ Xi fur alle i ∈ [q]}

die Minkowski-Summe von X1, . . . ,Xq.

Bemerkung 2.14

Minkowski-Summen und Skalierungen konvexer Mengen sindkonvex.

(X ⊆ Rn, α ∈ R: αX := {αx | x ∈ X} Skalierung von X )

15

Trennsatze fur konvexe Mengen

Satz 2.15

Sind X ⊆ Rn konvex und abgeschlossen und y ∈ Rn \ X , so gibt esa ∈ Rn \ {On} und ε > 0 mit 〈a, x〉 ≤ 〈a, y〉 − ε fur alle x ∈ X .

Bemerkung 2.16

Fur jede konvexe Menge X ⊆ Rn ist auch der topologischeAbschluss cl(X ) von X konvex.

Satz 2.17

Sind X ,Y ⊆ Rn konvexe Mengen mit X ∩ Y = ∅, so gibt esa ∈ Rn \ {On} mit 〈a, x〉 ≤ 〈a, y〉 fur alle x ∈ X , y ∈ Y .

16

Schnitte von Halbraumen

Korollar 2.18

Der topologische Abschluss einer konvexen Menge ist der Schnittaller sie enthaltenden Halbraume.

Bemerkung 2.19

Die Schnittmengen (beliebig vieler) Halbraume sind also genau dieabgeschlossenen konvexen Mengen.

(Die Schnittmengen endlich vieler Halbraume sind die Polyeder.)

17

Kegel

Definition 2.20

Eine Teilmenge K ⊆ Rn heißt Kegel, wenn K 6= ∅ ist und fur allex ∈ K und α ≥ 0 auch αx ∈ K ist.

Rn+ := {x ∈ Rn : x ≥ On}

konvexer Kegel nicht konvexer Kegel

18

Eigenschaften von Kegeln

Bemerkung 2.21

Ist I eine Indexmenge (beliebiger Kardinalitat), und sind Ki ⊆ Rn

Kegel (i ∈ I ), so ist auch die Schnittmenge⋂

i∈I Ki ein Kegel.

Bemerkung 2.22

Eine nicht leere Menge ∅ 6= K ⊆ Rn ist genau dann ein konvexerKegel, wenn K alle konischen Kombinationen von Elementenaus K enthalt.

19

Wichtige Kegel

I Der nicht-negative Orthant

Rn+ := {x ∈ Rn | x ≥ On} .

I Der Kegel der positiv-semidefiniten Matrizen

Sk+ := {A ∈ Sk |A positiv semidefinit} ,

wobei Sk der k(k+1)2 -dimensionale Unterraum der

symmetrischen Matizen in Rk×k ist.

I Rn+ und Sk

+ sind konvex und abgeschlossen.

20

Trennsatz fur konvexe Kegel

Satz 2.23

Sind K ⊆ Rn ein abgeschlossener konvexer Kegel und y ∈ Rn \ Kein Punkt außerhalb von K , so gibt es a ∈ Rn mit

〈a, x〉 ≤ 0 fur alle x ∈ K und 〈a, y〉 = 1 .

21

Konische Hullen

Definition 2.24

Fur X ⊆ Rn ist die konische Hulle von XconeX := ∩{K ⊆ Rn |X ⊆ K ,K Kegel}.

Bemerkung 2.25

coneX = {αx | x ∈ X , α ≥ 0} ∪ {On}

Bemerkung 2.26

I Fur alle X ⊆ Rn ist coneX ein Kegel.

I Fur konvexe Mengen X ist coneX ein konvexer Kegel.

22

Konvex-konische Hullen

Definition 2.27

Fur X ⊆ Rn ist

cconeX := ∩{K ⊆ Rn |X ⊆ K ,K konvexer Kegel}

die konvex-konische Hulle von X .

Bemerkung 2.28

Fur alle X ⊆ Rn ist cconeX . . .

I . . . ein konvexer Kegel.

I . . . die Menge aller konischen Kombinationen von Elementenaus X .

23

Endlich erzeugte Kegel

Definition 2.29

Ein Kegel ist endlich erzeugt, wenn er

cconeX ={∑x∈X

λxx∣∣λx ≥ 0 fur alle x ∈ X

}fur eine endliche Menge X ⊆ Rn ist.Ist X ⊆ Rn sogar linear unabhangig, so heißt cconeX einsimplizialer Kegel.

Bemerkung 2.30

Endlich erzeugte Kegel sind konvex.

24

Satz von Caratheodory

Satz 2.31

Sind X ⊆ Rn und x ∈ cconeX , so gibt es eine linear unabhangigeTeilmenge X ⊆ X von X mit x ∈ ccone X (insbesondere: |X | ≤ n).

Satz 2.32

Endlich erzeugte Kegel sind konvex und abgeschlossen.

25

Polare von Kegeln

Definition 2.33

Fur einen Kegel K ⊆ Rn heißt

K ◦ := {y ∈ Rn : 〈y , x〉 ≤ 0 fur alle x ∈ K}

der zu K polare Kegel.

26

Eigenschaften von Polaren

Bemerkung 2.34

Fur zwei Kegel K1 ⊆ K2 gilt K1◦ ⊇ K2

◦.

Bemerkung 2.35

Fur einen Kegel K ⊆ Rn ist cl(K ) ein Kegel mit K ◦ = (cl(K ))◦.

Bemerkung 2.36

Die Polaren von Kegeln sind konvexe abgeschlossene Kegel.

Bemerkung 2.37

Fur X ⊆ Rn ist (cconeX )◦ = {y ∈ Rn | 〈x , y〉 ≤ 0 fur alle x ∈ X}.

Satz 2.38

Fur jeden abgeschlossenen konvexen Kegel K gilt K ◦◦ = K .

27

Polare von Schnitten

Satz 2.39

Sind K1, . . . ,Kq ⊆ Rn konvexe Kegel mit

K1 ∩( q⋂

i=2

int(Ki ))6= ∅ , (1)

so ist ( q⋂i=1

Ki

)◦=

q∑i=1

Ki◦ . (2)

(int(X ): Menge der inneren Punkte von X ⊆ Rn)

28

Polyederische Kegel

Definition 2.40

Ein polyedrischer Kegel ist ein Kegel, der ein Polyeder ist.

29

Eigenschaften polyedrischer Kegel, Beispiele

Bemerkung 2.41

Eine Menge K ⊆ Rn ist genau dann ein polyedrischer Kegel, wennes eine Matrix A ∈ Rm×n gibt mit K = P≤(A,On).

Bemerkung 2.42

Polyedrische Kegel sind konvex und abgeschlossen.

Bemerkung 2.43

Die Polaren von endlich erzeugten Kegeln sind polyedrische Kegel.

30

Polare von polyedrischen Kegeln

Satz 2.44

Fur den polaren Kegel eines polyedrische Kegels K = P≤(A,Om)(mit A ∈ Rm×n) gilt

K ◦ = ccone{A1,?, . . . ,Am,?}.Insbesondere: Die Polaren von polyedrischen Kegeln sind endlicherzeugt.

Korollar 2.45

Sind K1, . . . ,Kq ⊆ Rn polyedrische Kegel, so ist(⋂q

i=1 Ki )◦ =

∑qi=1 Ki

◦.

31

Farkas-Lemma

Lemma 2.46

Sind A ∈ Rm×n und b ∈ Rm so, dass P≤(A, b) = ∅ gilt, so gibt esλ ∈ Rm

+ mit λTA = OTn und 〈λ, b〉 = −1.

Satz 2.47

Fur alle A ∈ Rm×n und b ∈ Rm gilt: Entweder ist

{x ∈ Rn |Ax ≤ b} 6= ∅

oder es ist

{y ∈ Rm |ATy = On, 〈b, y〉 = −1, y ≥ Om} 6= ∅

(aber nicht beides).

32

Polyedrische vs. endlich erzeugte Kegel

Lemma 2.48

Jeder polyedrische Kegel ist endlich erzeugt.

Satz 2.49

Ein Kegel ist genau dann polyedrisch, wenn er endlich erzeugt ist.

33

Verstarkung von Lemma 2.48

Definition

Fur jede Matrix M ∈ Rm×n:

I δ(M) = {detMI×J | I ⊆ [m], J ⊆ [n], |I | = |J|} ∪ {0, 1}I ∆(M) = {pq | p, q ∈ δ(M) ∪ (−δ(M)), q 6= 0}

Lemma 2.48?

Fur jede Matrix A ∈ Rm×n gibt es X ⊆ ∆(A)n, |X | <∞ mit

P≤(A,O) = ccone(X ) .

34

Fur den Beweis von Lemma 2.48?

Per Induktion nach p = 0, 1, . . . :

Fur alle B ∈ Rp×n und C ∈ Rq×n (mit p + q ≥ 1, n ≥ 1) und

A =(BC

)∈ R(p+q)×n, existiert X ⊆ ∆(A)n, |X | <∞ mit

K := {x ∈ Rn |Bx ≤ Op,Cx = Oq} = cconeX .

Lemma 2.48a

Seien B ∈ Rp×n, C ∈ Rq×n (mit p + q ≥ 1, n ≥ 1),

A =(BC

)∈ R(p+q)×n und K := {x ∈ Rn |Bx ≤ Op,Cx = Oq}.

1. Falls dim(ker(A)) ≥ dim(ker(C ))− 1:Es gibt X ⊆ ∆(A)n, |X | <∞ mit K = cconeX .

2. Andernfalls: Es gibt z ∈ ker(C ) mit z 6∈ K , −z 6∈ K .

35

Illustration 1 des Beweises von Lemma 2.48a

ker (C )

O

U = ker (C ) ∩ ker (B)

y

a

〈a, y〉a

u

1〈a,y〉y

u′

36

Illustration 2 des Beweises von Lemma 2.48a

ker (C )

BT1

L⊥ ∩ ker(C )

z

K

U = ker (C ) ∩ ker (B)

37

Illustration des Induktionsschritts (Beweis Lemma 2.48?)

ker (C )

K

z

−z

K

xx

x + λ?z

x + µ?(−z)