KONVEKSNO PROGRAMIRANJE

1

SadržajKonveksni skupoviKonveksne funkcije

OptimalnostDualnost

Neke metode u (KP)Rješenja

Osnovni pojmoviSimboli

2

Uvod

Neka je f realna funkcija sa domenom D(f) ⊆ Rn, i neka je G ⊆ D(f) neprazanskup. Opšti ( apstraktan ) problem matematičkog programiranja sastoji se uodred̄ivanju vrijednosti

π = infx∈G

f(x)

i skupaG∗ = {x ∈ G : f(x) = π}.

Problem označamo sa

(PA) : min{ f(x) : x ∈ G}.

Tačka x∗ ∈ G je rješenje problema (PA) ako vrijedi

f(x) > f(x∗) ∀x ∈ G.

U suštini, x∗ je tačka globalnog minimuma funkcije f na skupu G. Često jelakše, a nekad i jedino moguće naći tačku minimuma date funkcije na nekompodskupu skupa G. Zato kažemo da je x∗ lokalno rješenje datog problema, akoje to tačka lokalnog minimuma funkcije f na skupu G, tj. ako postoji okolina Otačke x∗ takva da vrijedi

f(x) > f(x∗) ∀x ∈ G ∩ O.

min{c>x + c0 : x ∈ G}, G = {x ∈ Rn : Ax 6 b, Bx = d}.Ovdje je:

D = D(g) = D(h) = Rn, g(x) = Ax− b, h(x) = Bx− d,

matrice A i B su tipa m× n, odnoso p× n, a b ∈ Rm i d ∈ Rp.

J∞ J1 J6 J= JmJp Im

3

KONVEKSNI SKUPOVI

Definicija i primjeri

Definicija 1 Skup C ⊆ Rn je konveksan ako za sve x1, x2 ∈ C i sve λ ∈ [0, 1]vrijedi

(1− λ)x1 + λx2 ∈ C.Dakle, duž [x1, x2] = ... je podskup skupa C ako mu pripadaju njeni krajevi x1i x2.

slika 1. C

Iz definicije slijedi da je skup C konveksan ako za svaki λ ∈ [0, 1] je(1− λ)C + λC ⊆ C, (1)

Od osnovnih skupovnih operacija konveksnost čuvaju sabiranje skupova i množenjerealnim brojem. Isto tako vrijedi

Teorema 1 Neka su C1 i C2 konveksni skupovi. Tada je C1 ∩ C2 konveksan.Dokaz. Iz x1, x2 ∈ C1∩C2, zbog konveksnosti datih skupova, slijedi [x1, x2] ⊆ C1i [x1, x2] ⊆ C2, pa je [x1, x2] ⊆ C1 ∩ C2. ¤Napomenimo da je presjek i proizvoljno mnogo konveksnih skupova opet kon-veksan skup. Očigledno je da unija dva konveksna skupa ne mora biti konveksanskup.

Primjer 1 Prazan skup ∅ (po definiciji), {a}, i Rn su konveksni skupovi.Primjer 2 Jedinična kugla B i kugla sa centrom u x0, poluprečnika r:

B(x0, r) = x0 + rBsu konveksni skupovi.

Zaista, za x1, x2 ∈ B, λ ∈ [0, 1] imamo‖0− (1− λ)x1 − λx2‖ 6 (1− λ)‖x1‖+ λ‖x2‖ 6 (1− λ) · 1 + λ · 1 = 1. ¤

Primjer 3 Neka je {v1, ..., vk} ⊆ Rn linearno nezavisan skup. Tada je ravanR = x0 + lin(v1, ..., vk)

konveksan skup. Specijalno su prava

P = x0 + lin(v1)i hiperravan

H = x0 + lin(v1, ..., vn−1)konveksni skupovi.

4

Inače svaka hiperravan je data sa

H(a, α) = {x ∈ Rn : 〈a, x〉 = α},gdje je a ∈ Rn, a 6= 0 i α ∈ R. Za a = 0 dobijamo ∅ ( ako je α 6= 0) ili čitavprostor (α = 0).

Primjer 4 Zatvoreni poluprostor

H+(a, α) = {x ∈ Rn : 〈a, x〉 > α}, a 6= 0,kao i

H−(a, α) = {x ∈ Rn : 〈a, x〉 6 α}su konveksni skupovi.

Ovo slijedi iz jednakosti 〈a, (1− λ)x1 + λx2〉 = (1− λ)〈a, x1〉+ λ〈a, x2〉. Dakle,i H = H+ ∩H− je konveksan skup.Primjer 5 Skup K ⊆ Rn naziva se konus ako vrijedi

x ∈ K, α > 0 ⇒ αx ∈ K.Ova implikacija je ekvivalentna sa

αK ⊆ K, za sve α > 0.Ako je konus konveksan skup onda se naziva konveksan konus. Za njihovukarakterizaciju potrebna je i dovoljna prethodna formula i zatvorenost skupa Ku odnosu na sabiranje, tj.

K +K ⊆ K.Iz ove dvije formule slijedi konveksnost:

(1− λ)K + λK ⊆ K +K ⊆ K ∀λ ∈ [0, 1].Obratno, na osnovu 2K ⊆ K, ako je konus konveksan imamo

K +K ⊆ 12K + 1

2K = K.

Primjer 6 Neka su v1, v2 dopustivi pravci skupa C u tački x0. Postoje pozitivnibrojevi t1 i t2 takvi da za i = 1, 2 vrijedi

x0 + tvi ∈ C, ∀t ∈]0, ti[.Sada, za sve pozitivne t manje od 2 min{t1, t2} imamo

x0 + t(v1 + v2) =12

(x0 + tv1

)+

12

(x0 + tv2

) ∈ 12C + 1

2C = C,

tako da je i v1 + v2 dopustiv pravac. Jasno, za svaki dopustivi pravac v i sveα > 0 pravac αv je dopustiv. Uključujući ovdje i nula vektor dobijamo konveksankonus V(x0, C).

5

Primjer 7 Skup S ⊆ Rn odred̄uje konuscone S = {x ∈ Rn : x = αy, y ∈ S, α > 0}.

To je konus generisan skupom S. Nije teško vidjeti da je cone C konveksankonus, ako je C konveksan skup. Specijalno,

cone {a} = {x ∈ Rn : x = αa, α > 0}.je poluprava, a

V(x0, C) = cone (C − {x0})Ukoliko neki skup nije konveksan, možemo mu dodijeliti najmanji konveksanskup koji ga sadrži (poredak je dat relacijom ⊆.) u tom cilju, za proizvol-jan neprazan skup S ⊆ Rn posmatraćemo sve njegove konveksne nadskupove.Njihov presjek je neprazan ( podskup mu je S ) i konveksan. Nazivamo gakonveksni omotač skupa S i pǐsemo co S. Dakle,

co S =⋂

S⊆CC.

Primjer 8 Skupco {x0, x1, ..., xk}

naziva se k-dimenzionalni simpleks u Rn, ako je {x1 − x0, ..., xk − x0} linearnonezavisan. Specijalno, co {0, e1, ..., en} je standardan n-simpleks u Rn, dok je

σn = co {e1, ..., en+1}n- dimenzionalni jedinični simpleks u Rn+1

slika

Na osnovu definicije, za prozvoljne skupove S, T i konveksan skup C vrijediS ⊆ T ⇒ co S ⊆ co T , C = co C, co (co S) = co S .

Kao što znamo, λ1x1 + · · ·+λkxk je linearna kombinacija vektora x1, ..., xk ∈ Sako su λ1, ..., λk ∈ R, a afina kombinacija ako je još λ1 + · · ·+λk = 1. Dodajućiuslov nenegativnosti λ1 > 0, ..., λk > 0 dobijamo konveksnu kombinaciju datihvektora. Za svaki prirodan broj k, proizvoljnom nepraznom skupu S dodjelju-jemo skup svih konveksnih kombinacija svakih k njegovih elemenata :

cokS ={

k∑

i=1

λixi : xi ∈ S,

k∑

i=1

λi = 1, λi > 0}

.

Pomoću njih opisaćemo konveksni omotač skupa S. Prije svega, vrijedi:S ⊆ T ⇒ cok S ⊆ cok T , (2)

6

(1− λ)cop S + λcoq S ⊆ cop+q S, (3)za sve λ ∈ [0, 1], a za svaki konveksan skup C je

cok C ⊆ C. (4)Ova inkluzija se dokazuje indukcijom.

Teorema 2 Ako je S neprazan podskup od Rn, onda jeco S =

⋃

k∈Ncok S.

Dokaz. Sa jedne strane je S = co1 S ⊆⋃

k∈Ncok S, odakle je co S ⊆ co

⋃

k∈Ncok S.

Pošto iz (3) slijedi da je posmatrana unija konveksan skup imamo

co S ⊆⋃

k∈Ncok S.

Dalje, zbog S ⊆ co S vrijedi cok S ⊆ cok (co S), a na osnovu (4) je cok (co S) ⊆co S, tako da imamo cok S ⊆ co S. Kako posljednja inkluzija vrijedi za sveprirodne brojeve, to je

⋃

k∈Ncok S ⊆ co S. ¤

Ovaj rezultat se može precizirati.

Teorema 3 (Karateodori,1911) Ako je S ⊆ Rn neprazan skup vrijedi

co S =n+1⋃

k=1

cok S.

Dokaz. Neka je x ∈ co S. Tada je x = λ1x1 + · · · + λkxk, za neke x1, ..., xk ∈S, λ1 > 0, ..., λk > 0, λ1 + · · · + λk = 1. Ako je k > n + 1, onda je skupvektora

{(xi

1

)∈ Rn+1 : i = 1, ..., k

}linearno zavisan. Postoje realni brojevi

α1, ..., αk, koji nisu svi jednaki 0, takvi da je

α1x1 + ·+ αkxk = 0, α1 + ·+ αk = 0.

Bar jedan od njih je pozitivan, pa neka jeλjαj

= minαi>0

λiαi

. Imamo

x = x− λjαj

· 0 =k∑

i=1

λixi − λj

αj

k∑

i=1

αixi =

k∑

i=1

(λi − λj

αjαi

)xi.

Pošto je λi − λjαj

αi > 0 ( za i takvo da je αi 6 0 to je očigledno, a za ostale

zbog izbora indeksa j ) ik∑

i=1

(λi − λj

αjαi

)= 1 − λj

αj· 0 = 1, to je x linearna

7

kombinacija tačaka skupa {x1, ..., xj−1, xj+1, ..., xk}.Redukcija se nastavlja sve dok skup preostalih vektora

(xi

1

)ne postane lin-

earno nezavisan, tj. dok ih ne ostane najvǐse n + 1. Tada je x ∈n+1⋃

k=1

cok S.

Dakle, co S ⊆n+1⋃

k=1

cok S. Obratna inkluzija izlazi iz prethodne teoreme. ¤

Primjer 9 Na osnovu Karateodorijeve teoreme dobijamo

σn = {x ∈ Rn+1 :n+1∑

i=1

xi = 1, xi > 0}

Teoreme razdvajanja

Definicija 2 Konveksni skupovi C1, C2 ⊆ Rn su razdvojeni ako postoje tačkaa ∈ Rn, a 6= 0 i realan broj α takvi da za sve x ∈ C1 i sve y ∈ C2, vrijedi

〈a, y〉 6 α 6 〈a, x〉.

Iz definicije vidimo da vrijedi

C1 ⊆ H+(a, α), C2 ⊆ H−(a, α),

pa možemo reći da hiperravan H(a, α) razdvaja (separira) teskupove . Ako suC1, C2 u različitim otvorenim poluprostorima, oni su strogo razdvojeni. Tada zasve x ∈ C1 i sve y ∈ C2 vrijedi

〈a, y〉 < α < 〈a, x〉.

Dokažimo prvo jednu pomoćnu, ali važnu teoremu.

Teorema 4 Neka je C ⊆ Rn konveksan skup i 0 /∈ C. Tada su skupovia) C i {0} strogo razdvojeni, ako je C zatvoren skup.b) C i {0} razdvojeni.

Dokaz. a) Neka je r > 0 takav broj da je C ∩ B(0, r) neprazan skup.On je kompaktan skup (kao presjek zatvorenog skupa i zatvorene kugle), paneprekidna funkcija x 7→ ‖x‖ dostiže na njemu minimum, u nekoj tački c. Dakle,za sve tačke x posmatranog presjeka vrijedi ‖x‖ > ‖c‖. Za ostale tačke skupaC je ‖x‖ > r > ‖c‖. Zaključno, za sve x ∈ C vrijedi ‖x‖ > ‖c‖, odnosno‖x‖2 > ‖c‖2. Kako je C konveksan i c ∈ C, to za svaki x ∈ C i sve λ ∈]0, 1[imamo c + λ(x− c) ∈ C, pa je

‖c + λ(x− c)‖2 > ‖c‖2, odnosno, 2〈x− c, c〉+ λ‖x− c‖2 > 0.

8

Pri λ → 0+, dobijamo da je 〈c, x〉 > ‖c‖2. Uzimajući da je a = c, i α = ‖c‖2

2slijedi a 6= 0 (jer 0 /∈ C =⇒ ‖c‖ 6= 0), i α > 0, tako da dobijamo

〈a, x〉 > α > 〈a,0〉, za sve x ∈ C.b) Ako 0 nije u cl C, koji je takod̄e konveksan skup, imamo situaciju iz a).

Zato, neka je 0 ∈ cl C \ C. Postoji niz {ck}, ck ∈ Rn \ cl C, takav da ck → 0. Zasvaki k ∈ N skup

−ck + cl Cje konveksan i zatvoren. Tom skupu ne pripada 0, pa prema a), postoji nizvektora (ak) takav da za sve x ∈ cl C vrijedi

〈ak,−ck + x〉 > 〈ak,0〉 = 0.

Pošto je ak 6= 0 imamo〈

ak

‖ak‖ , x− ck

〉> 0, a

k

‖ak‖ ∈ S(0, 1).

Niz{

ak

‖ak‖}

ima podniz koji konvergira ka a ∈ S(0, 1). Pri tome je ‖a‖ = 1,tako da u graničnom procesu dobijamo, za sve x ∈ C

〈a, x〉 > 0 = 〈a,0〉. ¤Sada možemo dokazati osnovne teoreme razdvajanja.

Teorema 5 Neka su C1, C2 ⊆ Rn neprazni, disjunktni, konveksni i zatvoreni.Ako je jedan od njih ograničen, onda postoji hiperravan koja ih strogo razdvaja.

Dokaz. Razlika C1 − C2 datih skupova, po pretpostavkama, je konveksan izatvoren skup. Uz ovo, uslov C1 ∩ C2 = ∅ znači da je 0 /∈ C1 − C2. Premaprethodnoj teoremi postoji a ∈ Rn, a 6= 0 i β > 0 tako da za sve x ∈ C1 i svey ∈ C2 vrijedi

〈a, x− y〉 > β > 0,odakle je

〈a, x〉 > 〈a, y〉+ β > 〈a, y〉.Skup {〈a, x〉 : x ∈ C1} je ograničen odozdo sa 〈a, y〉+ β, za proizvoljan fiksirany ∈ C2. Sada je

infx∈C1

〈a, x〉 − β

gornja med̄a skupa {〈a, y〉 : y ∈ C2}, pa imamoinf

x∈C1〈a, x〉 > sup

y ∈C2〈a, y〉+ β > sup

y ∈C2〈a, y〉.

Uzimajući α izmed̄u uočenog supremuma i infimuma slijede nejednakosti izdefinicije 2. ¤

9

Koristeći drugi dio teoreme 5, a ponavljajući prethodni postupak, uz izbor

α ∈ [supC2〈a, y〉, inf

C1〈a, x〉]

dobija se

Teorema 6 Neprazni, disjunktni i konveksni skupovi C1 i C2 su razdvojeni.

Posljedica 1 Ako je još skup C1 otvoren, uz uslove teoreme 6, onda postojihiperravan H(a, α), takva da vrijedi

C1 ⊆ int H−(a, α), i C2 ⊆ H+(a, α).

Dokaz. Iz prethodne teoreme slijedi da je 〈a, x〉 6 α za sve x ∈ C1. Ako bi bilo〈a, x0〉 = α za neki x0 ∈ C1, onda ( imajući na umu da je i x0 + ε a‖a‖2 ∈ C1,pri malom ε > 0 ) dobijamo

〈a, x0 + ε

a

‖a‖2〉

= α + ε 6 α.

Ovo nije moguće, tako da preostaje

〈a, x〉 < α 6 〈a, y〉,

za sve x ∈ C1, i sve y ∈ C2. ¤EKSTREMALNE TAČKE

Definicija 3 Tačka x ∈ C je vrh (ekstremalna tačka ) konveksnog skupa C ⊆ Rnako ne postoje različite tačke x1, x2 ∈ C takve da vrijedi

x =x1 + x2

2.

Lako se vidi da je x vrh konveksnog skupa C ako i samo ako iz x1, x2 ∈ C, iλ ∈]0, 1[, x = (1 − λ)x1 + λx2 slijedi x1 = x2. Drugim riječima vrh skupa nijeunutrašnja tačka intervala koji leži u skupu C.Primjer 10 Neka je A m× n matrica čiji je rang m < n i b ∈ Rm. Skup

S+(A,b) = {x ∈ Rn : Ax = b, x > 0}

ima vrh, ako je neprazan.Skup kolona {a∗1, ..., a∗n} je linearno zavisan, pa postoje αi

∑nj=1 αja∗j = 0

Stavimo β = minαi>0yiαi

Neka je y ∈ S+ i z = y − βu Vrijedi Az = b, z >0, zn = 0

Neograničeni, zatvoreni konveksni skupovi, poput hiperravni, ne moraju imativrhove. Situacija je drukčija ako je skup ograničen.

10

Teorema 7 Svaki neprazan, konveksan, kompaktan skup C ⊆ Rn ima vrh.Dokaz. Prema Vajerštrasovoj teoremi, u C postoji tačka maksimuma neprekidnefunkcije x 7→ ‖x‖. Pokazaćemo da je ona jedan vrh. Neka je x0 ta tačka i još

x0 =x1 + x2

2, za neke x1, x2 ∈ C.

Pomoću jednakosti paralelograma (...) dobijamo

‖x1 − x2‖2 + ‖2x0‖2 = 2(‖x1‖2 + ‖x2‖2) 6 4‖x0‖2,odakle je ‖x1 − x2‖ 6 0, i x1 = x2, pa je x0 vrh skupa C. ¤Pokažimo da linearna funkcija l : Rn → R, l(x) = 〈c, x〉 dostiže minimum imaksimum na kompaktnom, konveksnom skupu C u njegovom vrhu.Prije svega, postoji x∗ ∈ C takva da je

minx∈C

l(x) = l(x∗).

Jasno, skup C∗ = {x ∈ C : l(x) = l(x∗} je konveksan i kompaktan, pa ima vrhx0. Pokažimo da je on vrh i skupa C. Ako nije, postoje različite tačke x1, x2 izC, od kojih bar jedna nije u C∗, takve da je 2x0 = x1 + x2. Pošto {x1, x2} * C∗mora biti l(x1)+ l(x2) > 2l(x0), a zbog linearnosti funkcije l to je nemoguće. ¤Ova primjedba ima poseban značaj u linearnom programiranju. Mi ćemo jeiskoristiti za dalju analizu konveksnog omotača. Naime, u izgradnji konveksnogomotača kompaktnog, konveksnog skupa ne sudjeluju, u suštini, sve njegovetačke, nego samo vrhovi. U narednoj teoremi ext C označava skup svih vrhovaskupa C.Teorema 8 (Minkovski, 1911) Neka je C ⊂ Rn neprazan, konveksan, kom-paktan skup. Tada

C = co (ext C).

Teoreme alternative

Pomoću teorema razdvajanja dokazaćemo neke od važnih teorema alternative.Alternativni sistemi linearnih (ne)jednačina su oni kod kojih samo jedan imarješenje. Na primjer, alternativni sistemi su :

Ax = b, x > 0 (5)

iA>y > 0, b>y < 0. (6)

Ovdje je A m×n matrica, b ∈ Rm dok vektori 0, x i y u skladu s tim. nepoznativektori su u skladu s tim. Kao i ranije skup rješenja sistema (5) označimosa S+(A, b), tvrd̄enje u kojem tačno jedan od navedenih sistema ima rješenjemožemo dati na sljedeći način.

11

Teorema 9 (Farkaš, 1902)

S+(A, b) 6= ∅

ako i samo akoy>A > 0 ⇒ y>b > 0. (7)

Dokaz. Neka je S+(A, b) 6= ∅. Tada iz y>A > 0, množenjem sa x0 ∈ S+(A, b)dobijamo y>Ax0 > 0, odnosno y>b > 0.Za dokaz implikacije:

(7) =⇒ S+(A, b) 6= ∅poslužimo se kontrapozicijom. Dakle, neka je S+(A, b) = ∅. To znači da sudisjunktni skupovi

C1 = {Ax : x ∈ Rn+}, C2 = {b}

Oni su konveksni, a C1 i zatvoren, pa ih strogo razdvaja neka hiperravanH(y, α).Dakle, za sve x > 0 vrijedi

y>b < α < y>Ax. (8)

Specijalno, za x = 0 dobijamo y>b < 0, štavǐse α < 0. Pokažimo da je y>A > 0.Uzmimo, suprotno, da je (y>A)i = β < 0, za neki i ∈ {1, ..., m}. Vektorx = (1 + αβ )e

i nema negativne koordinate i y>(Ax) = (y>A)x = β(1 + αβ ) < α.Posljednje protivrječi (8), pa je y>A > 0 i y>b < 0, a to je negacija formule (7).¤

Pomoću Farkaševe dokazaćemo još neke teoreme alternative.

Teorema 10 (Aleksandrov, Fan) Sistemi

Ax > b, (9)

A>y = 0, b>y > 0, y > 0 (10)su alternativni.

Dokaz. Sistem (10) je ekvivalentan sa sistemom

A>y = 0, b>y = 1, y > 0, (11)

odnosno sa (A>

b>

)y =

(01

), y > 0.

Njemu je, prema Farkašovoj teoremi, alternativan sistem

(A, b)(

zζ

)6 0, (z>, ζ)

(01

)> 0,

12

tj.Az + ζb 6 0, ζ > 0,

što je, uz x = − zζ , ekvivalentno saAx > b. ¤

Teorema 11 (Mockin 1936) Sistem

Ax < 0, Bx 6 0 (12)

nema rješenje ako i samo ako sistem

A>u + B>v = 0, u > 0, v > 0. u 6= 0 (13)ima rješenje.

Dokaz. Neka prvi sistem nema rješenje po x. Ekvivalentno, sistem

Ax + ξe 6 0Bx 6 0ξ > 0 .

nema rješenje po(

xξ

). Ovo je ekvivalentno sa implikacijom

(A eB 0

)(xξ

)6 0 =⇒ (0, 1)

(xξ

)6 0,

odnosno

(x, ξ)( −A> −B>−e> 0>

)> 0 =⇒ (x, ξ)

(0−1

)> 0.

Sad prema Farkašovoj teoremi zaključujemo da je nepostojanje rješenja sistema(9) ekvivalentno sa postojanjem vektora (u, v) > 0 takvog da je

−A>u−B>v = 0, −e>u + 0>v = −1,što je (10). ¤

Uzimajući u Mockinovoj teoremi da je B = O direktno slijedi sljedeći rezul-tat.

Teorema 12 (Gordan 1873, Štimke, 1915) Samo jedan od sistema

Ax < 0, (14)

A>y = 0, y > 0, y 6= 0 (15)ima rješenje.

13

Od ostalih navedimo da su alternativni sljedeći sistemi:a) [Gejl]

Ax > b, x > 0 i A>y 6 0, b>y > 0, y > 0.b) [Fredholm]

Ax = b i A>y = 0, b>y > 0.

14

KONVEKSNE FUNKCIJE

1. Definicija, primjeri, osnovna svojstvaNeka je f realna funkcija definisana na skupu D(f) ⊆ Rn, i C ⊆ D(f) neprazan,konveksan skup.

Definicija 4 Funkcija f je konveksna na C ako za sve x1, x2 ∈ C i svaki λ ∈ [0, 1]vrijedi

f((1− λ)x1 + λx2 ) 6 (1− λ)f(x1) + λf(x2). (16)

Ako je u nejednakosti (16) znak < umjesto 6, za sve x1 6= x2 i svaki λ ∈]0, 1[,kažemo da je f strogo konveksna funkcija. Funkcija f je konkavna ako je -fkonveksna, tj. ako umjesto (16) vrijedi

f((1− λ)x1 + λx2 ) > (1− λ)f(x1) + λf(x2).

Primjer 11 Afina funkcija a(x) = 〈a, x〉+α je konveksna na C = Rn. Ona je ikonkavna na tom skupu. Afine funkcije su jedine koje su konveksne i konkavne.

Primjer 12 f(x) = ‖x‖ je konveksna na Rn, što direktno slijedi iz svojstavanorme. Med̄utim, ako je int C 6= ∅, x1 ∈ int C, x2 = (1+t)x1 (t malo, dovoljnoda bude x2 ∈ C) i λ = 12 , onda (16) postaje jednakost. Dakle, norma nije strogokonveksna na C sa nepraznom unutrašnošću.

Primjer 13 Pošto vrijedi

‖(1− λ)x1 + λx2‖2 = (1− λ)‖x1‖2 + λ‖x2‖2 − (1− λ)λ‖x1 − x2‖2

vidimo da je f(x) = ‖x‖2 strogo konveksna na Rn.

Primjer 14 Kvadratna forma q(x) = 〈Cx, x〉 + 〈c, x〉 je konveksna na svakomC ⊆ Rn, ako i samo ako je simetrična matrica C pozitivno semidefinitna. Ovoslijedi iz

(1− λ)q(x1) + λq(x2)− q((1− λ)x1 + λx2) = λ(1− λ)〈C(x1 − x2), x1 − x2〉.

Kvadratna forma je strogo konveksna ako i samo ako je C pozitivno definitna.

Sljedeće teoreme se jednostavno dokazuju.

Teorema 13 Neka su f1, ..., fm konveksne na C ⊆ Rn, i α1, ..., αm nenegativnirealni brojevi. Tada je f = α1f1 + · · ·+ αmfm konveksna funkcija na C.

Teorema 14 Funkcija f je konveksna na C ako i samo ako za svaki m ∈ N,sve x1, ..., xm ∈ C, λ1 > 0, ..., λm > 0, takve da je λ1 + · · ·+ λm = 1 vrijedi

f(λ1x1 + · · ·+ λmxm) 6 λ1f(x1) + · · ·+ λmf(xm).

15

Ovo je Jensenova nejednakost za konveksne funkcije, a može se dokazati indukci-jom, slično dokazu formule (4). Važni skupovi koji su pridruženi svakoj funkcijif : D(f) −→ R,S ⊆ D(f) ⊆ Rn su nadgraf (epigraf), podgraf (hipograf) inivoski (Lebegov) skup :

epi f ={(

xα

)∈ D(f)× R : α > f(x)

}

hypo f = −epi (−f),lev (f, α) = {x ∈ D(f) : f(x) 6 α} .

Teorema 15 Neka je C ⊆ Rn konveksan skup. Funkcija f je konveksna na Cako i samo ako je epi f konveksan skup.

Jasno, f je konkavna ako i samo ako je hypo f konveksan skup. Svaki nivoskiskup (uključujući ∅) konveksne funkcije je konveksan. Na osnovu nejednakosti(16) dokaz je trivijalan.

Primjer 15 Neka su f, g konveksne funkcije na C ⊆ Rn. Tada je konveksnafunkcije f ∨ g definisana sa:

f ∨ g(x) = max {f(x), g(x)}.Ovdje je dovoljno pokazati da je epi f ∨ g = epi f ∩ epi g, pa uz prethodnuteoremu iskoristiti i činjenicu da je presjek konveksnih skupova konveksan. Ovovrijedi i za proizvoljno konveksnih funkcija, tj.

sup fi

je konveksna.

Primjer 16 Neka je a afina funkcija, i Af skup svih afinih minoranti konveksnefunkcije f : Af = {a : a(x) 6 f(x) ∀x ∈ C}. Stavimo

f(x) = supa∈Af

a(x),

i pokažimo da je tako definisana funkcija f : C → R.Uzmimo prvo da je int C 6= ∅ i da mu pripada x0. Skup C1 =

{(x

xn+1

): x ∈ intC, xn+1 > f(x)

}

je konveksan, otvoren (f je neprekidna na int C) i ne pripada mu(

x0

f(x0)

).

Prema teoremi separacije (Posljedica1) postoje(

aα

)6= 0 i β, takvi da za sve

x ∈ int C vrijedi〈a, x0

〉+ αf(x0) 6 β < 〈a, x〉+ αxn+1.

16

Za x = x0 i xn+1 = f(x0) + 1 dobijamo α > 0, a za xn+1 = f(x) + ε (ε → 0+)

a(x) =〈− a

α, x

〉+

β

α6 f(x) ∀x ∈ int C.

Jasno,a(x0) = f(x0).

Neka je, sada x ∈ bd C. Pošto je [x0, x[⊆ int C, prema prethodnom imamoa(x

0+x2 ) 6 f(

x0+x2 ) 6

f(x0)+f(x)2 , 2a(

x0+x2 )− a(x0) 6 f(x), a(x) 6 f(x).

Dakle, za sve x ∈ C vrijedi a(x) 6 f(x), odakle slijedi da je f definisana na C.Prema prethodnom primjeru ona je konveksna funkcija. Uvijek vrijedi f 6 f, akažemo da je f zatvorena ako je f = f.

Navedimo da se u nekonveksnom slučaju može desiti da je Af = ∅. Tadastavljamo f ≡ −∞. Za ovakvu situaciju kao primjer možemo razmotriti funkcijux 7→ x3, x ∈ R.

Jedan nelinearan sistem nejednačina

Da bismo jednostavnije formulisali tvrd̄enje o sistemima nejednačina sa kon-veksnim funkcijama, koje je tipa teorema alternative definisaćemo pojam kon-veksnih vektorskih funkcija. Za funkciju g : Rn → Rm, g = (g1, ..., gm) kažemoda je konveksna vektorska funkcija, ako su sve komponentne funkcije gi konvek-sne. U tom slučaju prirodno, nivoski skup {x ∈ Rn : g(x) 6 a}, a = (a1, ..., am)je presjek nivoskih skupova lev(gi, ai).Slijedeću, važnu teoremu dokazali su Fan, Gliksberg i Hofman (1957).

Teorema 16 Neka je g = (g1, ..., gm) konveksnea vektorska funkcija na kon-

veksnom skupu C ⊆m⋂

i=1

D(gi). Tada vrijedi

{x ∈ C : g(x) < 0} = ∅⇐⇒ (∃u 0)(∀x ∈ C) 〈u, g(x)〉 > 0.

Dokaz. Skup C1 = {y ∈ Rm : g(x) < y, za neki x ∈ C} je konveksan i neprazan.Ako je skup {x ∈ C : g(x) < 0} prazan, onda 0 ne pripada skupu C1. PremaTeoremi separacije 5. postoji u ∈ Rm\{0}, takav da vrijedi

〈u, y〉 > 0.

Kako za svaki fiksiran x ∈ C, i svaki realan broj ε > 0 imamo g(x) + εe ∈ C1,to je 〈u, g(x) + εe〉 > 0. Sada, pri ε → 0, dobijamo nejednakost 〈u, g(x)〉 > 0,za svaki x ∈ C. Pokažimo još da je u > 0. Ako bismo imali da je neki uj < 0,uzimajući

yk = g(x) + εe + kej , k ∈ Ndobili bismo

limk〈u, yk 〉 = −∞.

17

Obratno tvrdjenje imamo kontrapozicijom na osnovu

g(x0) < 0, u 0 ⇒ 〈u, g(x0)〉 < 0. ¤

Neprekidnost i zatvorenostKonveksne funkcije imaju važno svojstvo da su neprekidne na otvorenom skupu.Preciznije, vrijedi

Teorema 17 Neka je C ⊆ Rn konveksan skup sa nepraznim interiorom i nekaje f : C → R konveksna funkcija. Tada je f neprekidna na int C.Dokaz. Neka je g(x) = f(x + x0) − f(x0), x0 ∈ int C. Tada je g konveksna ig(0) = 0. Treba dokazati da je g neprekidna u 0. Prije svega postoji t > 0 takavda je zatvorena kugla

tB1 ⊆ C − {x0},i g je ograničena na toj kugli. Ograničenost slijedi iz teoreme Minkovskog iJensenove nejednakosti (vidjeti i.... ). Neka je sada ε ∈]0, 1[. Za sve x ∈ εtB1vrijedi

g(x) = g(

(1− ε)0 + ε(

1εx

))6 (1− ε)g(0) + εg

(1εx

)6 εM.

Isto tako, iz zapisa

0 =1

1 + εx +

ε

1 + ε

(−1

εx

),

dobijamo g(x) > −εM. Dakle, za svaki ε > 0 postoji δ > 0 takav da za svex ∈ δB1 vrijedi

|g(x)− g(0)| 6 εM. ¤Situacija se mijenja ako se neprekidnost posmatra na čitavom C, koji nije

otvoren skup.

Primjer 17 f data sa f(x) ={

1, x = 00, x > 0 je konveksna, ali u 0 nije neprekidna,

čak ni poluneprekidna odozdo. Uočimo da je njen nivoski skup lev( 12 ) =]0,+∞[otvoren.

Postoje odozdo poluneprekidne konveksne funkcije koje nisu neprekidne.

Primjer 18 f(x1, x2) =

x1 +x22x1

, x1 > 0

0, (x1, x2) = (0, 0)je konveksna, zatvorena,

ali nije neprekidna. Ovdje se nejednakost (16) pri x1 = (ξ1, η1) x2 = (ξ2, η2)svodi na 0 6 (ξ1η2− ξ2η1)2. Nivoski skupovi su zatvoreni: ∅, {0} i B((α2 , 0), α2 ).Funkcija nije neprekidna u 0, zbog f( 1n2 ,

1n ) 9 f(0, 0).

18

Inače pojam poluneprekidnosti je posebno važan, pa ćemo mu posvetiti vǐsepažnje. Uopšte vrijedi

Teorema 18 Funkcija f je poluneprekidna odozdo na skupu S ⊆ Rn ako i samoako je svaki njen nivoski skup zatvoren u S, ili ako i samo ako je epif zatvorenskup u S × R.Ako je skup S zatvoren, onda za poluneprekidnost odozdo je potrebna i dovoljnazatvorenost nadgrafa u Rn+1, odnosno zatvorenost svakog nivoskog skupa uRn....

Mi ćemo pokazati da se za konveksne funkcije pojmovi zatvorenosti i pol-uneprekidnosti odozdo ne razlikuju. Prije toga istaknimo sljedeće.

Primjedba 1 U Primjeru 17. smo vidjeli da za konveksnu funkciju f i tačkux0 ∈ int C postoji afina minoranta takva da je

a(x0) = f(x0), a(x) 6 f(x) ∀x ∈ C. (17)

To znači da hiperravan H((

aα

), β

), β = αf(x0) + 〈a, x0〉, sadrži tačku

(x0

f(x0)

), a nalazi se ispod nadgrafika epi f . Stoga se naziva potporna hiper-

ravan (hiperravan oslonca).Jasno, za ξ < f(x0) imamo afinu minorantu takvu da je njena vrijednost u x0

upravo ξ. To jex 7→ a(x) + ξ − f(x0).

I u slučaju da je x0 rubna tačka domena postoji hiperravan H kojoj pripada(x0

f(x0)

), a epi f je u H−, ili H+ . Med̄utim ne mora da vrijedi nejednakost

iz (17) pošto H može biti okomita na Rn (Primjer 19, x0 = 0, H = H(e1, 0)).Ovdje možemo uočiti da ako je epi f zatvoren i konveksan, a x0 je rubna tačka

zatvorenog C, onda nakon strogog razdvajanja skupova epi f i{(

x0

ξ

)},

ξ < f(x0), dobijamo afinu funkciju a a(x) = 〈− aα , x − x0〉 + ξ, za koju vrijedia(x) 6 f(x), za sve x ∈ C, i a(x0) = ξ.Teorema 19 Funkcija f je konveksna i poluneprekidna odozdo na zatvorenomkonveksnom skupu C ako i samo ako je zatvorena .

Dokaz. Neka je f = f. Prema primjerma 11 i 15 f je konveksna. Pokažimoda je i poluneprekidna odozdo. Za to je dovoljna zatvorenost nivoskih skupova(teorema 20). Neka je xk ∈ lev (f, α) i xk → x0. Skup C je zatvoren tako daje x0 ∈ C. Dalje, imamo redom za sve prirodne brojeve k f(xk) = f(xk) 6 α,sup

a∈Afa(xk) 6 α, a(xk) 6 α. Slijedi a(x0) 6 α, i x0 ∈ lev (f, α). Dokažimo

obratnu implikaciju. Uvijek je f > f Neka je f poluneprekidna odozdo i kon-veksna i neka je f(x0) > f(x0), za neki x0 ∈ C. Tada je f(x0) > ξ = f(x0)+f(x0)2 .

19

Postoji afina minoranta a funkcije f takva da je a(x0) = f(x0)+f(x0)

2 . Med̄utim,zbog f(x0) > a(x0) mora da je f(x0) > f(x0), što je suprotno pretpostavci.Slijedi f = f. ¤

Diferencijabilnost

Kao prvo ustanovimo da konveksna funkcija f u unutrašnjoj tački x0 dom-ena, u svakom pravcu v, ima (jednostrani) izvod :

f ′(x0; v) = limx→0+

f(x0 + tv

)− f(x0)t

Naime, postoji ε > 0 takav da je x0+tv ∈ C za sve |t| 6 ε. Funkcija g :]0, ε] → R,

g(t) =f(x0 + tv)− f(x0)

t

je neopadajuća, jer za 0 < t1 < t2 6 ε nejednakost g(t1) 6 g(t2) glasi

f(x0 + t1v) 6(

1− t1t2

)f(x0) +

t1t2

f(x0 + t2v

),

a ova vrijedi zbog konveksnosti funkcije f . Slijedi da postoji limx→0+

g(t), koji je

konačan, budući da je g(t0) 6 g(t) za sve t ∈]0, ε[ i fiksiran t0 ∈]− ε, 0[. Dakle,

f ′(x0; v) = limx→0+

g(t) = inf0 0 (20)vrijede, za sve x1, x2 ∈ C, ako i samo ako je f je konveksna na C.

20

Teorema 21 Neka je f neprekidna na C i dva puta neprekidno diferencijabilnana int C 6= ∅. Tada, f je konveksna na C ako i samo ako za sve x ∈ int C, v ∈ Rn

〈∇2f(x)v, v〉 > 0. (21)

Subdiferencijali

Imamo, prema nejednakosti (19), da za diferencijabilnu konveksnu funkciju, zafiksiran x0 ∈ C i sve x ∈ C vrijedi

f(x)− f(x0) > 〈∇f(x0), x− x0〉 .

Ovo daje mogućnost uopštavanja pojma gradijenta.

Definicija 5 Subgradijent funkcije f : S → R, S ⊆ Rn u tački x0 ∈ S je vektory0 ∈ Rn takav da za sve x ∈ S vrijedi

f(x)− f(x0) > 〈y0, x− x0〉. (22)

Skup svih subgradijenata funkcije f u x0 naziva se subdiferencijal i označava sa∂f(x0). Dakle, ∂f(x0) =

{y0 : f(x)− f(x0) > 〈y0, x− x0〉 ∀x ∈ S} .

Primjedba 2 Geometrijski, hiperravan u Rn+1 data sa

xn+1 = 〈y0, x− x0〉+ f(x0)

jehiperrvan oslonca za epi f u tački (x0, f(x0)). Kako je njen vektor normale

a =(

y0

−1)

ta hiperravan nije ortogonalna na Rn. Jasno je i obratno, ako

je hiperravan H(a, f(x0) − 〈y0, x0〉) potporna za epi f u (x0, f(x0)) i never-tikalna, onda je y0 subgradijent funkcije f u x0. Tada je an+1 6= 0 i y0 =

− 1an+1

a1...

an

∈ ∂f(x0).

slika

Na datoj slici je grafik konveksne funkcije date sa

f(x) ={

1−√1− x2, −1 6 x 6 0x

1−x , 0 6 x < 1

Uslov ∂f(x) 6= ∅ je važan pa ćemo ga posebno istaknuti.Definicija 6 Funkcija f je subdiferencijabilna u x0 ∈ D(f) ako je ∂f(x0) 6= ∅.Izložićemo osnovna svojstva subdiferencijala, kao i neke formule subdiferenci-jalnog računa.

21

Teorema 22 Subdiferencijal je zatvoren i konveksan skup.

Dokaz. Neka je ∂f(x0) 6= ∅. Prvi dio tvrdnje slijedi iz neprekidnosti skalarnogproizvoda u nejednakosti iz definicije. Dalje, uzmimo y0, y1 ∈ ∂f(x0) i λ ∈ [0, 1].Kako za sve x ∈ D(f), i za i = 0, 1 imamo

f(x)− f(x0) > 〈yi, x− x0〉 ,to nakon množenja sa 1− λ (za i = 0), a sa λ (za i = 1), te sabiranja dobijamo

f(x)− f(x0) > 〈(1− λ)y0 + λy1, x− x0〉 .Dakle, (1− λ)y0 + λy1 ∈ ∂f(x0). ¤

Vidjeli smo da ni konveksna funkcija ne mora biti subdiferencijabilna u svimtačkama (npr. iz bd C). Za ostale tačke situacija je drukčija.Teorema 23 Neka je f konveksna funkcija i x0 ∈ int C. Tada je ∂f(x0) 6= ∅.Dokaz. Za x0 ∈ int C prema primjedbi 1 (), za sve x ∈ C vrijedi

a(x)− a(x0) 6 f(x)− f(x0),tj. 〈

− aα

, x− x0〉

6 f(x)− f(x0),što znači da je

− aα∈ ∂f(x0). ¤

Ustanovimo vezu izmed̄u subdiferencijala i jednostranih izvoda. Tim ćemodobiti još jedan uslov da je subdiferencijal neprazan.

Teorema 24 Neka je f konveksna na C ⊆ Rn, x0 ∈ C. Tada jey0 ∈ ∂f(x0)

ako i samo ako za svaki dopustivi pravac v vrijedi〈y0, v

〉6 f ′(x0; v). (23)

Dokaz. Neka je y0 subgradijent i v dopustiv pravac. Tada, za sve t ∈]0, t0[ jex0 + tv ∈ C i f (x0 + tv) − f (x0) > 〈y0, tv〉 , odakle je f ′ (x0; v) > 〈y0, v〉 .Obratno, iz (18) i (23) direktno slijedi (22). ¤Primjedba 3 Iz (23) slijedi supy∈∂(x0)〈y, v〉 6 f ′(x0; v). Ako je x0 ∈ int C,onda je funkcija v 7→ f ′(x0; v) konveksna na Rn. Zbog neprekidnosti ona jeograničena na jediničnoj kugli. Sada imamo, da za sve y ∈ ∂(x0), y 6= 0 vri-jedi 〈y, y‖y‖ 〉 6 f ′(x0; y‖y‖ ) 6 M, tj. ‖y‖ 6 M. Znači, ∂(x0) je ograničen skup,pa iz Teoreme 24, slijedi njegova kompaktnost. Prethodna nejednakost postajemax

y∈∂(x0)〈y, v〉 6 f ′(x0; v). Za x0 ∈ int C i sve v ∈ Rn vrijedi i vǐse (Zadatak...)

maxy∈∂(x0)

〈y, v〉 = f ′(x0; v). (24)

22

Teorema 25 Konveksna funkcija f je diferencijabilna u x0 ∈ int C ako i samoako je ∂f(x0) jednočlan skup.

Za računanje subdiferencijala važno je naredno tvrd̄enje.

Teorema 26 (Moro - Rokafelar) Neka su f1, f2 konveksne funkcije na skupuC sa nepraznim interiorom. Tada za sve x0 ∈ C vrijedi

∂(f1 + f2)(x0) = ∂f1(x0) + ∂f2(x0). (25)

Konjugovane funkcije

Problem minimizacije funkcije f na skupu S ⊆ Rn je ekvivalentan sa proble-mom −max (−f(x)), x ∈ S. U vezi s njima korisno je razmotriti skup problema

−max {〈y, x〉 − f(x) : x ∈ S},

za sve y ∈ Rn. Vidimo da se ovdje javlja nova funkcija

y 7→ maxx∈C

(〈y, x〉 − f(x))

vezana za f . Označava se sa f c i naziva konjugovana funkcija funkcije f .

Definicija 7 Konjugovana funkcija funkcije f : Df → R,Df ⊆ Rn je funkcijaf c : Dfc → R,

f c(y) = supx∈Df

(〈y, x〉 − f(x)), (26)

gdje je D(f c) skup tačaka za koje je supremum konačan.

Primjedba 4 Situcija u kojoj je D(fc) = ∅ nije isključena, što pokazuje prim-jer funkcije f(x) = x3, Df = R. Ovdje je sup

x∈R(yx− x3) = +∞, za sve y ∈ R.

Ako je domen konjugovane funkcije neprazan možemo odmah ustanoviti nekanjena bitna svojstva.

Teorema 27 Neka je f proizvoljna funkcija za koju je Dfc 6= ∅. Tada je Dfckonveksan skup, a f c zatvorena konveksna funkcija .

Dokaz. Za y1, y2 ∈ Dfc , λ ∈ [0, 1] vrijedisup

x∈Df

(〈(1− λ)y1 + λy2, x〉− f(x)) 6

(1− λ) supx∈Df

(〈y1, x

〉− f(x)) + λ supx∈Df

(〈y2, x

〉− f(x)) < +∞,

te je (1− λ)y1 + λy2 ∈ Dfc , i f c((1− λ)y1 + λy2) 6 (1− λ)fc (y1) + λfc (y2) .

Uostalom, nadgraf epi f c je zatvoren i konveksan skup. ¤

23

Iz definicije direktno slijedi da za sve x ∈ Df i sve y ∈ Dfc vrijedi

f(x) + f c(y) > 〈x, y〉. (27)

Ova nejednakost se zove Fenhelova ili Jang-Fenhelova. Prirodno je definisatikonjugovanu funkciju funkcije f c, i ustanoviti njenu vezu sa f . Umjesto (f c)c

pǐsemo fcc, i to je bikonjugovana funkcija funkcije f . Dakle

f cc(x) = supy∈Dfc

(〈x, y〉 − f c(y)). (28)

Koristeći Fenhelovu nejednakost f(x) > 〈y, x〉−f c(y), na osnovu (28) dobijamoda za sve x ∈ D(f) vrijedi

f(x) > f cc(x). (29)

slike f...

Neka je D(f c) 6= ∅. Kao i gore f ima afinu minorantu, i vrijedi Af ⊆ D(f c),pošto za a ∈ Af tj. iz 〈a, x〉 − α 6 f(x) ∀x ∈ D(f) slijedi 〈a, x〉 − f(x) 6 α paje a ∈ D(f c). Dalje je f c(a) 6 α, odakle je 〈a, x〉 − α 6 〈a, x〉 − f c(a),

supa∈Af

(〈a, x〉 − α) 6 supa∈D(f)

(〈a, x〉 − f c(a)),

f(x) 6 f cc(x). (30)Odgovor na pitanje kada su funkcija i njena bikonjugovana funkcija jednakedirektno izlazi iz nejednakosti (29) i (30)

Teorema 28 (Fenhel-Moro) Funkcija f je odozdo poluneprekidna i konvek-sna na zatvorenom C ako i samo ako je

f = f cc. (31)

Dokaz. Iz jednakosti slijedi da je f konveksna, i poluneprekidna odozdo ( fcc jekonveksna i zatvorena ). Obratno, iz konveksnosti i poluneprekidnosti je f = f.Kako još imamo f 6 f cc 6 f, slijedi f = f cc. ¤

Veza izmed̄u subdiferencijala funkcije f i njene konjugovane funkcije data jesljedećim tvrd̄enjima.

Teorema 29 Neka je f proizvoljna funkcija i x0 ∈ Df . Tada vrijedi

y0 ∈ ∂f(x0) ⇐⇒ fc(y0) + f(x0) = 〈y0, x0〉 , (32)

y0 ∈ ∂f(x0) =⇒ x0 ∈ ∂f c (y0) . (33)Ako je f konveksna i zatvorena u x0, onda vrijedi i obratna implikacija.

24

Dokaz. y0 ∈ ∂f(x0) povlači f(x)− f(x0) > 〈y0, x− x0〉, odnosno〈y0, x0

〉− f(x0) > 〈y0, x〉− f(x),

za sve x ∈ Df , što znači da je y0 ∈ D(f c) i〈y0, x0

〉− f(x0) > f c(y0).Pomoću Fenhelove nejednakosti dobijamo

〈y0, x0

〉= f(x0) + f c

(y0

).

Na drugu stranu, iz ove jednakosti imamo

〈y0, x0〉 − f(x0) = f c(y0) > 〈y0, x〉 − f(x),

tj. za sve x ∈ Df vrijedi 〈y0, x− x0〉 6 f(x)− f(x0), te je y0 ∈ ∂f(x0).U dokazu druge formule pod̄imo od y0 ∈ ∂f(x0). Prema već dokazanom je

f c(y0)− 〈x0, y0 − y〉 = 〈y, x0〉 − f(x0) 6 fc(y).

Znači, za sve y ∈ Dfc imamo f c(y)− f c(y0) > 〈x0, y − y0〉, tj. x0 ∈ fc(y0).Obratno, iz prve ekvivalencije i Moro-Fenhelove teoreme (tj. f(x0) = f cc(x0))slijedi

x0 ∈ fc(y0) =⇒ fcc(x0) + f c(y0) = 〈x0, y0〉 =⇒f(x0) + fc(y0) = 〈x0, y0〉 =⇒ y0 ∈ ∂f(x0). ¤

Primjer 19 Funkcija f(x) ={

1, x = 00, x ∈]0, 1] , je konveksna, i ∂f(0) = ∅.

Njena konjugovana funkcija je f c(y) ={

0, y 6 0y, y > 0 , dok je ∂f

c(0) = [0, 1].

Uočimo da f nije zatvorena u 0. Ako modifikujemo f tako da je f(x) = 0 zax > 0, onda je isto ∂f(0) = ∅, dok je domen konjugovane ]−∞, 0], f c(y) = 0,a ∂f c(0) = [0, +∞[. ¤

Primjer 20 Za afinu funkciju

f(x) = 〈a, x〉+ β

vrijediDfc = {a}, f∗(a) = −β.

Jedina potporna hiperravan na epif je data navedenom afinom funkcijom, te jejasno Dfc = {a}. Zbog ∇f(x) = a vrijedi f c(a) = 〈a, x〉 − 〈a, x〉 − β = −β.Detaljnije,

supx∈Rn

(〈y, x〉 − 〈a, x〉 − β) = supx∈Rn

〈y − a, x〉 − β

je konačan samo za y = a. Inače, za x = t(y − a) 6= 0 imamo

supx∈Rn

〈y − a, x〉 > supt>0

t‖y − a‖2 = +∞. ¤

25

Primjer 21 Ako je C simetrična PsemiD matrica reda n,

q(x) =12〈Cx, x

〉, x ∈ Rn,

onda je konjugovana funkcija q∗ data sa

q∗(Cx) =12〈Cx, x〉, x ∈ Rn. (34)

U slučaju da je C PD matrica, iz ∇q(x) = Cx = y dobijamo x = C−1y, takoda formula (30) postaje

qc(y) = 〈y, C−1y〉 − 12〈y, C−1y, 〉 = 1

2〈C−1y, y〉, y ∈ Rn.

Pokažimo da je Dq c = {Cx : x ∈ Rn} ako C jeste PsemiD, ali ne i PD matrica.Zaista, iz y ∈ Dqc je

q∗(y) = supx∈Rn

(〈y, x〉 − f(x)) > supα∈R

(〈y, αx0〉 − α

2

2〈Cx0, x0〉

),

za fiksiran x0 6= 0, koji ćemo izabrati tako da bude 〈Cx0, x0〉 = 0. Sada slijediqc(y) > sup

α∈Rα〈y, x0〉, odakle proizilazi jednakost 〈y, x0〉 = 0. Znači da je y or-

togonalan na {x : Cx = 0}, pa se nalazi u {Cx : x ∈ Rn}. Obratno, za y = Cximamo

qc(Cx) = supv∈Rn

(〈Cx, v〉 − 1

2〈Cv, v〉

)=

12〈Cx, x〉 − 1

2inf

v∈Rn〈C(v − x), v − x〉 =

=12〈Cx, x〉.

Specijalno, za C = I dobija se rezultat za euklidsku normu. ¤

Konveksne funkcije sa vrijednostima uRNeka je R = R ∪ {−∞, +∞} prošireni skup realnih brojeva.

Svaka funkcija f : S → R, S ⊆ Rn može se dodefinisati na sljedeći način

f̃(x) ={

f(x), x ∈ S+∞, x ∈ Rn \ S, (35)

tako da vrijediminx∈S

f(x) = minx∈Rn

f̃(x).

Posebno je važno da se konveksnost funkcije f može prenijeti na f̃ . Posma-traćemo sada funkcije f : Rn → R. Kažemo da je takva funkcija konveksna akoje njen nadgrafik konveksan skup, što je ekvivalentno sa

f((1− λ)x1 + λx2) 6 (1− λ)α + λβ,

26

za sve x1, x2 ∈ Rn, α > f(x1), β > f(x2) i sve λ ∈ [0, 1]. Skupdom(f) = {x ∈ Rn : f(x) < +∞}

naziva se efektivni domen funkcije f i on je konveksan ako je f konveksna.Nas će zanimati funkcije koje ne uzimaju vrijednost −∞, a identički nisu +∞,odnosno ako vrijedi

dom(f) 6= ∅, −∞ /∈ f(Rn). (36)Primjedba 5 Ako nije ispunjen ovaj uslov, konveksna funkcija može biti konačnajedino na rubu svog efektivnog domena. Zaista, ako je x ∈ int dom(f), f(x1) =−∞, postoje x2 ∈ dom(f), λ ∈]0, 1[, za koje je x = (1− λ)x1 + λx2, i pri tomevrijedi

f(x) 6 (1− λ)f(x1) + λf(x2) = −∞.Primjer jedne takve funkcije je

f(x) =

−∞, x < 00, x = 0

+∞, x > 0.Definicije iz ranijih razmatranja prenose se i na funkcije f : Rn → R, uzuobičajene operacije sa ±∞. Tako je f poluneprekidna odozdo u x0 ∈ Rnako je

f(x0) 6 limx→x0

f(x).

Ovdje uočimo da iz neprekidnosti funkcije f ne slijedi da je (polu)neprekidna ifunkcija f̃ , data formulom (33) .Na primjer, f(x) = x je neprekidna na ]0, +∞[, ali

f̃(x) ={

x, x > 0+∞, x 6 0

nije ni poluneprekidna u 0.Vektor y0 ∈ Rn je subgradijent funkcije f u x0 ako za sve x ∈ Rn vrijedi

f(x) > f(x0) + 〈y0, x− x0〉.Neposredno slijedi da f(x0) = −∞ povlači ∂f(x0) = Rn, kao i da je f ≡ −∞.U suprotnom imamo važno tvrd̄enje, koje se dokazuje kao teorema 26.

Teorema 30 Ako je konveksna funkcija f konačna u tački x0 onda vrijedi

∂f(x0) = {y0 : f ′(x0; v) > 〈y0, v〉 ∀v}.S druge strane imamo da, ako je f(x0) konačan i ∂f(x0) 6= ∅, onda je f

konveksna i vrijedi (34).Konjugovana funkcija za f : Rn →]−∞, +∞ ]

f c(y) = supx∈Rn

{〈y, x〉 − f(x)}

može uzeti vrijednost +∞. Pri tome, ako je fc ≡ +∞, onda je f cc ≡ −∞.Mi ćemo redovno posmatrati konveksne funkcije uz uslov (34).

27

Primjer 22 Za linearnu funkciju l(x) = 〈a, x〉, a 6= 0, na Rn imamo

lc(y) ={

0, y = a+∞, y 6= a

Primjer 23 Karakteristična (indikatorna) funkcija skupa C

iC(x) ={

0, x ∈ C+∞, x /∈ C

je konveksna, ako je C konveksan skup. Njena konjugovana funkcijai cC(y) = sup

x∈C〈y, x〉

naziva se potporna funkcija skupa C. Označava se sa sC, tj. imamosC(x) = sup

y∈C〈x, y〉.

Dakle, lc(y) = i{a}(y). Uočimo da za funkciju f̃ za sve x ∈ Rn vrijedi

f̃(x) = f(x) + iC(x).

Primjer 24 Ako je C konveksan skup, funkcija f = d(·, C) tj. udaljenost tačkeod skupa C, data sa

f(x) = infv∈C

‖x− v‖,je konveksna funkcija. Da bismo odredili njenu konjugovanu funkciju uočimo daje f = f1 ⊕ f2, gdje je f1(x) = ‖x‖, a f2(x) = iC(x). Sada je, prema teoremi

f c(y) = f c1 (y) + fc2 (y) = δB(y) + δ

cC (y) =

{supx∈C

〈y, x〉, y ∈ B+∞, y ∈ B.

Na kraju dokažimo teoremu koju ćemo koristiti u teoriji dualnosti.

Teorema 31 Konveksna funkcija, konačna u x0 je subdiferencijabilna u x0 akoi samo ako vrijedi

f ′(x0; v) > −∞, ∀v ∈ Rn

Dokaz. Neka je ∂f(x0) = ∅, tada je njegova potporna funkcija

s∂f(x0) = −∞.S druge strane, kako je

v 7→ f ′(x0; v)konveksna, pozitivno homogena, njena konjugovana funkcija je indikatorna zaneki konveksan skup. Iz Fenhelove nejednakosti i teoreme 37 slijedi da je toupravo subdiferencijal u x0. Dakle, zbog imamo (46)

s∂f(x0)(v) = clf ′(x0; v),

28

pa mora postojati vektor v0 takav da je f ′(x0; v0) = −∞. ¤Konveksne funkcije i ekstremi

Konveksne funkcije imaju niz svojstava koja olakšavaju odred̄ivanje ekstrema:

Svaki lokalni minimum je globalni minimum.

Skup tačaka minimuma je konveksan skup, a ako je f strogo konveksna, tajskup je najvǐse jednočlan.

Tačka strogog maksimuma konveksne funkcije nije u skupu int Df .x∗ je tačka globalnog minimuma diferencijabilne konveksne funkcije f na kon-veksnom skupu C ako i samo ako vrijedi

〈∇f(x∗), x− x∗〉 > 0 za sve x ∈ C. (37)Ako f nije diferencijabilna prethodna nejednakost se zamjenjuje sa

0 ∈ ∂f(x∗). (38)Dokažimo prvo tvrd̄enje. Neka je f(x∗) minimum funkcije f na Df ∩ B(x∗, ε)

i neka je x ∈ Df . Postoji broj λ takav da je λx + (1 − λ)x∗ ∈ B(x∗, ε) ( npr.ako je x van te kugle, dovoljno je uzeti neki λ ∈] 0, ε‖x−x∗‖ [.) Sada je, zbogkonveksnosti funkcije f , f(x∗) 6 f((1 − λ)x∗ + λx) 6 (1 − λ)f(x∗) + λf(x),odakle je f(x∗) 6 f(x) za sve x ∈ Df .Ako bi konveksna funkcija imala strogi maksimum u x∗ ∈ int Df , za neke tačkex1, x2 ∈ B(x∗, ε) ⊆ int Df bilo bi

2x∗ = x1 + x2, i f(x∗) = f(

x1 + x2

2

)6 f(x

1) + f(x2)2

< f(x∗).

U vezi sa maksimumom konveksne funkcije navedimo sljedeće. Ako je C ⊂ intDfkompaktan skup, onda postoji x∗ ∈ C, tačka globalnog maksimuma, pošto jef neprekidna. Kompaktan, konveksan C je konveksni omotač svojih vrhova,pa je x∗ =

s∑

i=1

λivi,

s∑

i=1

λi = 1, λi > 0. Dalje je f(x∗) = f(

s∑

i=1

λivi

)6

s∑

i=1

λif(vi) 6s∑

i=1

λi maxi∈{1,...,s}

f(vi) = maxi∈{1,...,s}

f(vi) 6 f(x∗). Dakle, vrijedi

maxi∈{1,...,s}

f(vi) = f(x∗),

tako da postoji vrh skupa C u kojem f dostiže maksimum na C. Posljednjetvrd̄enje slijedi direktno iz nejednakosti (19), odnosno (22). Inače uslov (37)možemo zamijeniti sa

〈∇f(x∗), v〉 > 0 za sve dopustive pravce v u x∗. (39)

29

Zaista, iz x∗, x ∈ C slijedi x∗ + λ(x− x∗) ∈ C, za sve λ ∈]0, 1[, tako da je x− x∗dopustiv pravac, za sve x ∈ C. Obratna implikacija je jasna.

Primjeri konveksnih funkcija

Primjer 25 Kob - Daglasova funkcija

f(x) = α0 xα11 · · · xαnn , x ∈ Rn+, α0 < 0, α1 > 0, ..., αn > 0

je konveksna zan∑

i=1

αi 6 1.

Zaista,

〈∇2f(x)v, v〉 = f(x)

(n∑

i=1

αivixi

)2−

n∑

i=1

αiv2ix2i

,

tako da iz nejednakosti Koši-Bunjakovskog je 〈∇2f(x) v, v 〉 > 0.Ako je

n∑

i=1

αi > 1, f nije konveksna, jer stavljajući 1 = (1, ..., 1) imamo

f

(0 + 1

2

)= α0 2

−n∑

i=1

αi> α0 2−1 =

f(0) + f(1)2

. ¤

Problemu (KP):

inf {f(x) : x ∈ G}, G = {x ∈ C : g(x) 6 0}

dodijeljena je Lagranžova funkcija L : C × Rm+ → R

L(x, u) = f(x) + 〈u, g(x)〉

Primjer 26 Funkcijaa) x 7→ L(x, u) je konveksna, ako je f konveksna, a g konveksna vektorskafunkcija,b) u 7→ ϕ(u) = inf

x∈CL(x, u) je konkavna na Rm+ .

Jasno a) direktno slijedi iz Teoreme 13., dok za b) imamo

ϕ(λ1u1 + λ2u2) = infx

(f(x) +

〈λ1u

1 + λ2u2, g(x)〉)

=

= infx

(λ1f(x) + λ1〈u1, g(x)〉+ λ2f(x) + λ2〈u2, g(x)〉

)>

> λ1 infx

(f(x) + 〈u1, g(x)〉) + λ2 inf

x

(f(x) + 〈u2, g(x)〉) =

= λ1ϕ(u1) + λ2ϕ(u2), za sve λ1, λ2 > 0, λ1 + λ2 = 1.

30

Primjer 27 U optimizaciji je posebno važna marginalna funkcija koja se pridružujeproblemu (P) (funkcija osjetljivosti problema (P)). Označava se sa p, a data jesa

p(v) = infx∈G(v)

f(x) v ∈ Rm,

gdje jeG(v) = {x ∈ D : g(x) 6 v}, G(0) = G.

Ponekad ćemo pisatip(v) = inf

g(x)6vf(x).

Primjetimo da zbog G(0) = G za optimalnu vrijednost π problema (P) imamo

π = p(0).

Vidjećemo da to nije jedini motiv za izučavanje ovih funkcija.Neka je V = {v : G(v) 6= ∅}. Što se tiče domena imamo sljedeće. Ako je Dneprazan, onda je i V neprazan ( za x0 iz D, f(x0) je u V ). Dalje, za v0 ∈ V ix0 takav da je g(x0) 6 v0 imamo p(v0) 6 f(x0) < +∞, pa vrijedi dom(p) = V.Za jednakost

D(p) = V,trebaju i dodarni uslovi: ako je

π > −∞ i L = lev(−ϕ;−π) 6= ∅,

onda je domen marginalne funkcije skup V, sa nepraznim interiorom.Zaista, neka je y0 ∈ L. Vrijedi −ϕ(y0) 6 −π, odakle je π 6 ϕ(y0) 6 f(x) +〈y0, g(x)〉. Za sve v i sve x ∈ G(v) je 〈y0, g(x)〉 6 〈y0, v〉, pa zaključujemo

−∞ < π − 〈y0, v〉 < p(v).

Od svojstava funkcije p navedimo sljedeća:a) Bez obzira kakve su funkcije f i g, funkcija p je opadajuća, tj.

v1 6 v2 =⇒ p(v1) > p(v2).

Iz ovog svojstva slijediy ∈ ∂p(0) =⇒ y 6 0. (40)

b) Ako su f i g konveksne na C, onda je p konveksna na V.c)

∂p(0) = −L. (41)d)

pc(−u) = −ϕ(u), u ∈ Rm+ . (42)

31

Dokaz. a)

v1 6 v2 ⇒ G(v1) ⊆ G(v2) ⇒ p(v1) > p(v2).Dalje, zbog 0 6 ei je p(0) > p(ei) i 0 > p(ei)− p(0) > 〈y, ei − 0〉 = yi, i = 1,m.b) Neka je v1, v2 ∈ V, λ1, λ2 > 0, λ1 + λ2 = 1. Za svaki ε > 0 postoje x1ε ∈G(v1), x2ε ∈ G(v2) takvi da vrijedi

p(v1) 6 f(x1ε) < p(v1) + ε, p(v2) 6 f(x2ε) < p(v2) + ε.

Zbog konveksnosti funkcije g je λ1x1ε + λ2x2ε ∈ G(λ1v1 + λ2v2), tako da imamop(λ1v1 + λ2v2) = inf

x∈G(λ1v1+λ2v2)f(x) 6 f(λ1x1ε + λ2x2ε) 6

6 λ1f(x1ε) + λ2f(x2ε) < λ1p(v1) + λ2p(v2) + 2ε.Pošto je ε > 0 proizvoljan, mora biti

p(λ1v1 + λ2v2) 6 λ1p(v1) + λ2p(v2).

c) Iz −y0 ∈ L slijedip(0) 6 inf

x

(f(x)− 〈y0, g(x)〉) ,

Neka je v ∈ V i x takav da je g(x) 6 v. Zbog −y0 > 0, v − g(x) > 0 je〈−y0, g(x)〉 6 〈−y0, v〉, pa imamo

p(0) + 〈y0, v〉 6 f(x),p(0) + 〈y0, v〉 6 inf

g(x)6vf(x) = p(v),

što znači da je y0 ∈ ∂p(0). Dakle, −L ⊆ ∂p(0).Neka je sada y0 ∈ ∂p(0). Za sve v ∈ V vrijedi p(v) − p(0) > 〈y0, v〉 Uzmimofiksiran x0 ∈ D i stavimo v0 = g(x0). Sada vrijedi

p(0) 6 p(v0) + 〈−y0, v0〉,odakle je, zbog p(v0) = inf

g(x)6g(x0)f(x) 6 f(x0),

p(0) 6 f(x0) + 〈−y0, g(x0)〉,i

p(0) 6 infx0

f(x0) + 〈−y0, g(x0)〉 = ϕ(−y0).

Kako je prema (38) y0 6 0, dobijamo −y0 ∈ L, pa je ∂p(0) ⊆ −L.

d) Stavimo da je f̃(x, v) ={

f(x), x ∈ G(v)+∞, inače , tako da je p(v) = infx∈D f̃(x, v).

pc(−u) = supv∈Rm

(〈−u, v〉 − p(v)) = supv∈Rm

(〈−u, v〉 − infx∈D

f̃(x, v)) =

32

= supx∈D

supv∈Rm

(〈−u, v〉 − f̃(x, v)) = supx∈D

supv:g(x)6v

(〈−u, v〉 − f̃(x, v)) =

= supx∈D

(−〈u, g(x)〉 − f(x)) = − infx∈D

(f(x) + 〈u, g(x)〉) = −ϕ(u). ¤

Primjedba 6 Formula (38) se na isti način dokazuje za ∂p(v), v ∈ int V.To je uopštenje činjenice da izvod opadajuće funkcije jedne promjenljive nijepozitivan. U d) je data veza izmed̄u važnih funkcija p i ϕ, iz koje se takod̄e vidida je ϕ konkavna.

USLOVI OPTIMALNOSTI

Prvo ćemo se baviti potrebnim uslovima za postojanje tačke minimumafunkcije f na skupu G ⊆ Rn.Za konveksne funkcije smo imali da je nejednakost

〈∇f(x∗), v〉 > 0 za svaki dopustivi pravac v ∈ V(x∗,G)potreban i dovoljan uslov za postojanje tačka minimuma x∗. Ovo znači daako je x∗ tačka minimuma, onda ne postoji dopustivi pravac v takav da vrijedi〈∇f(x∗), v〉 < 0. Bez konveksnosti uslov je potreban, stim da je tada minimumlokalni. Zaista, ako za neki v vrijedi

〈∇f(x∗), v〉 = limt→0

f(x∗ + tv)− f(x∗)t

< 0,

onda imamo da je f(x∗ + tv) < f(x∗), za sve vrijednosti t ∈]0, t0[, odnosno, x∗nije tačka lokalnog minimuma funkcije f na G.

Za ... bitno je to da u dopustive pravce tačke x∗ ∈ G ∩ int D u odnosu naskup

G = {x ∈ D : gi(x) 6 0, i ∈ J },spadaju vektori v za koje

〈∇gi(x∗), v〉 < 0 za svaki i ∈ J (x∗) = {i ∈ J : gi(x∗) = 0}.Zaista, iz

〈∇gi(x∗), v〉 = limt→0

gi(x∗ + tv)− gi(x∗)t

,

za i ∈ J (x∗) izlazilim

t→0+gi(x∗ + tv)

t< 0,

pa postoji ti > 0 takav da je za sve t ∈]0, ti[gi(x∗ + tv) < 0.

Zbog neprekidnosti funkcija isto vrijedi i za i ∈ J \ J (x∗). Dakle, za svet ∈]0, t0[, t0 = min

i∈Jti i sve i ∈ J je gi(x∗ + tv) 6 0.

33

Sada je jasno da, ako je x∗ tačka lokalnog minimuma funkcije f na skupu G,pri čemu je D otvoren, onda sistem nejednačina

〈∇f(x∗), v〉 < 0, (43)〈∇gi(x∗), v〉 < 0, i ∈ J (x∗) (44)

nema rješenje na G.Sada možemo dokazati dvije osnovne teoreme optimalnosti. Označimo sa G(x)Jakobijevu matricu u x diferencijabilne funkcije g : Rn → Rm.Teorema 32 (F. Džon, 1948) Neka su f, g diferencijabilne i neka je x∗ tačkalokalnog minimuma funkcije f na skupu G. Tada postoje y∗ ∈ Rm, y∗0 ∈ R takvida vrijedi:

(y∗0 , y∗) > 0, (y∗0 , y∗) 6= 0, (45)

y∗0∇f(x) + G>(x∗)y∗ = 0, (46)〈y∗, g(x∗)〉 = 0. (47)

Dokaz. Ako je J (x∗) = ∅, onda je x∗ ∈ intG, tako da je ∇f(x∗) = 0, i dovoljnoje uzeti y∗0 = 1, y

∗ = 0. U suprotnom, neka je A matrica čije vrste su vektori∇f(x∗), ∇gi(x∗), pri i ∈ J (x∗). Ako je x∗ tačka lokalnog minimuma funkcijef na skupu G, onda sistem nejednačina (44)

〈∇f(x∗), v〉 < 0,〈∇gi(x∗), v〉 < 0, i ∈ J (x∗) (48)

odnosno sistemAv < 0

nema rješenja. Sada, prema Gordan-Štimkeovoj teoremi, postoji vektor

(y∗0 , z∗) > 0, (y∗0 , z∗) 6= 0

takav da je

A

(y∗0z∗

)= 0.

Formirajmo novi vektor y∗ stavljajući da je y∗i = z∗i za i ∈ J (x∗), a y∗i = 0 za

i ∈ J \ J (x∗). Sada prethodna jednakost postaje(∇f(x∗), G>(x∗)) ·

(y∗0y∗

)= 0,

odnosnoy∗0∇f(x) + G>(x∗)y∗ = 0.

Uslov (48) je ispunjen pošto je y∗i = 0 ili gi(x∗) = 0. ¤

Med̄utim, F. Džonova teorma nema veliku praktičnu vrijednost. Preciznije, usituaciji da sistem

G>(x∗)y = 0, y > 0

34

ima netrivijalno rješenje, možemo uzeti da je y∗0 = 0, pa funkcija f ne sud-jeluje u ovim uslovima za postojanje svog ekstrema. Prema tome, potrebno jeobezbjediti dodatni uslov da bude ispunjeno

y∗0 > 0.

Takvi uslovi nazivaju se uslovi regularnosti. a jedan takav je Mangasarijan-Fromovicev uslov: Sistem (36) ima rješenje, tj.

∃ v ∈ Rn : 〈∇gi(x∗), v〉 < 0, ∀i ∈ J (x∗). (49)Teorema 33 (Karuš 1939, Kun, Taker 1951) Neka su funkcije f : Rn →R, g = (g1, ..., gm) : Rn → Rm diferencijabilne u tački x∗ lokalnog minimumafuncije f na skupu G, i neka je ispunjen Mangasarjan- Fromovicev uslov. Tadapostoji tačka y∗ ∈ Rn+ takva da vrijedi

∇f(x∗) +m∑

i=1

y∗i∇gi(x∗) = 0, (50)

m∑

i=1

y∗i gi(x∗) = 0. (51)

Dokaz. Ispunjeni su uslovi Džonove teoreme, a uslov (37) se svodi na

y∗0∇f(x∗) +∑

i∈J (x∗)y∗i∇gi(x∗) = 0. (52)

Neka je v vektor iz (37). Nakon skalarnog množenja dobijamo

y∗0〈∇f(x∗), v〉+∑

i∈J (x∗)y∗i 〈∇gi(x∗), v〉 = 0,

Ako je y∗ = 0, onda je y∗0 > 0, zbog (y∗0 , y

∗) > 0, i (y∗0 , y∗) 6= 0. Ako jey∗ 6= 0, zbog Mangasarijan-Fromovicevog uslova, drugi sabirak je negativan,odakle slijedi

y∗0〈∇f(x∗), v〉 > 0,što opet daje y∗0 > 0. Nakon dijeljenja sa y

∗0 dobijemo (51). ¤

Uočimo da za konkavnu (specijalno afinu) funkciju gi uslov 〈∇gi(x∗), v〉 < 0može da se zamijeni sa 〈∇gi(x∗), v〉 6 0, budući da je za sve t > 0

gi(x∗ + tv) 6 gi(x∗) + t〈∇gi(x∗), v〉 6 0Sada uslov (44) možemo i precizirati: Ako je x∗ tačka lokalnog minimumafunkcije f na G, onda nema rješenja sistem

〈∇f(x∗), v〉 < 0,〈∇gi(x∗), v〉 6 0, i ∈ JK(x∗) = {i ∈ J (x∗) : gi je konkavna},

〈∇gi(x∗), v〉 < 0, i ∈ J (x∗) \ JK(x∗).(53)

35

Kao što smo koristili Mangasarijan-Fromovicev uslov koristiti tzv. AHU uslovregularnosti (Erou, Hurvic, Uzava): Postoji v ∈ Rn takav da za nekonkavnegi, i ∈ J (x∗) vrijedi

〈∇gi(x∗), v〉 < 0,dok za konkavna aktivna ograničenja u x∗ je

〈∇gi(x∗), v〉 6 0.

Tada postupamo na sljedeći način. Uzmimo da matrica A kao vrste ima∇f(x∗),∇gi(x∗), i ∈ J \ JK , a B ∇gi(x∗), i ∈ JK . Tada se iz

y∗0〈∇f(x∗), v〉+∑

i∈J (x∗)\JK(x∗)y∗i 〈∇gi(x∗), v〉+

∑

i∈JK(x∗)y∗i 〈∇gi(x∗), v〉 = 0,

ako bi bilo y∗0 = 0 dobija jednačina po v koja nema rješenje, zbog AHU uslovai Mockinove teoreme alternative.

Da bismo se lakše izražavali uvedimo sljedeće pojmove. Svako rješenje po (x, y)sistema:

g(x) 6 0, y > 0, (54)∇f(x) + G>(x)y = 0, (55)

y>g(x) = 0, (56)

zvaćemo KKT tačka problema minimizacije (P), a navedene uslove KKT uslovi.Dakle, prema prethodnoj teoremi, uz uslov MF ili AHU, KKT uslovi su potrebniza postojanje lokalnog rješenja problema (NP).

Primjer 28 Rješenje problema minimizacije funkcije f : R2 → R

f(x1, x2) = (x1 + 1)2 + x22, na skupu G = {x ∈ R2 : −x31 + x22 6 0}

očigledno je x∗ = (0, 0), ali uslov (55) postaje

2e1 + y · 0 = 0,

pa x∗ nije KKT tačka. Uočimo da Erou-Hurvic-Uzavin uslov nije ispunjen,pošto g(x) = −x31 + x22 nije konkavna , a ∇g(0) = 0.

Primjer 29 Posmatrajmo opšti zadatak linearnog programiranja:

min{〈c, x〉 : Ax > b}.

Stavimo f(x) = 〈c, x〉 i g(x) = b − Ax. Ako je G = {x ∈ Rn : g(x) 6 0}neprazan, onda je ispunjen AHU uslov regularnosti u svakoj dopustivoj tački.Kako je

∇f(x) = c, G(x) = −A,

36

KKT uslovi postaju:Ax > b, u > 0,c−A>u = 0

〈u, b−Ax〉 = 0.Treći uslov 〈b, u〉 = 〈u,Ax〉 zbog 〈u,Ax〉 = 〈A>u, x〉, uz drugi uslov je ekviva-lentan sa

〈b, u〉 = 〈c, x〉.

Dakle, ako je x∗ rješenje osnovnog problema linearnog programiranja, onda pos-toji u∗ > 0 takav da vrijedi c = A>u∗ i

〈u∗, b−Ax∗〉 = 0 (57)

Naravno, prethodni uslov se može zamijeniti sa

〈b, u∗〉 = 〈c, x∗〉. (58)

Za kanonski zadatak linearnog programiranja

min{〈c, x〉 : Ax > b, x > 0}.

imamo

f(x) = 〈c, x〉, g(x) =(

b−Ax−x

), ∇f(x) = c, G(x) = −

(AI

),

tako da su KKT uslovi :

Ax > b, x > 0, u > 0, v > 0c− (A>, I)

(uv

)= 0

〈(uv

),

(b−Ax−x

)〉= 0.

Drugi i treći uslov suc−A>u = v,

〈u, b−Ax〉 = 〈v, x〉,pa eliminacijom vektora v dobijamo:

Ax > b, x > 0, u > 0,c > A>u

〈u, b−Ax〉 = 〈x, c−A>u〉 .

Jasno, posljednja jednačina je ekvivalentna sa 〈b, u〉 = 〈c, x〉, a može se uzprethodne uslove i precizirati. Naime, zbog x > 0, A>y 6 c vrijedi 〈u, Ax〉 =

37

〈A>u, x

〉6 〈c, x〉 = 〈u, b〉, odakle je 〈u, b−Ax〉 > 0. Kako je obratna nejednakost

očigledna dobijamo jednakost, a samim tim i potreban uslov

〈u, b−Ax〉 = 0, 〈x, c−A>u〉 = 0. (59)

Dovoljni uslovi optimalnosti

Jedan od osnovnih rezultata u konveksnoj optimizaciji je da su KKT uslovidovoljni za potojanje optimalnog rješenja. Preciznije, vrijedi

Teorema 34 Neka su f i g konveksne funkcije, diferencijabilne u x0 ∈ G. Akopostoji y0 ∈ Rm takav da je (x0, y0) KKT tačka, onda je x0 tačka globalnogminimuma funkcije f na skupu G.Dokaz. Prvo, neka je J (x0) = ∅ tj. g(x0) < 0. Pošto je još y0 > 0, i〈y0, g(x0)〉 = 0, mora da bude y0 = 0. Sada jednakost (42) postaje ∇f(x0) = 0.Zbog konveksnosti funkcije f , za sve x ∈ G imamo

f(x)− f(x0) > 〈∇f(x0), x− x0〉 = 0.

Ukoliko je J (x0) 6= ∅, to za proizvoljan x ∈ G i sve i ∈ J (x0) vrijedi

gi(x) 6 0 = gi(x0),

pa je, zbog konveksnosti funkcija gi, 〈∇gi(x0), x− x0〉 6 0. Sada iz (42) izlazi

〈∇f(x0), x− x0〉 = −∑

i∈J (x0)y0i 〈∇gi(x0), x− x0〉 > 0,

odakle jef(x) > f(x0), za sve x ∈ G,

opet zbog konveksnosti. ¤

Primjer 30 Sada vidimo da su potrebni uslovi za postojanje rješenja opštegzadatka LP i dovoljni, s obzirom da su afine funkcije konveksne. Dakle, x∗

takav da je Ax∗ > b je rješenje datog problema ako postoji u∗ > 0 takav da je

c = A>u∗, 〈u∗, b−Ax∗〉 = 0.

Ovo je lako i direktno dokazati. Prvo, neposredno slijedi da je 〈b, u∗〉 = 〈c, x∗〉.Sada, za svaki dopustivi vektor x, zbog Ax > b i u∗ > 0 imamo 〈b, u∗〉 6〈Ax, u∗〉 . Odavde, za sve dopustive x je 〈c, x∗〉 6 〈c, x〉 :

〈c, x∗〉 = 〈b, u∗〉 6 〈Ax, u∗〉 = 〈x, A>u∗〉 = 〈c, x〉 .

38

Spajajanjem prethodne dvije teoreme potreban i dovoljan kriterijum optimal-nosti u konveksnom programiranju. Med̄utim, za ovaj problem se koristi Sle-jterov uslov regularnosti koji je ekvivalentan sa MF uslovom:

(∃ x0 ∈ C) g(x0) < 0. (60)

Inače, kaže se i da je skup G regularan po Slejteru.

Teorema 35 (Kun, Taker) Neka su konveksne funkcije f i gi(i ∈ J ) difer-encijabilne u x∗ ∈ G, i neka je skup G regularan po Slejteru. Tada je x∗ rješenjeproblema (KP) ako i samo ako postoji y∗ takav da je (x∗, y∗) njegova KKTtačka.

Dokaz. Dovoljno je dokazati da S uslov povlači MF uslov. Neka postoji x0 ∈ Ctakav da je g(x0) < 0. Tada, za x∗ i sve i ∈ J (x∗), zbog konveksnosti, imamo

〈∇gi(x∗), x0 − x∗〉

6 gi(x0)− gi(x∗) = gi(x0) < 0,

pa u (49) uzimamo v = x0 − x∗. ¤

Primjedba 7 Da MF uslov povlači S uslov, tj. {v : 〈∇gi(x∗), v〉 < 0, i ∈J (x∗)} 6= ∅ =⇒ {x : g(x) < 0} 6= ∅ vidjeli smo u uvodnom dijelu ovogpoglavlja, i to bez konveksnosti. Istaknimo još da u Slejterovom uslovu ne figurǐserješenje problema, kao što je u MF uslovu, pa je njegova upotreba jednostavnija.S druge strane situacija je olakšana tim što je dovoljno naći, za svaki i ∈ J ,tačku xi ∈ G takvu da je gi(xi) < 0. Tada je Slejterov uslov ispunjen za njihovukonveksnu kombinaciju x0 = x

1+...+xm

m , budući da zbog konveksnosti svake od

funkcija gi imamo: gi(x0) 6 gi(x1)+...+gi(x

m)m 6

gi(xi)

m < 0.

Primjer 31 Naći minimum funkcije f : R2+ → R

f(x) =x21 + x

22 − 2 x1 − 2 x2x1 + x2

,

pri uslovima: x1 + x2 > 1, 2x1 + 3 x2 6 6

Rješenje.Neka je g1(x1, x2) = −x1 − x2 + 1, g2(x1, x2) = 2x1 + 3x2 − 6, g3(x1, x2) =−x1, g4(x1, x2) = −x2 i

G = {x ∈ R2 : g1(x1, x2) 6 0, g2(x1, x2) 6 0, g3(x1, x2) 6 0, g4(x1, x2) 6 0}.

Imamo: f(x) =x21 + x

22

x1 + x2− 2, ∇f(x) = 1− 2

(x1 + x2)2

(x22x21

),

∇2f(x) = 4(x1 + x2)3

(x2−x1

)(x2,−x1) .

39

pa vidimo da je

〈∇2f(x)v, v〉 = 4(x1 + x2)3

(x1v2 − x2v1)2 > 0

na skupu{x ∈ R2 : x2 > −x1} ⊃ G.

Dakle, f, g1, ..., g4 su konveksne funkcije i ispunjen je Slejterov uslov (dovoljno jeuzeti tačku x0 = (1, 1) ), tako da su KKT uslovi potrebni i dovoljni za postojanjeglobalnog minimuma.Kako jednačina ∇f(x) = 0 nema rješenja to je x∗ /∈ int G, i y 6= 0Vidimo da su uslovi sljedeći:

x ∈ G \ int G, y > 0, y 6= 0

1− 2(

x2x1 + x2

)2− y1 + 2y2 − y3 = 0, 1− 2

(x1

x1 + x2

)2− y1 + 3y2 − y4 = 0,

y1(−x1 − x2 + 1) = 0, y2(2x1 + 3x2 − 6) = 0, y3(−x1) = 0, y4(−x2) = 0.Prvo, (x1, 0) i (0, x2) nisu KKT tačke: Za (x1, 0) 1 6 x1 6 3 je y3 = 0, paprva dva uslova su y1 − 2y2 = 1, −y1 + 3y2 − y4 = 1, Zbog y > 0 ne možebiti y1 = 0, tako da je ( treći uslov ) x1 = 1. Sada, iz navedenog uslova jey2 = 0, i 1 = −y1 − y4 6 0. Za (0, x2), 1 6 x2 6 2 je y4 = 0 i y1 = 3y2 = 1,−y1 + 2y2 − y3 = 1. Vidimo da nije y1 = 0, y2 = 0, odakle je x1 = 1 i x1 = 2.Kako navedene tačke nisu KKT mora biti y3 = y4 = 0, tako da zbog uslovay 6= 0 preostaje:

(a) y1 = 0, y2 6= 0,tj. x1 + x2 = 1, što sa 1− 2

(x2

x1 + x2

)2= 2

(x1

x1 + x2

)2daje x1 = x2.

Zaključujemo da je x∗ =(

12,12

), i y∗ =

(12, 0, 0, 0

).

(b) y2 = 0, y1 6= 0 ne treba analizirati, budući da ako x∗ pripada duži](3, 0), (0, 2)[, onda optimalna tačka (zbog konveksnosti f -) postoji i uint G.

slika

Primjedba 8 (Uslovi regularnosti) Kao prvo Mangasarijan-Fromovicevuslov može da se poveže sa sistemom jednačina. Na osnovu Gordon-Štimkeove teoreme alternative, taj uslov je ekvivalentan uslovu da sistem

∑

i∈J (x∗)yi∇g(x∗) = 0,

∑

i∈J (x∗)yi = 1, yi > 0, i ∈ J (x∗)

40

nema rješenje. To je sigurno ispunjeno ako je skup

{∇gi(x∗) : i ∈ J (x∗)}

linearno nezavisan. Ovaj novi uslov se naziva Hestenesov, i on daklepovlači Mangasarjan-Fromovicev uslov. Uslov regularnosti Erou-Hurvic-Uzave je ekvivalentan sa uopštenim Slejterovim uslovom: gi su konveksnei postoji x0 ∈ C takav da je

gi(x0) < 0 (gi neafine), gi(x0) 6 0 (gi afine),

što se pokazuje kao i odnos izmed̄u Slejterovog i Mangasarijan-Fromovicevoguslova.U konveksnoj optimizaciji uslov:

Ne postoji p > 0, p 6= 0, takav da je za sve x ∈ C vrijedi 〈p, g(x)〉 > 0

je još jedan kome se ne nalazi rješenje problema. On je uslov regularnosti(Karlinov) zato što je ekvivalentan sa Slejterovim uslovom. Ta ekvivalent-nost nije nǐsta drugo do Fan-Gliksberg-Hofmanova teorema.

Sedlaste tačke i optimalnost

Ako su funkcije f i g diferencijabilne na skupu D onda za Lagranžovufunkciju L(x, y) = f(x) + 〈y, g(x)〉 onda imamo

∇xL(x, y) = ∇f(x) + 〈y,∇g(x)〉,

∇yL(x, y) = g(x).Sada vidimo da je KKT tačka rješenje sistema

∇xL(x, y) = 0, (61)

∇yL(x, y) = 0, (62)〈y, g(x)〉 = 0, (63)

na skupu D × Rm+ . Još jedna tačka vezana za Lagranžovu funkciju imavažnu ulogu u optimizaciji. To je sedlastu tačka, a definisaćemo je uopštem slučaju.

Definicija 8 Tačka (x0, y0) ∈ X × Y zove se sedlasta tačka funkcije F :X × Y → R, X ⊆ Rn, Y ⊆ Rm ako za sve (x, y) ∈ X × Y vrijedi

F (x0, y) 6 F (x0, y0) 6 F (x, y0). (64)

41

Dakle, nas će zanimati sedlaste tačke Lagranžove funkcije, koje ćemokraće zvati STL . U slučaju konveksnog programiranja, sa diferencija-bilnim funkcijama f i g lako se dobije da ako je (x∗, y∗) KKT tačka, ondaL ima sedlastu tačku. Zaista,

C 3 x 7→ L(x, y∗) = f(x) + 〈y∗, g(x)〉 ∈ Rje konveksna, pa vrijedi

L(x, y∗)− L(x∗, y∗) > 〈∇xL(x∗, y∗), x− x∗〉.KKT uslov (...) je ∇xL(x∗, y∗) = 0, tako da dobijamo, za sve x ∈ C

L(x∗, y∗) 6 L(x, y∗).

Sa druge strane, za sve y ∈ Rm+ , očigledno je 〈y, g(x∗)〉 6 0, a premapretpostavci (62) imamo 〈y∗, g(x∗)〉 = 0, tako da vrijedi

L(x∗, y) = f(x∗) + 〈y, g(x∗)〉 6 f(x∗) = L(x∗, y∗).Povezujući ovaj zaključak sa teoremom 36. dobijamo potreban uslovza postojanje rješenja zadatka diferencijabilne konveksne minimizacije,pomoću sedlastih tačaka (Slejter, 1950). Mi ćemo do tog uslova doći bezzahtjeva da su f i g diferencijabilne. Vrijedi sljedeća teorema.

Teorema 36 Neka su f i gi, i ∈ J konveksne funkcije, skup G regularanpo Slejteru i neka je x∗ tačka minimuma funkije f na G. Tada postojiy∗ > 0 takva da je (x∗, y∗) sedlasta tačka funkcije L.

Dokaz. Jasno je da vrijedi {x ∈ C : g(x) < 0, f(x)− f(x∗) < 0} = ∅.Prema Fan-Gliksberg-Hofmanovoj teoremi postoji vektor (p, p0) 0 takavda za sve x ∈ C vrijedi

〈p, g(x)〉+ p0(f(x)− f(x∗)) > 0.Odavde, za x = x∗ slijedi 〈p, g(x∗)〉 > 0, pa zbog p > 0, g(x∗) 6 0 tu jena snazi jednakost

〈p, g(x∗)〉 = 0.Dalje, ako bi bilo p0 = 0, onda ponovo koristeći teoremu Fan-Gliksberg-Hofmana imali bismo da je {x ∈ C : g(x) < 0} = ∅. Zbog Slejterovoguslova ova skup je neprazan, pa nam preostaje p0 > 0. Uzimajući da jey∗ = 1p0 p, izlazi za sve x ∈ C,

〈y∗, g(x)〉+ f(x) > f(x∗)),što sa 〈y∗, g(x∗)〉 = 0 znači L(x∗, y∗) 6 L(x, y∗). Sa druge strane, za svey > 0, očigledno je L(x∗, y∗) 6 L(x∗, y∗). ¤

Bez ikakvih posebnih uslova, iz postojanja sedlaste tačke slijedi rješivostproblema minimizacije.

42

Teorema 37 Ako Lagranžova funkcija L ima sedlastu tačku (x∗, y∗) naskupu D × Rm+ , onda je x∗ tačka globalnog minimuma funkcije f na G.

Dokaz. Neka je (x∗, y∗) sedlasta tačka funkcije L. Tada za sve x ∈ D,y > 0 nejednakosti (...) postaju

f(x∗) + 〈y, g(x∗)〉 6 f(x∗) + 〈y∗, g(x∗)〉 6 f(x) + 〈y∗, g(x)〉. (65)Uzimajući u lijevoj nejednakosti y = y∗ + ei, i ∈ J , dobijamo da je〈ei, g(x∗)〉 6 0, za sve i = 1, ..., m, odakle je g(x∗) 6 0, tj. x∗ ∈ G.Sada je

〈y∗, g(x∗)〉 6 0,a pri y = 0 imamo 〈y∗, g(x∗)〉 > 0. Slijedi 〈y∗, g(x∗)〉 = 0, tako da desnanejednakost u (65) postaje

f(x∗) 6 f(x) + 〈y∗, g(x)〉.Kako je y∗ > 0, i g(x) 6 0 na skupu G, to je na njemu i f(x∗) 6 f(x). ¤

Primjedba 9 Iz navedenih teorema izlaze i ostali odnosi. Tako npr.imamo da je (x∗, y∗) KKT tačka ako je, uz regularnost, tačka (x∗, y∗)STL. Osnovne veze date su

NP

regularnost ↙ ↖−→

KKT konveksnost STL

Primjer 32 Riješiti problem

f(x1, x2, x3) = x2x3 +1

x1x2x3→ min

G = {x ∈ int R3+ : x1x2 + x1x3 6 1}.

Rješenje. Za svaku tačku iz dopustivog skupa ispunjen je Hestensov, atime i Mangasarijan-Fromovicev uslov regularnosti. Jedina KKT tačka je

(x∗, u∗), x∗ =(

12, 1, 1

), u∗ = 2.

Ovdje ne možemo iskoristiti Kun Takerovu teoremu pošto f i g nisu kon-veksne funkcije: za x1 = (1, 12 ,

12 ), i x

2 = ( 12 , 1, 1) vrijedi f(x1+x2

2 ) >f(x1)+f(x2)

2 , i g(x1+x2

2 ) >g(x1)+g(x2)

2 . Skup G nije kompaktan, tako da nemožemo iskoristiti ni Vajerštrasovu teoremu o ekstremima.

43

slika

Provjerimo da li je (x∗, y∗) sedlasta tačka Lagranžove funkcije

L(x, y) = x2x3 +1

x1x2x3+ y(x1x2 + x1x3 − 1).

Nejednakost L(x∗, y) 6 L(x∗, y∗) je trivijalna, dok se L(x∗, y∗) 6 L(x, y∗)svodi na

x2x3 +1

x1x2x3+ 2(x1x2 + x1x3 − 1) > 3,

odnosno na

2x1x2 + 2x1x3 + x2x3 +1

2x1x2x3+

12x1x2x3

> 5.

Preostaje da se iskoristi nejednakost izmed̄u aritmetičke igeometrijske sre-dine. Dakle, riječ je o sedlastoj tački, pa je x∗ rješenje datog zadatka. ¤

Sedlaste tačke i minimaks

Postojanje sedlaste tačke funkcije F neposredno povlači jednakost

minx∈X

F (x, y0) = maxy∈Y

F (x0, y), (66)

pri čemu su te vrijednosti jednake F (x0, y0). Obratno, iz ove jednakostiizlazi da za sve (x, y) ∈ X × Y vrijedi

F (x0, y) 6 maxy

F (x0, y) = minx

F (x, y0) 6 F (x, y0),

odakle, uzimajući x = x0, y = y0 slijedi F (x0, y0) = maxy

F (x0, y). Tako

dobijamo nejednakosti (63) iz definicije sedlaste tačke.Jednakost (65) navodi nas na pomisao da tada važi i jednakost

minx∈X

maxy∈Y

F (x, y) = maxy∈Y

minx∈X

F (x, y),

a da je zaista tako vidimo iz sljedeće teoreme.

Teorema 38 Funkcija F : X × Y → R, X ⊆ Rn, Y ⊆ Rm ima sedlastutačku na skupu X × Y, ako i samo ako vrijedi

minx∈X

maxy∈Y

F (x, y) = maxy∈Y

minx∈X

F (x, y). (67)

44

Dokaz. Za sve (x, y), (x0, y0) ∈ X × Y vrijede nejednakosti

supy ∈ Y

F (x, y) > F (x, y) > infx∈X

F (x, y),

infx

supy

F (x, y) > supy

infx

F (x, y),

supy

F (x0, y) > infx

supy

F (x, y) > supy

infx

F (x, y) > infx

F (x, y0).

Ako F ima (x0, y0) za sedlastu tačku posljednje nejednakosti, uz (64),povlače

infx

supy

F (x, y) = supy

infx

F (x, y) (= F (x0, y0)).

Neka su sada, x0 i y0 tačke minimuma, odnosno maksimuma odgovarajućihfunkcija iz (65). Vrijedi maxy F (x0, y) = minx F (x, y0), a to, kao što smovidjeli, preko (64), znači da je (x0, y0) sedlasta tačka. ¤Uslovi koji obezbjed̄uju jednakost (65) sadržani su u teoremama o min-imaksu. Prvu od njih, za standardne simplekse i bilinearnu funkcijuF (x, y) = x>Ay, dokazao je von Nojman (1928), a potom je dao i njenouopštenje 1937.

Teorema 39 Neka je neprekidna funkcija (x, y) 7→ F (x, y) konveksna pox ∈ X, konkavna po y ∈ Y, pri čemu su ovi skupovi konveksni i kompaktni.Tada vrijedi

minx∈X

maxy∈Y

F (x, y) = maxy∈Y

minx∈X

F (x, y).

Dokaz. Označimo lijevu stranu minimaks jednakosti sa α, a desnu sa β.Zbog neprekidnosti i kompaktnosti ove vrijednosti postoje. Pokažimo daje α = β. Jasno, iz F (x, y) > min

x∈XF (x, y), za sve y ∈ Y, slijedi

maxy∈Y

F (x, y) > maxy∈Y

minx∈X

F (x, y) = β,

za sve x ∈ X, pa jeα = min

x∈Xmaxy∈Y

F (x, y) > β.

Pretpostavimo da je α > β, i definǐsimo funkcije

Fy : x 7→ F (x, y),

za svaki y ∈ Y. Tada, zbog maxy∈Y

F (x, y) > α za sve x ∈ X, presjek svihnivoskih skupova lev (Fy, α+β2 ) je prazan. Zbog kompaktnosti skupa X izatvorenosti nivoskih skupova postoji konačno vektora y1, ..., ym tako daje

m⋂

i=1

lev(Fyi ,

α + β2

)= ∅.

45

Samim tim, uz oznaku G = (Fy1 − α+β2 , ..., Fym − α+β2 )> vrijedi

{x ∈ X : G(x) < 0} = ∅.

Sve komponentne funkcije su konveksne po pretpostavci, tako da po FanGliksberg Hofmanovoj teoremi postoji p = (p1, ..., pm) 0 takav da zasve x ∈ X je

m∑

i=1

pi

(F

(x, yi

)− α + β2

)> 0.

Stavljajući da je λi = pip1+...+pm , iz konkavnosti polazne funkcije po y, zasve x ∈ X slijedi

α + β2

6m∑

i=1

λiF (x, yi) 6 F(

x,

m∑

i=1

λiyi

).

Odavde je

α + β2

6 minx∈X

F

(x,

m∑

i=1

λiyi

)6 max

y∈Yminx∈X

F (x, y) = β,

odnosno α 6 β. To je u suprotnosti sa pretpostavkom α > β, pa nampreostaje jednakost. ¤

46

DUALNOST

U teoriji dualnosti se osnovnom (polaznom problemu) dodjeljuje sličanproblem, takav da su im rješenja u bliskoj vezi. U matematičkom pro-gramiranju dati problem minimizacije naziva se primalan (P), a pridružujemu se dualan problem (D). Teoreme dualnosti govore o odnosu rješivostitih problema, kao i o vezi izmed̄u rješenja. U odred̄enim slučajevima zarješavanje može se izabrati jenostavniji od ta dva problema. Dualnost ulinearnom programiranju dobićemo kao specialan slučaj. Za sada naved-imo da za osnovni problem (LP)

min c>x

Ax > b,dualan je problem

max y>b

A>y = c, y > 0,što se ... I u opštem slučaju, zadatku minimizacije funkcije f na dopus-tivom skupu G biće problem maksimizacije u kome sudjeluju f i g.

Vulfova i Lagranžova dualnost

1. Jedan od pristupa sastoji se u sljedećem. Za primalan problem (P):

min{f(x) : x ∈ G}, G = {x ∈ C : g(x) 6 0}

neka je ∅ 6= C ⊆ Rn, konveksan skup i f : C → R, g : C → Rm. konveksnefunkcije. Restrikcija

C 3 x 7→ L(x, u) ∈ R,Lagranžove funkcije L : C × Rm+ −→ R,

L(x, u) = f(x) + 〈u, g(x)〉.

je konveksna na C za svaki (fiksiran) vektor u > 0. Ako su date funkcijejoš i diferencijabilne, dobijamo da na skupu C vrijedi

L(x, u) > L(y, u) + 〈∇xL(y, u), x− y〉.

S druge strane, kako za sve x ∈ G i u > 0 vrijedi 〈u, g(x)〉 6 0 imamo

L(x, u) 6 f(x).

47

Iz ovih nejednakosti, za sve x ∈ G, y ∈ C, u > 0, dobijamo

f(x) > L(y, u) + 〈∇xL(y, u), x− y〉.

Prema tome, za sve y ∈ C, u > 0 za koje je

∇xL(y, u) = 0

vrijedif(x) > L(y, u).

Sada možemo vidjeti da je prirodno problemu (P) dodijeliti problem :

max L(y, u), (68)

∇xL(y, u) = 0, y ∈ C, u > 0, (69)kojeg ćemo zvati dualan, a označati sa (D). Jasno, umjesto min u (P)i max u (D) možemo staviti inf, odnosno sup. Ovo je Vulfov pristup uTeoriji dualnosti konveksnog programiranja.

2. U opštem slučaju, tj. bez uslova konveksnosti i diferencijabilnostimožemo postupiti na sljedeći način. Kako za sve x ∈ G i u > 0 vrijedi

L(x, u) 6 f(x),

slijediinfx∈G

L(x, u) 6 f(x).

Uvodeći u gornju nejednekost funkciju ϕ (Primjer 24)

ϕ(u) = infx∈D

L(x, u) u > 0,

i imajući na umu da je G ⊆ D, dobijamo da za sve x ∈ G, i sve u > 0vrijedi

ϕ(u) 6 f(x). (70)Problemu (P) dodjeljujemo dualan problem (D):

sup ϕ(u), u ∈ Rm+ .

Ponekad se funkcija ϕ naziva Lagranžijan, a (D) Lagranžov dualanproblem.

Marginalna funkcija i dualnost

48

Do pojma Lagranžove dualnosti možemo doći i na drugi način. Neka jep marginalna funkcija problema (P), koja ima konjugovanu funkciju. IzFenhel-Jangove nejednakosti

p(0) + p∗(−u) > 〈0,−u〉,

imamo p(0) > −p∗(−u). Sada je, prema Primjeru 25-d,

p(0) > ϕ(u), u > 0,

odakle izlazip(0) > sup

u>0ϕ(u),

tj.

infg(x)60

f(x) > supu>0

ϕ(u). (71)

Primjedba 10 (D) možemo zapisati i u obliku

− inf −ϕ(u), u ∈ Rm+ .

pa kako znamo da je funkcija −ϕ konveksna, vidimo da svakom primalnomproblemu (P) dodjeljujemo konveksan dualan problem. To ne mora bitislučaj za Vulfovu dualnost, zato što skup rješenja jednačine (62) ne morabiti konveksan.

Označimo optimalne vrijednosti problema (P), i (D) sa π i δ. Ako jeG = ∅ stavljamo π = +∞. Osnovni cilj teorije dualnosti je odred̄ivanjeuslova pod kojima vrijedi

π = δ,

kao i izučavanje veze izmed̄u rješivosti primalnog i dualnog problema. Ne-jednakost (71)je, u stvari,

π > δ,a lako se dokazuje i bez pozivanja na konjugovane funkcije. U suštini uprethodnom razmatranju je sadržana teorema slabe dualnosti.

Teorema 40 Za svaki (x0, u0) ∈ G × Rm+ vrijedi f(x0) > ϕ(u0). Pritome je π > δ.

Dokaz. Prvi dio je nejednakost (63). Sada, pošto je x0 ∈ G proizvoljnatačka, vidimo da je f odozdo ograničena sa ϕ(u0), te je onda ϕ(u0) 6 π,i to za sve u0 > 0. Znači, δ 6 π. ¤Jednakost optimalnih vrijednosti povezana je sa svojstvima marginalnefunkcije (Primjer 25).

49

Teorema 41 π = δ ⇐⇒ p(0) = p∗∗(0).

Dokaz. Iz (40) tj. ϕ(u) = −p∗(−u), u > 0, slijedi

supu>0

ϕ(u) = sup−u∈dom(p∗)

−p∗(−u),

odakle je

δ = supu>0

ϕ(u) = sup−u∈dom(p∗)

(〈−u, 0〉 − p∗(−u)) = p∗∗(0).

Uz ovo je π = p(0), tako da je gornja ekvivalencija jasna. ¤

Primjedba 11 U slučaju konveksnosti marginalne funkcije, saglasno Teo-remi Fenhel-Moro možemo reći da je π = δ ako i samo ako je p odozdopoluneprekidna ( zatvorena ) u 0. Tada se za problem (P) kaže da je nor-malan.

Isto tako bitna je i nepraznost subdiferencijala marginalne funkcije u 0,što vidimo iz

Teorema 42 ∂p(0) 6= ∅ =⇒ π = δ.

Dokaz. Zaista, neka je −u0 ∈ ∂p(0). Tada je, prema teoremi 31. i (42),

π = p(0) = −p∗(−u0) = ϕ(u0) 6 δ.

Sada, zbog π > δ izlazi jednakost. ¤Nepraznost subdiferencijala se posebno ističe tako što se kaže da je (P)stabilan ako za njegovu marginalnu funkciju vrijedi

∂p(0) 6= ∅.

Za definiciju stabilnosti uzima se i neko od tvrd̄enja koje je ekvivalentnonepraznosti subdiferencijala marginalne funkcije u 0 (...)

Teoreme dualnosti

Veze izmed̄u rješivosti primalnog i odgovarajućeg dualnog problema, kaoi veze med̄u rješenjima tih problema date su teoremama dulnosti.

Teorema 43 (Jake dualnosti) Neka je p(0) konačan. Tada dualan prob-lem (D) ima rješenje u∗ i π = δ ako i samo ako vrijedi

−u∗ ∈ ∂p(0).

50

Dokaz. Kako je p(0) konačan, na osnovu Teoreme 31 ( formula (30)), iPrimjera 25 ( jednakost (40)) imamo

−u∗ ∈ ∂p(0) ⇐⇒ π = ϕ(u∗).Sada, ako je π = δ i ako je u∗ rješenje problema (D) slijedi π = ϕ(u∗), ato povlači −u∗ ∈ ∂p(0),Obratno, iz −u∗ ∈ ∂p(0) izlazi π = ϕ(u∗) i π = δ (Teorema 46). Dakle,δ = ϕ(u∗), odnosno max

u>0ϕ(u) = ϕ(u∗), tako da je u∗ rješenje problema

(D) i π = δ. ¤

Primjedba 12 Sta uočavamo

Primjedba 13 Uslov π > −∞ je prirodan, s obzirom da je u suprotnom,zbog nejednakosti, π > δ i δ = −∞ = ϕ(u) za sve u > 0 (slaba dualnost),što je trivijalno.

Ilustrujmo prethodnu teoremu jednim primjerom.

Primjer 33 (Dafin,19) Za problem minimizacije

f(x1, x2) = e−x2

g(x1, x2) =√

x21 + x22 − x1 6 0

odrediti marginalnu funkciju i ispitati stabilnost.

p(v) = inf(x1,x2)∈G(v)

e−x2 , v ∈ R.

Dopustivi skup

G(v) ={

x ∈ R2 :√

x21 + x22 − x1 6 v

}

je prazan za v < 0, pa je p(v) = +∞. Za v = 0 vrijedi G(v) = {(x1, 0) :x1 > 0}, i p(0) = 1. U slučaju da je v > 0, imamo da je (n22v , n) ∈ G(v),tako da e−n → 0. Zbog f(x) > 0 slijedi p(v) = 0. Dakle, D(p) = [0,+∞[,

p(v) ={

1, v = 00, v > 0.

Ovdje je π = p(0) = 1 i x∗ = (0, 0) ( štavise skup rješenja je G). Jasno,∂p(0) = ∅ (Primjer 16.), te problem nije stabilan. I pored toga dualanproblem ima rješenje. Kako je

supv∈V

(uv − p(v)) ={

0, y 6 0+∞, y > 0,

dobijamo D(pc) =]−∞, 0], pc(u) = 0, tako da je ϕ(u) = 0, u > 0. Rješenjeu∗ je svaki nenegativan broj, ali ovdje imamo π > δ. 2

51

slika12

Primjer 34 Za problem minimizacije u kome je C = Rf(x) = e−x, g(x) = −x,

je π = 0, dok x∗ ne postoji. Ovdje je p ≡ 0, ∂p(0) = {0}. Funkijaϕ definisana je jedinu u 0, pri čemu je ϕ(0) = 0. Dualan problem imarješenje u∗ = 0, i δ = 0 ¤

Dakle iz teoreme jake dualnosti ne slijedi postojanje rješenja primalnogproblema. Prije nego što damo uslove koji to obezbjed̄uju uočimo da akopored dualnog rješenje ima i primalan zadatak onda uslov π = δ glasif(x∗) = ϕ(u∗), tako da, zbog

f(x∗) = ϕ(u∗) = infx

L(x, u∗) 6 L(x∗, u∗) 6 f(x∗),

vrijediϕ(u∗) = L(x∗, u∗), (72)

kao i uslov komplementarnosti

〈g(x∗), u∗〉 = 0. (73)Obratna teorema dualnosti govori o rješivosti primalnog problema, kadadualan ima rješenje.

Teorema 44 (Inverzne dualnosti) Neka je u∗ rješenje problema (D) iπ = ϕ(u∗). Tada je tačka x∗ ∈ G rješenje problema (P), ako i samo akovrijede jednakost (64) i (65).

Dokaz. S obzirom na gore rečeno preostaje da se dokaže drugi dio tvrd̄enja.Tri jednakosti iz teoreme, tj.

π = ϕ(u∗) = L(x∗, u∗) = f(x∗) + 〈u∗, g(x∗)〉 = f(x∗).znače

f(x∗) = infx∈G

f(x). ¤

Primjedba 14 U prethodnom primjeru su ispunjeni uslovi Teoreme 48.osim (64):

ϕ(0) = 0 6= L(x, 0) = e−x.

Stabilnost i uslovi regularnosti

Teoreme dualnosti su, u suštini, teorijskog karaktera pošto je odred̄ivanjemarginalne funkcije isto tako zadatak minimizacije. Stoga je dobro znati

52

lako provjerljive uslove koji povlače stabilnost. U konveksnoj minimizacijijedan takav uslov je Slejterov. Zaista, neka je g(x0) < 0 za neku tačkuv0 ∈ C. Stavljajući

ε = − mini=1,...,m

gi(x0)

imamo da za sve v takve da je ‖v‖∞ < ε vrijedi g(x0) < v. Dakle, x0 ∈ Gvi p(v) < +∞ (Primjedba 5.). Ovo znači da je 0 ∈ int dom(p), a 0 ∈ intD(p), uz uslov p(0) > −∞. Odavde je ∂p(0) 6= ∅ (Teorema 24.).

Sada ćemo vidjeti da svi uslovi regularnosti garantuju stabilnost zadatakakonveksne minimizacije, tako što ćemo ustanoviti ekvivalentnost problema(NP), sa egzistencijom KKT i STL tačaka, koristeći pojam stabilnosti.

Teorema 45 Neka su f i g1, ..., gm konveksne, diferencijabilne funkcijena otvorenom skupu C i x∗ rješenje problema (P). Tada postoji y∗ > 0takav da je (x∗, y∗) KKT tačka ako i samo ako je problem (P) stabilan.

Dokaz. Neka je (P) stabilan. Iz teoreme jake dualnosti slijedi da dualanproblem ima rješenje y∗, pri čemu je f(x∗) = ϕ(y∗). Pokažimo da je(x∗, y∗) KKT tačka. Pošto je

f(x∗) = minx∈C

(f(x) + 〈y∗, g(x)〉)

gradijent konveksne funkcije

x 7→ L(x, y∗)u x∗ jednak je 0, tj. vrijedi (48). Dalje, iz gornje jednakosti imamof(x∗) 6 f(x∗) + 〈y∗, g(x)〉, ili 0 6 〈y∗, g(x∗)〉. Kako je y∗ > 0, g(x∗) 6 0,to je 0 > 〈y∗, g(x∗)〉 i vrijedi (49).Obratno, dokažimo da je problem (P) stabilan, ako je (x∗, y∗) KKT tačkaza neki y∗ > 0. U tom slučaju, zbog (48), (49) i konveksnosti funkcijaf, gi, vrijedi za sve x ∈ C

m∑

i=1

y∗i gi(x) =m∑

i=1

y∗i (gi(x)− gi(x∗)) >m∑

i=1

y∗i 〈∇gi(x∗), x− x∗〉 =

=

〈m∑

i=1

y∗i∇gi(x∗), x− x∗〉

= −〈∇f(x∗), x− x∗〉 > f(x∗)− f(x),

odnosnof(x) > f(x∗)− 〈y∗, g(x)〉.

Dakle, p(0) 6 infx∈C

(f(x) + 〈y∗, g(x)〉), pa prema Primjeru 25-c je y∗ ∈ L,što znači −y∗ ∈ ∂p(0). 2

Bez uslova diferencijabilnosti, a u vezi sa STL tačkom imamo.

53

Teorema 46 Neka je x∗ rješenje problema (P). Tada postoji y∗ > 0 takavda je (x∗, y∗) STL tačka i vrijedi 〈y∗, g(x∗)〉 = 0 ako i samo ako (P) jestabilan problem.

Dokaz. Kao prvo, ako je (x∗, y∗) sedlasta tačka funkcije L, i ako je〈y∗, g(x∗)〉 = 0 nejednakost L(x∗, y∗) 6 L(x, y∗) je isto što i f(x) >f(x∗) − 〈y∗, g(x)〉. Kao i ranije, ovo povlači −y∗ ∈ ∂p(0) 6= ∅. Obratno,prema Teoremi jake dualnosti problem (D) ima rješenje, pa na osnovu (64)i (65) (x∗, y∗) je sedlasta tačka. ¤

Posebni slučajevi u dualnosti

Konveksno programiranje

Teorema 47 Neka su funkcije f i g neprekidne, konveksne na zatvorenomkonveksnom skupu C, i lev(f, α) ograničen za neki α. Tada je π = δ.

Dokaz. Prvo, f je neprekidna, lev(f, α) zatvoren i ograničen, pa postojitačka njenog minimuma na C. (vidjeti ...) Samim tim je p(0)konačan.Dovoljno je da ustanovimo poluneprekidnost funkcije p u 0. Tada je p(0) =pcc(0), i π = δ (Teorema 45).Dakle, neka p nije p.n.o. u 0. Postoje ε >