KONVEKSNO PROGRAMIRANJE
1
Sadrˇ
zaj
Konveksni skupovi
Konveksne funkcije
Optimalnost
Dualnost
Neke metode u (KP)
Rjeˇsenja
Osnovni pojmovi
Simboli
2
Uvod
Neka je f realna funkcija sa domenom D(f ) ⊆ Rn , i neka je G ⊆ D(f ) neprazan
skup. Opˇsti ( apstraktan ) problem matematiˇckog programiranja sastoji se u
odred¯ivanju vrijednosti
π = inf f (x)
x∈G
i skupa
G ∗ = {x ∈ G : f (x) = π}.
Problem oznaˇcamo sa
(P A) :
min{ f (x) : x ∈ G}.
Taˇcka x∗ ∈ G je rjeˇsenje problema (PA) ako vrijedi
f (x) > f (x∗ )
∀x ∈ G.
ˇ
U suˇstini, x∗ je taˇcka globalnog minimuma funkcije f na skupu G. Cesto
je
lakˇse, a nekad i jedino mogu´ce na´ci taˇcku minimuma date funkcije na nekom
podskupu skupa G. Zato kaˇzemo da je x∗ lokalno rjeˇsenje datog problema, ako
je to taˇcka lokalnog minimuma funkcije f na skupu G, tj. ako postoji okolina O
taˇcke x∗ takva da vrijedi
f (x) > f (x∗ ) ∀x ∈ G ∩ O.
min{c> x + c0 : x ∈ G},
G = {x ∈ Rn : Ax 6 b, Bx = d}.
Ovdje je:
D = D(g) = D(h) = Rn , g(x) = Ax − b, h(x) = Bx − d,
matrice A i B su tipa m × n, odnoso p × n, a b ∈ Rm i d ∈ Rp .
J∞ J1 J6 J= Jm Jp Im
3
KONVEKSNI SKUPOVI
Definicija i primjeri
Definicija 1 Skup C ⊆ Rn je konveksan ako za sve x1 , x2 ∈ C i sve λ ∈ [0, 1]
vrijedi
(1 − λ)x1 + λx2 ∈ C.
Dakle, duˇz [x1 , x2 ] = ... je podskup skupa C ako mu pripadaju njeni krajevi x1
i x2 .
slika 1. C
Iz definicije slijedi da je skup C konveksan ako za svaki λ ∈ [0, 1] je
(1 − λ)C + λC ⊆ C,
(1)
Od osnovnih skupovnih operacija konveksnost ˇcuvaju sabiranje skupova i mnoˇzenje
realnim brojem. Isto tako vrijedi
Teorema 1 Neka su C1 i C2 konveksni skupovi. Tada je C1 ∩ C2 konveksan.
Dokaz. Iz x1 , x2 ∈ C1 ∩ C2 , zbog konveksnosti datih skupova, slijedi [x1 , x2 ] ⊆ C1
i [x1 , x2 ] ⊆ C2 , pa je [x1 , x2 ] ⊆ C1 ∩ C2 . ¤
Napomenimo da je presjek i proizvoljno mnogo konveksnih skupova opet konveksan skup. Oˇcigledno je da unija dva konveksna skupa ne mora biti konveksan
skup.
Primjer 1 Prazan skup ∅ (po definiciji), {a}, i Rn su konveksni skupovi.
Primjer 2 Jediniˇcna kugla B i kugla sa centrom u x0 , polupreˇcnika r:
B(x0 , r) = x0 + rB
su konveksni skupovi.
Zaista, za x1 , x2 ∈ B, λ ∈ [0, 1] imamo
k0 − (1 − λ)x1 − λx2 k 6 (1 − λ)kx1 k + λkx2 k 6 (1 − λ) · 1 + λ · 1 = 1.
¤
Primjer 3 Neka je {v 1 , ..., v k } ⊆ Rn linearno nezavisan skup. Tada je ravan
R = x0 + lin(v 1 , ..., v k )
konveksan skup. Specijalno su prava
P = x0 + lin(v 1 )
i hiperravan
H = x0 + lin(v 1 , ..., v n−1 )
konveksni skupovi.
4
Inaˇce svaka hiperravan je data sa
H(a, α) = {x ∈ Rn : ha, xi = α},
gdje je a ∈ Rn , a 6= 0 i α ∈ R. Za a = 0 dobijamo ∅ ( ako je α 6= 0) ili ˇcitav
prostor (α = 0).
Primjer 4 Zatvoreni poluprostor
H+ (a, α) = {x ∈ Rn : ha, xi > α}, a 6= 0,
kao i
H− (a, α) = {x ∈ Rn : ha, xi 6 α}
su konveksni skupovi.
Ovo slijedi iz jednakosti ha, (1 − λ)x1 + λx2 i = (1 − λ)ha, x1 i + λha, x2 i. Dakle,
i H = H+ ∩ H− je konveksan skup.
Primjer 5 Skup K ⊆ Rn naziva se konus ako vrijedi
x ∈ K, α > 0 ⇒ αx ∈ K.
Ova implikacija je ekvivalentna sa
αK ⊆ K, za sve α > 0.
Ako je konus konveksan skup onda se naziva konveksan konus. Za njihovu
karakterizaciju potrebna je i dovoljna prethodna formula i zatvorenost skupa K
u odnosu na sabiranje, tj.
K + K ⊆ K.
Iz ove dvije formule slijedi konveksnost:
(1 − λ)K + λK ⊆ K + K ⊆ K
∀λ ∈ [0, 1].
Obratno, na osnovu 2K ⊆ K, ako je konus konveksan imamo
K+K ⊆
1
1
K + K = K.
2
2
Primjer 6 Neka su v 1 , v 2 dopustivi pravci skupa C u taˇcki x0 . Postoje pozitivni
brojevi t1 i t2 takvi da za i = 1, 2 vrijedi
x0 + tv i ∈ C,
∀t ∈]0, ti [.
Sada, za sve pozitivne t manje od 2 min{t1 , t2 } imamo
x0 + t(v 1 + v 2 ) =
¢ 1¡ 0
¢ 1
1¡ 0
1
x + tv 1 +
x + tv 2 ∈ C + C = C,
2
2
2
2
tako da je i v 1 + v 2 dopustiv pravac. Jasno, za svaki dopustivi pravac v i sve
α > 0 pravac αv je dopustiv. Ukljuˇcuju´ci ovdje i nula vektor dobijamo konveksan
konus V(x0 , C).
5
Primjer 7 Skup S ⊆ Rn odred¯uje konus
cone S = {x ∈ Rn : x = αy, y ∈ S, α > 0}.
To je konus generisan skupom S. Nije teˇsko vidjeti da je cone C konveksan
konus, ako je C konveksan skup. Specijalno,
cone {a} = {x ∈ Rn : x = αa, α > 0}.
je poluprava, a
V(x0 , C) = cone (C − {x0 })
Ukoliko neki skup nije konveksan, moˇzemo mu dodijeliti najmanji konveksan
skup koji ga sadrˇzi (poredak je dat relacijom ⊆.) u tom cilju, za proizvoljan neprazan skup S ⊆ Rn posmatra´cemo sve njegove konveksne nadskupove.
Njihov presjek je neprazan ( podskup mu je S ) i konveksan. Nazivamo ga
konveksni omotaˇc skupa S i piˇsemo co S. Dakle,
\
co S =
C.
S⊆C
Primjer 8 Skup
co {x0 , x1 , ..., xk }
naziva se k-dimenzionalni simpleks u Rn , ako je {x1 − x0 , ..., xk − x0 } linearno
nezavisan. Specijalno, co {0, e1 , ..., en } je standardan n-simpleks u Rn , dok je
σ n = co {e1 , ..., en+1 }
n- dimenzionalni jediniˇcni simpleks u Rn+1
slika
Na osnovu definicije, za prozvoljne skupove S, T i konveksan skup C vrijedi
S ⊆ T ⇒ co S ⊆ co T , C = co C,
co (co S) = co S .
Kao ˇsto znamo, λ1 x1 + · · · + λk xk je linearna kombinacija vektora x1 , ..., xk ∈ S
ako su λ1 , ..., λk ∈ R, a afina kombinacija ako je joˇs λ1 + · · · + λk = 1. Dodaju´ci
uslov nenegativnosti λ1 > 0, ..., λk > 0 dobijamo konveksnu kombinaciju datih
vektora. Za svaki prirodan broj k, proizvoljnom nepraznom skupu S dodjeljujemo skup svih konveksnih kombinacija svakih k njegovih elemenata :
( k
)
k
X
X
i
i
cok S =
λi x : x ∈ S,
λi = 1, λi > 0 .
i=1
i=1
Pomo´cu njih opisa´cemo konveksni omotaˇc skupa S. Prije svega, vrijedi:
S ⊆ T ⇒ cok S ⊆ cok T ,
6
(2)
(1 − λ)cop S + λcoq S ⊆ cop+q S,
(3)
za sve λ ∈ [0, 1], a za svaki konveksan skup C je
cok C ⊆ C.
(4)
Ova inkluzija se dokazuje indukcijom.
Teorema 2 Ako je S neprazan podskup od Rn , onda je
[
co S =
cok S.
k∈N
Dokaz. Sa jedne strane je S = co1 S ⊆
[
cok S, odakle je co S ⊆ co
k∈N
[
cok S.
k∈N
Poˇsto iz (3) slijedi da je posmatrana unija konveksan skup imamo
[
co S ⊆
cok S.
k∈N
Dalje, zbog S ⊆ co S vrijedi cok S ⊆ cok (co S), a na osnovu (4) je cok (co S) ⊆
co S, tako da imamo cok S ⊆ co S. Kako posljednja inkluzija vrijedi za sve
prirodne brojeve, to je
[
cok S ⊆ co S. ¤
k∈N
Ovaj rezultat se moˇze precizirati.
Teorema 3 (Karateodori,1911) Ako je S ⊆ Rn neprazan skup vrijedi
co S =
n+1
[
cok S.
k=1
Dokaz. Neka je x ∈ co S. Tada je x = λ1 x1 + · · · + λk xk , za neke x1 , ..., xk ∈
S, λ1 >½µ
0, ..., λk¶ > 0, λ1 + · · · + λk ¾
= 1. Ako je k > n + 1, onda je skup
xi
n+1
vektora
∈R
: i = 1, ..., k linearno zavisan. Postoje realni brojevi
1
α1 , ..., αk , koji nisu svi jednaki 0, takvi da je
α1 x1 + · + αk xk = 0,
Bar jedan od njih je pozitivan, pa neka je
α1 + · + αk = 0.
λj
λi
= min . Imamo
αi >0 αi
αj
¶
k
k
k µ
X
X
λj
λj X
λj
i
i
x=x−
·0=
λi x −
αi xi .
αi x =
λi −
αj
α
α
j
j
i=1
i=1
i=1
λj
αi > 0 ( za i takvo da je αi 6 0 to je oˇcigledno, a za ostale
αj
¶
k µ
X
λj
λj
αi = 1 −
· 0 = 1, to je x linearna
zbog izbora indeksa j ) i
λi −
α
α
j
j
i=1
Poˇsto je λi −
7
kombinacija taˇcaka skupa {x1 , ..., xj−1 , xj+1 , ..., xk }.
µ
Redukcija se nastavlja sve dok skup preostalih vektora
xi
1
¶
ne postane lin-
earno nezavisan, tj. dok ih ne ostane najviˇse n + 1. Tada je x ∈
n+1
[
cok S.
k=1
Dakle, co S ⊆
n+1
[
cok S. Obratna inkluzija izlazi iz prethodne teoreme. ¤
k=1
Primjer 9 Na osnovu Karateodorijeve teoreme dobijamo
σ n = {x ∈ Rn+1 :
n+1
X
xi = 1, xi > 0}
i=1
Teoreme razdvajanja
Definicija 2 Konveksni skupovi C1 , C2 ⊆ Rn su razdvojeni ako postoje taˇcka
a ∈ Rn , a 6= 0 i realan broj α takvi da za sve x ∈ C1 i sve y ∈ C2 , vrijedi
ha, yi 6 α 6 ha, xi.
Iz definicije vidimo da vrijedi
C1 ⊆ H+ (a, α),
C2 ⊆ H− (a, α),
pa moˇzemo re´ci da hiperravan H(a, α) razdvaja (separira) teskupove . Ako su
C1 , C2 u razliˇcitim otvorenim poluprostorima, oni su strogo razdvojeni. Tada za
sve x ∈ C1 i sve y ∈ C2 vrijedi
ha, yi < α < ha, xi.
Dokaˇzimo prvo jednu pomo´cnu, ali vaˇznu teoremu.
Teorema 4 Neka je C ⊆ Rn konveksan skup i 0 ∈
/ C. Tada su skupovi
a) C i {0} strogo razdvojeni, ako je C zatvoren skup.
b) C i {0} razdvojeni.
Dokaz. a) Neka je r > 0 takav broj da je C ∩ B(0, r) neprazan skup.
On je kompaktan skup (kao presjek zatvorenog skupa i zatvorene kugle), pa
neprekidna funkcija x 7→ kxk dostiˇze na njemu minimum, u nekoj taˇcki c. Dakle,
za sve taˇcke x posmatranog presjeka vrijedi kxk > kck. Za ostale taˇcke skupa
C je kxk > r > kck. Zakljuˇcno, za sve x ∈ C vrijedi kxk > kck, odnosno
kxk2 > kck2 . Kako je C konveksan i c ∈ C, to za svaki x ∈ C i sve λ ∈]0, 1[
imamo c + λ(x − c) ∈ C, pa je
kc + λ(x − c)k2 > kck2 , odnosno, 2hx − c, ci + λkx − ck2 > 0.
8
Pri λ → 0+, dobijamo da je hc, xi > kck2 . Uzimaju´ci da je a = c, i α =
slijedi a 6= 0 (jer 0 ∈
/ C =⇒ kck 6= 0), i α > 0, tako da dobijamo
kck2
2
ha, xi > α > ha, 0i, za sve x ∈ C.
b) Ako 0 nije u cl C, koji je takod¯e konveksan skup, imamo situaciju iz a).
Zato, neka je 0 ∈ cl C \ C. Postoji niz {ck }, ck ∈ Rn \ cl C, takav da ck → 0. Za
svaki k ∈ N skup
−ck + cl C
je konveksan i zatvoren. Tom skupu ne pripada 0, pa prema a), postoji niz
vektora (ak ) takav da za sve x ∈ cl C vrijedi
­ k
®
a , −ck + xi > hak , 0 = 0.
Poˇsto je ak 6= 0 imamo
¿
ak
, x − ck
kak k
À
> 0,
ak
∈ S(0, 1).
kak k
½
¾
ak
Niz
ima podniz koji konvergira ka a ∈ S(0, 1). Pri tome je kak = 1,
kak k
tako da u graniˇcnom procesu dobijamo, za sve x ∈ C
ha, xi > 0 = ha, 0i.
¤
Sada moˇzemo dokazati osnovne teoreme razdvajanja.
Teorema 5 Neka su C1 , C2 ⊆ Rn neprazni, disjunktni, konveksni i zatvoreni.
Ako je jedan od njih ograniˇcen, onda postoji hiperravan koja ih strogo razdvaja.
Dokaz. Razlika C1 − C2 datih skupova, po pretpostavkama, je konveksan i
zatvoren skup. Uz ovo, uslov C1 ∩ C2 = ∅ znaˇci da je 0 ∈
/ C1 − C2 . Prema
prethodnoj teoremi postoji a ∈ Rn , a 6= 0 i β > 0 tako da za sve x ∈ C1 i sve
y ∈ C2 vrijedi
ha, x − yi > β > 0,
odakle je
ha, xi > ha, yi + β > ha, yi.
Skup {ha, xi : x ∈ C1 } je ograniˇcen odozdo sa ha, yi + β, za proizvoljan fiksiran
y ∈ C2 . Sada je
inf ha, xi − β
x∈C1
gornja med¯a skupa {ha, yi : y ∈ C2 }, pa imamo
inf ha, xi > sup ha, yi + β > sup ha, yi.
x ∈ C1
y ∈ C2
y ∈ C2
Uzimaju´ci α izmed¯u uoˇcenog supremuma i infimuma slijede nejednakosti iz
definicije 2. ¤
9
Koriste´ci drugi dio teoreme 5, a ponavljaju´ci prethodni postupak, uz izbor
α ∈ [supha, yi, inf ha, xi]
C1
C2
dobija se
Teorema 6 Neprazni, disjunktni i konveksni skupovi C1 i C2 su razdvojeni.
Posljedica 1 Ako je joˇs skup C1 otvoren, uz uslove teoreme 6, onda postoji
hiperravan H(a, α), takva da vrijedi
C1 ⊆ int H− (a, α), i
C2 ⊆ H+ (a, α).
Dokaz. Iz prethodne teoreme slijedi da je ha, xi 6 α za sve x ∈ C1 . Ako bi bilo
a
ha, x0 i = α za neki x0 ∈ C1 , onda ( imaju´ci na umu da je i x0 + ε
∈ C1 ,
kak2
pri malom ε > 0 ) dobijamo
¿
À
a
0
a, x + ε
= α + ε 6 α.
kak2
Ovo nije mogu´ce, tako da preostaje
ha, xi < α 6 ha, yi,
za sve x ∈ C1 , i sve y ∈ C2 .
¤
ˇ
EKSTREMALNE TACKE
Definicija 3 Taˇcka x ∈ C je vrh (ekstremalna taˇcka ) konveksnog skupa C ⊆ Rn
ako ne postoje razliˇcite taˇcke x1 , x2 ∈ C takve da vrijedi
x=
x1 + x2
.
2
Lako se vidi da je x vrh konveksnog skupa C ako i samo ako iz x1 , x2 ∈ C, i
λ ∈]0, 1[, x = (1 − λ)x1 + λx2 slijedi x1 = x2 . Drugim rijeˇcima vrh skupa nije
unutraˇsnja taˇcka intervala koji leˇzi u skupu C.
Primjer 10 Neka je A m × n matrica ˇciji je rang m < n i b ∈ Rm . Skup
S + (A, b) = {x ∈ Rn : Ax = b, x > 0}
ima vrh, ako je neprazan.
Pn
Skup kolona {a∗1 , ..., a∗n } je linearno zavisan, pa postoje αi
j=1 αj a∗j = 0
Stavimo β = minαi >0 αyii Neka je y ∈ S + i z = y − βu Vrijedi Az = b, z >
0, zn = 0
Neograniˇceni, zatvoreni konveksni skupovi, poput hiperravni, ne moraju imati
vrhove. Situacija je drukˇcija ako je skup ograniˇcen.
10
Teorema 7 Svaki neprazan, konveksan, kompaktan skup C ⊆ Rn ima vrh.
Dokaz. Prema Vajerˇstrasovoj teoremi, u C postoji taˇcka maksimuma neprekidne
funkcije x 7→ kxk. Pokaza´cemo da je ona jedan vrh. Neka je x0 ta taˇcka i joˇs
x0 =
x1 + x2
,
2
za neke x1 , x2 ∈ C.
Pomo´cu jednakosti paralelograma (...) dobijamo
kx1 − x2 k2 + k2x0 k2 = 2(kx1 k2 + kx2 k2 ) 6 4kx0 k2 ,
odakle je kx1 − x2 k 6 0, i x1 = x2 , pa je x0 vrh skupa C. ¤
Pokaˇzimo da linearna funkcija l : Rn → R, l(x) = hc, xi dostiˇze minimum i
maksimum na kompaktnom, konveksnom skupu C u njegovom vrhu.
Prije svega, postoji x∗ ∈ C takva da je
min l(x) = l(x∗ ).
x∈C
Jasno, skup C ∗ = {x ∈ C : l(x) = l(x∗ } je konveksan i kompaktan, pa ima vrh
x0 . Pokaˇzimo da je on vrh i skupa C. Ako nije, postoje razliˇcite taˇcke x1 , x2 iz
C, od kojih bar jedna nije u C ∗ , takve da je 2x0 = x1 + x2 . Poˇsto {x1 , x2 } * C ∗
mora biti l(x1 ) + l(x2 ) > 2l(x0 ), a zbog linearnosti funkcije l to je nemogu´ce. ¤
Ova primjedba ima poseban znaˇcaj u linearnom programiranju. Mi ´cemo je
iskoristiti za dalju analizu konveksnog omotaˇca. Naime, u izgradnji konveksnog
omotaˇca kompaktnog, konveksnog skupa ne sudjeluju, u suˇstini, sve njegove
taˇcke, nego samo vrhovi. U narednoj teoremi ext C oznaˇcava skup svih vrhova
skupa C.
Teorema 8 (Minkovski, 1911) Neka je C ⊂ Rn neprazan, konveksan, kompaktan skup. Tada
C = co (ext C).
Teoreme alternative
Pomo´cu teorema razdvajanja dokaza´cemo neke od vaˇznih teorema alternative.
Alternativni sistemi linearnih (ne)jednaˇcina su oni kod kojih samo jedan ima
rjeˇsenje. Na primjer, alternativni sistemi su :
i
Ax = b, x > 0
(5)
A> y > 0, b> y < 0.
(6)
Ovdje je A m × n matrica, b ∈ Rm dok vektori 0, x i y u skladu s tim. nepoznati
vektori su u skladu s tim. Kao i ranije skup rjeˇsenja sistema (5) oznaˇcimo
sa S+ (A, b), tvrd¯enje u kojem taˇcno jedan od navedenih sistema ima rjeˇsenje
moˇzemo dati na sljede´ci naˇcin.
11
Teorema 9 (Farkaˇ
s, 1902)
S+ (A, b) 6= ∅
ako i samo ako
y> A > 0
y > b > 0.
⇒
(7)
Dokaz. Neka je S+ (A, b) 6= ∅. Tada iz y > A > 0, mnoˇzenjem sa x0 ∈ S+ (A, b)
dobijamo y > Ax0 > 0, odnosno y > b > 0.
Za dokaz implikacije:
(7) =⇒ S+ (A, b) 6= ∅
posluˇzimo se kontrapozicijom. Dakle, neka je S+ (A, b) = ∅. To znaˇci da su
disjunktni skupovi
C1 = {Ax : x ∈ Rn+ },
C2 = {b}
Oni su konveksni, a C1 i zatvoren, pa ih strogo razdvaja neka hiperravan H(y, α).
Dakle, za sve x > 0 vrijedi
y > b < α < y > Ax.
(8)
Specijalno, za x = 0 dobijamo y > b < 0, ˇstaviˇse α < 0. Pokaˇzimo da je y > A > 0.
Uzmimo, suprotno, da je (y > A)i = β < 0, za neki i ∈ {1, ..., m}. Vektor
α
i
>
>
x = (1 + α
β )e nema negativne koordinate i y (Ax) = (y A)x = β(1 + β ) < α.
Posljednje protivrjeˇci (8), pa je y > A > 0 i y > b < 0, a to je negacija formule (7).
¤
Pomo´cu Farkaˇseve dokaza´cemo joˇs neke teoreme alternative.
Teorema 10 (Aleksandrov, Fan) Sistemi
Ax > b,
A> y = 0,
(9)
b> y > 0,
y>0
(10)
y > 0,
(11)
su alternativni.
Dokaz. Sistem (10) je ekvivalentan sa sistemom
A> y = 0,
odnosno sa
µ
A>
b>
b> y = 1,
¶
µ
y=
0
1
¶
, y > 0.
Njemu je, prema Farkaˇsovoj teoremi, alternativan sistem
µ
¶
µ
¶
z
0
(A, b)
6 0, (z > , ζ)
> 0,
ζ
1
12
tj.
Az + ζb 6 0, ζ > 0,
ˇsto je, uz x =
− zζ ,
ekvivalentno sa
Ax > b. ¤
Teorema 11 (Mockin 1936) Sistem
Ax < 0, Bx 6 0
(12)
nema rjeˇsenje ako i samo ako sistem
A> u + B> v = 0, u > 0, v > 0. u 6= 0
(13)
ima rjeˇsenje.
Dokaz. Neka prvi sistem nema rjeˇsenje po x. Ekvivalentno, sistem
Ax + ξe 6 0
Bx 6 0
ξ>0.
µ
nema rjeˇsenje po
µ
odnosno
x
ξ
A
B
µ
(x, ξ)
¶
. Ovo je ekvivalentno sa implikacijom
e
0
¶µ
−A>
−e>
x
ξ
¶
−B>
0>
µ
x
ξ
6 0 =⇒ (0, 1)
¶
µ
> 0 =⇒ (x, ξ)
¶
6 0,
0
−1
¶
> 0.
Sad prema Farkaˇsovoj teoremi zakljuˇcujemo da je nepostojanje rjeˇsenja sistema
(9) ekvivalentno sa postojanjem vektora (u, v) > 0 takvog da je
−A> u − B> v = 0,
−e> u + 0> v = −1,
ˇsto je (10). ¤
Uzimaju´ci u Mockinovoj teoremi da je B = O direktno slijedi sljede´ci rezultat.
ˇ
Teorema 12 (Gordan 1873, Stimke,
1915) Samo jedan od sistema
Ax < 0,
A> y = 0,
y > 0,
ima rjeˇsenje.
13
(14)
y 6= 0
(15)
Od ostalih navedimo da su alternativni sljede´ci sistemi:
a) [Gejl]
Ax > b, x > 0 i A> y 6 0, b> y > 0, y > 0.
b) [Fredholm]
Ax = b
i A> y = 0, b> y > 0.
14
KONVEKSNE FUNKCIJE
1. Definicija, primjeri, osnovna svojstva
Neka je f realna funkcija definisana na skupu D(f ) ⊆ Rn , i C ⊆ D(f ) neprazan,
konveksan skup.
Definicija 4 Funkcija f je konveksna na C ako za sve x1 , x2 ∈ C i svaki λ ∈ [0, 1]
vrijedi
¡
¢
f (1 − λ)x1 + λx2 6 (1 − λ)f (x1 ) + λf (x2 ).
(16)
Ako je u nejednakosti (16) znak < umjesto 6, za sve x1 6= x2 i svaki λ ∈]0, 1[,
kaˇzemo da je f strogo konveksna funkcija. Funkcija f je konkavna ako je -f
konveksna, tj. ako umjesto (16) vrijedi
¡
¢
f (1 − λ)x1 + λx2 > (1 − λ)f (x1 ) + λf (x2 ).
Primjer 11 Afina funkcija a(x) = ha, xi + α je konveksna na C = Rn . Ona je i
konkavna na tom skupu. Afine funkcije su jedine koje su konveksne i konkavne.
Primjer 12 f (x) = kxk je konveksna na Rn , ˇsto direktno slijedi iz svojstava
norme. Med¯utim, ako je int C =
6 ∅, x1 ∈ int C, x2 = (1+t)x1 (t malo, dovoljno
1
2
da bude x ∈ C) i λ = 2 , onda (16) postaje jednakost. Dakle, norma nije strogo
konveksna na C sa nepraznom unutraˇsnoˇs´cu.
Primjer 13 Poˇsto vrijedi
k(1 − λ)x1 + λx2 k2 = (1 − λ)kx1 k2 + λkx2 k2 − (1 − λ)λkx1 − x2 k2
vidimo da je f (x) = kxk2 strogo konveksna na Rn .
Primjer 14 Kvadratna forma q(x) = hCx, xi + hc, xi je konveksna na svakom
C ⊆ Rn , ako i samo ako je simetriˇcna matrica C pozitivno semidefinitna. Ovo
slijedi iz
(1 − λ)q(x1 ) + λq(x2 ) − q((1 − λ)x1 + λx2 ) = λ(1 − λ)hC(x1 − x2 ), x1 − x2 i.
Kvadratna forma je strogo konveksna ako i samo ako je C pozitivno definitna.
Sljede´ce teoreme se jednostavno dokazuju.
Teorema 13 Neka su f1 , ..., fm konveksne na C ⊆ Rn , i α1 , ..., αm nenegativni
realni brojevi. Tada je f = α1 f1 + · · · + αm fm konveksna funkcija na C.
Teorema 14 Funkcija f je konveksna na C ako i samo ako za svaki m ∈ N,
sve x1 , ..., xm ∈ C, λ1 > 0, ..., λm > 0, takve da je λ1 + · · · + λm = 1 vrijedi
f (λ1 x1 + · · · + λm xm ) 6 λ1 f (x1 ) + · · · + λm f (xm ).
15
Ovo je Jensenova nejednakost za konveksne funkcije, a moˇze se dokazati indukcijom, sliˇcno dokazu formule (4). Vaˇzni skupovi koji su pridruˇzeni svakoj funkciji
f : D(f ) −→ R, S ⊆ D(f ) ⊆ Rn su nadgraf (epigraf), podgraf (hipograf) i
nivoski (Lebegov) skup :
½µ
¶
¾
x
epi f =
∈ D(f ) × R : α > f (x)
α
hypo f = −epi (−f ),
lev (f, α) = {x ∈ D(f ) : f (x) 6 α} .
Teorema 15 Neka je C ⊆ Rn konveksan skup. Funkcija f je konveksna na C
ako i samo ako je epi f konveksan skup.
Jasno, f je konkavna ako i samo ako je hypo f konveksan skup. Svaki nivoski
skup (ukljuˇcuju´ci ∅) konveksne funkcije je konveksan. Na osnovu nejednakosti
(16) dokaz je trivijalan.
Primjer 15 Neka su f, g konveksne funkcije na C ⊆ Rn . Tada je konveksna
funkcije f ∨ g definisana sa:
f ∨ g(x) = max {f (x), g(x)}.
Ovdje je dovoljno pokazati da je epi f ∨ g = epi f ∩ epi g, pa uz prethodnu
teoremu iskoristiti i ˇcinjenicu da je presjek konveksnih skupova konveksan. Ovo
vrijedi i za proizvoljno konveksnih funkcija, tj.
sup fi
je konveksna.
Primjer 16 Neka je a afina funkcija, i Af skup svih afinih minoranti konveksne
funkcije f : Af = {a : a(x) 6 f (x) ∀x ∈ C}. Stavimo
f (x) = sup a(x),
a∈Af
i pokaˇzimo da je tako definisana funkcija f : C → R.
0
Uzmimo prvo da je int C 6= ∅ i da mu pripada x . Skup C1 =
½µ
x
xn+1
µ
¶
: x ∈ intC, xn+1 > f (x)
¶
x0
.
f (x0 )
je konveksan, otvoren (f je neprekidna na int C) i ne pripada mu
µ
¶
a
Prema teoremi separacije (P osljedica1) postoje
6= 0 i β, takvi da za sve
α
x ∈ int C vrijedi
­
®
a, x0 + αf (x0 ) 6 β < ha, xi + αxn+1 .
16
¾
Za x = x0 i xn+1 = f (x0 ) + 1 dobijamo α > 0, a za xn+1 = f (x) + ε (ε → 0+)
D a E β
a(x) = − , x + 6 f (x)
α
α
Jasno,
∀x ∈ int C.
a(x0 ) = f (x0 ).
Neka je, sada x ∈ bd C. Poˇsto je [x0 , x[⊆ int C, prema prethodnom imamo
0
0
0
0
(x)
, 2a( x 2+x ) − a(x0 ) 6 f (x), a(x) 6 f (x).
a( x 2+x ) 6 f ( x 2+x ) 6 f (x )+f
2
Dakle, za sve x ∈ C vrijedi a(x) 6 f (x), odakle slijedi da je f definisana na C.
Prema prethodnom primjeru ona je konveksna funkcija. Uvijek vrijedi f 6 f, a
kaˇzemo da je f zatvorena ako je f = f .
Navedimo da se u nekonveksnom sluˇcaju moˇze desiti da je Af = ∅. Tada
stavljamo f ≡ −∞. Za ovakvu situaciju kao primjer moˇzemo razmotriti funkciju
x 7→ x3 , x ∈ R.
Jedan nelinearan sistem nejednaˇ
cina
Da bismo jednostavnije formulisali tvrd¯enje o sistemima nejednaˇcina sa konveksnim funkcijama, koje je tipa teorema alternative definisa´cemo pojam konveksnih vektorskih funkcija. Za funkciju g : Rn → Rm , g = (g1 , ..., gm ) kaˇzemo
da je konveksna vektorska funkcija, ako su sve komponentne funkcije gi konveksne. U tom sluˇcaju prirodno, nivoski skup {x ∈ Rn : g(x) 6 a}, a = (a1 , ..., am )
je presjek nivoskih skupova lev(gi , ai ).
Slijede´cu, vaˇznu teoremu dokazali su Fan, Gliksberg i Hofman (1957).
Teorema 16 Neka je g = (g1 , ..., gm ) konveksnea vektorska funkcija na konm
\
veksnom skupu C ⊆
D(gi ). Tada vrijedi
i=1
{x ∈ C : g(x) < 0} = ∅ ⇐⇒ (∃u 0)(∀x ∈ C) hu, g(x)i > 0.
Dokaz. Skup C1 = {y ∈ Rm : g(x) < y, za neki x ∈ C} je konveksan i neprazan.
Ako je skup {x ∈ C : g(x) < 0} prazan, onda 0 ne pripada skupu C1 . Prema
Teoremi separacije 5. postoji u ∈ Rm \{0}, takav da vrijedi
hu, yi > 0.
Kako za svaki fiksiran x ∈ C, i svaki realan broj ε > 0 imamo g(x) + εe ∈ C1 ,
to je hu, g(x) + εei > 0. Sada, pri ε → 0, dobijamo nejednakost hu, g(x)i > 0,
za svaki x ∈ C. Pokaˇzimo joˇs da je u > 0. Ako bismo imali da je neki uj < 0,
uzimaju´ci
y k = g(x) + εe + kej , k ∈ N
dobili bismo
lim hu, y k i = −∞.
k
17
Obratno tvrdjenje imamo kontrapozicijom na osnovu
g(x0 ) < 0, u 0
⇒
hu, g(x0 )i < 0. ¤
Neprekidnost i zatvorenost
Konveksne funkcije imaju vaˇzno svojstvo da su neprekidne na otvorenom skupu.
Preciznije, vrijedi
Teorema 17 Neka je C ⊆ Rn konveksan skup sa nepraznim interiorom i neka
je f : C → R konveksna funkcija. Tada je f neprekidna na int C.
Dokaz. Neka je g(x) = f (x + x0 ) − f (x0 ), x0 ∈ int C. Tada je g konveksna i
g(0) = 0. Treba dokazati da je g neprekidna u 0. Prije svega postoji t > 0 takav
da je zatvorena kugla
tB1 ⊆ C − {x0 },
i g je ograniˇcena na toj kugli. Ograniˇcenost slijedi iz teoreme Minkovskog i
Jensenove nejednakosti (vidjeti i.... ). Neka je sada ε ∈]0, 1[. Za sve x ∈ εtB1
vrijedi
µ
µ ¶¶
µ ¶
1
1
g(x) = g (1 − ε)0 + ε
x
6 (1 − ε)g(0) + εg
x 6 εM.
ε
ε
Isto tako, iz zapisa
1
ε
0=
x+
1+ε
1+ε
µ
¶
1
− x ,
ε
dobijamo g(x) > −εM. Dakle, za svaki ε > 0 postoji δ > 0 takav da za sve
x ∈ δB1 vrijedi
|g(x) − g(0)| 6 εM. ¤
Situacija se mijenja ako se neprekidnost posmatra na ˇcitavom C, koji nije
otvoren skup.
½
1, x = 0
Primjer 17 f data sa f (x) =
je konveksna, ali u 0 nije neprekidna,
0, x > 0
ˇcak ni poluneprekidna odozdo. Uoˇcimo da je njen nivoski skup lev( 12 ) =]0, +∞[
otvoren.
Postoje odozdo poluneprekidne konveksne funkcije koje nisu neprekidne.

x2

x1 > 0
x1 + 2 ,
Primjer 18 f (x1 , x2 ) =
je konveksna, zatvorena,
x1

0,
(x1 , x2 ) = (0, 0)
ali nije neprekidna. Ovdje se nejednakost (16) pri x1 = (ξ1 , η1 ) x2 = (ξ2 , η2 )
svodi na 0 6 (ξ1 η2 − ξ2 η1 )2 . Nivoski skupovi su zatvoreni: ∅, {0} i B(( α2 , 0), α2 ).
Funkcija nije neprekidna u 0, zbog f ( n12 , n1 ) 9 f (0, 0).
18
Inaˇce pojam poluneprekidnosti je posebno vaˇzan, pa ´cemo mu posvetiti viˇse
paˇznje. Uopˇste vrijedi
Teorema 18 Funkcija f je poluneprekidna odozdo na skupu S ⊆ Rn ako i samo
ako je svaki njen nivoski skup zatvoren u S, ili ako i samo ako je epif zatvoren
skup u S × R.
Ako je skup S zatvoren, onda za poluneprekidnost odozdo je potrebna i dovoljna
zatvorenost nadgrafa u Rn+1 , odnosno zatvorenost svakog nivoskog skupa u
Rn ....
Mi ´cemo pokazati da se za konveksne funkcije pojmovi zatvorenosti i poluneprekidnosti odozdo ne razlikuju. Prije toga istaknimo sljede´ce.
Primjedba 1 U Primjeru 17. smo vidjeli da za konveksnu funkciju f i taˇcku
x0 ∈ int C postoji afina minoranta takva da je
a(x0 ) = f (x0 ), a(x) 6 f (x) ∀x ∈ C.
(17)
µµ
¶ ¶
a
To znaˇci da hiperravan H
, β , β = αf (x0 ) + ha, x0 i, sadrˇzi taˇcku
α
µ
¶
x0
, a nalazi se ispod nadgrafika epi f . Stoga se naziva potporna hiperf (x0 )
ravan (hiperravan oslonca).
Jasno, za ξ < f (x0 ) imamo afinu minorantu takvu da je njena vrijednost u x0
upravo ξ. To je
x 7→ a(x) + ξ − f (x0 ).
0
Iµ u sluˇcaju
¶ da je x rubna taˇcka domena postoji hiperravan H kojoj pripada
x0
, a epi f je u H− , ili H + . Med¯utim ne mora da vrijedi nejednakost
f (x0 )
iz (17) poˇsto H moˇze biti okomita na Rn (Primjer 19, x0 = 0, H = H(e1 , 0)).
Ovdje moˇzemo uoˇciti da ako je epi f zatvoren i konveksan, a x0 je ½µ
rubna taˇ
cka
¶¾
x0
zatvorenog C, onda nakon strogog razdvajanja skupova epi f i
,
ξ
a
0
0
ξ < f (x ), dobijamo afinu funkciju a a(x) = h− α , x − x i + ξ, za koju vrijedi
a(x) 6 f (x), za sve x ∈ C, i a(x0 ) = ξ.
Teorema 19 Funkcija f je konveksna i poluneprekidna odozdo na zatvorenom
konveksnom skupu C ako i samo ako je zatvorena .
Dokaz. Neka je f = f . Prema primjerma 11 i 15 f je konveksna. Pokaˇzimo
da je i poluneprekidna odozdo. Za to je dovoljna zatvorenost nivoskih skupova
(teorema 20). Neka je xk ∈ lev (f, α) i xk → x0 . Skup C je zatvoren tako da
je x0 ∈ C. Dalje, imamo redom za sve prirodne brojeve k f (xk ) = f (xk ) 6 α,
sup a(xk ) 6 α, a(xk ) 6 α. Slijedi a(x0 ) 6 α, i x0 ∈ lev (f, α). Dokaˇzimo
a∈Af
obratnu implikaciju. Uvijek je f > f Neka je f poluneprekidna odozdo i kon0
(x0 )
.
veksna i neka je f (x0 ) > f (x0 ), za neki x0 ∈ C. Tada je f (x0 ) > ξ = f (x )+f
2
19
0
0
(x )
Postoji afina minoranta a funkcije f takva da je a(x0 ) = f (x )+f
. Med¯utim,
2
zbog f (x0 ) > a(x0 ) mora da je f (x0 ) > f (x0 ), ˇsto je suprotno pretpostavci.
Slijedi f = f . ¤
Diferencijabilnost
Kao prvo ustanovimo da konveksna funkcija f u unutraˇsnjoj taˇcki x0 domena, u svakom pravcu v, ima (jednostrani) izvod :
¡
¢
f x0 + tv − f (x0 )
0 0
f (x ; v) = lim
x→0+
t
Naime, postoji ε > 0 takav da je x0 +tv ∈ C za sve |t| 6 ε. Funkcija g :]0, ε] → R,
g(t) =
f (x0 + tv) − f (x0 )
t
je neopadaju´ca, jer za 0 < t1 < t2 6 ε nejednakost g(t1 ) 6 g(t2 ) glasi
µ
¶
¢
t1
t1 ¡
f (x0 + t1 v) 6 1 −
f (x0 ) + f x0 + t2 v ,
t2
t2
a ova vrijedi zbog konveksnosti funkcije f . Slijedi da postoji lim g(t), koji je
x→0+
konaˇcan, budu´ci da je g(t0 ) 6 g(t) za sve t ∈]0, ε[ i fiksiran t0 ∈] − ε, 0[. Dakle,
f 0 (x0 ; v) = lim g(t) = inf g(t).
x→0+
0<t6ε
Uoˇcimo da je za svaki x ∈ C vektor v = x − x0 dopustiv pravac, pri ˇcemu je
ε = 1. Sada iz prethodne formule dobijamo
f 0 (x0 ; x − x0 ) = lim g(t) = inf g(t) 6 g(1),
x→0+
0<t61
odnosno vaˇznu nejednakost
f 0 (x0 ; x − x0 ) 6 f (x) − f (x0 ).
(18)
Sljede´ce dvije teoreme sadrˇze kriterijume konveksnosti diferencijabilnih funkcija.
Teorema 20 Nejednakosti
i
­
®
f (x2 ) > f (x1 ) + ∇f (x1 ), x2 − x1
(19)
®
∇f (x2 ) − ∇f (x1 ), x2 − x1 > 0
(20)
­
vrijede, za sve x1 , x2 ∈ C, ako i samo ako je f je konveksna na C.
20
Teorema 21 Neka je f neprekidna na C i dva puta neprekidno diferencijabilna
na int C 6= ∅. Tada, f je konveksna na C ako i samo ako za sve x ∈ int C, v ∈ Rn
h∇2 f (x)v, vi > 0.
(21)
Subdiferencijali
Imamo, prema nejednakosti (19), da za diferencijabilnu konveksnu funkciju, za
fiksiran x0 ∈ C i sve x ∈ C vrijedi
­
®
f (x) − f (x0 ) > ∇f (x0 ), x − x0 .
Ovo daje mogu´cnost uopˇstavanja pojma gradijenta.
Definicija 5 Subgradijent funkcije f : S → R, S ⊆ Rn u taˇcki x0 ∈ S je vektor
y 0 ∈ Rn takav da za sve x ∈ S vrijedi
f (x) − f (x0 ) > hy 0 , x − x0 i.
(22)
Skup svih subgradijenata ©funkcije f u x0 naziva se
i oznaˇ
­ subdiferencijal
®
ªcava sa
∂f (x0 ). Dakle, ∂f (x0 ) = y 0 : f (x) − f (x0 ) > y 0 , x − x0
∀x ∈ S .
Primjedba 2 Geometrijski, hiperravan u Rn+1 data sa
xn+1 = hy 0 , x − x0 i + f (x0 )
jehiperrvan
oslonca za epi f u taˇcki (x0 , f (x0 )). Kako je njen vektor normale
µ 0 ¶
y
a =
ta hiperravan nije ortogonalna na Rn . Jasno je i obratno, ako
−1
je hiperravan H(a, f (x0 ) − hy 0 , x0 i) potporna za epi f u (x0 , f (x0 )) i nevertikalna,onda je y 0 subgradijent funkcije f u x0 . Tada je an+1 6= 0 i y 0 =
a1
1  .. 
−a
 .  ∈ ∂f (x0 ).
n+1
an
slika
Na datoj slici je grafik konveksne funkcije date sa
√
½
1 − 1 − x2 , −1 6 x 6 0
f (x) =
x
06x<1
1−x ,
Uslov ∂f (x) 6= ∅ je vaˇzan pa ´cemo ga posebno istaknuti.
Definicija 6 Funkcija f je subdiferencijabilna u x0 ∈ D(f ) ako je ∂f (x0 ) 6= ∅.
Izloˇzi´cemo osnovna svojstva subdiferencijala, kao i neke formule subdiferencijalnog raˇcuna.
21
Teorema 22 Subdiferencijal je zatvoren i konveksan skup.
Dokaz. Neka je ∂f (x0 ) 6= ∅. Prvi dio tvrdnje slijedi iz neprekidnosti skalarnog
proizvoda u nejednakosti iz definicije. Dalje, uzmimo y 0 , y 1 ∈ ∂f (x0 ) i λ ∈ [0, 1].
Kako za sve x ∈ D(f ), i za i = 0, 1 imamo
­
®
f (x) − f (x0 ) > y i , x − x0 ,
to nakon mnoˇzenja sa 1 − λ (za i = 0), a sa λ (za i = 1), te sabiranja dobijamo
®
­
f (x) − f (x0 ) > (1 − λ)y 0 + λy 1 , x − x0 .
Dakle, (1 − λ)y 0 + λy 1 ∈ ∂f (x0 ). ¤
Vidjeli smo da ni konveksna funkcija ne mora biti subdiferencijabilna u svim
taˇckama (npr. iz bd C). Za ostale taˇcke situacija je drukˇcija.
Teorema 23 Neka je f konveksna funkcija i x0 ∈ int C. Tada je ∂f (x0 ) 6= ∅.
Dokaz. Za x0 ∈ int C prema primjedbi 1 (), za sve x ∈ C vrijedi
a(x) − a(x0 ) 6 f (x) − f (x0 ),
tj.
D a
E
− , x − x0 6 f (x) − f (x0 ),
α
ˇsto znaˇci da je
a
∈ ∂f (x0 ). ¤
α
Ustanovimo vezu izmed¯u subdiferencijala i jednostranih izvoda. Tim ´cemo
dobiti joˇs jedan uslov da je subdiferencijal neprazan.
−
Teorema 24 Neka je f konveksna na C ⊆ Rn , x0 ∈ C. Tada je
y 0 ∈ ∂f (x0 )
ako i samo ako za svaki dopustivi pravac v vrijedi
­ 0 ®
y , v 6 f 0 (x0 ; v).
(23)
0
Dokaz. Neka je ¡y subgradijent
¢
¡ i¢v dopustiv
­
®pravac. Tada, ¡za sve¢ t ∈]0,
­ t0 [ ®je
x0 + tv ∈ C i f x0 + tv − f x0 > y 0 , tv , odakle je f 0 x0 ; v > y 0 , v .
Obratno, iz (18) i (23) direktno slijedi (22). ¤
Primjedba 3 Iz (23) slijedi supy∈∂(x0 ) hy, vi 6 f 0 (x0 ; v). Ako je x0 ∈ int C,
onda je funkcija v 7→ f 0 (x0 ; v) konveksna na Rn . Zbog neprekidnosti ona je
ograniˇcena na jediniˇcnoj kugli. Sada imamo, da za sve y ∈ ∂(x0 ), y 6= 0 vriy
y
i 6 f 0 (x0 ; kyk
) 6 M, tj. kyk 6 M. Znaˇci, ∂(x0 ) je ograniˇcen skup,
jedi hy, kyk
pa iz Teoreme 24, slijedi njegova kompaktnost. Prethodna nejednakost postaje
max0 hy, vi 6 f 0 (x0 ; v). Za x0 ∈ int C i sve v ∈ Rn vrijedi i viˇse (Zadatak...)
y∈∂(x )
max hy, vi = f 0 (x0 ; v).
y∈∂(x0 )
22
(24)
Teorema 25 Konveksna funkcija f je diferencijabilna u x0 ∈ int C ako i samo
ako je ∂f (x0 ) jednoˇclan skup.
Za raˇcunanje subdiferencijala vaˇzno je naredno tvrd¯enje.
Teorema 26 (Moro - Rokafelar) Neka su f1 , f2 konveksne funkcije na skupu
C sa nepraznim interiorom. Tada za sve x0 ∈ C vrijedi
∂(f1 + f2 )(x0 ) = ∂f1 (x0 ) + ∂f2 (x0 ).
(25)
Konjugovane funkcije
Problem minimizacije funkcije f na skupu S ⊆ Rn je ekvivalentan sa problemom −max (−f (x)), x ∈ S. U vezi s njima korisno je razmotriti skup problema
−max {hy, xi − f (x) : x ∈ S},
za sve y ∈ Rn . Vidimo da se ovdje javlja nova funkcija
y 7→ max (hy, xi − f (x))
x∈C
vezana za f . Oznaˇcava se sa f c i naziva konjugovana funkcija funkcije f .
Definicija 7 Konjugovana funkcija funkcije f : Df → R, Df ⊆ Rn je funkcija
f c : Df c → R,
f c (y) = sup (hy, xi − f (x)),
(26)
x∈Df
gdje je D(f c ) skup taˇcaka za koje je supremum konaˇcan.
Primjedba 4 Situcija u kojoj je D(f c ) = ∅ nije iskljuˇcena, ˇsto pokazuje primjer funkcije f (x) = x3 , Df = R. Ovdje je sup (yx − x3 ) = +∞, za sve y ∈ R.
x∈R
Ako je domen konjugovane funkcije neprazan moˇzemo odmah ustanoviti neka
njena bitna svojstva.
Teorema 27 Neka je f proizvoljna funkcija za koju je Df c 6= ∅. Tada je Df c
konveksan skup, a f c zatvorena konveksna funkcija .
Dokaz. Za y 1 , y 2 ∈ Df c , λ ∈ [0, 1] vrijedi
¡­
®
¢
sup
(1 − λ)y 1 + λy 2 , x − f (x) 6
x∈Df
¡­ 1 ®
¢
¡­ 2 ®
¢
(1 − λ) sup
y , x − f (x) + λ sup
y , x − f (x) < +∞,
x∈Df
x∈Df
¡ ¢
¡ ¢
¢
te je (1 − λ)y 1 + λy 2 ∈ Df c , i f (1 − λ)y 1 + λy 2 6 (1 − λ)f c y 1 + λf c y 2 .
Uostalom, nadgraf epi f c je zatvoren i konveksan skup. ¤
¡
c
23
Iz definicije direktno slijedi da za sve x ∈ Df i sve y ∈ Df c vrijedi
f (x) + f c (y) > hx, yi.
(27)
Ova nejednakost se zove Fenhelova ili Jang-Fenhelova. Prirodno je definisati
konjugovanu funkciju funkcije f c , i ustanoviti njenu vezu sa f . Umjesto (f c )c
piˇsemo f cc , i to je bikonjugovana funkcija funkcije f . Dakle
f cc (x) = sup (hx, yi − f c (y)).
(28)
y∈Df c
Koriste´ci Fenhelovu nejednakost f (x) > hy, xi − f c (y), na osnovu (28) dobijamo
da za sve x ∈ D(f ) vrijedi
f (x) > f cc (x).
(29)
slike f...
Neka je D(f c ) 6= ∅. Kao i gore f ima afinu minorantu, i vrijedi Af ⊆ D(f c ),
poˇsto za a ∈ Af tj. iz ha, xi − α 6 f (x) ∀x ∈ D(f ) slijedi ha, xi − f (x) 6 α pa
je a ∈ D(f c ). Dalje je f c (a) 6 α, odakle je ha, xi − α 6 ha, xi − f c (a),
sup (ha, xi − α) 6 sup (ha, xi − f c (a)),
a∈Af
a∈D(f )
f (x) 6 f cc (x).
(30)
Odgovor na pitanje kada su funkcija i njena bikonjugovana funkcija jednake
direktno izlazi iz nejednakosti (29) i (30)
Teorema 28 (Fenhel-Moro) Funkcija f je odozdo poluneprekidna i konveksna na zatvorenom C ako i samo ako je
f = f cc .
(31)
Dokaz. Iz jednakosti slijedi da je f konveksna, i poluneprekidna odozdo ( f cc je
konveksna i zatvorena ). Obratno, iz konveksnosti i poluneprekidnosti je f = f .
Kako joˇs imamo f 6 f cc 6 f, slijedi f = f cc . ¤
Veza izmed¯u subdiferencijala funkcije f i njene konjugovane funkcije data je
sljede´cim tvrd¯enjima.
Teorema 29 Neka je f proizvoljna funkcija i x0 ∈ Df . Tada vrijedi
­
®
y 0 ∈ ∂f (x0 ) ⇐⇒ f c (y 0 ) + f (x0 ) = y 0 , x0 ,
¡ ¢
y 0 ∈ ∂f (x0 ) =⇒ x0 ∈ ∂f c y 0 .
0
Ako je f konveksna i zatvorena u x , onda vrijedi i obratna implikacija.
24
(32)
(33)
­
®
Dokaz. y 0 ∈ ∂f (x0 ) povlaˇci f (x) − f (x0 ) > y 0 , x − x0 , odnosno
­
®
­
®
y 0 , x0 − f (x0 ) > y 0 , x − f (x),
­
®
za sve x ∈ Df , ˇsto znaˇci da je y 0 ∈ D(f c ) i­ y 0 , x®0 − f (x0 ) > f c¡(y 0¢).
Pomo´cu Fenhelove nejednakosti dobijamo y 0 , x0 = f (x0 ) + f c y 0 .
Na drugu stranu, iz ove jednakosti imamo
hy 0 , x0 i − f (x0 ) = f c (y 0 ) > hy 0 , xi − f (x),
tj. za sve x ∈ Df vrijedi hy 0 , x − x0 i 6 f (x) − f (x0 ), te je y 0 ∈ ∂f (x0 ).
U dokazu druge formule pod¯imo od y 0 ∈ ∂f (x0 ). Prema ve´c dokazanom je
f c (y 0 ) − hx0 , y 0 − yi = hy, x0 i − f (x0 ) 6 f c (y).
Znaˇci, za sve y ∈ Df c imamo f c (y) − f c (y 0 ) > hx0 , y − y 0 i, tj. x0 ∈ f c (y 0 ).
Obratno, iz prve ekvivalencije i Moro-Fenhelove teoreme (tj. f (x0 ) = f cc (x0 ))
slijedi
x0 ∈ f c (y 0 ) =⇒ f cc (x0 ) + f c (y 0 ) = hx0 , y 0 i =⇒
f (x0 ) + f c (y 0 ) = hx0 , y 0 i =⇒ y 0 ∈ ∂f (x0 ). ¤
½
1, x = 0
Primjer 19 Funkcija f (x) =
, je konveksna, i ∂f (0) = ∅.
0, x ∈]0,
½ 1]
0, y 6 0
Njena konjugovana funkcija je f c (y) =
, dok je ∂f c (0) = [0, 1].
y, y > 0
Uoˇcimo da f nije zatvorena u 0. Ako modifikujemo f tako da je f (x) = 0 za
x > 0, onda je isto ∂f (0) = ∅, dok je domen konjugovane ] − ∞, 0], f c (y) = 0,
a ∂f c (0) = [0, +∞[. ¤
Primjer 20 Za afinu funkciju
f (x) = ha, xi + β
vrijedi
Df c = {a}, f ∗ (a) = −β.
Jedina potporna hiperravan na epif je data navedenom afinom funkcijom, te je
jasno Df c = {a}. Zbog ∇f (x) = a vrijedi f c (a) = ha, xi − ha, xi − β = −β.
Detaljnije,
sup (hy, xi − ha, xi − β) = sup hy − a, xi − β
x∈Rn
x ∈ Rn
je konaˇcan samo za y = a. Inaˇce, za x = t(y − a) 6= 0 imamo
sup hy − a, xi > sup tky − ak2 = +∞.
x∈Rn
t>0
25
¤
Primjer 21 Ako je C simetriˇcna PsemiD matrica reda n,
q(x) =
®
1­
Cx, x , x ∈ Rn ,
2
onda je konjugovana funkcija q ∗ data sa
q ∗ (Cx) =
1
hCx, xi, x ∈ Rn .
2
(34)
U sluˇcaju da je C P D matrica, iz ∇q(x) = Cx = y dobijamo x = C−1 y, tako
da formula (30) postaje
1
1
q c (y) = hy, C−1 yi − hy, C−1 y, i = hC−1 y, yi, y ∈ Rn .
2
2
Pokaˇzimo da je Dq c = {Cx : x ∈ Rn } ako C jeste P semiD, ali ne i P D matrica.
Zaista, iz y ∈ Dqc je
µ
¶
α2
∗
0
0
0
q (y) = sup (hy, xi − f (x)) > sup hy, αx i −
hCx , x i ,
2
x∈Rn
α∈R
za fiksiran x0 6= 0, koji ´cemo izabrati tako da bude hCx0 , x0 i = 0. Sada slijedi
q c (y) > sup αhy, x0 i, odakle proizilazi jednakost hy, x0 i = 0. Znaˇci da je y orα∈R
togonalan na {x : Cx = 0}, pa se nalazi u {Cx : x ∈ Rn }. Obratno, za y = Cx
imamo
µ
¶
1
1
1
c
q (Cx) = sup hCx, vi − hCv, vi = hCx, xi −
inf hC(v − x), v − xi =
n
2
2
2 v∈Rn
v∈R
1
hCx, xi.
2
Specijalno, za C = I dobija se rezultat za euklidsku normu.
=
¤
Konveksne funkcije sa vrijednostima uR
Neka je R = R ∪ {−∞, +∞} proˇsireni skup realnih brojeva.
Svaka funkcija f : S → R, S ⊆ Rn moˇze se dodefinisati na sljede´ci naˇcin
½
f (x),
x ∈ S
e
f (x) =
(35)
+∞, x ∈ Rn \ S,
tako da vrijedi
min f (x) = minn fe(x).
x∈S
x∈R
Posebno je vaˇzno da se konveksnost funkcije f moˇze prenijeti na fe. Posmatra´cemo sada funkcije f : Rn → R. Kaˇzemo da je takva funkcija konveksna ako
je njen nadgrafik konveksan skup, ˇsto je ekvivalentno sa
¡
¢
f (1 − λ)x1 + λx2 6 (1 − λ)α + λβ,
26
za sve x1 , x2 ∈ Rn , α > f (x1 ), β > f (x2 ) i sve λ ∈ [0, 1]. Skup
dom(f ) = {x ∈ Rn : f (x) < +∞}
naziva se efektivni domen funkcije f i on je konveksan ako je f konveksna.
Nas ´ce zanimati funkcije koje ne uzimaju vrijednost −∞, a identiˇcki nisu +∞,
odnosno ako vrijedi
dom(f ) 6= ∅, −∞ ∈
/ f (Rn ).
(36)
Primjedba 5 Ako nije ispunjen ovaj uslov, konveksna funkcija moˇze biti konaˇcna
jedino na rubu svog efektivnog domena. Zaista, ako je x ∈ int dom(f ), f (x1 ) =
−∞, postoje x2 ∈ dom(f ), λ ∈]0, 1[, za koje je x = (1 − λ)x1 + λx2 , i pri tome
vrijedi
f (x) 6 (1 − λ)f (x1 ) + λf (x2 ) = −∞.
Primjer jedne takve funkcije je

 −∞, x < 0
0,
x=0
f (x) =

+∞, x > 0.
Definicije iz ranijih razmatranja prenose se i na funkcije f : Rn → R, uz
uobiˇcajene operacije sa ±∞. Tako je f poluneprekidna odozdo u x0 ∈ Rn
ako je
f (x0 ) 6 lim f (x).
x→x0
Ovdje uoˇcimo da iz neprekidnosti funkcije f ne slijedi da je (polu)neprekidna i
funkcija fe, data formulom (33) .
Na primjer, f (x) = x je neprekidna na ]0, +∞[, ali
½
x,
x>0
e
f (x) =
+∞, x 6 0
nije ni poluneprekidna u 0.
Vektor y 0 ∈ Rn je subgradijent funkcije f u x0 ako za sve x ∈ Rn vrijedi
f (x) > f (x0 ) + hy 0 , x − x0 i.
Neposredno slijedi da f (x0 ) = −∞ povlaˇci ∂f (x0 ) = Rn , kao i da je f ≡ −∞.
U suprotnom imamo vaˇzno tvrd¯enje, koje se dokazuje kao teorema 26.
Teorema 30 Ako je konveksna funkcija f konaˇcna u taˇcki x0 onda vrijedi
∂f (x0 ) = {y 0 : f 0 (x0 ; v) > hy 0 , vi
∀v}.
0
S druge strane imamo da, ako je f (x ) konaˇcan i ∂f (x0 ) 6= ∅, onda je f
konveksna i vrijedi (34).
Konjugovana funkcija za f : Rn →] − ∞, +∞ ]
f c (y) = sup {hy, xi − f (x)}
x∈ Rn
moˇze uzeti vrijednost +∞. Pri tome, ako je f c ≡ +∞, onda je f cc ≡ −∞.
Mi ´cemo redovno posmatrati konveksne funkcije uz uslov (34).
27
Primjer 22 Za linearnu funkciju l(x) = ha, xi, a 6= 0, na Rn imamo
½
0,
y=a
c
l (y) =
+∞, y 6= a
Primjer 23 Karakteristiˇcna (indikatorna) funkcija skupa C
½
0,
x∈C
iC (x) =
+∞, x ∈
/C
je konveksna, ako je C konveksan skup. Njena konjugovana funkcija
iCc (y) = sup hy, xi
x∈C
naziva se potporna funkcija skupa C. Oznaˇcava se sa sC , tj. imamo
sC (x) = sup hx, yi.
y∈ C
Dakle, lc (y) = i{a} (y). Uoˇcimo da za funkciju fe za sve x ∈ Rn vrijedi
fe(x) = f (x) + iC (x).
Primjer 24 Ako je C konveksan skup, funkcija f = d(·, C) tj. udaljenost taˇcke
od skupa C, data sa
f (x) = inf kx − vk,
v∈C
je konveksna funkcija. Da bismo odredili njenu konjugovanu funkciju uoˇcimo da
je f = f1 ⊕ f2 , gdje je f1 (x) = kxk, a f2 (x) = iC (x). Sada je, prema teoremi
(
sup hy, xi, y ∈ B
c
c
c
c
x∈C
f (y) = f1 (y) + f2 (y) = δB (y) + δC (y) =
+∞,
y ∈ B.
Na kraju dokaˇzimo teoremu koju ´cemo koristiti u teoriji dualnosti.
Teorema 31 Konveksna funkcija, konaˇcna u x0 je subdiferencijabilna u x0 ako
i samo ako vrijedi
f 0 (x0 ; v) > −∞, ∀v ∈ Rn
Dokaz. Neka je ∂f (x0 ) = ∅, tada je njegova potporna funkcija
s∂f (x0 ) = −∞.
S druge strane, kako je
v 7→ f 0 (x0 ; v)
konveksna, pozitivno homogena, njena konjugovana funkcija je indikatorna za
neki konveksan skup. Iz Fenhelove nejednakosti i teoreme 37 slijedi da je to
upravo subdiferencijal u x0 . Dakle, zbog imamo (46)
s∂f (x0 ) (v) = clf 0 (x0 ; v),
28
pa mora postojati vektor v 0 takav da je f 0 (x0 ; v 0 ) = −∞.
¤
Konveksne funkcije i ekstremi
Konveksne funkcije imaju niz svojstava koja olakˇsavaju odred¯ivanje ekstrema:
Svaki lokalni minimum je globalni minimum.
Skup taˇcaka minimuma je konveksan skup, a ako je f strogo konveksna, taj
skup je najviˇse jednoˇclan.
Taˇcka strogog maksimuma konveksne funkcije nije u skupu int Df .
x∗ je taˇcka globalnog minimuma diferencijabilne konveksne funkcije f na konveksnom skupu C ako i samo ako vrijedi
h∇f (x∗ ), x − x∗ i > 0
za sve x ∈ C.
(37)
Ako f nije diferencijabilna prethodna nejednakost se zamjenjuje sa
0 ∈ ∂f (x∗ ).
(38)
Dokaˇzimo prvo tvrd¯enje. Neka je f (x∗ ) minimum funkcije f na Df ∩ B(x∗ , ε)
i neka je x ∈ Df . Postoji broj λ takav da je λx + (1 − λ)x∗ ∈ B(x∗ , ε) ( npr.
ε
ako je x van te kugle, dovoljno je uzeti neki λ ∈] 0, kx−x
∗ k [.) Sada je, zbog
∗
∗
konveksnosti funkcije f , f (x ) 6 f ((1 − λ)x + λx) 6 (1 − λ)f (x∗ ) + λf (x),
odakle je f (x∗ ) 6 f (x) za sve x ∈ Df .
Ako bi konveksna funkcija imala strogi maksimum u x∗ ∈ int Df , za neke taˇcke
x1 , x2 ∈ B(x∗ , ε) ⊆ int Df bilo bi
µ 1
¶
x + x2
f (x1 ) + f (x2 )
2x∗ = x1 + x2 , i f (x∗ ) = f
6
< f (x∗ ).
2
2
U vezi sa maksimumom konveksne funkcije navedimo sljede´ce. Ako je C ⊂ int Df
kompaktan skup, onda postoji x∗ ∈ C, taˇcka globalnog maksimuma, poˇsto je
f neprekidna. Kompaktan, konveksan C je konveksni omotaˇc Ã
svojih vrhova,
!
s
s
s
X
X
X
pa je x∗ =
λi v i ,
λi = 1, λi > 0. Dalje je f (x∗ ) = f
λi v i 6
s
X
i=1
i
i=1
s
X
λi f (v ) 6
i=1
i=1
i=1
λi
max
i
i∈{1,...,s}
f (v ) =
max
i∈{1,...,s}
max
i∈{1,...,s}
i
∗
f (v ) 6 f (x ). Dakle, vrijedi
f (v i ) = f (x∗ ),
tako da postoji vrh skupa C u kojem f dostiˇze maksimum na C. Posljednje
tvrd¯enje slijedi direktno iz nejednakosti (19), odnosno (22). Inaˇce uslov (37)
moˇzemo zamijeniti sa
h∇f (x∗ ), vi > 0 za sve dopustive pravce v u x∗ .
29
(39)
Zaista, iz x∗ , x ∈ C slijedi x∗ + λ(x − x∗ ) ∈ C, za sve λ ∈]0, 1[, tako da je x − x∗
dopustiv pravac, za sve x ∈ C. Obratna implikacija je jasna.
Primjeri konveksnih funkcija
Primjer 25 Kob - Daglasova funkcija
αn
n
1
f (x) = α0 xα
1 · · · xn , x ∈ R+ , α0 < 0, α1 > 0, ..., αn > 0
n
X
je konveksna za
αi 6 1.
i=1
Zaista,
­
Ã

!2
n
n
2
X
X
v
v
i
i
∇ f (x)v, v = f (x) 
αi
−
αi 2  ,
xi
xi
i=1
i=1
®
2
tako da iz nejednakosti Koˇsi-Bunjakovskog je h∇2 f (x) v, v i > 0.
n
X
Ako je
αi > 1, f nije konveksna, jer stavljaju´ci 1 = (1, ..., 1) imamo
i=1
µ
f
0+1
2
n
X
¶
−
= α0 2
αi
i=1
> α0 2−1 =
f (0) + f (1)
.
2
¤
Problemu (KP):
inf {f (x) : x ∈ G},
G = {x ∈ C : g(x) 6 0}
dodijeljena je Lagranˇzova funkcija L : C × Rm
+ → R
L(x, u) = f (x) + hu, g(x)i
Primjer 26 Funkcija
a) x 7→ L(x, u) je konveksna, ako je f konveksna, a g konveksna vektorska
funkcija,
b) u 7→ ϕ(u) = inf L(x, u) je konkavna na Rm
+.
x∈C
Jasno a) direktno slijedi iz Teoreme 13., dok za b) imamo
¡
­
®¢
ϕ(λ1 u1 + λ2 u2 ) = inf f (x) + λ1 u1 + λ2 u2 , g(x) =
x
¢
λ1 f (x) + λ1 hu1 , g(x)i + λ2 f (x) + λ2 hu2 , g(x)i >
x
¡
¢
¡
¢
> λ1 inf f (x) + hu1 , g(x)i + λ2 inf f (x) + hu2 , g(x)i =
= inf
¡
x
x
1
2
= λ1 ϕ(u ) + λ2 ϕ(u ), za sve λ1 , λ2 > 0, λ1 + λ2 = 1.
30
Primjer 27 U optimizaciji je posebno vaˇzna marginalna funkcija koja se pridruˇzuje
problemu (P) (funkcija osjetljivosti problema (P)). Oznaˇcava se sa p, a data je
sa
p(v) = inf f (x) v ∈ Rm ,
x∈G(v)
gdje je
G(v) = {x ∈ D : g(x) 6 v}, G(0) = G.
Ponekad ´cemo pisati
p(v) = inf f (x).
g(x)6v
Primjetimo da zbog G(0) = G za optimalnu vrijednost π problema (P) imamo
π = p(0).
Vidje´cemo da to nije jedini motiv za izuˇcavanje ovih funkcija.
ˇ se tiˇce domena imamo sljede´ce. Ako je D
Neka je V = {v : G(v) 6= ∅}. Sto
neprazan, onda je i V neprazan ( za x0 iz D, f (x0 ) je u V ). Dalje, za v 0 ∈ V i
x0 takav da je g(x0 ) 6 v 0 imamo p(v 0 ) 6 f (x0 ) < +∞, pa vrijedi dom(p) = V.
Za jednakost
D(p) = V,
trebaju i dodarni uslovi: ako je
π > −∞
i
L = lev(−ϕ; −π) 6= ∅,
onda je domen marginalne funkcije skup V, sa nepraznim interiorom.
Zaista, neka je y 0 ∈ L. Vrijedi −ϕ(y 0 ) 6 −π, odakle je π 6 ϕ(y 0 ) 6 f (x) +
hy 0 , g(x)i. Za sve v i sve x ∈ G(v) je hy 0 , g(x)i 6 hy 0 , vi, pa zakljuˇcujemo
−∞ < π − hy 0 , vi < p(v).
Od svojstava funkcije p navedimo sljede´ca:
a) Bez obzira kakve su funkcije f i g, funkcija p je opadaju´ca, tj.
v 1 6 v 2 =⇒ p(v 1 ) > p(v 2 ).
Iz ovog svojstva slijedi
y ∈ ∂p(0) =⇒ y 6 0.
(40)
b) Ako su f i g konveksne na C, onda je p konveksna na V.
c)
∂p(0) = −L.
d)
pc (−u) = −ϕ(u),
31
u ∈ Rm
+.
(41)
(42)
Dokaz. a)
v 1 6 v 2 ⇒ G(v 1 ) ⊆ G(v 2 ) ⇒ p(v 1 ) > p(v 2 ).
Dalje, zbog 0 6 ei je p(0) > p(ei ) i 0 > p(ei ) − p(0) > hy, ei − 0i = yi , i = 1, m.
b) Neka je v 1 , v 2 ∈ V, λ1 , λ2 > 0, λ1 + λ2 = 1. Za svaki ε > 0 postoje x1ε ∈
G(v 1 ), x2ε ∈ G(v 2 ) takvi da vrijedi
p(v 1 ) 6 f (x1ε ) < p(v 1 ) + ε,
p(v 2 ) 6 f (x2ε ) < p(v 2 ) + ε.
Zbog konveksnosti funkcije g je λ1 x1ε + λ2 x2ε ∈ G(λ1 v 1 + λ2 v 2 ), tako da imamo
p(λ1 v 1 + λ2 v 2 ) =
inf
x∈G(λ1 v 1 +λ2 v 2 )
f (x) 6 f (λ1 x1ε + λ2 x2ε ) 6
6 λ1 f (x1ε ) + λ2 f (x2ε ) < λ1 p(v 1 ) + λ2 p(v 2 ) + 2ε.
Poˇsto je ε > 0 proizvoljan, mora biti
p(λ1 v 1 + λ2 v 2 ) 6 λ1 p(v 1 ) + λ2 p(v 2 ).
c) Iz −y 0 ∈ L slijedi
¡
¢
p(0) 6 inf f (x) − hy 0 , g(x)i ,
x
Neka je v ∈ V i x takav da je g(x) 6 v. Zbog −y 0 > 0, v − g(x) > 0 je
h−y 0 , g(x)i 6 h−y 0 , vi, pa imamo
p(0) + hy 0 , vi 6 f (x),
p(0) + hy 0 , vi 6 inf f (x) = p(v),
g(x)6v
0
ˇsto znaˇci da je y ∈ ∂p(0). Dakle, −L ⊆ ∂p(0).
Neka je sada y 0 ∈ ∂p(0). Za sve v ∈ V vrijedi p(v) − p(0) > hy 0 , vi Uzmimo
fiksiran x0 ∈ D i stavimo v 0 = g(x0 ). Sada vrijedi
p(0) 6 p(v 0 ) + h−y 0 , v 0 i,
odakle je, zbog p(v 0 ) =
inf
g(x)6g(x0 )
f (x) 6 f (x0 ),
p(0) 6 f (x0 ) + h−y 0 , g(x0 )i,
i
p(0) 6 inf0 f (x0 ) + h−y 0 , g(x0 )i = ϕ(−y 0 ).
x
Kako je prema (38) y 0 6 0, dobijamo −y 0 ∈ L, pa je ∂p(0) ⊆ −L.
½
f (x), x ∈ G(v)
d) Stavimo da je fe(x, v) =
, tako da je p(v) = inf fe(x, v).
+∞, inaˇce
x∈D
pc (−u) = sup (h−u, vi − p(v)) = sup (h−u, vi − inf fe(x, v)) =
v∈Rm
v∈Rm
32
x∈D
= sup sup (h−u, vi − fe(x, v)) = sup
x∈D v∈Rm
sup
(h−u, vi − fe(x, v)) =
x∈D v:g(x)6v
= sup (−hu, g(x)i − f (x)) = − inf (f (x) + hu, g(x)i) = −ϕ(u).
x∈D
x∈D
¤
Primjedba 6 Formula (38) se na isti naˇcin dokazuje za ∂p(v), v ∈ int V.
To je uopˇstenje ˇcinjenice da izvod opadaju´ce funkcije jedne promjenljive nije
pozitivan. U d) je data veza izmed¯u vaˇznih funkcija p i ϕ, iz koje se takod¯e vidi
da je ϕ konkavna.
USLOVI OPTIMALNOSTI
Prvo ´cemo se baviti potrebnim uslovima za postojanje taˇcke minimuma
funkcije f na skupu G ⊆ Rn .
Za konveksne funkcije smo imali da je nejednakost
h∇f (x∗ ), vi > 0
za svaki dopustivi pravac v ∈ V(x∗ , G)
potreban i dovoljan uslov za postojanje taˇcka minimuma x∗ . Ovo znaˇci da
ako je x∗ taˇcka minimuma, onda ne postoji dopustivi pravac v takav da vrijedi
h∇f (x∗ ), vi < 0. Bez konveksnosti uslov je potreban, stim da je tada minimum
lokalni. Zaista, ako za neki v vrijedi
f (x∗ + tv) − f (x∗ )
< 0,
t→0
t
h∇f (x∗ ), vi = lim
onda imamo da je f (x∗ + tv) < f (x∗ ), za sve vrijednosti t ∈]0, t0 [, odnosno, x∗
nije taˇcka lokalnog minimuma funkcije f na G.
Za ... bitno je to da u dopustive pravce taˇcke x∗ ∈ G ∩ int D u odnosu na
skup
G = {x ∈ D : gi (x) 6 0, i ∈ J },
spadaju vektori v za koje
h∇gi (x∗ ), vi < 0 za svaki i ∈ J (x∗ ) = {i ∈ J : gi (x∗ ) = 0}.
Zaista, iz
gi (x∗ + tv) − gi (x∗ )
,
t→0
t
h∇gi (x∗ ), vi = lim
za i ∈ J (x∗ ) izlazi
gi (x∗ + tv)
< 0,
t→0+
t
pa postoji ti > 0 takav da je za sve t ∈]0, ti [
lim
gi (x∗ + tv) < 0.
Zbog neprekidnosti funkcija isto vrijedi i za i ∈ J \ J (x∗ ). Dakle, za sve
t ∈]0, t0 [, t0 = min ti i sve i ∈ J je gi (x∗ + tv) 6 0.
i∈J
33
Sada je jasno da, ako je x∗ taˇcka lokalnog minimuma funkcije f na skupu G,
pri ˇcemu je D otvoren, onda sistem nejednaˇcina
h∇f (x∗ ), vi < 0,
(43)
h∇gi (x∗ ), vi < 0, i ∈ J (x∗ )
(44)
nema rjeˇsenje na G.
Sada moˇzemo dokazati dvije osnovne teoreme optimalnosti. Oznaˇcimo sa G(x)
Jakobijevu matricu u x diferencijabilne funkcije g : Rn → Rm .
Teorema 32 (F. Dˇ
zon, 1948) Neka su f, g diferencijabilne i neka je x∗ taˇcka
lokalnog minimuma funkcije f na skupu G. Tada postoje y ∗ ∈ Rm , y0∗ ∈ R takvi
da vrijedi:
(y0∗ , y ∗ ) > 0, (y0∗ , y ∗ ) 6= 0,
(45)
y0∗ ∇f (x) + G> (x∗ )y ∗ = 0,
∗
∗
hy , g(x )i = 0.
(46)
(47)
Dokaz. Ako je J (x∗ ) = ∅, onda je x∗ ∈ intG, tako da je ∇f (x∗ ) = 0, i dovoljno
je uzeti y0∗ = 1, y ∗ = 0. U suprotnom, neka je A matrica ˇcije vrste su vektori
∇f (x∗ ), ∇gi (x∗ ), pri i ∈ J (x∗ ). Ako je x∗ taˇcka lokalnog minimuma funkcije
f na skupu G, onda sistem nejednaˇcina (44)
h∇f (x∗ ), vi < 0,
h∇gi (x∗ ), vi < 0, i ∈ J (x∗ )
(48)
odnosno sistem
Av < 0
ˇ
nema rjeˇsenja. Sada, prema Gordan-Stimkeovoj
teoremi, postoji vektor
(y0∗ , z ∗ ) > 0,
takav da je
µ
A
y0∗
z∗
(y0∗ , z ∗ ) 6= 0
¶
= 0.
Formirajmo novi vektor y ∗ stavljaju´ci da je yi∗ = zi∗ za i ∈ J (x∗ ), a yi∗ = 0 za
i ∈ J \ J (x∗ ). Sada prethodna jednakost postaje
µ ∗ ¶
¡
¢
y0
∇f (x∗ ), G> (x∗ ) ·
= 0,
y∗
odnosno
y0∗ ∇f (x) + G> (x∗ )y ∗ = 0.
Uslov (48) je ispunjen poˇsto je yi∗ = 0 ili gi (x∗ ) = 0. ¤
Med¯utim, F. Dˇzonova teorma nema veliku praktiˇcnu vrijednost. Preciznije, u
situaciji da sistem
G> (x∗ )y = 0, y > 0
34
ima netrivijalno rjeˇsenje, moˇzemo uzeti da je y0∗ = 0, pa funkcija f ne sudjeluje u ovim uslovima za postojanje svog ekstrema. Prema tome, potrebno je
obezbjediti dodatni uslov da bude ispunjeno
y0∗ > 0.
Takvi uslovi nazivaju se uslovi regularnosti. a jedan takav je MangasarijanFromovicev uslov: Sistem (36) ima rjeˇsenje, tj.
∃ v ∈ Rn : h∇gi (x∗ ), vi < 0, ∀i ∈ J (x∗ ).
(49)
Teorema 33 (Karuˇ
s 1939, Kun, Taker 1951) Neka su funkcije f : Rn →
R, g = (g1 , ..., gm ) : Rn → Rm diferencijabilne u taˇcki x∗ lokalnog minimuma
funcije f na skupu G, i neka je ispunjen Mangasarjan- Fromovicev uslov. Tada
postoji taˇcka y ∗ ∈ Rn+ takva da vrijedi
∇f (x∗ ) +
m
X
yi∗ ∇gi (x∗ ) = 0,
(50)
i=1
m
X
yi∗ gi (x∗ ) = 0.
(51)
i=1
Dokaz. Ispunjeni su uslovi Dˇzonove teoreme, a uslov (37) se svodi na
X
y0∗ ∇f (x∗ ) +
yi∗ ∇gi (x∗ ) = 0.
(52)
i∈J (x∗ )
Neka je v vektor iz (37). Nakon skalarnog mnoˇzenja dobijamo
X
y0∗ h∇f (x∗ ), vi +
yi∗ h∇gi (x∗ ), vi = 0,
i∈J (x∗ )
Ako je y ∗ = 0, onda je y0∗ > 0, zbog (y0∗ , y ∗ ) > 0, i (y0∗ , y ∗ ) 6= 0. Ako je
y ∗ 6= 0, zbog Mangasarijan-Fromovicevog uslova, drugi sabirak je negativan,
odakle slijedi
y0∗ h∇f (x∗ ), vi > 0,
ˇsto opet daje y0∗ > 0. Nakon dijeljenja sa y0∗ dobijemo (51). ¤
Uoˇcimo da za konkavnu (specijalno afinu) funkciju gi uslov h∇gi (x∗ ), vi < 0
moˇze da se zamijeni sa h∇gi (x∗ ), vi 6 0, budu´ci da je za sve t > 0
gi (x∗ + tv) 6 gi (x∗ ) + th∇gi (x∗ ), vi 6 0
Sada uslov (44) moˇzemo i precizirati: Ako je x∗ taˇcka lokalnog minimuma
funkcije f na G, onda nema rjeˇsenja sistem
h∇f (x∗ ), vi < 0,
h∇gi (x ), vi 6 0, i ∈ JK (x∗ ) = {i ∈ J (x∗ ) : gi je konkavna},
h∇gi (x∗ ), vi < 0, i ∈ J (x∗ ) \ JK (x∗ ).
∗
35
(53)
Kao ˇsto smo koristili Mangasarijan-Fromovicev uslov koristiti tzv. AHU uslov
regularnosti (Erou, Hurvic, Uzava): Postoji v ∈ Rn takav da za nekonkavne
gi , i ∈ J (x∗ ) vrijedi
h∇gi (x∗ ), vi < 0,
dok za konkavna aktivna ograniˇcenja u x∗ je
h∇gi (x∗ ), vi 6 0.
Tada postupamo na sljede´ci naˇcin. Uzmimo da matrica A kao vrste ima ∇f (x∗ ),
∇gi (x∗ ), i ∈ J \ JK , a B ∇gi (x∗ ), i ∈ JK . Tada se iz
X
X
y0∗ h∇f (x∗ ), vi +
yi∗ h∇gi (x∗ ), vi +
yi∗ h∇gi (x∗ ), vi = 0,
i∈J (x∗ )\JK (x∗ )
i∈JK (x∗ )
ako bi bilo y0∗ = 0 dobija jednaˇcina po v koja nema rjeˇsenje, zbog AHU uslova
i Mockinove teoreme alternative.
Da bismo se lakˇse izraˇzavali uvedimo sljede´ce pojmove. Svako rjeˇsenje po (x, y)
sistema:
g(x) 6 0, y > 0,
(54)
∇f (x) + G> (x)y = 0,
>
y g(x) = 0,
(55)
(56)
zva´cemo KKT taˇcka problema minimizacije (P), a navedene uslove KKT uslovi.
Dakle, prema prethodnoj teoremi, uz uslov MF ili AHU, KKT uslovi su potrebni
za postojanje lokalnog rjeˇsenja problema (NP).
Primjer 28 Rjeˇsenje problema minimizacije funkcije f : R2 → R
f (x1 , x2 ) = (x1 + 1)2 + x22 ,
na skupu G = {x ∈ R2 : −x31 + x22 6 0}
oˇcigledno je x∗ = (0, 0), ali uslov (55) postaje
2e1 + y · 0 = 0,
pa x∗ nije KKT taˇcka. Uoˇcimo da Erou-Hurvic-Uzavin uslov nije ispunjen,
poˇsto g(x) = −x31 + x22 nije konkavna , a ∇g(0) = 0.
Primjer 29 Posmatrajmo opˇsti zadatak linearnog programiranja:
min{hc, xi : Ax > b}.
Stavimo f (x) = hc, xi i g(x) = b − Ax. Ako je G = {x ∈ Rn : g(x) 6 0}
neprazan, onda je ispunjen AHU uslov regularnosti u svakoj dopustivoj taˇcki.
Kako je
∇f (x) = c, G(x) = −A,
36
KKT uslovi postaju:
Ax > b, u > 0,
c − A> u = 0
hu, b − Axi = 0.
Tre´ci uslov hb, ui = hu, Axi zbog hu, Axi = hA> u, xi, uz drugi uslov je ekvivalentan sa
hb, ui = hc, xi.
Dakle, ako je x∗ rjeˇsenje osnovnog problema linearnog programiranja, onda postoji u∗ > 0 takav da vrijedi c = A> u∗ i
hu∗ , b − Ax∗ i = 0
(57)
Naravno, prethodni uslov se moˇze zamijeniti sa
hb, u∗ i = hc, x∗ i.
(58)
Za kanonski zadatak linearnog programiranja
min{hc, xi : Ax > b, x > 0}.
imamo
µ
f (x) = hc, xi, g(x) =
b − Ax
−x
¶
µ
, ∇f (x) = c, G(x) = −
A
I
¶
,
tako da su KKT uslovi :
Ax > b, x > 0,µu > ¶
0, v > 0
u
c − (A> , I)
=0
v ¶À
¿µ
¶ µ
u
b − Ax
,
= 0.
v
−x
Drugi i tre´ci uslov su
c − A> u = v,
hu, b − Axi = hv, xi,
pa eliminacijom vektora v dobijamo:
Ax > b, x > 0, u > 0,
>
c>A
­ u
®
hu, b − Axi = x, c − A> u .
Jasno, posljednja jednaˇcina je ekvivalentna sa hb, ui = hc, xi, a moˇze se uz
prethodne uslove i precizirati. Naime, zbog x > 0, A> y 6 c vrijedi hu, Axi =
37
­ >
®
A u, x 6 hc, xi = hu, bi, odakle je hu, b−Axi > 0. Kako je obratna nejednakost
oˇcigledna dobijamo jednakost, a samim tim i potreban uslov
­
®
hu, b − Axi = 0,
x, c − A> u = 0.
(59)
Dovoljni uslovi optimalnosti
Jedan od osnovnih rezultata u konveksnoj optimizaciji je da su KKT uslovi
dovoljni za potojanje optimalnog rjeˇsenja. Preciznije, vrijedi
Teorema 34 Neka su f i g konveksne funkcije, diferencijabilne u x0 ∈ G. Ako
postoji y 0 ∈ Rm takav da je (x0 , y 0 ) KKT taˇcka, onda je x0 taˇcka globalnog
minimuma funkcije f na skupu G.
Dokaz. Prvo, neka je J (x0 ) = ∅ tj. g(x0 ) < 0. Poˇsto je joˇs y 0 > 0, i
hy 0 , g(x0 )i = 0, mora da bude y 0 = 0. Sada jednakost (42) postaje ∇f (x0 ) = 0.
Zbog konveksnosti funkcije f , za sve x ∈ G imamo
f (x) − f (x0 ) > h∇f (x0 ), x − x0 i = 0.
Ukoliko je J (x0 ) 6= ∅, to za proizvoljan x ∈ G i sve i ∈ J (x0 ) vrijedi
gi (x) 6 0 = gi (x0 ),
pa je, zbog konveksnosti funkcija gi , h∇gi (x0 ), x − x0 i 6 0. Sada iz (42) izlazi
X
h∇f (x0 ), x − x0 i = −
yi0 h∇gi (x0 ), x − x0 i > 0,
i∈J (x0 )
odakle je
f (x) > f (x0 ), za sve x ∈ G,
opet zbog konveksnosti. ¤
Primjer 30 Sada vidimo da su potrebni uslovi za postojanje rjeˇsenja opˇsteg
zadatka LP i dovoljni, s obzirom da su afine funkcije konveksne. Dakle, x∗
takav da je Ax∗ > b je rjeˇsenje datog problema ako postoji u∗ > 0 takav da je
c = A> u∗ ,
hu∗ , b − Ax∗ i = 0.
Ovo je lako i direktno dokazati. Prvo, neposredno slijedi da je hb, u∗ i = hc, x∗ i.
Sada, za svaki dopustivi vektor x, zbog Ax > b i u∗ > 0 imamo hb, u∗ i 6
hAx, u∗ i . Odavde, za sve dopustive x je hc, x∗ i 6 hc, xi :
®
­
hc, x∗ i = hb, u∗ i 6 hAx, u∗ i = x, A> u∗ = hc, xi .
38
Spajajanjem prethodne dvije teoreme potreban i dovoljan kriterijum optimalnosti u konveksnom programiranju. Med¯utim, za ovaj problem se koristi Slejterov uslov regularnosti koji je ekvivalentan sa MF uslovom:
(∃ x0 ∈ C) g(x0 ) < 0.
(60)
Inaˇce, kaˇze se i da je skup G regularan po Slejteru.
Teorema 35 (Kun, Taker) Neka su konveksne funkcije f i gi (i ∈ J ) diferencijabilne u x∗ ∈ G, i neka je skup G regularan po Slejteru. Tada je x∗ rjeˇsenje
problema (KP) ako i samo ako postoji y ∗ takav da je (x∗ , y ∗ ) njegova KKT
taˇcka.
Dokaz. Dovoljno je dokazati da S uslov povlaˇci MF uslov. Neka postoji x0 ∈ C
takav da je g(x0 ) < 0. Tada, za x∗ i sve i ∈ J (x∗ ), zbog konveksnosti, imamo
­
®
∇gi (x∗ ), x0 − x∗ 6 gi (x0 ) − gi (x∗ ) = gi (x0 ) < 0,
pa u (49) uzimamo v = x0 − x∗ . ¤
Primjedba 7 Da MF uslov povlaˇci S uslov, tj. {v : h∇gi (x∗ ), vi < 0, i ∈
J (x∗ )} 6= ∅ =⇒ {x : g(x) < 0} 6= ∅ vidjeli smo u uvodnom dijelu ovog
poglavlja, i to bez konveksnosti. Istaknimo joˇs da u Slejterovom uslovu ne figuriˇse
rjeˇsenje problema, kao ˇsto je u MF uslovu, pa je njegova upotreba jednostavnija.
S druge strane situacija je olakˇsana tim ˇsto je dovoljno na´ci, za svaki i ∈ J ,
taˇcku xi ∈ G takvu da je gi (xi ) < 0. Tada je Slejterov uslov ispunjen za njihovu
1
m
konveksnu kombinaciju x0 = x +...+x
, budu´ci da zbog konveksnosti svake od
m
funkcija gi imamo: gi (x0 ) 6
gi (x1 )+...+gi (xm )
m
6
gi (xi )
m
< 0.
Primjer 31 Na´ci minimum funkcije f : R2+ → R
f (x) =
x21 + x22 − 2 x1 − 2 x2
,
x1 + x2
pri uslovima: x1 + x2 > 1, 2x1 + 3 x2 6 6
Rjeˇsenje.
Neka je g1 (x1 , x2 ) = −x1 − x2 + 1, g2 (x1 , x2 ) = 2x1 + 3x2 − 6, g3 (x1 , x2 ) =
−x1 , g4 (x1 , x2 ) = −x2 i
G = {x ∈ R2 : g1 (x1 , x2 ) 6 0, g2 (x1 , x2 ) 6 0, g3 (x1 , x2 ) 6 0, g4 (x1 , x2 ) 6 0}.
Ã
!
x22
2
x21 + x22
− 2, ∇f (x) = 1 −
Imamo: f (x) =
,
x1 + x2
(x1 + x2 )2
x21
∇2 f (x) =
4
(x1 + x2 )3
µ
39
x2
−x1
¶
(x2 , −x1 ) .
pa vidimo da je
h∇2 f (x)v, vi =
na skupu
4
(x1 v2 − x2 v1 )2 > 0
(x1 + x2 )3
{x ∈ R2 : x2 > −x1 } ⊃ G.
Dakle, f, g1 , ..., g4 su konveksne funkcije i ispunjen je Slejterov uslov (dovoljno je
uzeti taˇcku x0 = (1, 1) ), tako da su KKT uslovi potrebni i dovoljni za postojanje
globalnog minimuma.
Kako jednaˇcina ∇f (x) = 0 nema rjeˇsenja to je x∗ ∈
/ int G, i y 6= 0
Vidimo da su uslovi sljede´ci:
x ∈ G \ int G, y > 0, y 6= 0
µ
1−2
x2
x1 + x2
¶2
µ
− y1 + 2y2 − y3 = 0,
1−2
x1
x1 + x2
¶2
− y1 + 3y2 − y4 = 0,
y1 (−x1 − x2 + 1) = 0, y2 (2x1 + 3x2 − 6) = 0, y3 (−x1 ) = 0, y4 (−x2 ) = 0.
Prvo, (x1 , 0) i (0, x2 ) nisu KKT taˇcke: Za (x1 , 0) 1 6 x1 6 3 je y3 = 0, pa
prva dva uslova su y1 − 2y2 = 1, −y1 + 3y2 − y4 = 1, Zbog y > 0 ne moˇze
biti y1 = 0, tako da je ( tre´ci uslov ) x1 = 1. Sada, iz navedenog uslova je
y2 = 0, i 1 = −y1 − y4 6 0. Za (0, x2 ), 1 6 x2 6 2 je y4 = 0 i y1 = 3y2 = 1,
−y1 + 2y2 − y3 = 1. Vidimo da nije y1 = 0, y2 = 0, odakle je x1 = 1 i x1 = 2.
Kako navedene taˇcke nisu KKT mora biti y3 = y4 = 0, tako da zbog uslova
y 6= 0 preostaje:
(a) y1 = 0, y2 6= 0,
µ
¶2
µ
¶2
x2
x1
tj. x1 + x2 = 1, ˇsto sa 1 − 2
=2
daje x1 = x2 .
x¶1 + x2
x1 +¶x2
µ
µ
1 1
1
Zakljuˇcujemo da je x∗ =
,
, i y∗ =
, 0, 0, 0 .
2 2
2
(b) y2 = 0, y1 6= 0 ne treba analizirati, budu´ci da ako x∗ pripada duˇzi
](3, 0), (0, 2)[, onda optimalna taˇcka (zbog konveksnosti f -) postoji i u
int G.
slika
Primjedba 8 (Uslovi regularnosti) Kao prvo Mangasarijan-Fromovicev
uslov moˇze da se poveˇze sa sistemom jednaˇcina. Na osnovu Gordonˇ
Stimkeove
teoreme alternative, taj uslov je ekvivalentan uslovu da sistem
X
X
yi ∇g(x∗ ) = 0,
yi = 1, yi > 0, i ∈ J (x∗ )
i∈J (x∗ )
i∈J (x∗ )
40
nema rjeˇsenje. To je sigurno ispunjeno ako je skup
{∇gi (x∗ ) : i ∈ J (x∗ )}
linearno nezavisan. Ovaj novi uslov se naziva Hestenesov, i on dakle
povlaˇci Mangasarjan-Fromovicev uslov. Uslov regularnosti Erou-HurvicUzave je ekvivalentan sa uopˇstenim Slejterovim uslovom: gi su konveksne
i postoji x0 ∈ C takav da je
gi (x0 ) < 0 (gi neaf ine), gi (x0 ) 6 0 (gi af ine),
ˇsto se pokazuje kao i odnos izmed¯u Slejterovog i Mangasarijan-Fromovicevog
uslova.
U konveksnoj optimizaciji uslov:
Ne postoji p > 0, p 6= 0, takav da je za sve x ∈ C vrijedi hp, g(x)i > 0
je joˇs jedan kome se ne nalazi rjeˇsenje problema. On je uslov regularnosti
(Karlinov) zato ˇsto je ekvivalentan sa Slejterovim uslovom. Ta ekvivalentnost nije niˇsta drugo do Fan-Gliksberg-Hofmanova teorema.
Sedlaste taˇ
cke i optimalnost
Ako su funkcije f i g diferencijabilne na skupu D onda za Lagranˇzovu
funkciju L(x, y) = f (x) + hy, g(x)i onda imamo
∇x L(x, y) = ∇f (x) + hy, ∇g(x)i,
∇y L(x, y) = g(x).
Sada vidimo da je KKT taˇcka rjeˇsenje sistema
∇x L(x, y) = 0,
(61)
∇y L(x, y) = 0,
(62)
hy, g(x)i = 0,
(63)
Rm
+.
na skupu D ×
Joˇs jedna taˇcka vezana za Lagranˇzovu funkciju ima
vaˇznu ulogu u optimizaciji. To je sedlastu taˇcka, a definisa´cemo je u
opˇstem sluˇcaju.
Definicija 8 Taˇcka (x0 , y 0 ) ∈ X × Y zove se sedlasta taˇcka funkcije F :
X × Y → R, X ⊆ Rn , Y ⊆ Rm ako za sve (x, y) ∈ X × Y vrijedi
F (x0 , y) 6 F (x0 , y 0 ) 6 F (x, y 0 ).
41
(64)
Dakle, nas ´ce zanimati sedlaste taˇcke Lagranˇzove funkcije, koje ´cemo
kra´ce zvati STL . U sluˇcaju konveksnog programiranja, sa diferencijabilnim funkcijama f i g lako se dobije da ako je (x∗ , y ∗ ) KKT taˇcka, onda
L ima sedlastu taˇcku. Zaista,
C 3 x 7→ L(x, y ∗ ) = f (x) + hy ∗ , g(x)i ∈ R
je konveksna, pa vrijedi
L(x, y ∗ ) − L(x∗ , y ∗ ) > h∇x L(x∗ , y ∗ ), x − x∗ i.
KKT uslov (...) je ∇x L(x∗ , y ∗ ) = 0, tako da dobijamo, za sve x ∈ C
L(x∗ , y ∗ ) 6 L(x, y ∗ ).
Sa druge strane, za sve y ∈ Rm
cigledno je hy, g(x∗ )i 6 0, a prema
+ , oˇ
∗
∗
pretpostavci (62) imamo hy , g(x )i = 0, tako da vrijedi
L(x∗ , y) = f (x∗ ) + hy, g(x∗ )i 6 f (x∗ ) = L(x∗ , y ∗ ).
Povezuju´ci ovaj zakljuˇcak sa teoremom 36. dobijamo potreban uslov
za postojanje rjeˇsenja zadatka diferencijabilne konveksne minimizacije,
pomo´cu sedlastih taˇcaka (Slejter, 1950). Mi ´cemo do tog uslova do´ci bez
zahtjeva da su f i g diferencijabilne. Vrijedi sljede´ca teorema.
Teorema 36 Neka su f i gi , i ∈ J konveksne funkcije, skup G regularan
po Slejteru i neka je x∗ taˇcka minimuma funkije f na G. Tada postoji
y ∗ > 0 takva da je (x∗ , y ∗ ) sedlasta taˇcka funkcije L.
Dokaz. Jasno je da vrijedi {x ∈ C : g(x) < 0, f (x) − f (x∗ ) < 0} = ∅.
Prema Fan-Gliksberg-Hofmanovoj teoremi postoji vektor (p, p0 ) 0 takav
da za sve x ∈ C vrijedi
hp, g(x)i + p0 (f (x) − f (x∗ )) > 0.
Odavde, za x = x∗ slijedi hp, g(x∗ )i > 0, pa zbog p > 0, g(x∗ ) 6 0 tu je
na snazi jednakost
hp, g(x∗ )i = 0.
Dalje, ako bi bilo p0 = 0, onda ponovo koriste´ci teoremu Fan-GliksbergHofmana imali bismo da je {x ∈ C : g(x) < 0} = ∅. Zbog Slejterovog
uslova ova skup je neprazan, pa nam preostaje p0 > 0. Uzimaju´ci da je
y ∗ = p10 p, izlazi za sve x ∈ C,
hy ∗ , g(x)i + f (x) > f (x∗ )),
ˇsto sa hy ∗ , g(x∗ )i = 0 znaˇci L(x∗ , y ∗ ) 6 L(x, y ∗ ). Sa druge strane, za sve
y > 0, oˇcigledno je L(x∗ , y ∗ ) 6 L(x∗ , y ∗ ). ¤
Bez ikakvih posebnih uslova, iz postojanja sedlaste taˇcke slijedi rjeˇsivost
problema minimizacije.
42
Teorema 37 Ako Lagranˇzova funkcija L ima sedlastu taˇcku (x∗ , y ∗ ) na
∗
skupu D × Rm
cka globalnog minimuma funkcije f na G.
+ , onda je x taˇ
Dokaz. Neka je (x∗ , y ∗ ) sedlasta taˇcka funkcije L. Tada za sve x ∈ D,
y > 0 nejednakosti (...) postaju
f (x∗ ) + hy, g(x∗ )i 6 f (x∗ ) + hy ∗ , g(x∗ )i 6 f (x) + hy ∗ , g(x)i.
(65)
Uzimaju´ci u lijevoj nejednakosti y = y ∗ + ei , i ∈ J , dobijamo da je
hei , g(x∗ )i 6 0, za sve i = 1, ..., m, odakle je g(x∗ ) 6 0, tj. x∗ ∈ G.
Sada je
hy ∗ , g(x∗ )i 6 0,
a pri y = 0 imamo hy ∗ , g(x∗ )i > 0. Slijedi hy ∗ , g(x∗ )i = 0, tako da desna
nejednakost u (65) postaje
f (x∗ ) 6 f (x) + hy ∗ , g(x)i.
Kako je y ∗ > 0, i g(x) 6 0 na skupu G, to je na njemu i f (x∗ ) 6 f (x). ¤
Primjedba 9 Iz navedenih teorema izlaze i ostali odnosi. Tako npr.
imamo da je (x∗ , y ∗ ) KKT taˇcka ako je, uz regularnost, taˇcka (x∗ , y ∗ )
STL. Osnovne veze date su
NP
regularnost
.
−→
konveksnost
KKT
STL
Primjer 32 Rijeˇsiti problem
f (x1 , x2 , x3 ) = x2 x3 +
1
→ min
x1 x2 x3
G = {x ∈ int R3+ : x1 x2 + x1 x3 6 1}.
Rjeˇsenje. Za svaku taˇcku iz dopustivog skupa ispunjen je Hestensov, a
time i Mangasarijan-Fromovicev uslov regularnosti. Jedina KKT taˇcka je
µ
¶
1
(x∗ , u∗ ), x∗ =
, 1, 1 , u∗ = 2.
2
Ovdje ne moˇzemo iskoristiti Kun Takerovu teoremu poˇsto f i g nisu kon1
2
) >
veksne funkcije: za x1 = (1, 21 , 21 ), i x2 = ( 12 , 1, 1) vrijedi f ( x +x
2
f (x1 )+f (x2 )
,
2
1
2
1
2
)
i g( x +x
) > g(x )+g(x
. Skup G nije kompaktan, tako da ne
2
2
moˇzemo iskoristiti ni Vajerˇstrasovu teoremu o ekstremima.
43
slika
Provjerimo da li je (x∗ , y ∗ ) sedlasta taˇcka Lagranˇzove funkcije
L(x, y) = x2 x3 +
1
+ y(x1 x2 + x1 x3 − 1).
x1 x2 x3
Nejednakost L(x∗ , y) 6 L(x∗ , y ∗ ) je trivijalna, dok se L(x∗ , y ∗ ) 6 L(x, y ∗ )
svodi na
1
x2 x3 +
+ 2(x1 x2 + x1 x3 − 1) > 3,
x1 x2 x3
odnosno na
2x1 x2 + 2x1 x3 + x2 x3 +
1
1
+
> 5.
2x1 x2 x3
2x1 x2 x3
Preostaje da se iskoristi nejednakost izmed¯u aritmetiˇcke igeometrijske sredine. Dakle, rijeˇc je o sedlastoj taˇcki, pa je x∗ rjeˇsenje datog zadatka. ¤
Sedlaste taˇ
cke i minimaks
Postojanje sedlaste taˇcke funkcije F neposredno povlaˇci jednakost
min F (x, y 0 ) = max F (x0 , y),
x∈X
(66)
y∈Y
pri ˇcemu su te vrijednosti jednake F (x0 , y 0 ). Obratno, iz ove jednakosti
izlazi da za sve (x, y) ∈ X × Y vrijedi
F (x0 , y) 6 max F (x0 , y) = min F (x, y 0 ) 6 F (x, y 0 ),
y
x
odakle, uzimaju´ci x = x0 , y = y 0 slijedi F (x0 , y 0 ) = max F (x0 , y). Tako
y
dobijamo nejednakosti (63) iz definicije sedlaste taˇcke.
Jednakost (65) navodi nas na pomisao da tada vaˇzi i jednakost
min max F (x, y) = max min F (x, y),
x∈X y∈Y
y∈Y x∈X
a da je zaista tako vidimo iz sljede´ce teoreme.
Teorema 38 Funkcija F : X × Y → R, X ⊆ Rn , Y ⊆ Rm ima sedlastu
taˇcku na skupu X × Y, ako i samo ako vrijedi
min max F (x, y) = max min F (x, y).
x∈X y∈Y
y∈Y x∈X
44
(67)
Dokaz. Za sve (x, y), (x0 , y 0 ) ∈ X × Y vrijede nejednakosti
sup F (x, y) > F (x, y) > inf F (x, y),
x∈X
y ∈ Y
inf sup F (x, y) > sup inf F (x, y),
x
y
y
x
sup F (x0 , y) > inf sup F (x, y) > sup inf F (x, y) > inf F (x, y 0 ).
x
y
y
y
x
x
Ako F ima (x0 , y 0 ) za sedlastu taˇcku posljednje nejednakosti, uz (64),
povlaˇce
inf sup F (x, y) = sup inf F (x, y) (= F (x0 , y 0 )).
x
y
x
y
Neka su sada, x0 i y 0 taˇcke minimuma, odnosno maksimuma odgovaraju´cih
funkcija iz (65). Vrijedi maxy F (x0 , y) = minx F (x, y 0 ), a to, kao ˇsto smo
vidjeli, preko (64), znaˇci da je (x0 , y 0 ) sedlasta taˇcka. ¤
Uslovi koji obezbjed¯uju jednakost (65) sadrˇzani su u teoremama o minimaksu. Prvu od njih, za standardne simplekse i bilinearnu funkciju
F (x, y) = x> Ay, dokazao je von Nojman (1928), a potom je dao i njeno
uopˇstenje 1937.
Teorema 39 Neka je neprekidna funkcija (x, y) 7→ F (x, y) konveksna po
x ∈ X, konkavna po y ∈ Y, pri ˇcemu su ovi skupovi konveksni i kompaktni.
Tada vrijedi
min max F (x, y) = max min F (x, y).
x∈X y∈Y
y∈Y x∈X
Dokaz. Oznaˇcimo lijevu stranu minimaks jednakosti sa α, a desnu sa β.
Zbog neprekidnosti i kompaktnosti ove vrijednosti postoje. Pokaˇzimo da
je α = β. Jasno, iz F (x, y) > min F (x, y), za sve y ∈ Y, slijedi
x∈X
max F (x, y) > max min F (x, y) = β,
y∈Y
y∈Y x∈X
za sve x ∈ X, pa je
α = min max F (x, y) > β.
x∈X y∈Y
Pretpostavimo da je α > β, i definiˇsimo funkcije
Fy : x 7→ F (x, y),
za svaki y ∈ Y. Tada, zbog max F (x, y) > α za sve x ∈ X, presjek svih
y∈Y
nivoskih skupova lev (Fy , α+β
2 ) je prazan. Zbog kompaktnosti skupa X i
zatvorenosti nivoskih skupova postoji konaˇcno vektora y 1 , ..., y m tako da
je
m
\
¡
α +β¢
= ∅.
lev Fyi ,
2
i=1
45
Samim tim, uz oznaku G = (Fy1 −
α+β
m
2 , ..., Fy
−
α+β >
2 )
vrijedi
{x ∈ X : G(x) < 0} = ∅.
Sve komponentne funkcije su konveksne po pretpostavci, tako da po Fan
Gliksberg Hofmanovoj teoremi postoji p = (p1 , ..., pm ) 0 takav da za
sve x ∈ X je
¶
µ
m
X
¡
¢ α+β
> 0.
pi F x, y i −
2
i=1
Stavljaju´ci da je λi =
sve x ∈ X slijedi
pi
p1 +...+pm ,
iz konkavnosti polazne funkcije po y, za
m
X
α+β
6
λi F (x, y i ) 6 F
2
i=1
Ã
x,
m
X
!
λi y
i
.
i=1
Odavde je
α+β
6 min F
x∈X
2
Ã
x,
m
X
!
λi y i
i=1
6 max min F (x, y) = β,
y∈Y x∈X
odnosno α 6 β. To je u suprotnosti sa pretpostavkom α > β, pa nam
preostaje jednakost. ¤
46
DUALNOST
U teoriji dualnosti se osnovnom (polaznom problemu) dodjeljuje sliˇcan
problem, takav da su im rjeˇsenja u bliskoj vezi. U matematiˇckom programiranju dati problem minimizacije naziva se primalan (P), a pridruˇzuje
mu se dualan problem (D). Teoreme dualnosti govore o odnosu rjeˇsivosti
tih problema, kao i o vezi izmed¯u rjeˇsenja. U odred¯enim sluˇcajevima za
rjeˇsavanje moˇze se izabrati jenostavniji od ta dva problema. Dualnost u
linearnom programiranju dobi´cemo kao specialan sluˇcaj. Za sada navedimo da za osnovni problem (LP)
min c> x
Ax > b,
dualan je problem
max y > b
A> y = c,
y > 0,
ˇsto se ... I u opˇstem sluˇcaju, zadatku minimizacije funkcije f na dopustivom skupu G bi´ce problem maksimizacije u kome sudjeluju f i g.
Vulfova i Lagranˇ
zova dualnost
1. Jedan od pristupa sastoji se u sljede´cem. Za primalan problem (P):
min{f (x) : x ∈ G},
G = {x ∈ C : g(x) 6 0}
neka je ∅ 6= C ⊆ Rn , konveksan skup i f : C → R, g : C → Rm . konveksne
funkcije. Restrikcija
C 3 x 7→ L(x, u) ∈ R,
Lagranˇzove funkcije L : C × Rm
+ −→ R,
L(x, u) = f (x) + hu, g(x)i.
je konveksna na C za svaki (fiksiran) vektor u > 0. Ako su date funkcije
joˇs i diferencijabilne, dobijamo da na skupu C vrijedi
L(x, u) > L(y, u) + h∇x L(y, u), x − yi.
S druge strane, kako za sve x ∈ G i u > 0 vrijedi hu, g(x)i 6 0 imamo
L(x, u) 6 f (x).
47
Iz ovih nejednakosti, za sve x ∈ G, y ∈ C, u > 0, dobijamo
f (x) > L(y, u) + h∇x L(y, u), x − yi.
Prema tome, za sve y ∈ C, u > 0 za koje je
∇x L(y, u) = 0
vrijedi
f (x) > L(y, u).
Sada moˇzemo vidjeti da je prirodno problemu (P) dodijeliti problem :
max L(y, u),
(68)
∇x L(y, u) = 0, y ∈ C, u > 0,
(69)
kojeg ´cemo zvati dualan, a oznaˇcati sa (D). Jasno, umjesto min u (P)
i max u (D) moˇzemo staviti inf, odnosno sup. Ovo je Vulfov pristup u
Teoriji dualnosti konveksnog programiranja.
2. U opˇstem sluˇcaju, tj. bez uslova konveksnosti i diferencijabilnosti
moˇzemo postupiti na sljede´ci naˇcin. Kako za sve x ∈ G i u > 0 vrijedi
L(x, u) 6 f (x),
slijedi
inf L(x, u) 6 f (x).
x∈G
Uvode´ci u gornju nejednekost funkciju ϕ (Primjer 24)
ϕ(u) = inf L(x, u) u > 0,
x∈D
i imaju´ci na umu da je G ⊆ D, dobijamo da za sve x ∈ G, i sve u > 0
vrijedi
ϕ(u) 6 f (x).
(70)
Problemu (P) dodjeljujemo dualan problem (D):
sup ϕ(u),
u ∈ Rm
+.
Ponekad se funkcija ϕ naziva Lagranˇzijan, a (D) Lagranˇzov dualan
problem.
Marginalna funkcija i dualnost
48
Do pojma Lagranˇzove dualnosti moˇzemo do´ci i na drugi naˇcin. Neka je
p marginalna funkcija problema (P), koja ima konjugovanu funkciju. Iz
Fenhel-Jangove nejednakosti
p(0) + p∗ (−u) > h0, −ui,
imamo p(0) > −p∗ (−u). Sada je, prema Primjeru 25-d,
p(0) > ϕ(u),
u > 0,
odakle izlazi
p(0) > sup ϕ(u),
u>0
tj.
inf f (x) > sup ϕ(u).
g(x)60
(71)
u>0
Primjedba 10 (D) moˇzemo zapisati i u obliku
− inf −ϕ(u),
u ∈ Rm
+.
pa kako znamo da je funkcija −ϕ konveksna, vidimo da svakom primalnom
problemu (P) dodjeljujemo konveksan dualan problem. To ne mora biti
sluˇcaj za Vulfovu dualnost, zato ˇsto skup rjeˇsenja jednaˇcine (62) ne mora
biti konveksan.
Oznaˇcimo optimalne vrijednosti problema (P), i (D) sa π i δ. Ako je
G = ∅ stavljamo π = +∞. Osnovni cilj teorije dualnosti je odred¯ivanje
uslova pod kojima vrijedi
π = δ,
kao i izuˇcavanje veze izmed¯u rjeˇsivosti primalnog i dualnog problema. Nejednakost (71)je, u stvari,
π > δ,
a lako se dokazuje i bez pozivanja na konjugovane funkcije. U suˇstini u
prethodnom razmatranju je sadrˇzana teorema slabe dualnosti.
0
0
Teorema 40 Za svaki (x0 , u0 ) ∈ G × Rm
+ vrijedi f (x ) > ϕ(u ). Pri
tome je π > δ.
Dokaz. Prvi dio je nejednakost (63). Sada, poˇsto je x0 ∈ G proizvoljna
taˇcka, vidimo da je f odozdo ograniˇcena sa ϕ(u0 ), te je onda ϕ(u0 ) 6 π,
i to za sve u0 > 0. Znaˇci, δ 6 π. ¤
Jednakost optimalnih vrijednosti povezana je sa svojstvima marginalne
funkcije (Primjer 25).
49
Teorema 41
π = δ ⇐⇒ p(0) = p∗∗ (0).
Dokaz. Iz (40) tj. ϕ(u) = −p∗ (−u), u > 0, slijedi
sup ϕ(u) =
u>0
sup
−p∗ (−u),
−u∈dom(p∗ )
odakle je
δ = sup ϕ(u) =
u>0
(h−u, 0i − p∗ (−u)) = p∗∗ (0).
sup
−u∈dom(p∗ )
Uz ovo je π = p(0), tako da je gornja ekvivalencija jasna. ¤
Primjedba 11 U sluˇcaju konveksnosti marginalne funkcije, saglasno Teoremi Fenhel-Moro moˇzemo re´ci da je π = δ ako i samo ako je p odozdo
poluneprekidna ( zatvorena ) u 0. Tada se za problem (P) kaˇze da je normalan.
Isto tako bitna je i nepraznost subdiferencijala marginalne funkcije u 0,
ˇsto vidimo iz
Teorema 42
∂p(0) 6= ∅
=⇒
π = δ.
Dokaz. Zaista, neka je −u0 ∈ ∂p(0). Tada je, prema teoremi 31. i (42),
π = p(0) = −p∗ (−u0 ) = ϕ(u0 ) 6 δ.
Sada, zbog π > δ izlazi jednakost. ¤
Nepraznost subdiferencijala se posebno istiˇce tako ˇsto se kaˇze da je (P)
stabilan ako za njegovu marginalnu funkciju vrijedi
∂p(0) 6= ∅.
Za definiciju stabilnosti uzima se i neko od tvrd¯enja koje je ekvivalentno
nepraznosti subdiferencijala marginalne funkcije u 0 (...)
Teoreme dualnosti
Veze izmed¯u rjeˇsivosti primalnog i odgovaraju´ceg dualnog problema, kao
i veze med¯u rjeˇsenjima tih problema date su teoremama dulnosti.
Teorema 43 (Jake dualnosti) Neka je p(0) konaˇcan. Tada dualan problem (D) ima rjeˇsenje u∗ i π = δ ako i samo ako vrijedi
−u∗ ∈ ∂p(0).
50
Dokaz. Kako je p(0) konaˇcan, na osnovu Teoreme 31 ( formula (30)), i
Primjera 25 ( jednakost (40)) imamo
−u∗ ∈ ∂p(0) ⇐⇒ π = ϕ(u∗ ).
Sada, ako je π = δ i ako je u∗ rjeˇsenje problema (D) slijedi π = ϕ(u∗ ), a
to povlaˇci −u∗ ∈ ∂p(0),
Obratno, iz −u∗ ∈ ∂p(0) izlazi π = ϕ(u∗ ) i π = δ (Teorema 46). Dakle,
δ = ϕ(u∗ ), odnosno max ϕ(u) = ϕ(u∗ ), tako da je u∗ rjeˇsenje problema
u>0
(D) i π = δ. ¤
Primjedba 12 Sta uoˇcavamo
Primjedba 13 Uslov π > −∞ je prirodan, s obzirom da je u suprotnom,
zbog nejednakosti, π > δ i δ = −∞ = ϕ(u) za sve u > 0 (slaba dualnost),
ˇsto je trivijalno.
Ilustrujmo prethodnu teoremu jednim primjerom.
Primjer 33 (Dafin,19) Za problem minimizacije
f (x1 , x2 ) = e−x2
p
g(x1 , x2 ) = x21 + x22 − x1 6 0
odrediti marginalnu funkciju i ispitati stabilnost.
p(v) =
Dopustivi skup
inf
(x1 ,x2 )∈G(v)
½
G(v) =
e−x2 , v ∈ R.
¾
q
x ∈ R2 :
x21 + x22 − x1 6 v
je prazan za v < 0, pa je p(v) = +∞. Za v = 0 vrijedi G(v) = {(x1 , 0) :
2
x1 > 0}, i p(0) = 1. U sluˇcaju da je v > 0, imamo da je ( n2v , n) ∈ G(v),
tako da e−n → 0. Zbog f (x) > 0 slijedi p(v) = 0. Dakle, D(p) = [0, +∞[,
½
1, v = 0
p(v) =
0, v > 0.
Ovdje je π = p(0) = 1 i x∗ = (0, 0) ( ˇstavise skup rjeˇsenja je G). Jasno,
∂p(0) = ∅ (Primjer 16.), te problem nije stabilan. I pored toga dualan
problem ima rjeˇsenje. Kako je
½
0, y 6 0
sup (uv − p(v)) =
+∞,
y > 0,
v∈V
dobijamo D(pc ) =]−∞, 0], pc (u) = 0, tako da je ϕ(u) = 0, u > 0. Rjeˇsenje
u∗ je svaki nenegativan broj, ali ovdje imamo π > δ. 2
51
slika
12
Primjer 34 Za problem minimizacije u kome je C = R
f (x) = e−x ,
g(x) = −x,
je π = 0, dok x∗ ne postoji. Ovdje je p ≡ 0, ∂p(0) = {0}. Funkija
ϕ definisana je jedinu u 0, pri ˇcemu je ϕ(0) = 0. Dualan problem ima
rjeˇsenje u∗ = 0, i δ = 0 ¤
Dakle iz teoreme jake dualnosti ne slijedi postojanje rjeˇsenja primalnog
problema. Prije nego ˇsto damo uslove koji to obezbjed¯uju uoˇcimo da ako
pored dualnog rjeˇsenje ima i primalan zadatak onda uslov π = δ glasi
f (x∗ ) = ϕ(u∗ ), tako da, zbog
f (x∗ ) = ϕ(u∗ ) = inf L(x, u∗ ) 6 L(x∗ , u∗ ) 6 f (x∗ ),
x
vrijedi
ϕ(u∗ ) = L(x∗ , u∗ ),
(72)
kao i uslov komplementarnosti
hg(x∗ ), u∗ i = 0.
(73)
Obratna teorema dualnosti govori o rjeˇsivosti primalnog problema, kada
dualan ima rjeˇsenje.
Teorema 44 (Inverzne dualnosti) Neka je u∗ rjeˇsenje problema (D) i
π = ϕ(u∗ ). Tada je taˇcka x∗ ∈ G rjeˇsenje problema (P), ako i samo ako
vrijede jednakost (64) i (65).
Dokaz. S obzirom na gore reˇceno preostaje da se dokaˇze drugi dio tvrd¯enja.
Tri jednakosti iz teoreme, tj.
π = ϕ(u∗ ) = L(x∗ , u∗ ) = f (x∗ ) + hu∗ , g(x∗ )i = f (x∗ ).
znaˇce
f (x∗ ) = inf f (x). ¤
x∈G
Primjedba 14 U prethodnom primjeru su ispunjeni uslovi Teoreme 48.
osim (64):
ϕ(0) = 0 6= L(x, 0) = e−x .
Stabilnost i uslovi regularnosti
Teoreme dualnosti su, u suˇstini, teorijskog karaktera poˇsto je odred¯ivanje
marginalne funkcije isto tako zadatak minimizacije. Stoga je dobro znati
52
lako provjerljive uslove koji povlaˇce stabilnost. U konveksnoj minimizaciji
jedan takav uslov je Slejterov. Zaista, neka je g(x0 ) < 0 za neku taˇcku
v 0 ∈ C. Stavljaju´ci
ε = − min gi (x0 )
i=1,...,m
imamo da za sve v takve da je kvk∞ < ε vrijedi g(x0 ) < v. Dakle, x0 ∈ Gv
i p(v) < +∞ (Primjedba 5.). Ovo znaˇci da je 0 ∈ int dom(p), a 0 ∈ int
D(p), uz uslov p(0) > −∞. Odavde je ∂p(0) 6= ∅ (Teorema 24.).
Sada ´cemo vidjeti da svi uslovi regularnosti garantuju stabilnost zadataka
konveksne minimizacije, tako ˇsto ´cemo ustanoviti ekvivalentnost problema
(NP), sa egzistencijom KKT i STL taˇcaka, koriste´ci pojam stabilnosti.
Teorema 45 Neka su f i g1 , ..., gm konveksne, diferencijabilne funkcije
na otvorenom skupu C i x∗ rjeˇsenje problema (P). Tada postoji y ∗ > 0
takav da je (x∗ , y ∗ ) KKT taˇcka ako i samo ako je problem (P) stabilan.
Dokaz. Neka je (P) stabilan. Iz teoreme jake dualnosti slijedi da dualan
problem ima rjeˇsenje y ∗ , pri ˇcemu je f (x∗ ) = ϕ(y ∗ ). Pokaˇzimo da je
(x∗ , y ∗ ) KKT taˇcka. Poˇsto je
f (x∗ ) = min(f (x) + hy ∗ , g(x)i)
x∈C
gradijent konveksne funkcije
x 7→ L(x, y ∗ )
u x∗ jednak je 0, tj. vrijedi (48). Dalje, iz gornje jednakosti imamo
f (x∗ ) 6 f (x∗ ) + hy ∗ , g(x)i, ili 0 6 hy ∗ , g(x∗ )i. Kako je y ∗ > 0, g(x∗ ) 6 0,
to je 0 > hy ∗ , g(x∗ )i i vrijedi (49).
Obratno, dokaˇzimo da je problem (P) stabilan, ako je (x∗ , y ∗ ) KKT taˇcka
za neki y ∗ > 0. U tom sluˇcaju, zbog (48), (49) i konveksnosti funkcija
f, gi , vrijedi za sve x ∈ C
m
X
yi∗ gi (x) =
i=1
=
m
X
yi∗ (gi (x) − gi (x∗ )) >
i=1
*m
X
m
X
yi∗ h∇gi (x∗ ), x − x∗ i =
i=1
+
yi∗ ∇gi (x∗ ), x − x∗
= −h∇f (x∗ ), x − x∗ i > f (x∗ ) − f (x),
i=1
odnosno
f (x) > f (x∗ ) − hy ∗ , g(x)i.
Dakle, p(0) 6 inf (f (x) + hy ∗ , g(x)i), pa prema Primjeru 25-c je y ∗ ∈ L,
x∈C
ˇsto znaˇci −y ∗ ∈ ∂p(0). 2
Bez uslova diferencijabilnosti, a u vezi sa STL taˇckom imamo.
53
Teorema 46 Neka je x∗ rjeˇsenje problema (P). Tada postoji y ∗ > 0 takav
da je (x∗ , y ∗ ) STL taˇcka i vrijedi hy ∗ , g(x∗ )i = 0 ako i samo ako (P) je
stabilan problem.
Dokaz. Kao prvo, ako je (x∗ , y ∗ ) sedlasta taˇcka funkcije L, i ako je
hy ∗ , g(x∗ )i = 0 nejednakost L(x∗ , y ∗ ) 6 L(x, y ∗ ) je isto ˇsto i f (x) >
f (x∗ ) − hy ∗ , g(x)i. Kao i ranije, ovo povlaˇci −y ∗ ∈ ∂p(0) 6= ∅. Obratno,
prema Teoremi jake dualnosti problem (D) ima rjeˇsenje, pa na osnovu (64)
i (65) (x∗ , y ∗ ) je sedlasta taˇcka. ¤
Posebni sluˇcajevi u dualnosti
Konveksno programiranje
Teorema 47 Neka su funkcije f i g neprekidne, konveksne na zatvorenom
konveksnom skupu C, i lev(f, α) ograniˇcen za neki α. Tada je π = δ.
Dokaz. Prvo, f je neprekidna, lev(f, α) zatvoren i ograniˇcen, pa postoji
taˇcka njenog minimuma na C. (vidjeti ...) Samim tim je p(0)konaˇcan.
Dovoljno je da ustanovimo poluneprekidnost funkcije p u 0. Tada je p(0) =
pcc (0), i π = δ (Teorema 45).
Dakle, neka p nije p.n.o. u 0. Postoje ε > 0 i niz (v k ) takvi da je
kv k k 6
Zbog p(v k ) =
inf
g(x)6v k
k
1
k
i p(0) − ε > p(v k ).
f (x) i konaˇcnosti p(v k ), za svaki k ∈ N postoji xk ∈ C
sa svojstvom g(x ) 6 v k , i p(v k ) 6 f (xk ) < p(v k ) + 2ε . Slijedi
ε
f (xk ) < p(0) − .
2
Zbog konveksnosti funkcije f i ograniˇcenosti jednog nivoskog skupa imamo
da je svaki nivoski skup zatvoren i ograniˇcen ( zadatak...). Dakle, (xk )
ima podniz koji konvergira ka x0 ∈ C. Jasno, g(x0 ) 6 0 i f (x0 ) 6 p(0)− 2ε ,
odakle je p(0) 6 p(0) − 2ε . 2 Imaju´ci na umu da Slejterov uslov povlaˇc
stabilnost problema (KP), odmah dobijamo sljede´ci dovoljan uslov za (D).
Teorema 48 (jaka) Neka je p(0) konaˇcan, funkcije f i g konveksne na
C i neka je ispunjen Slejterov uslov. Tada (D) ima rjeˇsenje i π = δ.
Teorema 49 (inverzna) Neka su funkcije f i g neprekidne, konveksne
na zatvorenom konveksnom skupu D, u∗ rjeˇsenje dualnog problema, skup
lev(L|u=u0 , δ) kompaktan i lev(L|u=u0 , δ) ∩ G 6= ∅. Tada primalan problem
(P) ima rjeˇsenje x∗ i f (x∗ ) = ϕ(u∗ ).
54
Dualnost u Linearnom programiranju
Posmatrajmo ponovo osnovni oblik problema (LP)
min c> x,
Ax > b.
Uzmimo da je f (x) = c> x, i g(x) = b − Ax. Ovdje su funkcije f : Rn → R,
i g : Rn → Rm konveksne. Odgovaraju´ca Lagranˇzova funkcija glasi
L(x, u) = f (x) + u> g(x) = c> x + u> (b − Ax),
pa je
>
ϕ(u) = infn L(x, u) = u b + infn
x∈R
x∈R
¡
¢>
c−A u x=
½
>
u> b,
−∞,
A> u = c
inaˇce
Sada dualan problem
max ϕ(u), u ∈ Rm
+
postaje
max {b> u : A> u = c, u > 0},
ˇsto smo i naveli u uvodu ovog poglavlja.
Kanonski µ
zadatak
osnovni
tako ˇsto se dopustivi skup zapisuje
¶ postaje
µ
¶
A
b
sistemom
x>
. Sada, dualan problem je
I
0
¶
¶
µ
¶
µ
µ
u
u
u
>
>
>
> 0,
= c,
, (A , I)
max (b , 0 )
v
v
v
ili ekvivalentno
max b> u,
A> u 6 c, u > 0.
I preostala dva problema linearnog programiranja svode se na osnovni,
poˇsto vrijedi
µ
¶
µ
¶
A
b
Ax = b ⇐⇒
x>
.
−A
−b
Dual standardnog neposredno dobijamo iz dualnog kanonskog problema i
on glasi:
max b> u1 + (−b)> u2
µ
¶> µ 1 ¶
µ 1 ¶
A
u
u
6 c,
> 0,
−A
u2
u2
odnosno
A> u1 − A> u2 6 c, u1 > 0, u2 > 0.
Stavljaju´ci da je u = u1 − u2 konaˇcno dobijamo dualan zadatak
max b> u,
55
A> u 6 c.
osnovni
kanonski
standardni
LP
DLP
min c> x
max b> u
Ax > b
Ax > b, x > 0
Ax = b, x > 0
Ax = b
A> u = c, u > 0
A> u 6 c, u > 0
A> u 6 c
A> u = c
Primjedba 15 Vidjeli smo da standardnom problemu odgovara dualan
problem maksimizacije, koji se svodi na osnovni problem minimizacije.
Dodijelimo i njemu dualan problem:
min{c> x : Ax = b, x > 0}
− min{−b> u : −A> u > −c}
(D)
max{b> u : A> u 6 c} =
−→
(D)
− max{−c> x : (−A> )> x = −b, x > 0}
−→
= min{c> x : Ax = b, x > 0}.
U ovom smislu moˇzemo re´ci da je dualan problem dualnog primalan problem.
U linearnom programiranju teoreme dualnosti su jednostavnije za primjenu, nego u opˇstem sluˇcaju. Prije svega, svaki dualan zadatak je ekvivalentan ( po rjeˇsivosti ) nekom od primalih zadataka ( standardni osnovnom, kanonski kanonskom,...), a zbog afinosti svih funkcija gi , i ∈ J
problem (LP) je stabilan, uz prirodnu pretpostavku da je dopustivi skup
G neprazan. Naime, tada je ispunjen uopˇsteni Slejterov uslov regularnosti,
a on povlaˇci stabilnost. Ovdje se ponovo vidi velika uloga teorema alternative ( Aleksandrov-Fan, Gejl, Farkaˇs i Fredholm ), sada za utvrd¯ivanje
nepraznosti dopustivih skupova.
Navedimo sada varijante torema dulnosti u (LP):
1. Ako su oba dopustiva skupa neprazna, onda problem (LP) i odgovaraju´ci
(DLP) imaju optimalna rjeˇsenja.
Zaista, ako su x0 , u0 dopustive za dualan, prema teoremi slabe dualnosti
imamo da je b> u0 6 π 6 c> x0 , tako da je π konaˇcan. Kako je (LP)
stabilan, prema Teoremi jake dualnosti problem (DLP) ima rjeˇsenje i vrijedi π = δ. Za (DLP), na osnovu Teoreme jake dualnosti uz Primjedbu
13. zakljuˇcak je isti. Optimalna vrijednost problema minimizacije koji
je ekvivalentan sa (DLP) je konaˇcna, problem je stabilan, te njegov dual,
odnosno (LP) ima rjeˇsenje.
2. Problem (LP) ima rjeˇsenje ako i samo ako problem (DLP) ima rjeˇsenje.
56
Ovo jednostvno dobijamo iz prethodnih razmatranja.
Primjer 35 U zavisnosti od a, b1 , b2 , b3 rijeˇsiti problem
min x1 + x2 + x3 ,
ax1 + x2 + x3 > b1 , x1 + ax2 + x3 > b2 , x1 + x2 + ax3 > b3 .

a
Rjeˇsenje. Ovdje je c = (1, 1, 1)> , A =  1
1
pa dualan zadatak glasi

1 1
a 1  , b = (b1 , b2 , b3 )> ,
1 a
max b1 u1 + b2 u2 + b3 u3 , u = (u1 , u2 , u3 ) > 0, Au = 1.
Zavisno od vrijednosti det A razlikujemo tri sluˇcaja:
1. a = 1.
Tada je Dop (D)= σ 3 , tako da optimalna vrijednost dualnog problema je
δ = max {b1 , b2 , b3 }, a optimalno rjeˇsenje je jedan od vektora e1 , e2 , e3 .
Jasno, (δ, 0, 0), (0, δ, 0), (0, 0, δ) su dopustive za polazni zadatak, zato ˇsto
je Dop (P)= H+ (1, δ). Slijedi da su to i optimalne taˇcke.
2. a = −2.
Prema teoremi Aleksandrov - Fana imamo da je Dop (D)= ∅, a Dop (P)
= ∅, ako i samo ako je b1 + b2 + b3 > 0. U oba sluˇcaja je δ = −∞, dok je
π = +∞, odnosno π = −∞.
3. (a − 1)(a + 2) 6= 0.
1
Ovdje je Dop (P) 6= ∅. Dop (D) je neprazan za a > −2, Dop (D)= a+2
1,


b1 (a + 1) − b2 − b3
1
2 +b3
 b2 (a + 1) − b1 − b3 .
.
Optimalna
taˇ
c
ka
je
π = δ = b1 +b
a+2
(a−1)(a+2)
b3 (a + 1) − b1 − b2
Dualnost u QP
Neka je sada dat zadatak kvadratnog programiranja (QP)
min {f (x) : x ∈ G},
gdje je
1 >
x Qx − c> x, G = {x ∈ Rn : Ax 6 b},
2
Q je simetriˇcna PD matrica reda n, c ∈ Rn , dok je A ∈ M(m, n) Odredimo
dualan problem (QD). U skladu sa ??? imamo da je (QD)
f (x) =
max {ϕ(y) : y ∈ Rn+ },
57
µ
ϕ(y) = infn
x∈R
¶
1 >
x Qx − c> x + y > (Ax − b) .
2
Poˇsto je L(x, y) strogo konveksna funkcija, ona za svaki fiksiran y dostiˇze
minimum u taˇcki x takvoj da je ∇x L(x, y) = 0. Dakle, iz
x> Q − c> + y > A = 0,
slijedi
tj.
Qx = c − A> y
x = −Q−1 A> y + Q−1 c.
Za dobijenu vrijednost x funkcija ϕ je data sa
¡
¢ 1
1
ϕ(y) = − y > AQ−1 Ay + y > AQ−1 c − b − c> Qc,
2
2
koju treba maksimizirati na skupu Rn+ , i to je (QD). Ovdje joˇs uoˇcimo da
je
∇2xx L(x, y) = Q
regularna matrica ( poˇsto je pozitivno definitna ), tako da vrijedi i obratna
teorema dualnosti, pri ˇcemu je
¡
¢
x∗ = Q−1 c − A> y ∗ .
Dualnost u Vulfovom smislu
U konveksnom sluˇcaju zakljuˇcke nije potrebno izvlaˇciti iz opˇsteg, ve´c se
moˇze posmatrati dualnost u Vulfovom smislu. Za problem (P)
min f (x),
g(x) 6 0,
i njegov dual (DW)
max L(y, u),
∇x L(y, u) = 0, y ∈ C, u > 0,
teorema slabe dualnosti glasi.
Teorema 50 Za svaki x0 ∈ G, i svako dopustivo rjeˇsenje (y 0 , u0 ) problema (DW) vrijedi
f (x0 ) > L(y 0 , u0 ).
I teoremu jake dualnosti dokazao je Vulf 1961 godine.
Teorema 51 Neka su funkcije f, gi (i = 1, m) konveksne i diferencijabilne
na skupu C ⊆ Rn . Pretpostavimo joˇs da je ispunjen Slejterov uslov i da
je x∗ rjeˇsenje primalnog problema. Tada postoji u∗ takav da je (x∗ , u∗ )
rjeˇsenje dualnog problema.
58
Dokaz. Iz uslova teoreme slijedi da postoji u∗ ∈ Rm takav da (x∗ , u∗ ) zadovoljava KKT uslove, pa je u∗ > 0, ∇x L(x∗ , u∗ ) = 0, i hg(x∗ ), u∗ )i = 0.
Ovo znaˇci da je (x∗ , u∗ ) dopustiva taˇcka za (DW), i f (x∗ ) = L(x∗ , u∗ ).
Iz prethodne teoreme, za sve dopustive (y, u) vrijedi f (x∗ ) > L(y, u),
odnosno L(x∗ , u∗ ) > L(y, u), pa zakljuˇcujemo da je (x∗ , u∗ ) rjeˇsenje dualnog problema. 2
Primjedba 16 Naveli smo da dualan zadatak u Vulfovom smislu ne mora
biti zadatak konveksne optimizacije, poˇsto skup rjeˇsenja jednaˇcine iz uslova
problema (DW) nije obavezno konveksan. Med¯utim ako nam je poznat x∗ ,
onda se vektor u∗ moˇze dobiti kao rjeˇsenje standardnog problema linearnog
programiranja:
max {u> g(x∗ ) : G> (x∗ )u = −∇f (x∗ ), u > 0}.
Inverznu teoremu dualnosti za konveksne funkcije dokazali su je Juar, Henson.
Teorema 52 Neka su konveksne funkcije f i gi (i ∈ J ) klase C 2 (C). Ako
je (x∗ , u∗ ) rjeˇsenje dualnog problema (DW) i matrica ∇2xx L(x∗ , u∗ ) regularna, onda je x∗ rjeˇsenje primalnog problema.
Dokaz. Pokaˇzimo da je (x∗ , u∗ ) KKT taˇcka za (P), pa iskoristimo teoremu
36. Kako je data taˇcka dopustiva za (DW) slijedi u∗ > 0 i ∇x L(x∗ , u∗ ) =
0, tj (52). Preostaje da se utvrdi uslov komplementarnosti (53) i da je
g(x∗ ) 6 0. U tom cilju posmatramo funkciju
Φ : Rn+m → Rn ,
Φ(x, u) = ∇x L(x, u).
Za nju su ispunjeni uslovi Teoreme o implicitnoj funkciji, u taˇcki (x∗ , u∗ ) :
Φ(x∗ , u∗ ) = 0,
det∇x Φ(x∗ , u∗ ) 6= 0,
tako da postoje kugla B = B(u∗ , ε) i funkcija φ klase C 2 na B, takva da
je
x∗ = φ(u∗ ), ∇x L(φ(u), u) = 0, za svaki u ∈ B.
Prema pretpostavci, problem minimizacije funkcije Λ, Λ(u) = −L(φ(u), u)
na Rm
senje u∗ , pa mora biti ( ispunjen je uopˇsteni Slejterov
+ ima lokalno rjeˇ
uslov)
∇Λ(u∗ ) − Iv ∗ = 0, v ∗ > 0, hu∗ , v ∗ i = 0.
Dalje imamo
−∇Λ(u∗ ) = ∇x L(φ(u∗ ), u∗ )∇φ(u∗ ) + ∇u L(φ(u∗ ), u∗ ) =
= ∇x L(x∗ , u∗ )∇φ(u∗ ) + ∇u L(x∗ , u∗ ) = ∇u L(x∗ , u∗ ) = g(x∗ ).
59
Sada iz v ∗ = ∇Λ(u∗ ) = −g(x∗ ) nakon skalarnog mnoˇzenja sa ei , i =
1, ..., m , zbog v ∗ > 0, dobijamo
g(x∗ ) 6 0.
Na kraju je
hu∗ , g(x∗ )i = −hu∗ , v ∗ i = 0.
¤
min c> x,
pri uslovima
Ax > b,
x > 0.
µ
¶
b − Ax
Uzmimo da je f (x) = c> x, i g(x) =
. Ovdje su funkcije f :
−x
m+n
Rn → R,
→ R konveksne. Odgovaraju´ca Lagranˇzova funkcija,
µ g : ¶R
u
uz y =
glasi
v
L(x, y) = f (x) + y > g(x) = c> x + u> b − u> Ax − v > x,
pa je
¡
>
>
ϕ(y) = inf L(x, y) = u b+ infn c − A u − v
x
¢>
x∈R
½
x=
u> b, A> u = c − v
−∞,
inaˇce
Sada dualan problem
max ϕ(y), y ∈ Rm
+
zbog ekvivalentnosti uslova y > 0 sa u > 0 i v = c − A> u > 0 postaje
max u> b,
A> u 6 c, u > 0,
ˇsto smo i naveli u uvodu ovog poglavlja.
60
ZADACI
1. Neka je f diferencijabilna i konveksna funkcija na Rn . Moˇze li da bude
inf f (x) = −∞?
x>0
2. Na´ci min f (x), x ∈ R, f (x) =
brojevi, a1 < ... < an .
Pn
i=1
|x − ai |, pri ˇcemu ai su dati realni
3. Neka je f diferencijabilna na Rn . Tada je x∗ taˇcka njenog globalnog
minimuma ako i samo ako je
5f (x∗ ) = 0, f (x∗ ) = f ∗∗ (x∗ ).
4. Da li zadatak max {c> x : Ax 6 b} ima rjeˇsenje ako je c > 0 i A 6 O?
½
5. Odrediti STL za problem (KP), gdje je C = R+ , f (x) =
1, x = 0
,
0, x > 0
g(x) = x2 .
6. Na´ci potreban i dovoljan uslov za postojanje rjeˇsenja zadataka (LP):
a) min {c> x : Ax = b, x > 0}, b) min {c> x : Ax = b}.
7. Rijeˇsiti problem: x1 + ... + xn −→ min,
x1 + x2
x2 + x3
.....
xn−1 + xn
+xn
x1
> b1
> b2
.....
> bn−1
> bn
8. Da li je vektor x0 = (1, 1, 0)>
zadatka (LP), za
µ rjeˇsenje standardnog
¶
1 1 4
>
>
koji je c = (1, 8, 10), A =
, b = (2, 0).
1 −1 2
9. Rijeˇsiti problem: x21 + 2 x22 + · · · + n x2n → min, pri uslovima:
a) x1 + · · · + xn = 1, b) x1 + · · · + xn 6 1,
c) |x1 + · · · + xn | 6 1, d) |x1 + · · · + xn | 6 1, x1 > 0, ..., xn > 0.
10. Za date vektore v 1 , ..., v m ∈ Rn , na kugli B1 , na´ci minimum funkcije
f (x) =
m
X
kx − v i k 2 .
i=1
11. Rijeˇsiti zadatak:
15 x1 + 48 x2 → min
5
9
17
+
−
6 0, x1 > 0, x2 > 0.
x1
x2
20
61
12. Na´ci maksimalnu vrijednost Vandermondove determinante V (x1 , x2 , x3 ),
uz uslove: 0 6 x1 6 x2 6 x3 , x1 + x2 + x3 6 3.
13. Rijeˇsiti problem min {f (x) : x ∈ G}, gdje je
a) C= int R4+ ,
b) C = {x ∈ R4 : x1 > 0, x2 > 0, x3 > 0, x4 > 0}, i
½
¾
√
1
x3
x4
x2
x4
f (x) = x1 + 2 , G = x ∈ C :
+
6 1,
+
61 .
x2
x1
x1
x3
x3
14. Na´ci maksimum funkcije f (x1 , x2 ) = x1 x2 na konveksnom omotaˇcu
taˇcaka:
µ ¶ µ ¶ µ
¶ µ
¶ µ
¶ µ
¶
0
2
0
10
5
0
,
,
,
,
,
.
3
0
8
4
8
6
2
15. Odrediti udaljenost taˇcke T (2, 1, 5, 4) od skupa
{x ∈ R4 : x1 6 x2 6 x3 6 x4 }.
16. Na´ci projekciju taˇcke T (0, 1) na poliedar dat sistemom nejednaˇcina:
x1 + 3x2 > 3, 3x1 + 2x2 > 6, −x1 + x2 6 1.
17. Rijeˇsiti zadatak razlomljenog programiranja
x1 − 2x2
,
3x1 + x2 + 2
3x1 + x2 > 7, −x1 + 4x2 6 5, 4x1 − 3x2 6 17, x1 > 0, x2 > 0.
min
18. Neka je f konveksna (polu)neprekidna na zatvorenom konveksnom
konusu K. Pokazati da je za problem min{f (x) : x ∈ K} dualan
max{−f ∗ (y) : hy, xi > 0 ∀x ∈ K}.
19. Odrediti (DW) problem za (LP) zadatak
min c> x, Ax = b.
Pokazati da je skup rjeˇsenja ∅ ili ˇcitav dopustivi skup.
20. Na´ci optimalne vrijednosti π i δ, ako su u (P) f, g i C dati sa:
f (x)
x+1
x+
√1
− x
g(x)
x
x
x
C
] − ∞, 1]
[1, 2]
[0, +∞[ .
21. Neka su x0 , y 0 dopustive taˇcke za kanonski (LP ) i njegov dual. Tada
su to optimalne taˇcke ako i samo ako je
®
® ­
­ 0
Ax − b, y 0 = A> y 0 − c, x0 = 0.
62
22. Formirati dualan za (LP ) problem
min − x1 + 2 x2 + 3 x3 ,
x1 − x2 + 2x3 = 1, 2x1 + x2 6 3, x1 6 0, x2 > 0, x3 > 0, pa ih
rijeˇsiti.
23. Rijeˇsiti f (x1 , x2 ) = −x1 − x2 −→ min,
i njegov dualan problem.
g(x1 , x2 ) = x21 + x22 − 2 6 0,
24. Neka je x ∈ Rn+ . Za problem minimizacije funkcije
f (x) = kxk2 uz h1, xi > n,
odrediti dualan problem, pa ih rijeˇsiti.
25. Pomo´cu teorije dualnosti rijeˇsiti zadatak linearnog programiranja
x1 + 2x2 + · · · + nxn → min,
x1 > 1, x1 + x2 > 2, ..., x1 + x2 + · · · + xn > n, xi > 0, i = 1, ..., n.
matematiˇ
26. U
© terminima
ª ckog programiranja opisati ograniˇcenost poliedra
x ∈ Rn+ : Ax = b , A ∈ M(m, n), b ∈ Rm .
27. Ispitati konveksnost funkcije f (x, y) = x y 2 +x2 y −3 x2 −3 y 2 , na R2+ ,
pa na´ci njen minimum uz dodatni uslov 1 6 x + y 6 6, i napisati
dualan problem.
28. Za problem za min (e−x1 + 2e−x2 ), x1 + x2 6 2, x1 > 0, x2 > 0.
odrediti dualan .
29. Neka je f konveksna funkcija i ∇f (x0 ) > 0 za neki x0 ∈ Rn . Pomo´cu
tih vektora odrediti donju granicu vrijednosti π u problemu
min f (x),
30. Na´ci min
à n
X
h1, xi 6 1, x > 0.
!
|xi − ai | , ako je x ∈ Rn i
i=1
n
X
xi = 0.
i=1
2
31. Neka je C = {x
n ∈ R : xo2 > 1}, G = {x ∈ C : −x1 6 0}, i f data sa
f (x) = max 0, x1 + x12 . Analizirati probleme (P) min f (x), x ∈ G,
i njegov (D).
32. Odrediti marginalnu funkciju i ispitati stabilnost problema minimizacije
funkcije f , uz date uslove: f (x1 , x2 ) = x2 , x21 + x22 6 1, x1 − x22 > 0.
63
ˇ
RJESENJA
2. Data funkcija je konveksna, ali nije diferencijabilna pa ´cemo koristiti
sljede´ce:
f (x∗ ) = min f (x) ⇔ 0 ∈ ∂ f (x∗ ).
Uzmimo: f (x) =
n
X
fk (x), fk (x) = |x − ak |. Tada je ∂f (x) =
k=1
gdje je
n
X
∂fk (x),
k=1

 {−1},
[−1, 1] ,
∂fk (x) =

{1},
x < ak
x = ak
x > ak .
Slijedi ∂f (ak ) = [2k − n − 2, 2k − n], i ∂f (x) = {2k − n}, za ak < x < ak+1 .
U sluˇcaju da je n neparan vrijedi ∂f (a n+1 ) = [−1, 1], dok pri parnom n
2
imamo ∂f (a n2 ) = [−2, 0], ∂f (a n2 +1 ) = [0, 2], i ∂f (x) = {0}, za sve
x ∈ (a n2 , a n2 +1 ). U svim ostalim sluˇcajevima 0 nije u subdiferencijalu.
Dakle, za neparan n je
x∗ = a n+1 ,
2
a za parne vrijednosti skup taˇcaka minimuma je
£
¤
a n2 , a n2 +1 .
3. Neka je x∗ taˇcka minimuma funkcije f , koja je u njoj diferencijabilna.
Tada je ∇f (x∗ ) = 0. Dalje, uvijek je f ∗∗ 6 f , pa je i f ∗∗ (x∗ ) 6 f (x∗ ).
Konstantna funkcija a : x 7→ f (x∗ ) je afina minoranta funkcije f , pa je
a 6 cl f , i specijalno vrijedi f (x∗ ) 6 cl f (x∗ ) = f ∗∗ (x∗ ). Pretpostavimo
sada da je ∇f (x∗ ) = 0, i f (x∗ ) = f cc (x∗ ), pa dokaˇzimo da je x∗ taˇcka
minimuma funkcije f ∗ . Tada je u x∗ minimum i funkcije f , zbog
f (x∗ ) = f ∗∗ (x∗ ) 6 f ∗∗ (x) 6 f (x) ∀ x ∈ Rn .
Dalje, poˇsto je f ∗ konveksna funkcija dosta je dokazati da je njen gradijent
u x∗ nula vektor. Dakle, za t > 0 vrijedi
f ∗∗ (x∗ + tek ) − f cc (x∗ )
f (x∗ + tek ) − f (x∗ )
6
.
t
t
Odavde, na osnovu pretpostavke ∇f (x∗ ) = 0 dobijamo
(f ∗∗ )0 (x∗ , ek ) 6 0.
Isto je i za pravac −ek , te za sve k=1,...,n vrijedi
0 6 (−f ∗∗ )0 (x∗ , −ek ) 6 (f ∗∗ )0 (x∗ , ek ) 6 0,
odakle slijedi
∇f cc (x∗ ) = 0.
64
Primjedba. Ovo je uopˇstenje Fermaove teoreme. Primjetimo da za funkcije
konveksne i diferencijabilne na Rn drugi uslov je ispunjen, tako da je tada
f (x∗ ) = min f (x) ⇔ ∇f (x∗ ) = 0.
23. x 7→
n
X
kx2k je konveksna, ∇f (0) = 0, 0 ∈ G, pa je x∗ = 0.
k=1
Da bi se dobio zadatak diferencijabilne optimizacije dovoljno je prvo ograniˇcenje
drukˇcije zapisati:
n
X
xk − 1 6 0,
i
−
k=1
n
X
xk − 1 6 0.
k=1
Tada, za Lagranˇzovu funkciju L : Rn × R × R × Rn → R,
L(x, u, v, u) = −u − v +
n
X
(2kxk + u − v − uk )xk
k=1
KKT uslovi su ispunjeni sa x = 0, u = v = 0, u = 0. Na primjer, nije
uv 6= 0. Ako je u 6= 0, v = 0, slijedi
2kxk + u − uk = 0, (k = 1, ..., n)i
n
X
xk = 1.
k=1
Odavde je
2kx2k + uxk = uk xk = 0
i
n
X
2kx2k + u = 0,
k=1
ˇsto je nemogu´ce. Sliˇcno je i sa u = 0, v 6= 0. Za u = v = 0 dobija se
redom za sve k = 1, n
2kxk = uk ,
2kx2k = uk xk = 0, xk = 0.
24. G = {x ∈ Rn : hx, xi 6 1}, L(x, α) =
(x − v i ) + αx = 0,
kx − v i k2 + α(hx, xi − 1).
i=1
KKT uslovi su:
m
X
m
X
α(kxk2 − 1) = 0, α > 0,
i=1
65
kxk 6 1.
v1 + · · · + vm
, dobijamo za prvu jednaˇcinu (m + α)x =
m
¡
¢
mv 0 . U sluˇcaju da je kv 0 k 6 1, KKT taˇcka je v 0 , 0 uz α = 0. Ako
0
je kv 0 k > 1, onda mora
µ 0 biti α > 0, kxk
¶ = 1 (druga jednaˇcina) i kv k =
α+m
v
, tako da je
, m(kv 0 k − 1) odgovaraju´ca KKT taˇcka.
m
kv 0 k
Zadatak je konveksne optimizacije pa je njegovo optimalno rjeˇsenje

0
kv 0 k 6 1
 v ,
∗
0
x =
v

, kv 0 k > 1.
kv 0 k
Stavljaju´ci v 0 =
11. x∗ = (20, 15)

1
1
1
12. Funkcija V : R3 → R, V (x1 , x2 , x3 ) = det  x1 x2 x3 je neprekidna
x21 x22 x23
i dostiˇze maksimum na datoj piramidi. Ispunjen je Slejterov uslov, tako da ´cemo
taˇcku maksimuma na´ci med¯u KKT taˇckama. Lagranˇzova funkcija je L(x, u) =
(x3 −x1 )(x3 −x2 )(x2 −x1 )−u1 x1 +u2 (x1 −x2 )+u3 (x2 −x3 )+u4 (x1 +x2 +x3 −3),
pa su KKT uslovi :

(x3 − x2 )(2x1 − x2 − x3 ) − u1 + u2 + u4 = 0,
(x3 − x1 )(x1 − 2x2 + x3 ) − u2 + u3 + u4 = 0,
(x2 − x1 )(−x1 − x2 + 2x3 ) − u3 + u4 = 0,
u1 x1 = 0, u2 (x1 − x2 ) = 0, u3 (x2 − x3 ) = 0,
u4 (x1 + x2 + x3 − 3) = 0,
u > 0, x ∈ G.
Kako je V (x1 , x1 , x3 ) = V (x1 , x2 , x2 ) = 0, mora biti x1 6= x2 i x2 6= x3 , tj.
u2 = u3 = 0. Ako bi bilo i u1 = u4 = 0 imali bismo x1 = x2 = x3 . Suma prvih
sabiraka prve tri jednaˇcine je 0, tako da je u1 = 3u4 . Stoga je u1 6= 0, kao i
u4 6= 0, te je x1 = 0, x2 + x3 = 3. Sada se dobija x3 (x3 − 2x2 ) = x2 (2x3 − x2 ),
x3
−1
x3
x
.
= x32
x2
−2
x2
2
Iz
√
√ o
x3 n
∈ 2 − 2, 2 + 2 , zbog x3 > x2 , x2 + x3 = 3 slijedi x3 =
x2
Ã
√
√ !
√
3− 3 3+ 3
3 3
V 0,
,
=
= Vopt .
2
2
2
66
√
3− 3
2 .
Dakle,

x3 − x2
Napomena. Funkcija V nije konkavna, ( ∇2 V (x1 , x2 , x3 ) = 2  x2 − x1
x1 − x3
x2 − x1
x1 − x3
x3 − x2
13. S obzirom da je ispunjen Slejterov uslov (uzeti npr. taˇcku (8, 2, 5, 2)),
a ne postoji KKT taˇcka slijedi Gopt = ∅. Za promjenu zadrˇzimo funkciju cilja,
a ograniˇcenja izmjenimo tako da je x4 > 0 umjesto x4 > 0. Sada su aktivna
ograniˇcenja
x3 + x4 6 x1 , x2 + x4 6 x3 , x4 > 0.
U novom zadatku Karuˇs Kun Takerovi uslovi su
1
2
√ − u1 = 0, − 3 + u2 = 0, u1 − u2 = 0, u1 + u2 − u3 = 0,
2 x1
x2
u1 (−x1 + x3 + x4 ) = 0, u2 (x2 − x3 + x4 ) = 0, u3 x4 = 0.
Imamo u1 6= 0, i u3 6= 0 ( prema prvom i ˇcetvrtom uslovu ), tako da je x4 = 0,
2
x1 = x3 , u1 = u2 , i 2u1 = u3 . Slijedi x1 = x2 , i x1 = √
, pa je taˇcka
5
2
µ
¶
2
2
2
√
√
√
,
,
,
0
5
2 52 52
mogu´ce rjeˇsenje novog zadatka, a da li je vidite sami.
14. (x∗ , y ∗ ) = (7.5, 6, 0, 0, 1.5, 0, 0)
15. Posmatrane funkcije µ
su konveksne,
¶ f je strogo konveksna, pa je rjeˇsenje
3 3 9 9
∗
problema jedinstveno. x =
, , ,
, y ∗ = (1, 0, 1), d(x∗ , G) = 1.
2 2 2 2
16. Neka je P dati poliedar. Za traˇzenu projekciju x∗ = prP (e2 ) vrijedi
q
ke2 − x∗ k = min x21 + (x2 − 1)2 .
x∈P
Korjena funkcija strogo raste pa dovoljno je rijeˇsiti problem kvadratne minimizacije:
min x21 + (x2 − 1)2 , x ∈ P.
µ
¶
µ
¶
µ
¶
12 21
8
12 21
∗
∗
2
x =
,
, y = 0, , 0, 0, 0 , prP (e ) =
,
.
13 13
13
13 13
17.. Slejterov uslov je ispunjen. Posljednje ograniˇcenje nije aktivno. Uz
x ∈ G, λ > 0, KKT uslovi su:
−7x1 − 4
7x2 + 2
= 3λ1 + λ2 − 4λ3 + λ4 ,
= λ1 − 4λ2 + 3λ3 ,
(3x1 + x2 + 2)2
(3x1 + x2 + 2)2
67

x1 − x3
x3 − x2 ).
x2 − x1
λ1 (7 − 3x1 − x2 ) = 0, λ2 (−x1 + 4x2 − 5) = 0, λ3 (4x1 − 3x2 − 17) = 0, λ4 x1 = 0.
Iz drugog uslova je λ2 6= 0, x1 = 4x2 − 5. x1 6= 0, ( jer (0, 54 ) ∈
/ G),) λ4 = 0.
3
Iz prve dvije jednakosti je
= λ1 − λ3 , odakle ( zbog λ > 0 ) je
169(x2 − 1)2
λ1 6= 0. Dakle,
x1 =
23
22
1
7
, x2 =
, λ1 =
, λ2 =
λ3 = 0.
13
13
27
117
Funkcija cilja f nije konveksna na G , ˇsto vidimo iz
¶
µ
µ 17 23
¶
µ
¶
+ 13 22
23 22
17
2f 4
,
f
,0 + f
,
,
2
26
4
13 13
µ
¶
23 22
7
ali f
,
= − 39
globalni minimum.
13 13
Problemi ove vrste efikasno se rjeˇsavaju na sljede´ci naˇcvcin. Smjenom
y0 =
1
,
3x1 + x2 + 2
y1 = y0 x1 ,
y2 = y0 x2
zadatak postaje :
min y1 − 2y2 , y ∈ R2+
3y1 + y2 > 7y0 ,
−y1 + 4y2 6 5y0 ,
4y1 − 3y2 > 17y0 ,
3y1 + y2 + 2y0 = 1,
odnosno, nakon eliminacije y0
min y1 − 2y2
27y1 + 9y2 > 7, 59y1 + 11y2 6 17,
13y1 + 13y2 6 5,
y1 > 0, y2 > 0,
Moˇzemo koristiti simpleks metodu. Uvode´ci izravnavaju´ce promjenljive,
maju´ci da je


1





 −2 
7
27 9 −1 0 0
27


 , b =  17  , A =  59 11
 , B =  59
0
0
1
0
c=


 0 
5
13 13
0 0 1
13
0
i uzi-
9
11
13

0
1 
0
vidimo da bazna matrica B zadovoljava poˇcetni uslov simpleks metode, poˇsto
je

 23 

1
1


0 − 26
18
117
7

 22 

−1
3 
1



17
=  117 
B b =  − 18 0
26 
 > 0.
5
10
8
−3 1
1
3
68
Test vektor je
µ
¶
1
7
0, 0, − , 0, −
6 0,
6
26
¶
µ
¶
µ
23 22
1
23 22
∗
∗
,
. Sada je y0 = , i x =
,
.
pa je y =
117 117
9
13 13
−1
t> = c>
A − c> =
BB
32. Ako problem ima rjeˇsenje x∗ onda, na osnovu teoreme F. Dˇzona, postoje
broj u0 i vektori u1 , u2 za koje vrijedi:
∂F ∗ ∗ ∂F ∗ 1
(x )x −
(x )u − u2 = 0,
∂x
∂x
­ 1
®
­
®
u , F (x∗ ) = 0, u2 , x = 0, (u0 , u1 , u2 ) 0.
u0 F (x∗ ) + u0
Sada nakon mnoˇzenja prve jednaˇcine vektorom u0 x∗ − u1 dobijamo
À
¿
­
®
∂F ∗
(x )(u0 x∗ − u1 ), u0 x∗ − u1 + u20 h F (x∗ ), x∗ i + u1 , u2 = 0.
∂x
Svi sabirci, po pretpostavkama, su nenegativni tako da moraju biti jednaki 0.
Prema tome je
u20 hF (x∗ ), x∗ i = 0.
­
®
­
®
∗ 1
1
Ako je u
zbog u1 , u2 = − ∂F
6 0, i u1 > 0, u2 > 0,
∂x (x )u , u
¡ 0 = 10, onda
¢
2
imamo u0 , u , u = 0, ˇsto je nemogu´ce. Dakle, u0 6= 0 tako da je
hx∗ , F (x∗ )i = 0.
Obratno: hx∗ , F (x∗ )i = 0, x > 0, F (x) > 0 =⇒ hx, F (x)i > 0 = hx∗ , F (x∗ )i.
45. Dati skup G je ograniˇcen ako zadatak max {kxk : x ∈ G} ima rjeˇsenje. Biraju´ci euklidsku normu dobijamo zadatak kvadratnog programiranja. Za normu
n
X
kxk1 =
|xi |, uvaˇzavaju´ci nenegativnost promjenljivih imamo zadatak lini=1
earnog programiranja: max {h1, xi : Ax = b, x > 0}. Polazni problem ima
rjeˇsenje ako je dopustivi skup dualnog zadatka neprazan. Dakle, G je ograniˇcen
ako i samo ako postoji v ∈ Rm takav da je A> v > 1.
21. Za kanonski zadatak linearnog programiranja
min c> x,
dualan je
max y > b,
A x > b, x > 0
A> y 6 c, y > 0.
69
Ako su x0 , y 0 optimalne taˇcke datih problema, prema teoremi jake dualnosti
mora biti
­ 0® ­ 0 ®
c, x = y , b ,
tako da iz A> y 0 6 c redom slijedi
­ > 0 0® ­ 0®
­ 0
® ­
®
A y , x 6 c, x ,
y , Ax0 6 y 0 , b ,
­ 0
®
y , Ax0 − b 6 0.
Nejednakost suprotna posljednjoj je oˇcigledna, pa je
­ 0
®
y , Ax0 − b = 0.
Isto se postupa i za
Obratno, uslov
i jednakost
­ > 0
®
A y − c, x0 = 0.
­ 0
® ­
®
Ax − b, y 0 = A> y 0 − c, x0 ,
­ 0 0® ­ 0 > 0®
Ax , y = x , A y
povlaˇce
­ 0® ­ 0®
b, y = c, x .
Dalje, iz y > A 6 c> slijedi y > Ax 6 c> x, za sve x > 0, a zbog Ax > b i y > 0
imamo y > b 6 y > Ax, odakle je
g(y) = y > b 6 y > Ax 6 c> x = f (x).
Specijalno, za sve dopustive x, y vrijedi
g(y) 6 f (x0 ) = g(y 0 ),
f (x0 ) = g(y 0 ) 6 f (x).
22. Smjenom x1 = −ξ1 , ξ1 > 0, x2 = ξ2 , x3 = ξ3 zadatak postaje
min ξ1 + 2ξ2 + 3ξ3 + 0ξ4
−1ξ1 −
−2ξ1 +
1ξ2 +
2ξ2 +
2ξ3 +
0ξ3 +
0ξ4
1ξ4
=1
=3
ξ1 > 0, ξ2 > 0, ξ3 > 0, ξ4 > 0.
Njemu je dualan sljede´ci zadatak:
max η1 + 3η2
−1η1 − 2η2
−1η1 + 2η2
2η1 + 0η2
0η1 + 1η2
70
61
62
63
60
µ
On se lako rjeˇsava grafiˇcki i optimalna taˇcka je
¶
3
, 0 . Jasno, minimalna vri2
3
jednost u polaznom problemu je , a optimalni vektor se moˇze
2
prethodnom zadatku, iz sistema

 


−1 −2
1
* ξ1
Ã
!
3
 ξ2   −1

 2
3
2

 

ξ1 + 2ξ2 + 3ξ3 = ,
−
2
 ξ3  ,  2
 3
0 
2
0
ξ4
0
1
0
µ
¶
µ
¶
1
1
Dobijamo ξ 0 = 0, 0, , 0 , te je x0 = 0, 0,
.
2
2
na´ci, prema




+
= 0.
2
2
µ 23. Kako je¶ L(x,
µu) =
¶ −x1 − x2 + u(x1 + x2 − 2) KKT uslovi se svode na
−1 + 2ux1
0
=
, u(x21 + x22 − 2) = 0, u > 0. Jednostavno slijedi da je
−1 + 2ux2
0
u 6= 0 i x1 = x2 , pa je x∗ = (1, 1) optimalno rjeˇsenje. Rijeˇsimo dualan zadatak:
sup ϕ(u), u > 0,
gdje je ϕ(u) = inf x∈R
¡ 1 2 L(x,
¢ u). Za u > 0, x 7→ L(x, u) je konveksna, pa se
1
minimum dostiˇze u 2u
, 2u
. Dakle,
ϕ(u) = −2u −
u∗ =
1
2
1
, u > 0,
2u
je rjeˇsenje dualnog zadatka, i vrijedi f (1, 1) = ϕ
¡1¢
2
.
24. Kako je dat problem konveksnog programiranja dualan problem, u Vulfovom smislu, glasi:
max {L(y, u) : ∇x L(y, u) = 0, y ∈ Rn , u ∈ Rn+1
+ }.
U ovom sluˇcaju treba na´ci maksimum za
y12 + · · · + yn2 + u0 (n − y1 − · · · − yn ) − u1 y1 − · · · − un yn ,
uz uslove 2yi − ui − u0 = 0, (i = 1, ..., n), u > 0. Ovaj problem se svodi na
n
max {−
1X
(ui − u0 )2 + nu0 : u0 > 0, ui > 0}.
4 i=1
Vidimo da dualan zadatak nije jednostavniji od polaznog za koji KKT uslovi
glase
2xi − ui − u0 = 0, (i = 1, n),
ui xi = 0, u0 (n − x1 − · · · − xn ) = 0, u > 0.
71
Ako bismo za neki indeks i imali ui =
6 0, onda je xi = 0 i u0 = −ui < 0. Dakle,
u0
mora da bude u = 0, odakle je x =
· 1. Sada iz 0 ∈
/ G izlazi u0 > 0, pa
2
u0
dalje, zbog u0 (n − hx, 1i) = 0, hx, 1i =
h1, 1i, slijedi
2
hx, 1i = n,
u0 = 2,
i
x∗ = 1.
Rjeˇsenje dualnog zadatka je (1, 1).
25. Dualan zadatak glasi
max y1 + 2y2 + · · · + nyn
y1 + y2 + · · · + yn 6 1
y2 + · · · + yn 6 2
······
yn 6 n
y1 > 0, y2 > 0, ..., yn > 0.
Jasno, sve nejednakosti sem prve su stroge, pa prema Zadatku 46, zbog
hA> y 0 − c, x0 i = 0, mora da bude x02 = · · · = x0n = 0. Slijedi da je
x01 = n i x∗ = (n, 0, . . . , 0).
Ã
!
y−3 x+y
27. ∇2 f (x, y) = 2
. Za konveksnost funkcije f je potrebno
x+y x−3
da bude y > 3, x > 3. Tada je (y − 3)(x − 3) < (x + y)2 , pa ∇2 f nije PsemiD
matrica na R2+ .
S obzirom da je dopustivi skup G = {(x, y) ∈ R2+ : 1 6 x + y 6 6} kompaktan,
postoji taˇcka minimuma date funkcije. Mi ´cemo je na´ci med¯u KKT taˇckama,
poˇsto je ispunjen Slejterov uslov. Imamo sistem
y 2 + 2xy − 6x − u1 + u2 − u3 = 0,
x2 + 2xy − 6y − u1 + u2 − u4 = 0,
u1 (1 − x − y) = 0, u2 (x + y − 6) = 0, u3 x = 0, u4 y = 0.
U sluˇcaju da je xy 6= 0 dobijamo u3 = u4 = 0. Iz prve dvije jednaˇcine je y 2 −x2 +
6(y −x) = 0, odnosno x = y. Sistem postaje: 3x2 −6x−u1 +u2 = 0, u1 (1−2x) =
0, u2 (x − 3) = 0, tako da KKT taˇcke su (2, 2, 0, 0, 0, 0) i (3, 3, 0, 9, 0, 0). Uzimaju´ci da je xy = 0 dobijaju se i preostale KKT taˇcke: (0, 6, 0, 36, 72, 0) i
(6, 0, 0, 36, 0, 72). Sada se moˇze odrediti fmin = −108, fmax = 0.
28. Dualan problem je sup ϕ(u), ϕ(u) = inf2 L(x, u).
x∈R
u>0
Funkcija x 7→ L(x, u) je konveksna na R2 za svaki ( fiksiran) vektor u > 0, pa
se taˇcke minimuma, odnosno vrijednosti funkcije ϕ dobiju iz jednaˇcine
µ
¶
−e−x1 − u1 + u3
= 0.
−2e−x2 − u2 + u3
72
Za −u1 + u3 > 0, i −u2 + u3 > 0, dobijamo x1 = − ln(−u1 + u3 ),
−u2 + u3
x2 = − ln
. Dakle, dom (ϕ) = {u > 0 : u3 > max{u1 , u2 }},
2
ϕ(u) = (u1 − u3 ) ln(u3 − u1 ) + (u2 − u3 ) ln(u3 − u2 ) + ln 2u3 .
29. Ocjenu minimuma f (x∗ ) moˇzemo dobiti iz slabe teoreme dualnosti:
f (x) > ϕ(u), za sve (x, u) ∈ G × Rn+1
+ .
µ
¶
0
Kako je u0 =
> 0 dobijamo ocjenu f (x∗ ) > ϕ(u0 ), odnosno
∇f (x0 )
f (x∗ ) > inf L(y, u0 ).
y
U naˇsem sluˇcaju, funkcija y 7→ L(y, u0 )
¿µ
¶ µ
¶À
­
®
0
h1, yi − 1
L(y, u0 ) = f (y) +
,
= f (y) − y, ∇f (x0 ) ,
0
∇f (x )
−y
je konveksna, tako da ´cemo za odred¯ivanje njenog infimuma iskoristiti Fermaovu teoremu. Imamo ∇x L(y, u0 ) = ∇f (y) − ∇f (x0 ), odakle je oˇcigledno
∇x L(x0 , u0 ) = 0, i ϕ(u0 ) = L(x0 , u0 ). Slijedi
­
®
f (x∗ ) > L(x0 , u0 ) = f (x0 ) − x0 , ∇f (x0 ) .
Na drugi naˇcin, zbog ∇f (x0 ) > 0, imamo da je
­
® ­
®
minn ∇f (x0 ), x = ∇f (x0 ), 0 = 0.
x∈σ
­
® ­
®
Iz konveksnosti funkcije f na Rn slijedi f (x)−f (x0 ) > ∇f­ (x0 ), x − ∇f
(x0 ), x0 ,
®
pa za sve x ∈ σ­n vaˇzi nejednakost
f (x) − f (x0 ) > 0 − ∇f (x0 ), x0 , odnosno
®
0
0
0
f (x) > f (x ) − ∇f (x ), x ,
30. Ovo je zadatak konveksnog programiranja sa nediferencijabilnom funkcijom cilja f , ali je dualan problem jednostavan. Lagranˇzova funkcija glasi
L(x, u1 , u2 ) =
n
X
|xi − ai | + u1
i=1
n
X
xi − u2
i=1
n
X
xi ,
x ∈ Rn , u1 , u2 > 0.
i=1
Stavljaju´ci u = u1 − u2 ∈ R dobijamo dobijamo funkciju jedne promjenljive
n
X
definisanu na intervalu [−1, 1] sa ϕ(u) = inf L(x, u) = u
ai .
x
i=1
Zaista, ako je xi 6= ai , onda je
|xi − ai | + uxi > uai , ˇsto se svodi na
73
u
x i − ai
> −1,
|xi − ai |
a taˇcno je za |u| 6 1. Prema tome inf se dostiˇze za x = a. Za u > 1, uzimaju´ci
x = (−ξ1 , ..., −ξn ), ξi > 0 dobijamo
n
X
n
n
n
X
X
X
| − ξi − a i | + u
(−ξi ) 6 (1 − u)
ξi +
|ai | −→ −∞.
i−1
i−1
i−1
i=1
Dualan problem
max ϕ(u),
ima rjeˇsenje
u∗ = sgn
n
X
i=1
ai ,
−1 6 u 6 1,
¯ n
¯
¯X ¯
¯
¯
ϕ(u∗ ) = ¯
ai ¯ .
¯
¯
i=1
Rjeˇsenje polaznog problema dobija se iz sistema jednaˇcina
¯ n
¯
n
n
¯X ¯
X
X
¯
¯
|xi − ai | = ¯
ai ¯ ,
xi = 0.
¯
¯
i=1
i=1
i=1
31. Primalni problem nema rjeˇsenje, budu´ci da na skupu
G = {x ∈ D : g(x) = −x1 6 0} = [0, +∞[×[1, +∞[
vrijedi
f (x) = x1 +
1
> 0, i lim f (0, t) = 0.
t→∞
x2
Znaˇci, π = 0.
Funkcija f je konveksna, pa je odgovaraju´ci dualan problem
sup ϕ(u), u ∈ Rn+ ,
½
¾
1
pri ˇcemu je ϕ(u) = inf L(x, u), L(x, u) = max 0, x1 +
− ux1 . Sada je
x ∈D
x2
½
0,
06u61
ϕ(u) =
. Dakle, δ = ϕ(u∗ ), u∗ ∈ [0, 1].
−∞,
u>1
Poˇsto za marginalnu funkciju p imamo p(0) = π ∈ R, i dualan problem ima
rjeˇsenje, to na osnovu jake teoreme dualnosti polazni problem je stabilan.
32. Marginalna funkcija je data sa p(v) = min f (x), gdje je
x∈ G(v)
G(v) = {v ∈ R3 : x21 + x22 6 v1 , −x1 + x22 6 v2 }. Skup G(v) je prazan za
√
v2 > v1 , pa je u tom sluˇcaju p(v) = +∞. Ostali dopustivi skupovi su konveksni i kompaktni, te linearna funkcija f ima minimum u njegovom vrhu. Dobija
se

√
− v1 ,
v1 + v2 6 − 14


q
√


√
−1−2v2 + 1+4(v1 +v2 )
, − 14 − v1 < v2 < v1
−
p(v1 , v2 ) =
2
√

0,
v 2 = v1


√

+∞,
v2 > v1
74
Nije lako odrediti ∂p(0). Zato ´cemo za utvrd¯ivanje stabilnosti iskoristiti ˇcinjenicu
da konveksan problem koji ima rjeˇsenje x∗ je stabilan ako i samo ako postoji u∗
takav da je (x∗ , u∗ ) KKT taˇcka. Ovdje je oˇcigledno


s√
√
5
−
1
5
−
1
,
,−
x∗ = 
2
2
dok za u∗ > 0 mora da vrijedi 2x∗1 u∗1 + u∗2 = 0, i 1 + 2x∗1 u∗1 − 2x∗2 u∗2 = 0, ˇsto
ne moˇze biti. Dakle, ovaj problem nije stabilan .
75
LITERATURA
[1 ] V.M. Alekseev, E.M. Galeev, V.M. Tihomirov. Sbornik zadaˇc po optimizacii. Nauka, Moskva, 1984.
[2 ] J.M. Borwein, A.S. Lewis. Convex Analysis and Nonlinear Optimization.
Springer, New York, 2000.
[4 ] N. Cameron. Introduction to Linear and Convex Programming. Cambridge
Univ. Press, Cambridge, 1985.
[5 ] K-H. Elster, R. Reinhardt, M. Sch¨auble, G. Donath. Einf¨
uhrung in die
nichtlineare optimierung. Teubner, Leipzig, 1977.
[6 ] J. Jahn. Introduction to the Theory of Nonlinear Optimization. Springer,
Berlin,1994.
[7 ] M. Jovanovi´c. Diferencijalni raˇcun na Rn , Konveksne funkcije, Ekstremi.
Prirodno-matematiˇcki fakultet, Banja Luka, 2001.
[8 ] I.L. Kalihman. Sbornik zadaˇc po matematiˇceskom programirovaniju. Moskva,
1975.
[9 ] A.L. Peressini, F.E. Sullivan, J.J. Uhl. The Mathematics of Nonlinear
Programming. Springer, 1988.
[11 ] R. T. Rockafellar. Convex Analysis. Princeton, New Yersey, Princeton
University Press, 1997.
[12 ] A. G. Suharev, A.V. Timohov, V.V. Fedorov. Kurs metodov optimizaciji.
Nauka, Moskva, 1986.
[13 ] S. Vajda. Theory of Linear and Non-linear Programming. Longman,
London. 1974.
[14 ] F. P. Vasilev. Metodi Optimizacii. Faktorial Press, Moskva, 2002.
[15 ] W. I. Zangwill. Nonlinear Programming. Prentice-Hall, New Jersey, 1969.
76

Elementarna matematika 2 Kongruencije. Mali Fermatov teorem

KONVEKSNA OPTIMIZACIJA (zadaci) Milan Jovanovic 1

rješenja

Državno 2013

Osnovna škola – zadaci

KONVEKSNA ANALIZA 1

Obrazac prijave nezgode

7.590.-kn

SUPER CIJENA SUPER PONUDA