1

Funciones ConvexasFunciones Convexas

(*) Basado en Boyd y Vandenberghe. Convex Optimizationhttp://www.stanford.edu/~boyd/cvxbook/

2

DefinicinDefinicin

Una funcin f:n es convexa si el dom f es convexo y si para todo x,y dom f y todo 01 se cumple

Interpretacin geomtrica:Los puntos en el segmento de recta x-y (una cuerda de la funcin) se encuentran por encima de la funcin.

3

Convexidad estrctaConvexidad estrcta La funcin f es estrctamente convexa si la

desigualdad es estricta para xy y 0

5

Funciones afinesFunciones afines Para una funcion afn f(x)=Ax+b, la desigualdad

se cumple siempre con igualdad: Toda funcin afn es concava y convexa.

Tambin es cierta la reciproca: Toda funcin concava y convexa es afn.

6

Extensiones de valor extendidoExtensiones de valor extendidoEn muchos anlisis resulta conveniente extender el dominio de una funcin convexa a todo n. Esto se logra definiendo la funcin extendida cuya imagen es para puntos fuera del dominio.

Ejercicio: Las funciones extendidas resultan convenientes para omitir definir explcitamente el dominio.

8

Interpretacin geomtricaInterpretacin geomtricaLa funcin

es la expasin de Taylor de 1er orden de f cerca a x.

La desigualdad nos dice que la estimacin siempre es inferior para una funcin convexa.En particular, para f convexa, si

entonces x es un mnimo global de f.

9

Condiciones de 2Condiciones de 2oo orden orden Supongamos que la funcin f es dos veces

diferenciable. Es decir su matrix de segundas derivadas (Hessian) existe en todos los puntos del dominio de f, el cual es abierto.

10

Condiciones de 2Condiciones de 2oo orden ordenSea f diferenciable: f es convexa si y solo si su dominio es convexo

y su Hessian es positivo semidefinido para todo x en el dominio de f.

Geomtricamente, la curvatura de f en x debe ser positiva (hacia arriba).

Si el Hessian es positivo definido, f es estrctamente convexa.

11

ConcavidadConcavidad Similarmente, si el dominio de f es convexo y

entonces la funcin f es concava. Estrctamente concava si es negativa definida.

12

Ejemplo: Funciones cuadrticasEjemplo: Funciones cuadrticasSea la funcin

donde p es una matrix cuadrada de dimension nxn. Entonces

y por lo tanto f es convexa si y solo si p es positiva semidefinida (o concava si negativa semidefinida).

13

Ms ejemplosMs ejemplos La funcin exponencial Potencias de x

Potencia del valor absoluto

Logaritmo

14

Conjuntos de nivel (Sublevel sets)Conjuntos de nivel (Sublevel sets)El conjunto de nivel de una funcin f:n se define como

El conjunto de nivel de una funcin convexa es convexo.

15

Grafo y EpigrafoGrafo y EpigrafoSea la funcin f:nEl grafo de f es el conjunto

el grafo de f es un subconjunto de n+1.El epigrafo de f se define

y tambin es un subconjunto de n+1.Illustracin

16

Hipo-grafoHipo-grafoSimilarmente, el hipo-grafo es el conjunto

17

Conexin entre conjuntos y Conexin entre conjuntos y funciones convexasfunciones convexas

Una funcin es convexa si y solo si su epigrafo es convexo.

Una funcin es concava si y solo si su hipo-grafo es convexo.

18

Operaciones que preservan la Operaciones que preservan la convexidad de una funcinconvexidad de una funcin

19

1 - Sumas ponderadas no negativas1 - Sumas ponderadas no negativas Si f es una funcin convexa y 0, entonces f

es tambin una funcin convexa. Si f1 y f2 son convexas, tambin lo es f1+f2. En general sumas de funciones convexas con

pesos no negativos son convexas:

Similarmente, sumas de funciones concavas con pesos no negativos son concavas.

20

Interpretacin en trminos del Interpretacin en trminos del epigrafoepigrafo

Para una funcin f y w0

como ya habiamos visto antes, la imagen de un conjunto convexo bajo una transformacin lineal es convexo.

21

2 Composicin con mapas afines 2 Composicin con mapas afines Sean f:n, Anxm, bn. Definamos g:m como

con dominio

entonces si f es convexa, tambin lo es g; si f es concava, asi lo es g.

22

3 Mximo punto a punto3 Mximo punto a puntoSi f1 y f2 son funciones convexas, entonces la funcin

tambin es convexa.Este resultado se generaliza para sumas de m funciones convexas.Ejemplo: Funciones lineales por segmentos

23

Supremum & InfimumSupremum & Infimum Dado un conjunto de escalares X, se define el

supremum de X como el escalar 'y' ms pequeo tal que yx para todo xX.

El infimum es el escalar 'y' ms grande tal que yx para todo xX.

Si no existe, se sigue la convencin sup X = e inf X = -.

As mismo, para el conjunto vacio, se definen sup = e inf =-.

24

4 Supremum punto a punto4 Supremum punto a punto La propiedad del mximo punto a punto se

extendiende al supremum para conjuntos infinitos de funciones. Sea yA, f(x,y) convexa con respecto a x, y g definida como

la funcin g es convexa y su dominio es

25

Justificacin usando epigrafosJustificacin usando epigrafosEl epigrafo de g es la interseccin de los epigrafos de las funciones f

La interseccin de conjuntos convexos es convexa.

26

EjemploEjemploSea la funcin

donde Cn . f(x) se puede entender como la distancia de x al punto ms lejano (y) del conjunto C, bajo cualquier norma.Ya sabemos todas las normas son convexas, y f(x) es el supremum punto a punto de una familia de funciones convexas, luego es convexa.

27

5 - Composicin de funciones5 - Composicin de funcionesSean las funciones

nos interesa determinar la convexidad de su composicin, i.e. la funcin

cuyo dominio es

28

Composicin escalar: k=1Composicin escalar: k=1En este caso f:n. Dado que la convexidad es determinada por el comportamiento de f sobre lineas arbitrarias que intersectan su dominio, se puede simplificar y considerar solo n=1. En este caso:

29

Composicin escalar: anlisisComposicin escalar: anlisisSe pueden dar los siguientes casos: h convexa y no decreciente, g convexa: f convexa h convexa y no creciente, g concava: f es convexa h concava y no decreciente, g concava: f concava h convexa y no creciente, g convexa: f es convexa

Nota: Es posible demostrar estos resultados sin asumir diferenciabilidad.

30

Composicin vectorial: k>1Composicin vectorial: k>1Asumiendo que h,g son diferenciables y tomando n=1 (sobre una lnea arbitraria del dominio), se obtiene:

31

Composicin vectorialComposicin vectorialDe forma similar se obtienen mltiples casos, por ejemplo: h convexa y no decreciente en ningn argumento, gi

convexas: f convexa h convexa y no creciente en ningn argumento, gi

concavas: f es convexa h concava y no decreciente en ningn argumento, gi

concavas: f concavaIgual que con la versin escalar, es posible generalizar estos resultados para funciones no diferenciables.

32

6 Infimum de una familia de 6 Infimum de una familia de funcionesfunciones

De manera similar al mximo y al supremum de familias de funciones, se tiene que si f(x,y) es convexa, y C es un conjunto convexo no vacio, entonces la funcin

es convexa, suponiendo que g(x) este definida.

33

Ejemplo: Distancia a un conjuntoEjemplo: Distancia a un conjuntoSe define la distancia de un punto x a un conjunto Sn, como

(Ampliamente usada en aplicaciones de clasificacin, sistemas de recomendacin, etc. El punto y que minimiza la distancia es el "nearest neighbor")Se tiene que la norma es convexa, el conjunto S es convexo y por lo tanto dist(x,S) es una funcin convexa.