Chapitre 3 Optimisation non linaire avec contraintes

1
Chapitre 3Optimisation non linéaireavec
contraintes

• Optimisation I
• Systèmes de Communication

2
Théorie des multiplicateurs de Lagrange
3
Lagrange

• Joseph Louis Lagrange
• Né à Turin en 1736
• Mort à Paris 1813

4
Contraintes dégalité

• Problème
• min f(x)
• s.c. hi(x)0 i1,,m
• où
• fIRn ?IR et hi IRn ?IR sont continûment
  différentiables.
• Pour simplifier, on notera
• h(x) 0
• avec h IRn ?IRm

5
Contraintes dégalité

• Théorème des multiplicateurs de Lagrange
  condition nécessaire de premier ordre
• Soit x un minimum local de
• min f(x) s.c. h(x) 0.
• Supposons que les gradients des contraintes
• ?h1(x),, ?hm(x)
• soient linéairement indépendants.
• Alors, il existe l?IRm, unique, appelé le
  vecteur des multiplicateurs de Lagrange, tel que

6
Contraintes dégalité

• Théorème des multiplicateurs de Lagrange
  condition nécessaire de second ordre
• Si, de plus, f et h sont deux fois continûment
  différentiables, on a

où
7
Contraintes dégalité

• Note
• V(x) est le sous-espace des variations y telles
  que xy vérifie les contraintes au premier
  ordre.
• Interprétation du théorème
• A loptimum, le gradient de la fonction objectif
  appartient au sous-espace engendré par le
  gradient des contraintes

8
Contraintes dégalité

• Définition
• Soit x ? IRn. Si
• ?h1(x),, ?hm(x)
• sont linéairement indépendants,
• Alors x est dit régulier.

9
Contraintes dégalité

• Exemple
• min x1 x2
• s.c. x12x222
• Minimum local x(-1,-1)T
• ?f(x)(1,1)T
• ?h(x)(-2,-2)T
• l ½

10
?f(x)(1,1)
x(-?2,0)
?h(x)(-2?2,0)
?f(x)(1,1)
x(-1,-1)
?h(x)(-2,-2)
11
Contraintes dégalité

• Exemple
• min x1 x2
• s.c. (x1-1)2x22-10
• (x1-2)2x22-40
• Minimum local x(0,0)T
• ?f(x)(1,1)T
• ?h1(x)(-2,0)T
• ?h2(x)(-4,0)T
• Il nexiste pas de l tel que
• ?f(x)l1?h1(x)l2?h2(x) 0
• car x non régulier.

12
x(0,0)
?f(x)(1,1)
?h2(x)(-4,0)
?h1(x)(-2,0)
13
Contraintes dégalité

• Preuves
• Idée transformer le problème avec contraintes
  en un problème sans contrainte.
• Appliquer les conditions nécessaires du cas sans
  contraintes.
• Deux approches
• Par élimination
• Contraintes système de m équations à n
  inconnues
• On exprime m variables en fonction des n-m autres
• Par pénalité
• On ignore les contraintes.
• Forte pénalité si elles sont violées.

14
Preuve par élimination

• On prouve uniquement le cas linéaire.
• (P1) min f(x) s.c. Axb
• A ? IRmxn de rang plein
• b ? IRm
• On suppose sans perte de généralité que les m
  premières colonnes de A sont lin. indép.
• A (B R) avec B?IRmxm inversible, R?IRmx(n-m)
• x (xB xR)T avec xB ?IRm xR ?IRmx(n-m)
• (P2) min f(xB,xR) s.c. BxBRxRb

15
Preuve par élimination

• (P2) min f(xB,xR) s.c. BxBRxRb
• Pour vérifier les contraintes, il faut que
• xB B-1(b-RxR)
• (P3) min F(xR)f(B-1(b-RxR), xR) s.c.
  xR?IRmx(n-m)
• Si (xB,xR) est solution optimale de (P1), xR
  est solution optimale de (P3), problème sans
  contrainte.
• 0?F(xR) -RTB-T?Bf(x)?Rf(x)
• où
• ?Bf est le gradient de f par rapport à xB
• ?Rf est le gradient de f par rapport à xR.

16
Preuve par élimination

• 0?F(xR) -RTB-T?Bf(x)?Rf(x)
• Posons l-B-T?Bf(x)
• Donc
• BTl ?Bf(x) 0
• RTl ?Rf(x) 0
• cest-à-dire
• ATl ?f(x) 0
• Cest la condition nécessaire du premier ordre
  pour le cas linéaire.
• La condition du second ordre est admise sans
  preuve.

17
Preuve par élimination

• Notes
• La preuve pour h(x) non linéaire est basée sur le
  théorème des fonctions implicites.
• La structure de la preuve est la même que pour le
  cas linéaire.

18
Preuve par pénalité

• Soit le problème P
• min f(x)
• s.c. h(x) 0.
• Pour k1,2,3, on définit

• où
• x est minimum local de P.
• a ? IR, a gt 0

19
Preuve par pénalité

• Le terme

• est le terme de pénalité
• Le terme

est un terme technique lié à la preuve.
20
Preuve par pénalité

• Comme x est minimum local,
• ??gt0 tel que f(x)f(x),
• pour tout x admissible dans la sphère fermée
• Sx t.q. x-x ?.
• Soit xk une solution optimale du problème
• min Fk(x) s.c. x ? S
• Le minimum existe car S est fermé (théorème de
  Weierstrass)
• Montrons que xk ? x.

21
Preuve par pénalité

• Comme xk est solution optimale, on a

• Lorsque k??
• f(xk) est borné sur S
• xk-x2 est borné sur S.
• Donc, pour que kh(xk)2 reste borné,
• h(xk) ?0

22
Preuve par pénalité

• Chaque point limite x de la suite (xk) est tel
  que h(x)0.

• On passe à la limite k??

• x est admissible, et x ? S. Donc

23
Preuve par pénalité

• Et ainsi x x.
• La suite (xk) converge donc vers x
• xk est à lintérieur de S pour k suffisamment
  grand.
• xk est solution du problème sans contrainte pour
  k suffisamment grand.
• On applique la condition nécessaire doptimalité.

24
Preuve par pénalité

• Note Comme ?h(x) est de rang plein, cest vrai
  aussi pour ?h(xk) avec k suffisamment grand.
• ?h(xk)T?h(xk) est inversible.

25
Preuve par pénalité

• Donc,

Lorsque k??, kh(xk) ?l
26
Fonction lagrangienne

• Définition
• Soit LIRnm?IR

L est appelée la fonction lagrangienne.
27
Fonction lagrangienne

• Condition du premier ordre
• ?xL(x,l) 0
• Contraintes
• ?lL(x,l) 0
• Condition du second ordre
• yT?xx2L(x,l)y ³ 0 ?y ?V(x)

28
Fonction lagrangienne

• Exemple
• min ½ (x12x22x32)
• s.c. x1x2x33
• L(x1,x2,x3,l) ½(x12x22x32)l(x1x2x3-3)
• ?L/?xi xil i1,2,3
• ?L/?l x1x2x3-3

29
Conditions suffisantes

• Conditions suffisantes du second ordre
• Soient fIRn?IR et hIRn?IRm deux foix
  continûment différentiables.
• Soient x?IRn et l?IRm tels que
• ?xL(x,l) 0
• ?lL(x,l) 0
• yT?2xxL(x,l)y gt 0 ?y tel que ?h(x)Ty0
• Alors x est une minimum local strict de f s.c.
  h(x)0.

30
Contraintes dinégalité

• Soit le problème P
• min f(x)
• s.c. h1(x)0,,hm(x)0
• g1(x) 0,,gr(x) 0
• où f,hi,gj sont continûment différentiables.
• On écrit aussi
• min f(x)
• s.c. h(x)0
• g(x) 0

31
Contraintes dinégalité

• Soit
• A(x) j gj(x) 0
• lensemble des indices des contraintes
  dinégalité actives en x.
• Si j ? A(x), la contrainte j est dite inactive.
• Soit x une solution optimale de P.

32
Contraintes dinégalité

• Soit le problème P
• min f(x)
• s.c. hi(x)0 i1,,m
• gj(x) 0 j?A(x)
• x est aussi solution optimale de P.
• En fait, les contraintes inactives en x ne
  comptent pas et peuvent être ignorées.

33
Contraintes dinégalité

• Soit le problème P
• min f(x)
• s.c. hi(x)0 i1,,m
• gj(x) 0 j?A(x)
• x est aussi solution optimale de P
• Au minimum, les contraintes dinégalité peuvent
  être (presque) traitées comme des contraintes
  dégalité.

34
Contraintes dinégalité

• Condition du premier ordre pour P

En posant mj 0 si j ? A(x)
35
Contraintes dinégalité

• Conditions nécessaires de Karush-Kuhn-Tucker
  (KKT)
• Soit la fonction lagrangienne

Soit x un minimum local du problème P. Supposons
que x est régulier.
36
Contraintes dinégalité

• Conditions nécessaires de Karush-Kuhn-Tucker
  (suite)
• Il existe des vecteurs uniques de multiplicateurs
  de Lagrange l et m tels que
• ?xL(x,l,m) 0
• mj³0 j1,,r
• mj0 ? j ? A(x)

37
Contraintes dinégalité

• Conditions nécessaires de Kuhn-Tucker (suite)
• Si de plus f, g, et h sont deux fois continûment
  différentiables,
• yT?xx2L(x,l,m)y ³ 0 ?y?V(x)
• V(x)y ?hi(x)Ty0,i1,,m, ?gj(x)Ty0, j
  ?A(x)

38
Contraintes dinégalité

• Preuve (condition du premier ordre)
• La seule chose que lon doive encore montrer est
  que mj³0.
• On recommence la preuve par pénalité
• avec
• gj(x) max(0,gj(x)) j1,,r
• Notons que (gj(x))2 est continûment
  différentiable.
• Gradient 2 gj(x)?gj(x)

39
Contraintes dinégalité

• Pour k1,2,

• En utilisant les mêmes arguments que pour le cas
  des contraintes dégalité, on obtient

• Comme gj(xk) ³ 0, on obtient bien mj ³ 0
• CQFD