Morphologie mathmatique III: Connexions et segmentation

1
Morphologie mathématique IIIConnexions et
segmentation
10-17 juin 2007
GEONET VI
1- Segmentation approche intuitive 2-
critères connectifs et théorème de la
segmentation 3- Exemples de critères connectifs
Jean Serra, ESIEE
2
Segmentation

• Pour la perception humaine,
• comme pour le traitement numérique, une
  image est
• une mosaïque de points colorés,

3
Segmentation

• Pour la perception humaine,
• comme pour le traitement numérique, une
  image est
• une mosaïque de points colorés,
• Il peut sagir
• - des pixels dune camera digitale, ou dans une
  mémoire dordinateur,
• - ou encore, pour loeil, de la réponse des
  cônes et des bâtonnets de la rétine .

4
Segmentation

• Pour la perception humaine,
• comme pour le traitement numérique, une
  image est
• une mosaïque de points colorés,
• Il peut sagir
• - des pixels dune camera digitale, ou dans une
  mémoire dordinateur,
• - ou encore, pour loeil, de la réponse des
  cônes et des bâtonnets de la rétine .

Mais on les voit rarement comme tels !
5
Segmentation

• Par exemple, quand nous observons ce brûleur,

Est-ce que nous voyons des pixels individuels ?
6
Segmentation

• Par exemple, quand nous observons ce brûleur,

Est-ce que nous voyons des pixels individuels ?
Ou plutôt ces regions ?
7
Deux étapes

• Or pour passer de limage initiale du brûleur à
  sa version segmentée,
• nous faisons deux choses

1/ nous nous donnons un critère,
8
Deux étapes

• Or pour passer de limage initiale du brûleur à
  sa version segmentée,
• nous faisons deux choses

1/ nous nous donnons un critère, 2/ et nous
optimisons le découpage de la fonction selon ce
critère.
9
1ère étape choix dun critère

• les pixels sont classés selon le critère de zones
  plates que nous nous
• sommes donnés a priori.
• (dans dautres cas, la couleur, la forme, etc..,
  auraient été mieux adaptés).
• Critère Soit i une famille de fonctions de
  lespace E dans lespace T. Un
• critère s est une fonction binaire i-s(E)
  0,1
• sf,A 1 quand le critère est vérifié sur
  la région A
• sf,A 0 sinon.
• Exemples
• Les zones plates de la fonction f (i.e. les zones
  où la fonction est constante)
• Un seuillage (i.e. les zones où la fonction est
  au dessus dune certaine valeur).

10
2ème étape optimisation par partition

• Optimisation par partition Revenons sur
  lapproximation en zones
• plates. Elle consiste à remplacer les,pixels par
  les classes dune partition de
• lespace.
• Partition Un partition de lespace E est une
  application D E Ds(E) qui
• associe à chaque pixel x la classe D(x) à
  laquelle il appartient, telle que
• (i) l espace is couvert x Î E Þ
  x Î D(x)
• (ii) il ny a pas de recouvrement
  pour tout (x, y) Î E,
• soit D(x) D(y)
• soit D(x) ? D(y) Æ

11
Exemple de zones plates
a)
b)

• a) Brûleur de gaz
• Une partition possible des régions claires en
  zones plates

12
Exemple de zones plates
a)
b)

• a) Brûleur de gaz
• Une partition possible des régions claires en
  zones plates
• Existe-il une plus grande partition ?
• Et dabord, que signifie la plus grande quand
  il sagit de partitions ?

13
Treillis des partitions

• En fait, on peut dire quune partition est plus
  grande, ou est la plus grande parce que
• Les partitions of E forment a treillis complet g
  pour lordre selon lequel
• La partition D est plus petite que D
• D D
• quand chaque classe de D est incluses dans une
  classe de D
• Le plus grand élément de g est E lui-même, et le
  plus petit est la pulvérisation de E en tous ses
  points.

y
y
x
Le sup est le pentagone avec les frontières
communes l inf, plus simple, sobtient en
intersectant les classes
14
Partition maximale

• Parmi toutes les partitions de lespace en
  régions qui vérifient le critère
• zones plates, il en existe une qui est
  maximale

partition en zones plates
Partition maximale en zones plates
15
Partition maximale

• Parmi toutes les partitions de lespace en
  régions qui vérifient le critère
• zones plates, il en existe une qui est
  maximale

partition en zones plates
Partition maximale en zones plates
Sommes nous sûrs quune telle plus grande
partition existe pour chaque critère ?
16
Critère des zones plates
Connexion par zones plates Les composantes
connexes de s(R1) selon les zones plates de la
fonction sont soit - les segments en
rouge - ou, ailleurs, les points .
17
Contre exemple zones plates épaisses
f
k
k

• Zones plates épaisses
• x,y Î A Þ
  f(x)-f(y) k
• gt le segment bleu vérifie le critère
  fulfils the criterion
• gt le segment rouge le vérifie aussi
• MAIS PAS LEUR REUNION ! ! !

18
Segmentation

• E et T sont deux ensembles arbitraires,
• la class F est une famille de fonctions
  f E T,
• s est un critère,
• Etant donnée une fonction fUF, soit Di(f) la
  famille des partitions de E
• en zones homogènes de f selon le critère s.
  
• Segmentation On dit que le critère s segmente la
  classe F quand pour chaque
• fonction fUF,
• sf,x 1 x
• la famille Di(f) admet un supremum ÿDi (f)
  .
• La partition ÿDi (f) définit alors la
  segmentation de f relativement à s.

19
Connexion

• Voici un bref rappel sur cette notion de
  connexion .
• Définition Soit E un espace arbitraire. Nous
  appellerons classe connexe, ou connexion f toute
  famille dans s(E) telle que
• i ) Æ Î f
• ii ) " x Î E x Î f
• ( La classe f contient toujours les singletons,
  plus l ensemble vide)
• iii ) " Ai , Ai Î f
  ? Ai ¹ Æ Þ Ai Î f
• ( La réunion des éléments de f dont
  lintersection nest pas vide est encore un
  élément de f )
• Les éléments de f sont appelés composantes
  connexes .
• En particulier, si E est un espace topologique,
  les deux connexités topologique et par arcs sont
  des connexions.

20
Critère Connectif

• Il reste à introduire la dernière pièce du
  puzzle, à savoir la propriété de
• connexion suivante pour les critères
• Critère connectif un critère s est connectif
  quand pour toute famille A i
• et pour toute fonction fUF nous avons
• 1- sf,x 1 pour tout x
• 2- ? Ai ¹ Æ et sf, Ai 1
  Þ sf ,Ai 1
• en dautres termes quand f vérifie s sur A
  et sur B, et que A et B ont
• au moins un point commun, alors f vérifie s
  sur A B .
• N.B. Les zones plates, les zones au dessus
  dun certain seuil, etc.
• définissent autant de critères connectifs,
• Mais pas le fait dêtre de
  type Lipschitz .

21
Théorème de la segmentation

• Théorème Etant donné un critère s sur i-s(E),
  les trois énoncés
• suivants sont équivalents
• 1/ le critère s est connectif,
• 2/ à f UF fixé, la classe des ensembles sur
  lesquels s est vérifié, forme une connexion f,
• 3/ le critère s segmente toutes les fonctions f
  UF.
• Remarques
• La notion de connexion est juste celle qui
  convient pour le théorème
• Si lensemble E nest pas muni dune connexion
  préalable, le critère s lui
• en donne, disons f.
• Inversement, si lespace E a déjà une connexion
  f alors lintersection
• f?f engendre la partition maximale pour
  lintersection des deux contraintes.

22
Commentaires sur le théorème

• Le théorème relie la segmentation à la propriété
  de critère connectif qui est
• bien plus manipulable.
• Il est remarquable, que lon ait pu identifier la
  notion de segmentation à
• certaines familles de connections sans avoir eu à
  doter ni lespace de départ E,
• ni celui darrivée T daucune propriété.
• Aussi, le théorème ouvre la voie à toutes les
  applications où des variables
• variables hétérogènes sont définies sur un même
  espace Ces circonstances se
• produisent par exemple
• - en imagerie couleur, avec la teinte, ou
• - en géographie, où des données radiométriques
  (satellites) cohabitent avec
• des variables physiques (altitude, pente du sol,
  ensoleillement, distance à la
• mer, etc.) et avec des données statistiques
  (démographie, fortunes, épidémies).

23
Treillis des critères connectifs

• Dans quelle mesure lintersection logique de
  critères connectifs est-elle encore
• du même type ?
• Théorème à f UF fixé, la famille des critères
  connectifs sur f forme un
• treillis complet, où linfimum correspond à
  lintersection logique des
• critères, avec pour plus petit élément la
  partition de lespace E en ses
• singletons.
• Si on a une famille de critères si , iÎI, il
  suffit donc de prendre
• lintersection D(x) Ç Di (x) pour avoir la
  classe correspondante au point x
• Remarque il ny a pas déquivalent pour le OU
  logique , car le sup de
• partitions ne met pas en jeu des classes où un
  seul critère au moins serait
• vérifié.

24
supremum de critères connectifs

• Le OU logique existe cependant, mais sous
  certaines conditions.
• Soit une fonction fÎF, et Di ,iÎI une famille
  de partitions de segmentation
• qui correspondent aux critères connectifs si ,
  iÎI.
• Proposition Le supremum D'ÿDi est la plus
  grande partition de E en
• classes où une critère au moins est vérifié si
  et seulement si chaque classe
• D'(x) de D' est aussi classe pour une, ou
  plusieurs partitions Di
• Global local La proposition est
  particulièrement utile lorsquen chaque
• point x il ny a quune seule classe non
  ponctuelle Di (x). Ce Di (x) est alors la
• classe maximale au point x pour le supremum ÿDi
  .
• Lapproche globale est remplacée par une série
  dautre, plus locales et
• indépendantes.

25
Stabilité spatiale

• Dans loptimisation par fonctionnelles, les
  contours dun objet varient selon
• sa position dans le champ.

26
Stabilité spatiale

• Dans loptimisation par fonctionnelles, les
  contours dun objet varient selon
• sa position dans le champ.

x .
Z
Y
27
Stabilité spatiale

• Dans loptimisation par fonctionnelles, les
  contours dun objet varient selon
• sa position dans le champ.
• Ici, fixons la fonction f et le critère s. Y et Z
  sont deux champs inclus dans
• E. Au point x Î YZ, Les deux classes de
  segmentation dans Y et Z sont les
• mêmes, i.e.
• Dx(Y) Dx(Z)
• si et seulement si on a la visibilité de lobjet
  dans les deux champs, i.e.
• Dx(Y) Í Z Í E et Dx(Z) Í Y Í E

x .
Z
Y
28
Stabilité spatiale
Champ Y
Working space E
29
Stabilité spatiale
Champ Y
Champ X
30
Stabilité spatiale
Image dans le champ X
31
Stabilité spatiale
.
x
Image dans le champ X
32
Stabilité spatiale
.
x
classe segmentée en x, champ X
33
Stabilité spatiale
Image dans le champ Y
34
Stabilité spatiale
.
x
Image dans le champ Y
35
Stabilité spatiale
.
x
Les deux segmentations Dx(Y) et Dx(Z) sont
identiques
classe segmentée en x, champ Y
36
Stabilité spatiale
.
x
Image dans le champ Y
37
Stabilité spatiale
.
x
classe segmentée en x, champ X
Les deux segmentations Dx(Y) et Dx(Z) sont
identiques
38
Stabilité spatiale
.
x
Image dans lespace E
mais elles nont aucun rapport avec la classe
Dx(E) pour tout lespace
39
Class permanency

• local gt global
• From Dx(Y) Í Z Í E and Dx(Z) Í Y Í E
• We see, by taking Z E, that the class at point
  x for the whole space E is also
• the segmentation in the sub-field Y if
• Dx(E) Í Y
• Such a condition is satisfied when
• 1/ Criterion s is f-decreasing for the arcwise
  connection, i. e.
• 1. The f- classes are arcwise connected
• 2. If s(f,A) 1 and B Í A with B arc
  connected, then s(f,B) 1
• 2/ Dx(Y) is strictly included in Y, i.e. there
  exists egt0 such that
• Dx(Y) Í
  Z ,eB (B, open unit ball)

40
Connexion lisse
z
B
x
A
y
Connexion lisse E Rn, muni de la connexité
par arcs, la fonction f E T est fixée. la
classe fÎs(Rn) composée i) des singletons,
plus de l ensemble vide ii) de tous les
YÎs(Rn) où f est k-Lipschitz le long de tous les
chemins dans Y, constitue une seconde connexion
sur s(Rn), appelée connexion lisse.
Implémentation Soit H(x) est le cercle unité de
Z2 au point x. La partition associée à f admet
pour classes non ponctuelles les composantes
connexes de X x U E sup½f(x) -
f(y)½, y U H(x) k
41
Rugosité et connexion lisse
Commentaire Les deux phases de la
micrographie ne peuvent pas être séparées par
seuillage. Les connexions lisses les classent
selon leur rugosité.
a) Image initiale micrographie électronique de
roche
b) connexion lisse de paramètre 7
c) connexion lisse de paramètre 6
(en sombre, les composantes connexes ponctuelles)
42
Segmentations à base de germes

• Les groupements sont des processus qui
  agrègent tous les points de E à
• certaines régions, les germes, selon des règles
  qui mettent f en jeu
• Proposition étant donnée une fonction fUF, un
  processus de groupement
• et une répartition finale de germes, le critère
  suivant est connectif
• sf,x 1 x UE
• sf, A 1 quand tous les points de A sont
  attribués à un germe unique,
• sf, A 0 sinon.
• Remarque la proposition concerne un grand
  nombre de techniques de
• croissance par régions (e.g. lalgorithme de
  Chassery, les nuées dynamiques de
• Diday, etc..)
• - mais aussi les lignes de partage des eaux
  et les segmentations dites par snakes
• - et encore la connexion par sauts présentée
  ci-dessous (voir aussi ch. 6).

43
Connexion par sauts

• Connection par sauts E Rn, muni de la
  connexité par arcs , et la fonction f
  E T est fixée. La classe fÎs(Rn) composée
  
• i) des singletons, plus de l ensemble vide
• ii)de tous les ensembles connexes contenant un
  minimum, et où les valeurs de f sont à moins de
  k au dessus du minimum
• constitue une seconde connexion sur s(Rn),
  appelée connexion par sauts à partir des
  minima .
• De la même manière, on peut partir des maxima, ou
  prendre le sup ou linf de ces deux connexions .

T
f

k
E
m0
Y
Composante connexe dans la connexion par sauts
de valeur k à partir des minima .
44
Exemple de connexion par sauts
b) connexion par sauts taille 8 - en
sombre, les composantes ponctuelle - en clair,
les autres
c) Skiz de la réunion des points sombres de l
image b)
a) Image initiale section polie de grains
dalumine (cf. chapitre 6)
45
Exemple de connexion par sauts
b) connexion par sauts taille 10
c) Skiz de la réunion des points sombres de l
image b)
a) Image initiale section polie de grains
dalumine (cf. chapitre 6)
46
Exemple de connexion par sauts
c) Skiz de la réunion des points sombres de l
image b)
a) Image initiale section polie de grains
dalumine (cf. chapitre 6)
b) connexion par sauts taille 12
47
Exemple de connexion par sauts
c) Skiz de la réunion des points sombres de l
image b)
a) Image initiale section polie de grains
dalumine (cf. chapitre 6)
b) connexion par sauts taille 16
48
Rugosité et inf de connexions
Commentaire la connexion par sauts nest pas
très bonne. Mais son infimum Avec la connexion
lisse donne de bien meilleurs résultats
a) Image initiale Micrographie de béton
b) Connexion par sauts damplitude 12.
49
Rugosité et inf de connexions
Commentaire la connexion par sauts nest pa
très bonne. Mais son infimum Avec la connexion
lisse donne de bien meilleurs résultats
c) Connexion lisse de pente 6.
a) Image initiale Micrographie de béton
b) Connexion par sauts damplitude 12.
50
Rugosité et inf de connexions
Commentaire la connexion par sauts nest pa
très bonne. Mais son infimum Avec la connexion
lisse donne de bien meilleurs résultats
a) Image initiale Micrographie de béton
c) Intersection de la connexion par sauts (12)
et lisse (6) .
b) Connexion par sauts damplitude 12.
51
Connexion par sauts en couleur (I)

• Image initiale
• représentation en
• rouge
• vert
• bleu
• Image transformée
• gris rouge2 vert2 bleu2 1/2
• Limage de gris est traitée par connexion par
  sauts, et dans chaque classe de la partition on
  prend la moyenne des vert, rouge et bleu.

52
Connexion par sauts en couleur (II)

• Image initiale
• 92 740 tuiles
• tuile
• zone plate Ê hexagon unité
• Résultats pour
• un saut de taille 5
• (pour 255 niveaux de gris)
• qui induit une partition en 190 tuiles .

53
Connexion par sauts en couleur (III)

• Résultats pour
• un saut de taille 10
• (pour 255 niveaux de gris)
• qui induit une partition en 105 tuiles .

54
Segmentation convexe

• Comment séparer les particules convexes aux
  endroits où elles se recouvrent ?

55
Construction de la L.P.E. par inondation

• Imaginons que de l'eau jaillisse de chaque
  minimum et que la surface soit inondée à partir
  de ces sources. Progressivement, le niveau de
  l'eau s'élève.
• Pour empêcher le mélange des eaux venant de
  minima différents, on crée un barrage élémentaire
  en chaque point de contact. L' eau continue de
  s'élever
• A la fin, ne restent que les digues achevées,
  entourées d'eau c'est la L.P.E.

barrage en construction
niveau de l'eau
Minima
56
Segmentation convexe

• Comment séparer les particules convexes aux
  endroits où elles se recouvrent ?
• En leur associant leur fonction distance f, et en
  calculant la LPE de -f

57
Critères portant sur des mesures

• Seuillage Lopérateur suivant, de seuillage,
  est manifestement connectif
• inf f(x), x Î A 8 t0
• Exemple de critère de volume (E est métrique et
  doté de la connexion f)
• prendre les composantes connexes A où
  lintégrale de f sur tout disque de
• rayon r0 donné est plus petit que m (donné).
• Espaces externes On fait agir les critères
  connectifs sur un espace externe,
• puis on reporte les résultats dans lespace de
  limage. Deux exemples
• - mesures géodésiques (ci-dessous).

58
Diaphyse du tibia dun embryon de poulet
Deux coupes semi-fines prises dans une série de
100 Ce tibia peut-il se modéliser par des
cylindres emboîtés ? Si oui,
comment les segmenter ?
59
Segmentation du tibia

• Description quantitative On accède
  progressivement au tibia à partir du marqueur
  interne, par dilatations géodésiques. On mesure à
  chaque pas le volume du front donde et on en
  trace la courbe (a) .
• Les minima indiquent la traversée des zones
   ponts , ce qui permet de segmenter le tibia en
  enveloppes cylindriques emboîtées, (cf coupe
  (b)).

(b)
(a )
60
Applicationréalisation dun démonstrateur
Consortium européen
Boch, Siemens, France-télécom, Ecole des
Mines de Paris
61
Description de lapplication

• Contraintes
• Temps réel.
• Traitement automatique
• Variabilité des conditions.

• Hypothèses
• Particularités des video-conférences.
• Particularités du speaker comme objet de suivi.

62
Détection du locuteur

• Lanalyse des composantes de chrominance (U,V)
  fournit un premier masque binaire représentant
  les pixels avec une couleur de peau.

diagramme de chrominance dans lespace couleur
YUV
63
Détection du locuteur

• On effectue une segmentation morphologique de
  limage dentrée pour
• faire fusionner les zones marquées par le masque
  binaire

64
Détection du locuteur

• Une analyse de la forme des composantes connexes
  du maque
• identifie celle qui correspond à un visage.

Centre de gravité axe de symétrie
Rectangle minimal contenant la région connexe
65
Détection du locuteur

• Un modèle 2D du torse humain fait fusionner les
  régions
• manquantes des cheveux et des épaules.

66
Détection du locuteur

• Le masque final comporte deux couches binaires
• lune pour la tête, et lautre pour les épaules

Les deux couches sont traitées comme des régions
aux mouvements indépendants, et leur position
est automatiquement réajustée pendant
le processus de suivi.
67
Résultats sur une séquence test

• Plateforme le démonstrateur du CMM est à base
  dun PC portable
• Pentium III de 500 MHz
• Temps de calcul 10 images/seconde en format
  QSIF format. La
• segmentation couleur et lanalyse du mouvement
  demandent 50 ms chacune.

68
Résultats sur une séquence test
forts mouvements de camera
?
69
Codage orienté objet

• Objectif on peut modifier lenvironnement.

70
Références

• J. Angulo, J. Serra Colour Feature Extraction
  from Luminance/Saturation Histogram in L1
  Representation Tech. report Ecole des Mines,
  march 2003.
• J. Angulo, J. Serra Colour segmentation by
  ordered mergings ICIP 2003, Barcelona sept. 14-17
• J.M. Chassery, C. Garbay An Iterative
  Segmentation Method Based on a Contextual Color
  and Shape Criterion IEEE Transactions on Pattern
  Analysis, Machine Intelligence,1984, 6, 6,
  794-800.
• E. Diday Une nouvelle méthode en
  classification automatique et reconnaissance des
  formes La méthode des nuées dynamiques, Revue
  de Stat. Appliquée , 1971, 19(2) 19-33.
• F. Meyer S. Beucher Morphological Segmentation.
  J.of Visual Communication and Image
  Representation, 1990, Vol.1 (1), pp.21-46.
• F. Meyer, The levelings. In Mathematical
  Morphology and its applications to image and
  signal processing, Kluwer, 1998.
•  Ch. Ronse J. Serra, "Geodesy and connectivity in
  lattices" (with Ch. Ronse) Fundamenta
  Informaticae, Vol 46, issue 4, sept. 2001.
  46(4) pp. 349-395.
• J. Serra, Chapter 2 in Image Analysis and
  Mathematical Morphology - Vol. II Theoretical
  Advances, J. Serra (ed.) Academic Press, London,
  1988. 411 p.
• J. Serra, Connections for sets and functions,
  Fundamenta Informaticae, Vol 41, 1-2 Jan 2000 ,
  147-186.
• J. Serra,  Connection, Image Segmentation and
  Filtering CIC 2002, Avances en Ciencias de la
  computacion e Ingenieria de Computo, JHSossa
  Azuela, C. Aguilar Ibañez, M. Alavarado Mentado y
  A. Gelbukh (Eds) México D.F. nov 25-29, 2002