Reconnaissance de caractres grce aux RNA

1
Reconnaissance de caractères grâce aux RNA
2
Plan de la présentation

• Introduction
• Présentation de larticle
• Travail effectué
• Problèmes rencontrés
• Conclusion

3
Introduction

• But reconnaissance des codes postaux
• montrer réseaux de rétro-propagation de grande
  taille ? la reconnaissance de forme sans
  pré-traitements complexes.
• Pour simplifier le réseau?utilisation de
  connaissances a priori

4
Présentation de larticle (1/4)

• Hand Written Digit Recognition with a
  back-propogation network (Le Cun 90)
• Les données
• Pré-traitements
• Segmentation
• Normaliser taille (28X28) et couleur (niveau de
  gris?-1 1

5
Présentation de larticle (2/4)

• Architecture du réseau
• Réseau entièrement connecté gt beaucoup trop de
  paramètres
• Solution entrée locale poids partagés

Entrées locales
Poids partagés chaque neurone va utiliser le
même ensemble de poids
y1
Partie verte noyau
6
Présentation de larticle (3/4)

• Poids entrée - H1 poids partagés
• Poids H1 - H2 poids partagés (un seul poids
  pour un feature map)
• Poids H2 - H3 poids partagés
• Poids H3 - H4 poids partagés (un seul poids
  pour un feature map)
• Poids H4 - Sortie entièrement connecté

7
Présentation de larticle (4/4)

• Résultats
• Après 30 étapes d'apprentissage on obtient
• Erreur 1.1
• Erreur Quadratique Moyenne 0.014
• On obtient avec les données de teste
• Erreur 3.4
• Erreur Quadratique Moyenne 0.024
• Pour le taux de Rejet ( taux de forme que l'on
  doit rejeter afin d'obtenir une erreur de 1)
• Le meilleur taux de Rejet 5.7 et 9 pour les
  données manuscrites.

8
Travail effectué (1/6)

• Introduction
• Implémenter l'architecture suggéré par l'article
  en utilisant Matlab
• Architecture du réseau

Feature map
Entrée
Sortie
H1
Poids Entrée-H1 poids partagé Poids H1 - sortie
entièrement connecté  
9
Travail effectué (2/6)

• Le problème jouet
• Générer données
• Entrée aléatoire poids fixes
• Informations
• Taille de l'entrée 25
• Taille de la couche cachée 4
• Taille de sortie 2
• Taille de noyau 16

10
Travail effectué (3/6)

• erreur quadratique moyenne d apprentissage
  0.1188
• erreur quadratique moyenne de validation
  0.0779
• taux de bonne classification 0.8800

11
Travail effectué (4/6)

• Problème réel
• Utilisation d images de chiffres manuscrits
• Les chiffres 1 à 6.

12
Travail effectué (5/6)

• Informations
• Taille de l'entrée 28 X 28 (contenant le
  niveau de gris normalisé dans l'intervalle -1
  1)
• Taille de la couche cachée 24 X 24
• Taille de la sortie 6
• Taille de noyau 5 X 5

13
Travail effectué (6/6)

• erreur quadratique moyenne d apprentissage
  0.1783
• erreur quadratique moyenne de validation 0.3849
• taux de bonne classification 0.6111

14
Problèmes rencontrés

• On n'a pas trouvé le Toolbox Matlab pour faire le
  poids partagés.
• Le résultat insatisfaisant
• L'apprentissage très lent (4000 itérations pour
  les chiffres)
• La limite de nombre de variables en Matlab (???)

15
Conclusion

• Impossibilité d'implémenter l'architecture du
  réseau
• Limite dexpérience
• Limite Logiciel
• Besoin de logiciel spécialisé (SN)