2017 | Réseaux profonds et Représentations Distribuées

Axe: DataSense
Coordinators: Alexandre Allauzen (LIMSI) et Guillaume Charpiat (LRI)
Thème: Apprentissage automatique : utilisation des réseaux de neurones artificiels
Productions scientifiques:
Financement Labex en : 2014 – 2015 – 2016 – 2017


Présentation:
Une des tendances récentes dans les domaines de la reconnaissance des formes et de l’apprentissage automatique est le regain de popularité des méthodes basées sur l’utilisation de réseaux de neurones artificiels. Ce retour en grâce s’accompagne de développements méthodologiques multiples, au premier rang desquels le développement de méthodes basées sur les réseaux dit profonds (deep neural networks).

Ces nouveaux types de réseaux ont permis des avancées technologiques très significatives en intelligence artificielle, conduisant à des systèmes aux performances inédites pour la reconnaissance de la parole ou encore la reconnaissance visuelle d’objets. Ces avancées ont d’ailleurs été relatées à la une du New York Times, et les réseaux profonds (“deep learning”) ont été retenus comme une des 10 percées technologiques les plus importantes de 2013 par le MIT Technology Review.

Il existe une expertise diffuse, parfois très ancienne, dans différents laboratoires de DigiCosme, sur ces méthodes, en relation avec des visées applicatives particulières (en robotique, en vision artificielle, en traitement de la parole, en reconnaissance de caractères manuscrits, etc) ; ces communautés pour l’essentiel s’ignorent, ce qui nuit à la diffusion des connaissances et aux échanges de bonnes pratiques.

L’objectif de ce groupe de travail est de fédérer les équipes de DigiCosme qui étudient et/ou utilisent ces techniques afin d’une part de faciliter la diffusion de connaissances entre les différentes communautés concernées, et d’autre part de susciter des collaborations entre équipes du Labex. Le groupe de travail devrait permettre de couvrir un large spectre d’application et ainsi renforcer la compréhension de ce type d’approche.

Thématiques envisagées (liste non exhaustive):
– Apprentissage de réseaux à très grande échelle
– calcul de représentations distribuées et continues pour des objets structurés
– Adaptation des représentations au contexte


Equipes concernées :

  • Traitement du Langage Parlé (LIMS/TLP) : A. Allauzen
  • Architecture et Modèles pour l’Interaction (LIMSI/AMI) : E. Frenoux
  • Algorithmique, Recherche Opérationnelle, Bioinformatique et Apprentissage Statistique (IBISC/AROB@S) : F. D’Alch ́e-Buc
  • Apprentissage & Optimisation (LRI/A&O) : M. Sebag
  • Robotique et Vision (ENSTA/U2IS) : D. Filliat
  • Multim ́edia (Telecom-ParisTech/LTCI) : L. Likforman

Site Web
Séminaires

Événement 2018


  • vendredi 17 novembre 2017
  • Réunion du 27/01/15: séance spéciale, séminaire de Stephan Gouws de l’Université de Stellenbosch (Afrique du Sud): Training Neural Word Embeddings for Transfer Learning and Translation
  • Réunion du 22/01/15: Le point sur les futurs proposition de stage + présentation invitée de Dominique Bazin et Michel Daudon: “Importance de la morphologie des cristaux dans la pose d’un diagnostic médical. ”
  • Réunion du 20/11/14: LSTM for Speech (G. Gelly), et S. Lauly de l’Université de Sherbrooke (Canada): Bilingual auto-encoder
  • Réunion du 16/10/14: Practical Variational Inference (Y. Ollivier et B. Mayeur), et Noise Contrastive Estimation (M. Labeau)
  • Réunion du 18/09/14: Réseaux de neurones feedforward, recurrent, LSTM, les bases(Y. Ollivier et L. Likforman-Sulem)
  • Réunion du 13/06/14: lancement


CDD ingénieur de recherche adossé au GT – Maintenance d’un socle logiciel de base permettant l’utilisation des GPU, et la creation d’une plateforme experimentale
commune permettant de partager donnees et code.

permettra d’impliquer diff´erentes ´equipes au sein du GT et de d´evelopper diff´erents
mod`eles. Le role de l’ingenieur sera dans ce contexte de federer ces efforts de developpement en creant et maintenant une bibliotheque open-source a partir des contributions de chacun, le tout dans un cadre unifi´e favorisant le partage de ces outils.
Les contributions logicielles peuvent etre de plusieurs natures :

  • pretraitement des donnees ;
  • initialisation des r´eseaux de neurones ;
  • gestion des donnees lors de l’apprentissage : creation de mini-batchs ´equilibres, s´election automatique d’une taille raisonnable de mini-batch, etc ;
  • optimiseurs efficaces, s´election automatique d’optimiseurs appropri´es ;
  • architectures ayant fait leurs preuves sur telle ou telle tache ;
  • outils de visualisation (pour la comprehension de ce que font les reseaux de neurones et pour leur debuggage) ;
  • evaluation automatique et tableau des scores (performance des differents modeles

sur les differentes taches) ;

  • documentation pour l’aide aux nouveaux utilisateurs ;
  • documentation des astuces d’entraınement des reseaux de neurones en general.

Associated Internship project 1:
Responsible researcher:

Selected candidate: Anh Khoa NGO HO
Master:Data science
University:
Date: March-Sept 2017
Digicosme axis: Datasense
Project Summary:
Consideree jusqu’ici comme une force, l’association d’un vecteur continu `a chaque mot apparaıt aujourd’hui comme une limite forte des modèles neuronaux en traitement automatique des langues. En effet, cette hypothèse suppose la définition d’un vocabulaire fini et connu à l’avance. Cette hypothèse peut être considérée comme acceptable pour des langues comme l’anglais ou le franc¸ais, elle est par contre totalement inefficace pour les langues a morphologie riche comme par exemple l’allemand avec l’usage des mots compos´es, l’arabe avec son caractère agglutinant, ou le finnois et son riche système de flexion. L’objectif de ce stage est de proposer un nouveau type de réseau de neurones profond capable `a la fois d’encoder et de générer des mots sans la définition préalable d’un vocabulaire fini. L’idée de départ est d’une part d’apprendre a représenter les mots a partir du flux de caractères et d’autre part d’être capable de générer un mot `a partir de sa représentation continue. Si pour le premier problème des travaux existent, la génération de mots est un vrai challenge scientifique et sera l’objet principal de ce stage. Apres une étude bibliographique, le stage sera dédié a la définition et a l’implémentation de la solution retenue puis a une phase d’expérimentation sur des données réelles dans différentes langues.

Perspectives: