Les réseaux de neurones artificiels occupent une place de plus en grande dans le paysage de l'apprentissage automatique en général et en particulier pour le traitement automatique des langues.
L'objectif de la thèse est de développer des nouveaux modèles dont le principe consiste à projeter les mots dans un espace de représentation continu afin d'y estimer les probabilités. L'hypothèse est que les mots similaires auront des projections voisines et donc des distributions proches. La projection et l'estimation se font conjointement à l'aide d'un réseau de neurones appris automatiquement. Cette approche a donné des résultats prometteurs dans un cadre monolingue, nous proposons de l'étendre à la traduction automatique selon trois axes: l'apprentissage de modèles capables de mieux prendre en compte la structure syntaxique, l'amélioration des algorithmes d'estimation, et l'adaptation des modèles.
Context
Historiquement, les modèles n-grammes de langue neuronaux furent une des premières applications marquantes en reconnaissance automatique de la parole. Ces modèles ont été également appliqués à d'autres tâches complexes de modélisation comme par exemple l'analyse syntaxique, l'estimation de similarité sémantique, les modèles d'alignement bilingue de mots ou encore en traduction automatique statistique. Par opposition aux modèles discrets qui dominent encore, les modèles de langue neuronaux se caractérisent par la représentation des mots dans un espace continu, où chaque mot du vocabulaire est représenté comme un point dans un espace métrique. Ces représentations sont apprises par un réseau de neurones multi-couche conjointement avec les paramètres liés à la tâche de prédiction considérée. Ce type de modèle introduit la notion de similarité entre mots, via les représentations continues, permettant ainsi une meilleure exploitation des données textuelles.
Objectives
Depuis peu, une nouvelle méthode d'estimation est envisagée qui
s'appuie les réseaux de neurones multi-couches. Le principe consiste à
projeter les mots dans un espace de représentation continu puis à
estimer les probabilités dans cet espace. L'hypothèse sous-jacente est
que les mots similaires auront des projections voisines et donneront
donc lieu a des distributions proches. La projection et l'estimation
se font conjointement à l'aide d'un unique réseau de neurones appris
automatiquement. Les progrès récents de cette approche neuronale
permettent désormais d'appliquer ces modèles à des tâches à grand
vocabulaire (> 100000 mots) et d'utiliser des données d'apprentissage
en grande quantité. L'objectif de la thèse est de développer de
nouveaux modèles continus qui permettront de saisir les différentes
dimensions linguistiques du langage dans une perspective de traduction
automatique.
Work program
Trois axes sont envisagés. Le premier axe concerne l'introduction
explicite d'information syntaxique dans les modèles de langues neuronaux. Des
travaux récents ont envisagé l'analyse syntaxique par le biais de
réseaux de neurones récurrents. L'objectif de cet axe est donc
d'étudier cette approche et de l'étendre au cadre multilingue. Le
second axe s'intéresse aux stratégies d'apprentissage novatrices et
appropriées à ce type de modèle contenant un grand nombre de
paramètres: une nouvelle méthode émerge dans ce domaine (Noise Contrastive Estimation), une piste serait d'explorer l'application de cette méthode aux modèles de traduction;
une autre manière d'appréhender ce problème est de s'intéresser à la
fonction optimisée lors de l'apprentissage des paramètres. Enfin, le
troisième axe est celui de l'adaptation, dans lequel on souhaite
spécialiser un modèle général pour le rendre plus à même de
représenter les distributions de mots dans un domaine de spécialité.
Extra information
Prerequisite
Master 2 Recherche ou équivalent en informatique, avec une spécialisation en
traitement automatique des langues, traitement automatique de la parole ou
apprentissage automatique.
Détails
Expected funding
Institutional funding
Status of funding
Expected
Candidates
Utilisateur
alexandre.allauzen
Créé
Mardi 10 avril 2012 18:19:25 CEST
dernière modif.
Vendredi 07 mars 2014 10:58:16 CET
Fichiers joints
filename
créé
hits
filesize
Aucun fichier joint à cette fiche
Connexion
Ecole Doctorale Informatique Paris-Sud
Directrice
Nicole Bidoit Assistante
Stéphanie Druetta Conseiller aux thèses
Dominique Gouyou-Beauchamps
ED 427 - Université Paris-Sud
UFR Sciences Orsay
Bat 650 - aile nord - 417
Tel : 01 69 15 63 19
Fax : 01 69 15 63 87
courriel: ed-info à lri.fr