Learning Tailored Data Representations from Few Labeled Examples
Construction de Représentation de Données Adaptées dans le Cadre de Peu d'Exemples Étiquetés
Résumé
Machine learning consists in the study and design of algorithms that build models able to handle non trivial tasks as well as or better than humans and hopefully at a lesser cost.These models are typically trained from a dataset where each example describes an instance of the same task and is represented by a set of characteristics and an expected outcome or label which we usually want to predict.An element required for the success of any machine learning algorithm is related to the quality of the set of characteristics describing the data, also referred as data representation or features.In supervised learning, the more the features describing the examples are correlated with the label, the more effective the model will be.There exist three main families of features: the ``observable'', the ``handcrafted'' and the ``latent'' features that are usually automatically learned from the training data.The contributions of this thesis fall into the scope of this last category. More precisely, we are interested in the specific setting of learning a discriminative representation when the number of data of interest is limited.A lack of data of interest can be found in different scenarios.First, we tackle the problem of imbalanced learning with a class of interest composed of a few examples by learning a metric that induces a new representation space where the learned models do not favor the majority examples.Second, we propose to handle a scenario with few available examples by learning at the same time a relevant data representation and a model that generalizes well through boosting models using kernels as base learners approximated by random Fourier features.Finally, to address the domain adaptation scenario where the target set contains no label while the source examples are acquired in different conditions, we propose to reduce the discrepancy between the two domains by keeping only the most similar features optimizing the solution of an optimal transport problem between the two domains.
L'apprentissage automatique consiste en l'étude et la conception d'algorithmes qui construisent des modèles capables de traiter des tâches non triviales aussi bien ou mieux que les humains et, si possible, à un moindre coût.Ces modèles sont généralement entraînés à partir d'un ensemble de données où chaque exemple décrit une instance de la même tâche et est représenté par un ensemble de caractéristiques et un résultat ou étiquette que nous voulons généralement prédire.Un élément nécessaire au succès de tout algorithme d'apprentissage automatique est lié à la qualité de l'ensemble de caractéristiques décrivant les données, également appelé représentation des données.Dans l'apprentissage supervisé, plus les caractéristiques décrivant les exemples sont corrélées avec l'étiquette, plus le modèle sera efficace.Il existe trois grandes familles de caractéristiques : les caractéristiques ``observables'', les caractéristiques ``fabriquées à la main'' et les caractéristiques ``latentes'' qui sont généralement apprises automatiquement à partir des données d'entraînement.Les contributions de cette thèse s'inscrivent dans le cadre de cette dernière catégorie. Plus précisément, nous nous intéressons au cadre spécifique de l'apprentissage d'une représentation discriminatoire lorsque le nombre de données d'intérêt est limité.Un manque de données d'intérêt peut être constaté dans différents scénarios.Tout d'abord, nous abordons le problème de l'apprentissage déséquilibré avec une classe d'intérêt composée de peu d'exemples en apprenant une métrique qui induit un nouvel espace de représentation où les modèles appris ne favorisent pas les exemples majoritaires.Deuxièmement, nous proposons de traiter un scénario avec peu d'exemples disponibles en apprenant en même temps une représentation de données pertinente et un modèle qui généralise bien en boostant des modèles basés sur des noyaux et des caractéristiques de Fourier aléatoires.Enfin, pour traiter le scénario d'adaptation de domaine où l'ensemble cible ne contient pas d'étiquette alors que les exemples sources sont acquis dans des conditions différentes, nous proposons de réduire l'écart entre les deux domaines en ne conservant que les caractéristiques les plus similaires qui optimisent la solution d'un problème de transport optimal entre les deux domaines.
Origine : Version validée par le jury (STAR)