L'apprentissage multimodal est une approche d'apprentissage automatique qui consiste à traiter des données provenant de plusieurs sources et de modalités différentes. Pouvoir créer des systèmes permettant de comprendre, d'interpréter et de raisonner avec des données multimodales reste à ce jour un défi scientifique.Lorsque les données sont définies selon une classification hiérarchique, on considère alors que les labels associés aux données sont liées selon une sémantique prédéfinie. L'objectif de l'apprentissage profond multimodal est de former des modèles capables de traiter différents types de données, généralement des images, des vidéos, des sons et des textes, et de trouver des relations entre elles. Ce manuscrit de thèse détaille plusieurs contributions scientifiques en relation avec l'apprentissage multimodal profond. Nous proposons de nouvelles approches de création de modèles d'apprentissage profond multimodaux. Nous proposons des stratégies performantes de classification tout en abordant des problématiques liées aux données : modalités manquantes ou données insuffisantes. Notre première contribution est la proposition d'un modèle d'apprentissage multimodal (dont les entrées sont des images et du texte) capable de classer des données issues de rapports de dépollution des sols. L'originalité de cette contribution est que nous proposons de créer artificiellement une relation de hiérarchie entre les données multimodales. L'ajout d'une dépendance hiérarchique dans les données permet à notre modèle d'obtenir des performances de classification supérieures à des approches multimodales n'utilisant pas de relation de hiérarchie entre les données. Notre seconde contribution réside en l'amélioration de notre premier modèle. Nous proposons d'y ajouter une étape d'apprentissage supplémentaire basée sur l'apprentissage de métriques profondes (DML). L'originalité de notre prospotion est, comme dans la première contribution, d'intégrer la structure hiérarchique dans l'étape d'apprentissage par DML. Ajouter cette étape permet non seulement d'améliorer la capacité de notre modèle à classer les données (notamment le données complexes), mais également de calculer des distances entre données multimodales. Ce calcule de distances permet de proposer un système de classement des données multimodales par similarité. La troisième et dernière contribution de ce manuscrit porte sur l'interprétabilité des résultats. La complexité des modèles créés ne peut pas être expliquée uniquement par le calcul de métriques. L'originalité de cette contribution est que nous proposons différentes approches permettant l'analyse des résultats de classification de données multimodales et hiérarchiques. Nous proposons également un logiciel permettant aux experts en dépollution des sols (qui ne sont pas des experts en apprentissage automatique) de naviguer dans une base de documents pdf dont le contenu (par nature multimodal) a été analysé par nos modèles de classification.