Contexte

Ces dernières années, les technologies d’intelligence artificielle se sont développées, avec des applications dans des domaines variés comme la vision par ordinateur (classification de scène, détection d’objets, segmentation sémantique/d’instance, génération d’images) et le traitement du langage naturel (traduction automatique, reconnaissance de la parole, analyse de corpus textuels). Le renouveau des réseaux de neurones, porté par une meilleure compréhension théorique, l’abondance de données et l’usage des GPUs, a fortement influencé ces avancées. Cette formation propose une introduction aux principales architectures de réseaux de neurones pour la vision par ordinateur et le traitement du langage. Le contenu, à la fois théorique et pratique, inclut des projets en Deep Learning avec accès à des GPUs. Les TPs seront réalisés avec le framework PyTorch.

ObjectifS

A l’issue de cette formation, le participant sera en capacité de :
- FORMALISER un problème d’apprentissage automatique en vision par ordinateur et traitement du langage naturel.
- IDENTIFIER les architectures de réseau les plus appropriées pour répondre à ce problème.
- CODER et DEPLOYER la solution identifiée.

PROGRAMME

• Introduction aux réseaux de neurones (1 jour)
  - Avoir un recul historique sur le développement des approches de deep learning.
  - Introduction aux modèles linéaires et aux fonctions de perte, convexité (régression linéaire, régression logistique binaire et multiclasse).
  - Apprentissage d’un espace de projection : réseaux RBF, réseaux multicouches non-linéaires.
  - Optimisation d’un réseau de neurones par descente de gradient, calcul du gradient par propagation arrière dans un graphe de calcul.
  - Optimisation des réseaux de neurones (algorithmes d’optimisation du premier ordre à taux d’apprentissage constant ou adaptatif, initialisation).
  - Améliorer la généralisation d’un réseau de neurone en utilisant des techniques de régularisation (L1/L2, early stopping, dropout).
  - Être familiarisé avec l'écosystème de développement (frameworks, GPU).
  
  L’après midi sera dédiée à la réalisation d’un TP d’introduction à pytorch montrant comment structurer proprement son projet et le coder avec les différentes briques : chargement des données en minibatch, construction/initialisation d’un modèle, régularisation, boucle d’entrainement, monitoring de l’entrainement, sauvegarde/recharge du meilleur modèle, etc...
• Réseaux convolutifs et applications (1 jour)
  - Introduction à la structure des réseaux convolutifs (CNNs): un réseau feedforward fortement régularisé.
  - Pré-apprentissage/Transfert et augmentation de données.
  - Techniques d’interprétation des CNNs.
  - Architectures pour la détection d’objets.
  - Architectures pour la segmentation sémantique.
  
  L’après midi sera dédiée à la réalisation d’un TP de segmentation sémantique avec un modèle de type U-Net sur les données Stanford-2D-3D-S.
• Deep learning pour le traitement automatique du langage naturel (1 jour)
  - Se familiariser avec les spécificités des données textuelles.
  - Connaître les modèles adaptés aux différentes tâches/données.
  - Connaître les outils permettant des visualiser et préparer des données (jupyter notebook, pandas, mathplotlib).
  - Représentation de données textuelles sous forme vectorielle.
  - Introduction aux réseaux de neurones récurrents.
  
  L’après-midi sera dédiée à la réalisation d’un TP mettant en application les notions abordées le matin dont l’extraction de représentations de mots (word2vec), l’analyse de sentiments et la génération de texte à l’aide d’un modèle de langue.
• Mécanismes d’attention et Transformeurs (1 jour)
  - Introduction aux mécanismes d’attention ainsi qu’aux modèles Transformeurs.
  - Connaître les outils facilitant la réalisation et le monitoring d'expériences (tensorflow/tensorboard).
  - Connaître les outils et modèles disponibles ainsi que les différents acteurs (Huggingface, Facebook AI Research, Google DeepMind, OpenAI, …).
  
  L’après-midi sera dédiée à la réalisation d’un TP mettant en application les notions abordées le matin dont l’utilisation des transformeurs pour une tâche d’interprétation en langage naturel (NLI) sur le corpus SNLI (Stanford Natural Language Inference).
• Cas d’usage (1 jour)
  - Mise en pratique sur deux cas d’usages des différentes notions abordées dans la formation.
  - Savoir entraîner un modèle génératif sur des images.
  - Savoir construire un agent conversationnel (chat-bot) personnalisé.
  
  Modèles génératif pour l’image: La génération d’image a connu une grande évolution ces dernières années depuis l’introduction des modèles GANs en 2014 et leurs développements successifs (e.g. StyleGAN). Nous disposons aujourd’hui d’algorithmes capables de produire des images réalistes de très grande qualité, ce qui s’accompagne de questions autour de la génération de fausses informations. La matinée sera consacrée à la présentation de ces avancées sur les modèles génératifs ainsi qu’à une mise en pratique par l’entraînement d’un modèle pour la génération d’images.
  
  Modèles de génération de texte: La récente mise à disposition de ChatGPT par OpenAI a mis en lumière les avancées spectaculaires du traitement automatique du langage naturel de ces dernières années, ainsi que les futurs bouleversement sociétaux induits par cette nouvelle technologie. L’après-midi sera consacrée à une présentation de ces modèles, ainsi qu’à la construction d’un agent conversationnel à l’aide d’un modèle transformeur auto-régressif (modèle utilisé par ChatGPT). Pour cela, nous exploiterons un modèle pré-entraîné sur de gros corpus textuels, que nous raffinerons sur un corpus dédié à l’apprentissage d’agents conversationnels.

Pré-requis

- Notions d’algèbre linéaire.
- Notions de probabilités et statistiques.
- Notions de programmation (python).

public concerné

- Ingénieurs de recherche et développement.
- Data scientists.
- Informaticiens.
- Mathématiciens qui souhaitent se convertir à l’IA.

en pratique

Méthodes pédagogiques

Formation en salle.
Travail de programmation individuel ou en groupe sur des cas pratiques.

Moyens pédagogiques

Se munir d’un ordinateur portable avec des droits utilisateurs (pour installer un logiciel de connexion aux clusters GPUs de l’école).

Modalités d'évaluation

L'évaluation des connaissances acquises en formation s'appuie sur la réalisation de mise en situation et des études de cas mises en œuvre par le formateur.

Les + de la formation

- Formation élaborée avec des intervenants reconnus.
- De nombreux cas pratiques avec mise en oeuvre sur des GPUs et du code Python.

Statistiques

86/100 
Taux de satisfaction globale pour 406 sessions 
(sur un panel de 2450 répondants sur les 4152 participants en 2024)

89/100
Satisfaction globale relative aux formateurs pour 406 formations
(sur un panel de 2450 répondants sur les 4152 participants en 2024)

88/100
Taux de satisfaction moyenne sur toutes les sessions de cette formation
(Sur un échantillon de 4 participants inscrits aux sessions 2024)