Contexte

Ces dernières années ont vu le développement des technologies de l'intelligence artificielle et leurs applications à un grand nombre de domaines. Ces applications ont permis la valorisation des données dans des domaines aussi variés que la vision par ordinateur (classification de scène, détection d’objets, segmentation sémantique/d’instance, génération d’images) ou le traitement du langage naturel (traduction automatique, reconnaissance de la parole, analyse de corpus textuels). Le renouveau des réseaux de neurones ces 10 dernières années a profondément influencé ces applications et s’expliquent par plusieurs facteurs : une meilleure compréhension théorique de la structure et l’optimisation des réseaux de neurones, la disponibilité d’une masse de données, l’utilisation des puces GPUs pour accélérer le calcul.

Dans cette formation, nous proposons une introduction aux principales architectures de réseau de neurones pour adresser des problèmes en vision par ordinateur et en traitement automatique du langage naturel. La formation est à la fois théorique et pratique, une partie de la formation étant consacrée à la réalisation de projets en Deep Learning avec accès à des ressources GPUs. Les TPs seront réalisés avec le framework pyTorch.

ObjectifS

A l’issue de cette formation, le participant sera en capacité de :
- FORMALISER un problème d’apprentissage automatique en vision par ordinateur et traitement du language naturel.
- IDENTIFIER les architectures de réseau les plus appropriées pour répondre à ce problème.
- CODER et DEPLOYER la solution identifiée.

PROGRAMME

• Introduction aux réseaux de neurones (1 jour)
  - Avoir un recul historique sur le développement des approches de deep learning.
  - Introduction aux modèles linéaires, et aux fonctions de perte, convexité (régression linéaire, régression logistique binaire et multiclasse).
  - Apprentissage d’un espace de projection : réseaux RBF, réseaux multicouches non-linéaires,
  - Optimisation d’un réseau de neurone par descente de gradient, calcul du gradient par propagation arrière dans un graphe de calcul.
  - Optimisation des réseaux de neurones (algorithmes d’optimisation du premier ordre à taux d’apprentissage constant ou adaptatif, initialisation).
  - Améliorer la généralisation d’un réseau de neurone en utilisant des techniques de régularisation (L1/L2, early stopping, dropout).
  - Être familiarisé avec l'écosystème de développement (frameworks, GPU).
  
  L’après midi sera dédiée à la réalisation d’un TP d’introduction à pytorch montrant comment structurer proprement son projet et le coder avec les différents briques : chargement des données en minibatch, construction/initialisation d’un modèle, régularisation, boucle d’entrainement, monitoring de l’entrainement, sauvegarde/recharge du meilleur modèle, etc...
• Réseaux convolutifs et applications (1 jour)
  - Introduction à la structure des réseaux convolutifs (CNNs): un réseau feedforward fortement régularisé.
  - Pré-apprentissage/Transfert et augmentation de données?
  - Techniques d’interprétation des CNNs.
  - Architectures pour la détection d’objets.
  - Architectures pour la segmentation sémantique.
  
  L’après midi sera dédiée à la réalisation d’un TP de segmentation sémantique avec un modèle de type U-Net sur les données Stanford-2D-3D-S.
• Deep learning pour le traitement automatique du langage naturel (1 jour)
  - Se familiariser avec les spécificités des données textuelles.
  - Connaître les modèles adaptés aux différentes tâches/données.
  - Connaître les outils permettant des visualiser et préparer des données (jupyter notebook, pandas, mathplotlib).
  - Représentation de données textuels sous forme vectorielle.
  - Introduction aux réseaux de neurones récurrents.
  
  L’après-midi sera dédiée à la réalisation d’un TP mettant en application les notions abordés le matin dont l’extraction de représentations de mots ( word2vec ), l’analyse de sentiments et la génération de texte à l’aide d’un modèle de langue.
• Mécanismes d’attention et Transformeurs (1 jour)
  - Introduction aux mécanismes d’attention ainsi qu’aux modèles Transformeurs.
  - Connaître les outils facilitant la réalisation et le monitoring d'expériences (tensorflow/tensorboard).
  - Connaître les outils et modèles disponibles ainsi que les différents acteurs (Huggingface, Facebook AI Research, Google DeepMind, OpenAI, …).
  
  L’après-midi sera dédiée à la réalisation d’un TP mettant en application les notions abordés le matin dont l’utilisation des transformeurs pour une tache d’interprétation en langage naturel (NLI) sur le corpus SNLI (Stanford Natural Language Inference).
• Cas d’usage (1 jour)
  - Mise en pratique sur deux cas d’usages des différentes notions abordées dans la formation.
  - Savoir entraîner un modèle génératif sur des images.
  - Savoir construire un agent conversationnel (chat-bot) personnalisé.
  
  Modèles génératif pour l’image: La génération d’image a connu une grande évolution ces dernières années depuis l’introduction des modèles GANs en 2014 et leurs développements successifs (e.g. StyleGAN). Nous disposons aujourd’hui d’algorithmes capables de produire des images réalistes de très grande qualité, ce qui s’accompagne de questions autour de la génération de fausses informations. La matinée sera consacrée à la présentation de ces avancées sur les modèles génératifs ainsi qu’à une mise en pratique par l’entraînement d’un modèle pour la génération d’images.
  
  Modèles de génération de texte: La récente mise à disposition de ChatGPT par OpenAI a mis en lumière les avancées spectaculaires du traitement automatique du language naturel de ces dernières années, ainsi que les futurs bouleversement sociétaux induits par cette nouvelle technologie. L’après-midi sera consacrée une présentation de ces modèles, ainsi qu’à la construction d’un agent conversationnel à l’aide d’un modèle transformeur auto-régressif (modèle utilisé par chat-GPT). Pour cela, nous exploiterons un modèle pré-entraîné sur de gros corpus textuels, que nous raffinerons sur un corpus dédié à l’apprentissage d’agents conversationnels.

Pré-requis

Notions d’algèbre linéaire.
Notions de probabilités et statistiques.
Notions de programmation (python).

public concerné

- Ingénieurs de recherche et développement.
- Data scientists.
- Informaticiens.
- Mathématiciens qui souhaitent se convertir à l’IA.

en pratique

Méthodes pédagogiques

Formation en salle.
Travail de programmation individuel ou en groupe sur des cas pratiques.

Moyens pédagogiques

Se munir d’un ordinateur portable avec des droits utilisateurs (pour installer un logiciel de connexion aux clusters GPUs de l’école).

Modalités d'évaluation

L'évaluation des connaissances acquises en formation s'appuie sur la réalisation de mise en situation et des études de cas mises en œuvre par le formateur.

Les + de la formation

Formation élaborée avec des intervenants reconnus.
De nombreux cas pratiques avec mise en oeuvre sur des GPUs et du code Python.

Statistiques

97%
de satisfaction globale pour 399 formations
(sur un panel de 2177 répondants sur les 4732 participants en 2022)

99,2%
de satisfaction globale relative aux formateurs en 2022 pour 399 formations
(sur un panel de 2177 répondants sur 4732 participants en 2022)