Publié par
Il y a 1 année · 4 minutes · Data

Retour Deep Learning Meetup #6

Deep learning meetupMardi 5 avril, nous avons participé au Deep Learning Meetup #6 organisé à Telecom ParisTech, sponsorisé par Heuritech, NVIDIA et Facebook FAIR.

Dans un amphi bien rempli, quatre présentations se sont enchaînées :
  • Semi-supervised Learning for Multilingual Sentence Representation, Alexandre Ramé @alex_92100 et Hedi Ben-Younes @LaBegne  (Heuritech)
  • A short presentation of NVIDIA’s activities, Guillaume Barat @gbarat_pro (NVIDIA)
  • Improving your Search Engine, Gregoire Mesnil (Phoenixia inc.)
  • Yann LeCun @ylecun (NYU, Facebook AI Research)
Je me suis retrouvée assise au premier rang, tout à droite de l’amphi, les speakers placés plutôt à gauche.
Du coup, je suis sortie avec un torticolis mais j’ai pris des notes, et je vais les résumer pour vous  ;).

Semi-supervised Learning for Multilingual Sentence Representation

Lors de la présentation, les speakers ont montré, entre autres, comment, grâce à un jeu de données publiques de la Commission Européenne, Heuritech a réussi à mapper plusieurs langues dans le même espace. Le jeu d’entrainement consiste en une liste de phrases en anglais avec à côté les phrases traduites dans différentes langues européennes. A partir de cela, ils ont construit une liste de couples de mots (i.e. un mot en anglais et sa traduction) avec une probabilité associée que les couples aient la même signification. Le jeu de données se trouve sur ce corpus.

A short presentation of NVIDIA’s activities

NVIDIA, nous a fait une présentation à caractère commerciale pour proposer les derniers avancements en termes de technologies GPU adaptées au Deep Learning. Guillaume Barat a mis en avant les capacités de calcul du Tesla P100 combiné avec NVLink, un canal de connexion qui permet de transmettre plusieurs dizaines de gigabytes par seconde. L’ensemble est embarqué dans une box qui s’appelle DGX-1. Pour plus de détails, il faut se rendre sur le site NVIDIA. Niveau performances, selon le speaker, entraîner un ALEXNET prend 3h au DGX-1. Alors que d’autres technologies, non spécifiées dans les slides, en prendraient 150h.

Improving your Search Engine

Phoenixia, start-up basée à Montréal, Canada, base son activité sur l’amélioration de moteurs de recherche pour les entreprise qui ne s’appellent pas Google, mais qui proposent des produits à vendre et du coup une expérience de recherche produits. C’est un bon exemple d’entreprise qui base son business sur le Deep Learning.

Yann LeCun

Venons en à la guest star du meetup, Yann LeCun. Sa réputation le précède puisque j’avais entendu que c’est « un dieu du deep learning ». Effectivement, il est quand même Director of AI, Facebook.

Son intervention a porté sur beaucoup de sujets : very deep ConvNet, memory augmented Neural Network, Recurrent Net, weakly supervised MemNN, rien que pour commencer. La caractéristique commune de tous ces algorithmes est qu’ils sont supervisés. Et même si on s’appelle Facebook et que l’on a plein de données, c’est du non-supervisé que l’on a envie de faire.

Yann à abordé l’Adversarial Learning qu’il utilise pour générer des images fausses mais qui ressemblent à la réalité. Intéressant, mais pourquoi utiliser un algorithme non-supervisé pour simuler la réalité ? Pour avoir encore plus de données pour entraîner des algorithmes supervisés : Malin ce Yann ! Il sait faire des choses sympa avec des images. Pour plus d’info, rendez-vous sur Eyescream project (rien qu’ouvrir ce site fait chauffer mon Mac au bout d’une minute). Un exemple qui m’a marquée : à partir d’une image d’un homme avec des lunettes de soleil, il soustrait une image d’un homme sans lunettes et il ajoute l’image d’une femme sans lunettes. Résultat : une femme avec lunettes ! Pas mal, ce n’est pas fait pixel par pixel évidemment. Il ne s’est pas arrêté là, il a aussi montré une application liée aux vidéos : la prédiction de deux prochains frames à partir des quatre précédents.

Conclusion

Le meetup a été bien organisé, ils ont bien géré les inscriptions et le buzz autour de l’événement. Bien sûr, Yann LeCun était là ! Bravo aux organisateurs @CharlesOllion @alex_92100 @tpinville @leonardblier @LaBegne !

Les vidéos ne sont pas encore en ligne mais normalement elles devraient apparaître sur la chaîne YouTube de Heuritech.

Giulia Bianchi
Giulia est Data Scientist à Xebia depuis un an. Après deux ans d'experience professionnelle en bioinformatique, elle travaille actuellement sur des volumes de données plus importants en mettant en place des algorithmes de machine learning et en participant aux discussions avec les data ingénieurs pour la mise en production des modèles. Elle travaille surtout avec Python, Spark et R. Elle est passionnée par l'IoT et elle suit les nouvelles tendances du monde de la data en participant aux différents Meetups et en suivant des blogs.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *