AI and Machine Learning researcher I am an Associate Professor at ISAE, Toulouse. I teach Operations Research and Machine Learning within the Industrial Engineering Unit of the SUPAERO graduate program. My research interests lie in the fields of Machine Learning, Reinforcement Learning and Optimization for Sequential Decision Problems.

Short bio I graduated from SUPAERO (the highest ranked French "Grande Ecole" for aeronautics and space) in 2005. In parallel, I received my MSc degree in Control Theory from the University of Toulouse. In 2009, I completed my doctoral thesis at ONERA (the French Aerospace lab) and received a PhD degree from the University of Toulouse in Computer Science and Artificial Intelligence. After a year of postdoc in the Intelligent Systems Laboratory of Pr. Michail Lagoudakis at the Technical University of Crete, I spent some time at EDF Research and Development in Paris before joining the Systems and Modeling team at the University of Liège as a postdoc, working with Dr. Damien Ernst and Pr. Louis Wehenkel. I shortly joined the "Optimization, Simulation, Risks and Statistics" department at EDF Research and Development in 2011 before becoming Associate Professor at ISAE-SUPAERO. My CV

Research Interests My research interests span many domains centered on Machine Learning, Optimization and Decision Making. My PhD thesis work focused on time-dependent problems of sequential decision under uncertainty. At this occasion, I specialized in Planning for Markov Decision Processes with specific focus on time-dependency issues and on search methods for large, continuous problems. I also developped a curiosity for Supervised Learning approaches (kernel-based regression and classification, localized learning) and formal computation (spline and polynomial manipulation). I also taught at graduate level in the fields of non-linear optimization, artificial intelligence and machine learning. My recent work focuses on model-free Reinforcement Learning problems with several directions (forward-backward search, action generalization, large number of actions, bandit formulations, minimum sampling). I also recently investigated some Supervised Learning approaches (Tree induction, Boosting) for applications in Power Systems Optimization and am looking forward to discovering new challenging problems.

Other activities

Some activities, aside from research, such as reading and theatre, take an important part of my life. I am also a paragliding pilot, a frequent mountain sports practitioner and practice not-very-assiduously Nihon Tai Jitsu. My counsellor activities with kids and my associative implication have been reduced in recent years but I still strongly believe that making a significant contibution in this world requires (at least for me) a balance between "hands-on" terrain implication as well as "in-lab" research.

Contact

Postal address Emmanuel Rachelson ISAE SUPAERO 10 avenue Edouard Belin F-31055 Toulouse BP 54032 FRANCE

e-mail emmanuel.rachelson@isae.fr Telephone +33 5 61 33 80 76 Mobile +33 6 63 87 56 67

Publications

Books chapters

• Markov Decision Processes and Artificial Intelligence.
  

  Chapter 1 - Markov Decision Processes F. Garcia and E. Rachelson John Wiley & Sons Inc. 2010. ISBN: 978-1-84821-167-4. Editors: O. Sigaud and O. Buffet

  
  

Peer-reviewed conferences and workshops

• Formal Detection of Attentional Tunneling in Human Operator -- Automation Interactions .
  

  N. Régis, F. Dehais, E. Rachelson, C. Thooris, S. Pizziol, M. Causse, C. Tessier. IEEE Transactions on Human-Machine Systems, Vol. 44, No. 3, pp. 326--336, June 2014

  
  
• The Optimal Swapping Problem during Nuclear Refueling Operations.
  

  E. Rachelson. 15ème congrès annuel de la Société française de recherche opérationnelle et d’aide à la décision (ROADEF), 2014.

  
  
• Towards a hybrid approach for intra-daily recourse strategies.
  

  E. Rachelson. Conference on Optimization and Practices in Industry (COPI), 2011.

  
  
• Optimal Sample Selection for Batch-mode Reinforcement Learning.
  

  E. Rachelson, F. Schnitzler, L. Wehenkel, D. Ernst. 3rd International Conference on Agents and Artificial Intelligence (ICAART), 2011.

  
  
• Combining Mixed Integer Programming and Supervised Learning for Fast Re-planning.
  

  E. Rachelson, A. Ben-Abbes, S. Diemer. 22nd International Conference on Tools with Artificial Intelligence (ICTAI), 2010.

  
  
• L’apprentissage au secours de la réduction de dimension pour des problèmes d’optimisation.
  

  A. Ben-Abbes, E. Rachelson, S. Diemer. Conférence Francophone sur l'Apprentissage Automatique, 2010.

  
  
• On the Locality of Action Domination in Sequential Decision Making.
  

  E. Rachelson, M. G. Lagoudakis. 11th International Symposium on Artificial Intelligence and Mathematics (ISAIM), 2010.

  
  
• TiMDPpoly: an Improved Method for Solving Time-Dependent MDPs.
  

  E. Rachelson, P. Fabiani, F. Garcia. 21st International Conference on Tools with Artificial Intelligence (ICTAI), 2009.

  
  
• Adapting an MDP planner to time-dependency: case study on a UAV coordination problem.
  

  E. Rachelson, P. Fabiani, F. Garcia. 4th Workshop on Planning and Plan Execution for Real-World Systems, at the 19th International Conference on Automated Planning and Scheduling (ICAPS), 2009.

  
  
• Approximate Policy Iteration for Generalized Semi-Markov Decision Processes: an Improved Algorithm.
  

  E. Rachelson, P. Fabiani, F. Garcia. 8th European Workshop on Reinforcement Learning (EWRL), 2008.

  
  
• Un Algorithme Amélioré d'Itération de la Politique Approchée pour les Processus Décisionnels Semi-Markoviens Généralisés.
  

  E. Rachelson, P. Fabiani, F. Garcia. Journées Françaises Planification, Décision, Apprentissage, 2008.

  
  
• A Simulation-based Approach for Solving Temporal Markov Problems.
  

  E. Rachelson, P. Fabiani, F. Garcia, G. Quesnel. 18th European Conference on Artificial Intelligence (ECAI), 2008.

  
  
• Une Approche basée sur la Simulation pour l'Optimisation des Processus Décisionnels Semi-Markoviens Généralisés.
  

  E. Rachelson, P. Fabiani, F. Garcia, G. Quesnel. Conférence Francophone sur l'Apprentissage Automatique, 2008. Best student paper, awarded by AFIA (French Association for Artificial Intelligence).

  
  
• Extending the Bellman equation for MDPs to Continuous Actions and Continuous Time in the Discounted Case.
  

  E. Rachelson, F. Garcia, P. Fabiani. 10th International Symposium on Artificial Intelligence and Mathematics (ISAIM), 2008.

  
  
• XMDP : un modèle de planification temporelle dans l'incertain à actions paramétriques.
  

  E. Rachelson, F. Teichteil, F. Garcia. Journées Françaises Planification, Décision, Apprentissage, 2007.

  
  
• Preliminary Results for Approximate Temporal Coordination under Uncertainty.
  

  E. Rachelson. 17th International Conference on Automated Planning and Scheduling (ICAPS), Doctoral Consortium, 2007.

  
  
• Une approche du traitement du temps dans le cadre MDP: trois méthodes de découpage de la droite temporelle.
  

  E. Rachelson, P. Fabiani, J.-L. Farges, F. Teichteil, F. Garcia. Journées Françaises Planification, Décision, Apprentissage, 2006.

  
  

Invited talks, tutorials and presentations

• On the Locality of Action Domination in Sequential Decision Making.
  

  Systems and Modeling research team, University of Liège, March 4th, 2010.

  
  
• A tutorial on LSPI.
  

  RFIA (Pattern Recognition and Artificial Intelligence conference), January 19th, 2010.

  
  
• Reinforcement Learning tutorial.
  

  EDF Research and Development, November 19th, 2009.

  
  
• Experience feedback about asynchonous policy iteration and observable time MDPs.
  

  Systems and Modeling research team, University of Liège, May 29th, 2009.

  
  
• Simulation-based Approximate Policy Iteration for Generalized Semi-Markov Decision Processes.
  

  Intelligent Systems Laboratory, Technical University of Crete, July 29th, 2008.

  
  
• Formalisation et résolution de problèmes de Markov temporels par couplage avec VLE.
  

  Decision and Control research team seminaries, ONERA-DCSD Toulouse, February 3rd, 2008. This presentation was coupled with "Multi-modélisation et simulation : la plate-forme VLE" by G. Quesnel.

  
  
• Planifier en fonction du temps dans le cadre MDP.
  

  Biometry and Artificial Intelligence research team seminaries, INRA Toulouse, May 25th, 2007.

  
  
• Planification dans l'incertain - Introduire une variable temporelle continue.
  

  Decision and Control research team seminaries, ONERA-DCSD Toulouse, April 2006.

  
  

Reports and theses

• Temporal Markov Decision Problems: Formalization and Resolution.
  

  PhD thesis, 2009.

  
  
• Problèmes Décisionnels de Markov Temporels: Formalisation and Résolution.
  

  Thèse de doctorat, résumé en français, 2009.

  
  
• Problèmes décisionnels de Markov Temporels : formalisation et résolution.
  

  Journées des Thèses de la branche TIS de l'ONERA, 2008.

  
  
• Inclure des actions paramétriques en planification temporelle dans l'incertain : le modèle XMDP.
  

  Congrès de l'Ecole Doctorale Systèmes, 2007.

  
  
• Optimisation en ligne pour la décision distribuée dans l'incertain.
  

  Journées des Thèses de la branche TIS de l'ONERA, 2007.

  
  
• Coordination temporelle en ligne pour la décision décentralisée dans l'incertain.
  

  Intermediate thesis report, 2007.

  
  
• Optimisation en ligne pour la décision distribuée dans l'incertain.
  

  Journées des Thèses de la branche TIS de l'ONERA, 2006.

  
  
• Coordination multi-robots terrestre et aérien.
  

  MSc thesis, 2005.

  
  

Teaching material

I have been teaching or participating in the preparation of the following classes (all in French). Here is the associated teaching material. This part is a bit outdated, I will refresh its contents when this whole website moves to the www.isae.fr domain.

Optimisation non-linéaire et linéaire SUPAERO, 1ère année. Encadrant de TD (2012 à 2014). Apprentissage par renforcement SUPAERO, 2ème année. Chargé de cours (2012 à 2014). Slides: Fondations, Markov Decision Processes, Dynamic Programming. Value prediction problems, Monte-Carlo, Temporal Differences, TD(lambda). Control problems, Q-learning, SARSA, Fitted Q-iteration, LSPI. Examples and challenges: The 100 pesos game The mad hatter's casino Inverted pendulum Bicyle Pest control Apprentissage par renforcement Stage "MAAMI" des profs de prépa (2012). Chargé de cours. Transparents du cours. Optimisation non-linéaire ENAC 1ère année. Encadrant de TD (2006 et 2007) et chargé de cours (2007 et 2008). Fonctions multivariables. Notions de différentiabilité. Convexité. Qualification des contraintes égalité et inégalité. Méthode du Lagrangien. Contraintes égalité et inégalité. Dualité. Méthodes algorithmiques Notes de Cours Enoncés de TD et de BE Corrections de TD Archive des fichiers MATLAB du BE1 Archive des annales de test (tout)       examen 06/2004 corrigé 06/2004 examen 09/2004 corrigé 09/2004 examen 06/2005 corrigé 06/2005 examen 09/2005 examen 06/2007 examen 09/2007 examen 01/2008 corrigé 01/2008 Apprentissage et Programmation Dynamique SUPAERO, 2ème année. Encadrant de bureau d'études (2008). Processus Stochastiques SUPAERO, 2ème année. Encadrant de bureau d'études (2007 et 2008). Processus stochastiques, propriétés Processus de Poisson, de Markov Files d'attente Calcul Scientifique SUPAERO, 2ème année. Encadrant de TP (2006) et de TD (2007 et 2008). Optimisation sans contraintes : Méthodes de descente, du gradient, de Newton. Optimisation sous contraintes : Méthode du Lagrangien. Intégration de problèmes différentiels : Méthodes des différences finies, des éléments finis, des volumes finis. Modèles et Outils pour la Décision SUPAERO, 3ème année. Encadrant de bureau d'études (2008). Programmation dynamique pour l'optimisation de Processus Décisionnels de Markov. Initiation à MatLab SUPAERO, 1ère année. Encadrant de TD (2006 et 2007). Notions de base. Fichiers du BE (site du professeur). Analyse Harmonique SUPAERO, 1ère année. Encadrant de TD et TP (2006). Transformée de Fourier Convolution Transformée de Laplace Convolution et transformée de Fourier discrètes

Statistics and Learning / Statistique, Apprentissage et Données SUPAERO, 3ème année. Chargé de cours (2013 et 2014). Cours monté avec Matthieu Vignes (INRA). A very short intro to R (in French). A gentle introduction to statistical modeling. Estimation: : point and interval estimation, sufficient statistic, Cramer-Rao bound, maximum likelihood estimate. Exercice. Practical session with R. and some hints. Multivariate statistics 1 (uni/bi-variate data description, PCA...). A small variance decomposition exercise. The explanation of Student distribution in confidence intervals when sd is unknown. Practical session with R. Data for the practical session. Multivariates statistics and clustering. Multidimensionnal scaling. Multivariate statistics in practice. Data set 1. Data set 2. Correction elements. Statistical tests. Practical session with R. Data set. Analysis of variance (ANOVA) Some more exercices on tests Regression, linear modeling. Practical session with R. Sythesis practical session. Data sets. Introduction to Machine Learning. Naive Bayes Classifiers. Practical session on e-mail classification. Support Vector Machines and an introduction to kernels. Practical session. Data set 1. Data set 2. Neural Networks. Practical session. Two useful scripts for the practical session. Decision Trees and an introduction to Boosting. Practical session on handwritten digits recognition. Monte Carlo Markov Chains methods. Practical session. Optimisation Combinatoire (PLNE) SUPAERO, 3ème année. Chargé de cours (2012 et 2013). Programmation linéaire en nombres entiers Une semaine dans la peau d'un ingénieur en optimisation SUPAERO, 2ème année. Chargé de cours (2012 et 2013). Cours monté avec Grace Doukopoulos puis Thomas Triboulet (EDF R&D) Problème d'optimisation de la production électrique journalière Expression du besoin et cahier des charges Programmation linéaire en nombres entiers Implémentation OPL / CPLEX Studio Revue de projet Transparents du cours : Intro et appel d'offres Modélisation Rappels de PL et PLNE Tutoriel OPL Données Revue de projet Approches actuelles en gestion de production Autres problèmes en gestion d'énergie Probabilités et Analyse Harmonique, cours d'harmonisation SUPAERO, AST 2ème année. Chargé de cours (2006). Variables aléatoires. Lois finies. Lois à densité. Espérance et variance. Vecteurs aléatoires. Loi marginale et indépendance. Changement de variables. Espérance et covariance. Régression linéaire. Modèle Gaussien. Filtrage d'un bruit blanc. Statistiques. Estimateur. Notion de convergence. Théorème central-limite. Signal déterministe. Transformée de Fourier. Notions de filtrage. Energie d'un signal. Signal aléatoire. Energie. Filtrage. Signal numérique. Théorème de Shannon. Petite note : si un AST de la promo 2007 passe par ici et peut me renvoyer le bilan de cours (fort incomplet) que j'avais envoyé par mail à la fin du cours, je me ferai une joie de le mettre en partage ici.