Des essaims de robots : de l’apprentissage virtuel au monde réel

Apprendre par essais et erreurs demande un grand nombre de tentatives. Pour les robots, cet apprentissage par renforcement se déroule généralement sur ordinateur. Mais les frottements, les capteurs ou les moteurs ne se comportent jamais exactement comme dans une simulation. Ces écarts peuvent mettre en échec les comportements appris lorsqu’ils sont transférés sur des robots réels.

Ilyes Gharbi, premier auteur de l’étude, Mauro Birattari, qui a dirigé les recherches, et leurs collègues d’IRIDIA, à l’École polytechnique de Bruxelles, proposent une méthode appelée SwarmACB. Au lieu d’apprendre à commander directement leurs moteurs, les robots apprennent à choisir parmi quelques comportements prédéfinis : se diriger vers une lumière, se rapprocher des autres ou explorer. Cette contrainte limite l’exploitation des imperfections du simulateur. L’apprentissage porte sur le choix du comportement à adopter pour accomplir une mission collective.

L’équipe a réalisé 250 expériences avec un essaim de 20 robots, sur cinq missions différentes. Les comportements appris se sont transférés de manière fiable, avec des résultats nettement supérieurs à ceux d’une méthode de référence pilotant directement les moteurs. Les modèles plus simples et plus contraints se transféraient aussi mieux que les modèles plus grands et plus flexibles.

Ces résultats restent limités au laboratoire. La prochaine étape sera de tester des essaims plus grands, d’autres robots et des environnements moins contrôlés. À terme, cette approche pourrait contribuer à la recherche de survivants, à la surveillance de l’environnement ou à l’exploration de lieux dangereux.

Article complet