Nouvelle idée de Musk : Optimus pourrait apprendre à plier des vêtements en regardant des vidéos

Tesla (TSLA.O) s'inspire d'une stratégie éprouvée pour entraîner son robot humanoïde. Selon des sources proches du dossier, le constructeur de véhicules électriques a informé ses employés fin juin que le projet Optimus se concentrerait davantage sur une approche « purement visuelle ».

Auparavant, Tesla utilisait des combinaisons de capture de mouvement et des casques de réalité virtuelle pour enregistrer les données des opérateurs humains et contrôler le robot à distance. Désormais, l'entreprise formera principalement le robot en filmant les travailleurs accomplissant des tâches, comme lui apprendre à ramasser des objets ou à plier des t-shirts.

Selon les sources, l'abandon des combinaisons de capture de mouvement et du contrôle à distance permettra à l'équipe d'accroître plus rapidement l'échelle de la collecte de données.

Ce changement marque un ajustement majeur dans la stratégie robotique de Tesla, alignant Optimus avec la conviction de longue date du PDG Elon Musk selon laquelle l'intelligence artificielle peut maîtriser des tâches complexes uniquement à l'aide de caméras. Tesla a toujours utilisé une méthode similaire pour entraîner son logiciel de conduite autonome.

Ce changement intervient peu après la démission du responsable du projet Optimus, Milan Kovac. Selon des sources, le responsable de l'IA, Ashok Elluswamy, a repris le projet.

La capture de mouvement et le contrôle à distance sont des pratiques standards dans l'industrie robotique. Par exemple, la société leader Boston Dynamics a utilisé le contrôle à distance pour entraîner son robot Atlas. Lors de l'entraînement, les travailleurs portent des combinaisons de capture de mouvement pour effectuer diverses tâches, les données étant ensuite intégrées au robot. Les combinaisons de capture de mouvement peuvent également servir à contrôler le robot à distance.

On ne sait pas encore si Tesla accordera à nouveau la priorité à la capture de mouvement et au contrôle à distance à l'avenir, ou si elle continuera à développer à partir des données vidéo sur la base des informations déjà collectées.

Robert Griffin, chercheur principal à l'Institute for Human and Machine Cognition, explique qu'une grande quantité de données de contrôle à distance permet aux robots d'apprendre par interaction physique avec leur environnement. Il affirme que se fier uniquement aux données vidéo rend difficile pour le robot de transposer avec précision les actions observées dans la réalité.

« Si vous utilisez uniquement des données vidéo, il n'y a pas d'interaction physique directe », dit-il.

Plier des t-shirts et ramasser des objets

Musk a annoncé pour la première fois en 2021 que Tesla prévoyait de développer un robot humanoïde nommé Optimus. Le milliardaire a déclaré que ce robot serait finalement capable d'effectuer des tâches telles que le travail en usine et les soins à la personne.

L'année dernière, l'entreprise a recruté des « opérateurs de collecte de données ». Ce type de poste implique d'exécuter et d'enregistrer des tâches ménagères de base. Selon l'offre d'emploi, les opérateurs devaient porter pendant de longues périodes des combinaisons de capture de mouvement et des casques de réalité virtuelle.

Jusqu'à fin juin, le projet incluait encore l'entraînement d'Optimus via le contrôle à distance et les combinaisons de capture de mouvement. Selon des sources, les travailleurs passaient beaucoup de temps à gérer les problèmes liés aux vêtements et au robot lui-même, ce qui limitait la quantité de données que l'équipe pouvait collecter.

Depuis le changement de méthode d'entraînement, les travailleurs utilisent désormais un ensemble de cinq caméras fabriquées par Tesla pour enregistrer leurs mouvements. Selon les sources, ces caméras sont installées sur un casque et un lourd sac à dos portés par les travailleurs, filmant dans toutes les directions afin de fournir des données de localisation précises à l'IA.

Christian Hubicki, directeur du laboratoire de robotique de la FAMU-FSU College of Engineering, explique que ces caméras multi-angles pourraient permettre à Tesla de capturer des détails plus fins, « comme la position des articulations et des doigts », et de mieux localiser le robot. Il ajoute que ces vidéos pourraient également compléter les données précédemment collectées via le contrôle à distance.

Lors de l'entraînement, les travailleurs reçoivent des instructions de tâches spécifiques, notamment pour les mouvements des mains, afin de garantir que les gestes paraissent aussi humains que possible. Un employé a indiqué qu'ils pouvaient passer des mois à répéter la même tâche simple.

Jonathan Aitken, expert en robotique à l'Université de Sheffield, estime que Tesla devra probablement trouver un moyen pour qu'Optimus apprenne diverses tâches à partir de mouvements généralisables.

« À cette échelle, ils doivent disposer d'un ensemble de mouvements universels, sinon l'entraînement de toutes les tâches prendrait un temps extrêmement long », explique Aitken.

Il ajoute que Tesla pourrait adopter une stratégie similaire à celle de la société Physical Intelligence, qui enseigne aux robots des compétences transférables et adaptables en leur fournissant de nombreuses données de démonstration, plutôt que de leur faire mémoriser une seule tâche.

« Une approche très Tesla du développement robotique »

Cette nouvelle stratégie est cohérente avec la façon dont Tesla entraîne son logiciel de conduite autonome. D'autres entreprises de conduite autonome utilisent des capteurs tels que le lidar et le radar millimétrique pour entraîner leurs logiciels, tandis que Tesla s'appuie principalement sur des caméras.

L'entreprise collecte des données à partir de millions de véhicules Tesla équipés de 8 à 9 caméras. Musk a déclaré que le lancement du logiciel d'aide à la conduite de Tesla en Chine avait été rendu possible après avoir entraîné le système d'IA avec des vidéos publiques de rues asiatiques.

Lors de la conférence téléphonique sur les résultats financiers de janvier, Musk a reconnu que « les besoins d'entraînement du robot humanoïde Optimus pourraient finalement être au moins dix fois supérieurs à ceux des voitures ».

« C'est une approche très Tesla du développement robotique. Aucune autre entreprise n'essaie de le faire à cette échelle », déclare Aitken. « Ils auront besoin d'une quantité de données aussi massive que pour l'entraînement des voitures. »

Alan Fern, expert en IA et robotique à l'Oregon State University, estime que l'entraînement d'Optimus est un défi encore plus grand pour Tesla que le développement de voitures autonomes.

« La conduite n'est qu'une seule tâche », dit-il. S'appuyer principalement sur l'apprentissage vidéo « exige que le robot comprenne ce qui se passe dans la vidéo et possède les compétences nécessaires pour accomplir la tâche. Certaines choses peuvent s'apprendre par observation, mais d'autres nécessitent de la pratique dans un simulateur ou dans le monde réel. »