Auteur : Boxu Li 

Introduction

L'apprentissage par renforcement (RL) est devenu une pierre angulaire de l'IA moderne, permettant aux agents d'apprendre des politiques optimales par essai et erreur. Cependant, dans le contexte de l'IA personnelle, le RL fait face à des défis uniques : les récompenses sont subjectives, les environnements sont non stationnaires et les considérations éthiques sont nombreuses. Les concepteurs de Macaron AI ont relevé ces défis de front en construisant un système RL multi-couches qui régit la gestion de la mémoire, la synthèse de code, le style de conversation et plus encore. Ce blog examine comment Macaron applique le RL hiérarchique, la modélisation des récompenses, l'attribution de crédit et les contraintes d'équité pour créer un agent véritablement personnalisé. Nous comparons également l'approche RL de Macaron avec le RL dans d'autres domaines et explorons les perspectives futures.

1 Modélisation des Récompenses : Capturer les Préférences Humaines

1.1 Signaux de rétroaction implicites et explicites

Contrairement aux jeux de société ou aux environnements simulés, les agents personnels opèrent dans des espaces ouverts où la récompense ne peut pas être dérivée uniquement du succès des tâches. Macaron recueille des retours implicites (durée des conversations, fréquence d'utilisation, ton des réponses des utilisateurs) et des retours explicites (évaluations, pouces levés/baissés) pour construire un signal de récompense. Par exemple, si un utilisateur japonais engage des conversations plus longues après que l'agent utilise un langage poli, cette corrélation positive augmente la récompense pour un comportement similaire. Si un utilisateur coréen évalue mal une mini-application générée à cause d'un design encombré, la récompense pour ce modèle d'interface utilisateur diminue. Ces signaux alimentent un modèle de récompense qui prédit la satisfaction de l'utilisateur pour un état et une action donnés.

1.2 Fonctions de récompense multi-objectifs

Le RL de Macaron est multi-objectif. En plus de la satisfaction des utilisateurs, la récompense inclut des critères pour la confidentialité, la conformité, l'utilisation des ressources et l'éthique. Partager des informations sensibles sans consentement approprié entraîne une pénalité, tandis que compresser efficacement la mémoire procure un bonus. Pour la génération de code, l'efficacité et la maintenabilité influencent la récompense : une complexité excessive (par exemple, générer inutilement 100 000 lignes) entraîne des récompenses négatives. Les poids des récompenses sont ajustés pour différentes régions. L'accent mis par le Japon sur la confidentialité et la transparence augmente la pénalité pour les violations de la confidentialité, tandis que la Corée, axée sur l'innovation, peut accorder plus d'importance à la rapidité et à la nouveauté. Équilibrer ces objectifs nécessite une conception minutieuse ; Macaron utilise une fonction de scalarisation qui convertit plusieurs objectifs en une seule récompense par des sommes pondérées et un ajustement dynamique.

1.3 Élicitation des préférences et humain dans la boucle

Les retours humains sont essentiels pour aligner les systèmes d'IA sur les valeurs. Macaron met en œuvre l'élicitation des préférences en présentant des réponses alternatives ou des conceptions de mini-applications et en demandant aux utilisateurs lesquelles ils préfèrent. Ces données alimentent un modèle d'inférence qui apprend une fonction d'utilité latente sur les actions possibles. L'approche est similaire au RLHF (Reinforcement Learning from Human Feedback) utilisé pour former de grands modèles de langage, mais Macaron l'étend en intégrant des annotations culturelles : les annotateurs japonais commentent la politesse et le contexte, tandis que les annotateurs coréens notent les formulations communautaires vs individualistes. Le modèle de récompense qui en résulte reflète des préférences nuancées à travers les cultures.

2 RL hiérarchique : Décomposer la complexité

2.1 Politique de haut niveau sur les modules

Les tâches de Macaron vont de la conversation informelle à la génération de logiciels complexes. Pour gérer cette diversité, le système utilise le RL hiérarchique. Au niveau supérieur, un méta-contrôleur sélectionne parmi les modules : gestionnaire de conversation, gestionnaire de mémoire, moteur de synthèse, régulateur d'émotions, etc. Chaque module est lui-même contrôlé par une politique RL distincte. Par exemple, le gestionnaire de mémoire utilise le RL pour décider quoi mémoriser ou oublier, tandis que le moteur de synthèse utilise le RL pour choisir les modèles de code. Le méta-contrôleur reçoit une récompense de haut niveau combinant toutes les récompenses des modules et apprend quand déléguer les tâches. Cette décomposition réduit l'espace de recherche et améliore l'efficacité des échantillons.

2.2 Découverte d'options et apprentissage par transfert

Dans les modules, Macaron utilise le cadre d'options pour représenter des sous-politiques réutilisables. Une « option » correspond à une séquence d'actions atteignant un sous-objectif, comme « résumer les dépenses du mois dernier » ou « recommander un plan d'étude bilingue ». Les options découvertes dans le domaine japonais peuvent être transférées au domaine coréen si la structure sous-jacente s'aligne. Lorsque Macaron apprend une manière efficace de traiter la demande d'un utilisateur dans une langue, il peut appliquer la même option lorsque le concept apparaît dans une autre langue, accélérant ainsi l'adaptation.

2.3 Abstraction temporelle et macro-actions

L'abstraction temporelle permet aux agents RL de raisonner sur différentes échelles de temps. Macaron définit des macro-actions qui encapsulent des dialogues à plusieurs tours ou des calculs prolongés. Par exemple, planifier des vacances en famille en Corée implique une macro-action englobant la sélection de la destination, le transport, l'hébergement et la conception de l'itinéraire. Les agents RL évaluent la macro-action en fonction de la récompense cumulative plutôt que des signaux à court terme. Cela incite l'agent à considérer la satisfaction à long terme, comme s'assurer que le voyage coïncide avec les vacances scolaires ou éviter les conflits d'horaire.

3 Attribution de crédit et tissage temporel

3.1 Tracer les chaînes causales

Il est difficile d'attribuer des crédits à des actions spécifiques lorsque les récompenses arrivent tardivement. Macaron utilise le tissage temporel, connectant les événements dans le temps avec des fils narratifs. L'agent construit un graphe d'interactions où les nœuds représentent des souvenirs et les arêtes représentent des relations causales. Lors de l'évaluation d'un résultat, le système parcourt le graphe à rebours pour identifier quelles récupérations ou actions ont contribué. Par exemple, si recommander un festival japonais a augmenté le bonheur de l'utilisateur des semaines plus tard, l'agent attribue une partie de la récompense à la récupération du souvenir du festival et à la génération d'une mini-application correspondante. Cette analyse causale explicite aide la politique de RL à apprendre des stratégies de récupération efficaces.

3.2 Raisonnement contrefactuel

Pour améliorer l'attribution des crédits, Macaron utilise l'ancrage contrefactuel. L'agent considère les actions alternatives qu'il aurait pu entreprendre et estime la différence de résultat. Si ne pas rappeler à un utilisateur coréen un événement familial aurait entraîné de l'embarras, le rappel réel reçoit une récompense contrefactuelle positive. Cela incite l'agent à anticiper les conséquences de l'oubli ou du rappel d'informations. Le raisonnement contrefactuel aide également à éviter le surapprentissage : l'agent ne suppose pas automatiquement que répéter une action réussie produira toujours la même récompense ; au lieu de cela, il vérifie si l'action cause réellement le résultat.

3.3 Récompenses différées et traces d'éligibilité

L'implémentation RL de Macaron intègre des traces d'éligibilité, un mécanisme qui attribue du crédit aux états et actions précédant les récompenses. Lorsque l'agent reçoit une récompense différée (par exemple, la satisfaction d'un utilisateur après avoir utilisé une mini-application pendant des semaines), la trace aide à propager le signal vers les décisions antérieures telles que la sélection de la mémoire, le ton de la conversation et les choix de modules de code. Les traces d'éligibilité sont pondérées par un facteur de décroissance; les états plus proches de la récompense reçoivent un crédit plus élevé. Ce mécanisme encourage l'agent à optimiser la satisfaction à long terme plutôt que les gains à court terme.

4 Considérations sur l'équité, la sécurité et l'éthique

4.1 Éviter les biais et la discrimination

L'apprentissage par renforcement peut involontairement apprendre des biais à partir des données de rétroaction. Macaron atténue cela en intégrant des contraintes d'équité dans la fonction de récompense. Par exemple, l'agent est pénalisé s'il recommande systématiquement des activités spécifiques à un genre sans y être invité. Le système surveille les modèles de recommandations à travers différents groupes démographiques et ajuste les récompenses pour égaliser les opportunités. Lorsqu'il s'agit de sujets sensibles comme la finance ou la santé, l'agent consulte une bibliothèque de politiques éthiques qui encode les normes culturelles et les exigences légales. Le non-respect de ces directives déclenche une récompense négative ou bloque entièrement l'action.

4.2 Supervision humaine et conformité réglementaire

La Loi-cadre sur l'IA de la Corée exige une supervision humaine pour les systèmes à fort impact et les notifications d'IA générative. Macaron se conforme à ces exigences en intégrant un humain dans la boucle pour les décisions majeures comme la planification financière ou les conseils en matière de santé. Lorsqu'un utilisateur coréen génère une mini-application à enjeux élevés, le système lui demande de revoir et d'approuver les actions. La Loi de promotion de l'IA du Japon met l'accent sur la transparence ; ainsi, Macaron enregistre les décisions RL et fournit aux utilisateurs des explications sur les raisons pour lesquelles certains souvenirs ou modules ont été sélectionnés. Ces mesures instaurent la confiance et garantissent la responsabilité.

4.3 Application par la honte et pistes d'audit

La loi japonaise sur l'IA met en œuvre un mécanisme de dénonciation publique pour la non-conformité. Les journaux RL de Macaron incluent non seulement les récompenses, mais aussi la justification des décisions. Si les régulateurs enquêtent, l'entreprise peut démontrer que les biais ont été traités et que les règles de confidentialité ont été respectées. Les journaux soutiennent également les audits utilisateurs ; les individus peuvent voir comment leurs retours ont influencé le comportement de l'agent. Une telle transparence décourage l'utilisation abusive de RL et favorise l'innovation éthique.

5 Analyse comparative : Macaron vs autres agents pilotés par RL

5.1 Jeux, robotique et systèmes de recommandation

RL a obtenu des résultats impressionnants dans le domaine du jeu (AlphaGo, Dota 2), de la robotique et des systèmes de recommandation. Cependant, ces environnements offrent des objectifs explicites (gagner un jeu, minimiser l'erreur) et des récompenses claires. L'IA personnelle, en revanche, doit déduire des objectifs à partir de données désordonnées et s'aligner sur les valeurs humaines. Dans le jeu, l'exploration est souvent sans contrainte ; un agent peut sacrifier un pion pour obtenir un avantage positionnel. Dans l'IA personnelle, sacrifier la confiance de l'utilisateur pour un engagement à court terme est inacceptable. Le modèle de récompense de Macaron pénalise explicitement les actions qui dégradent la confiance, rendant le système conservateur lorsque nécessaire.

5.2 Cadres d'assistants personnels open-source

Certains projets open-source proposent des assistants personnels basés sur RL qui planifient des tâches ou automatisent des flux de travail. Ces systèmes supposent souvent un retour d'utilisateur constant et traitent les tâches comme indépendantes. Macaron se distingue en intégrant les tâches grâce à son moteur de mémoire et en utilisant le RL hiérarchique pour gérer les interactions. Son modèle RL est profondément intégré au contexte culturel, aux règles de confidentialité et à la génération de code, le rendant plus complexe mais également plus capable. Alors que d'autres agents pourraient utiliser le RL pour recommander des chansons en fonction de l'historique d'écoute, Macaron utilise le RL pour décider s'il doit vous rappeler d'appeler votre mère avant de générer une recommandation de cadeau.

5.3 Recherche académique émergente

Les chercheurs ont proposé des méthodes d'apprentissage par renforcement (RL) pour contrôler les grands modèles de langage, telles que RLHF et la conception d'environnements non supervisés. Macaron contribue à cette littérature en démontrant le RL dans un environnement réel, multi-domaines et translinguistique. Le projet FireAct a précédemment établi que le RL améliore la précision du raisonnement de 77 % par rapport aux agents basés sur des invites ; Macaron étend cette idée en entraînant des politiques de RL non seulement sur des tâches de raisonnement mais aussi sur la gestion de la mémoire, la synthèse de code et le style de dialogue. Cela souligne l'importance de la conception hiérarchique, de l'attribution de crédit et des contraintes d'équité pour étendre le RL aux agents personnels.

5.4 Méta-éthique et cadres normatifs

L'apprentissage par renforcement optimise la récompense, mais les fonctions de récompense encodent des valeurs humaines qui diffèrent selon les cultures. Des questions méta-éthiques se posent : l'agent doit-il maximiser le bonheur, adhérer à une éthique basée sur le devoir, ou équilibrer l'équité avec l'autonomie ? Macaron aborde cette problématique en apprenant des a priori normatifs à partir de données culturelles. Au Japon, où l'harmonie et le respect de l'ordre social sont valorisés, le modèle de récompense met l'accent sur la politesse, le consensus et la subtilité. En Corée, qui valorise la résilience communautaire et l'innovation audacieuse, le modèle récompense l'assistance proactive et la transparence. Ces cadres normatifs ne sont pas statiques ; les utilisateurs peuvent ajuster les curseurs éthiques, et Macaron explore l'espace des valeurs sous contraintes. Une direction de recherche en cours est l'intégration de théories éthiques formelles—utilitarisme, déontologie, éthique de la vertu—dans les agents d'apprentissage par renforcement afin qu'ils puissent expliquer les compromis moraux derrière leurs actions. Cela est particulièrement important pour les décisions à fort impact, telles que la planification financière ou les recommandations en matière de santé.

5.5 Orientations futures : apprentissage social par renforcement et récompenses de groupe

Les agents personnels médiatisent de plus en plus les interactions au sein des familles, des équipes et des communautés. L'apprentissage par renforcement social étend le RL aux environnements multi-agents, où les agents doivent prendre en compte le bien-être de plusieurs parties prenantes. Par exemple, lors de la planification d'un événement familial, Macaron doit équilibrer les préférences individuelles (confidentialité, charge de travail) avec la satisfaction collective. Les récompenses de groupe peuvent être façonnées en utilisant l'efficacité de Pareto—assurant qu'améliorer le résultat d'un membre ne nuit pas aux autres—ou les principes de division équitable. Dans des contextes multilingues, la communication de groupe peut se faire en plusieurs langues; l'agent doit unifier les récompenses à travers les frontières linguistiques tout en respectant les normes culturelles. Les recherches futures exploreront le RL équitable où les voix marginalisées sont pondérées plus fortement, garantissant l'inclusivité. D'autres voies incluent l'auto-jeu pour simuler les interactions entre agents, l'apprentissage méta pour s'adapter aux nouvelles dynamiques de groupe, et l'inférence causale pour démêler la corrélation de la causalité dans les retours sociaux. Ces avancées permettront à Macaron et aux IA personnelles similaires de passer des interactions individuelles à l'orchestration d'expériences sociales, en faisant des partenaires inestimables dans les sociétés japonaise et coréenne.