Les organisations adoptent de plus en plus des modèles d’apprentissage automatique pour distribuer des ressources ou des opportunités rares. Par exemple, ces modèles peuvent aider les entreprises à trier les CV pour sélectionner les candidats à un entretien d’embauche ou aider les hôpitaux à classer les patients en attente de greffe de rein en fonction de leurs chances de survie.
Lors de la mise en œuvre d’un modèle, les utilisateurs cherchent généralement à garantir l’équité de ses prédictions en réduisant les biais. Cela implique souvent des techniques comme l’ajustement des caractéristiques utilisées par le modèle pour prendre des décisions ou le calibrage des scores générés.
Cependant, des chercheurs du MIT et de la Northeastern University soutiennent que ces méthodes ne suffisent pas à corriger les injustices structurelles et les incertitudes inhérentes. Dans un nouvel article, ils démontrent comment la randomisation structurée des décisions d’un modèle peut améliorer l’équité dans certaines situations.
Par exemple, si plusieurs entreprises utilisent le même modèle d’apprentissage automatique pour classer les candidats à un entretien de manière déterministe – sans randomisation – une personne qualifiée pourrait être systématiquement classée en bas de la liste pour chaque emploi, peut-être en raison de la manière dont le modèle évalue les réponses fournies dans un formulaire en ligne. L’introduction de la randomisation dans les décisions d’un modèle pourrait empêcher qu’une personne ou un groupe méritant soit toujours écarté d’une ressource rare, comme un entretien d’embauche.
Grâce à leur analyse, les chercheurs ont découvert que la randomisation peut être particulièrement bénéfique lorsque les décisions d’un modèle comportent de l’incertitude ou lorsque le même groupe reçoit systématiquement des décisions négatives.
Ils proposent un cadre permettant d’introduire un degré spécifique de randomisation dans les décisions d’un modèle en allouant des ressources via une loterie pondérée. Cette méthode, adaptable à différentes situations, peut améliorer l’équité sans nuire à l’efficacité ou à la précision d’un modèle.
« Même si vous pouviez faire des prédictions justes, devriez-vous décider de ces allocations sociales de ressources ou d’opportunités rares en fonction uniquement des scores ou des classements ? À mesure que les choses évoluent et que de plus en plus d’opportunités sont décidées par ces algorithmes, les incertitudes inhérentes à ces scores peuvent être amplifiées. Nous montrons que l’équité peut nécessiter une sorte de randomisation », explique Shomik Jain, étudiant diplômé à l’Institute for Data, Systems, and Society (IDSS) et auteur principal de l’article.
Jain est rejoint sur l’article par Kathleen Creel, professeur adjoint de philosophie et d’informatique à la Northeastern University, et Ashia Wilson, professeur de développement de carrière Lister Brothers au Département de génie électrique et d’informatique et chercheur principal au Laboratoire des systèmes d’information et de décision (LIDS). La recherche sera présentée à la Conférence internationale sur l’apprentissage automatique.
Considérer les revendications
Ce travail s’appuie sur un article précédent dans lequel les chercheurs ont exploré les dommages pouvant survenir lorsque l’on utilise des systèmes déterministes à grande échelle. Ils ont découvert que l’utilisation d’un modèle d’apprentissage automatique pour allouer des ressources de manière déterministe peut amplifier les inégalités présentes dans les données de formation, renforçant ainsi les biais et les inégalités systémiques.
« La randomisation est un concept très utile en statistique et, pour notre plus grand plaisir, elle satisfait aux exigences d’équité d’un point de vue à la fois systémique et individuel », explique Wilson.
Dans cet article, ils ont exploré la question de savoir quand la randomisation peut améliorer l’équité. Ils ont articulé leur analyse autour des idées du philosophe John Broome, qui a écrit sur la valeur du recours aux loteries pour attribuer des ressources rares de manière à honorer toutes les revendications des individus.
Le droit d’une personne à bénéficier d’une ressource rare, comme une greffe de rein, peut découler du mérite, du mérite ou du besoin. Par exemple, chacun a droit à la vie, et ses revendications concernant une greffe de rein peuvent découler de ce droit, explique Wilson.
« Lorsque vous reconnaissez que les gens ont des revendications différentes sur ces ressources rares, l’équité exigera que nous respections toutes les revendications des individus. Si nous donnons toujours la ressource à quelqu’un qui a des droits plus importants, est-ce juste ? » dit Jain.
Ce type d’allocation déterministe pourrait provoquer une exclusion systémique ou exacerber des inégalités structurées, qui se produisent lorsque le fait de recevoir une allocation augmente la probabilité qu’un individu reçoive des allocations futures. De plus, les modèles d’apprentissage automatique peuvent commettre des erreurs, et une approche déterministe pourrait entraîner la répétition de la même erreur.
La randomisation peut résoudre ces problèmes, mais cela ne signifie pas que toutes les décisions prises par un modèle doivent être randomisées de la même manière.
Randomisation structurée
Les chercheurs utilisent une loterie pondérée pour ajuster le niveau de randomisation en fonction du degré d’incertitude impliqué dans la prise de décision du modèle. Une décision moins certaine devrait intégrer davantage de randomisation.
« En matière d’attribution de reins, la planification porte généralement sur la durée de vie projetée, ce qui est profondément incertain. Si deux patients ne sont séparés que de cinq ans, cela devient beaucoup plus difficile à mesurer. Nous voulons exploiter ce niveau d’incertitude pour adapter la randomisation », explique Wilson.
Les chercheurs ont utilisé des méthodes de quantification de l’incertitude statistique pour déterminer le degré de randomisation nécessaire dans différentes situations. Ils montrent que la randomisation calibrée peut conduire à des résultats plus équitables pour les individus sans affecter de manière significative l’utilité ou l’efficacité du modèle.
« Il y a un équilibre à trouver entre l’utilité globale et le respect des droits des individus qui reçoivent une ressource rare, mais le compromis est souvent relativement faible », explique Wilson.
Cependant, les chercheurs soulignent qu’il existe des situations dans lesquelles la randomisation des décisions n’améliorerait pas l’équité et pourrait nuire aux individus, comme dans les contextes de justice pénale.
Mais il pourrait y avoir d’autres domaines dans lesquels la randomisation peut améliorer l’équité, comme l’admission à l’université, et les chercheurs prévoient d’étudier d’autres cas d’utilisation dans leurs travaux futurs. Ils souhaitent également explorer comment la randomisation peut affecter d’autres facteurs, tels que la concurrence ou les prix, et comment elle pourrait être utilisée pour améliorer la robustesse des modèles d’apprentissage automatique.
« Nous espérons que notre article constitue un premier pas vers l’illustration des avantages possibles de la randomisation. Nous proposons la randomisation comme outil. Dans quelle mesure vous souhaiterez le faire, ce sera à toutes les parties prenantes de l’allocation de décider. Et bien sûr, la manière dont ils décident est une autre question de recherche », explique Wilson.
