Anne Fehres et Luke Conroy & AI4Médias / De meilleures images de l’IA / Les données sont notre miroir / Sous licence CC-BY 4.0
Marie Carman, Université du Witwatersrand et Uwe Peters, Université d’Utrecht
Les humains utilisent de plus en plus l’intelligence artificielle (IA) pour éclairer les décisions concernant nos vies. L’IA contribue par exemple à faire des choix d’embauche et proposer des diagnostics médicaux.
Si vous avez été concerné, vous souhaiterez peut-être une explication sur la raison pour laquelle un système d’IA a pris la décision qu’il a prise. Pourtant, les systèmes d’IA sont souvent si complexes sur le plan informatique que même leurs concepteurs ne le savent pas vraiment comment les décisions ont été produites. C’est pourquoi le développement de « l’IA explicable » (ou XAI) est en plein essor. L’IA explicable comprend des systèmes qui sont soit eux-mêmes suffisamment simples pour être entièrement compris par les gens, soit qui produisent des explications facilement compréhensibles d’autres modèles d’IA plus complexes. les sorties.
Les systèmes d’IA explicables aident les ingénieurs en IA à surveiller et corriger le traitement de leurs modèles. Ils aident également les utilisateurs à prendre des décisions éclairées quant à savoir s’ils doivent faire confiance ou comment utiliser au mieux les résultats de l’IA.
Tous les systèmes d’IA ne le sont pas besoin d’être explicable. Mais dans les domaines à enjeux élevés, on peut s’attendre à ce que XAI se généralise. Par exemple, la loi récemment adoptée Loi européenne sur l’IA, précurseur de lois similaires dans le monde entier, protège un « droit à l’explication ». Les citoyens ont le droit de recevoir une explication sur une décision d’IA qui affecte leurs autres droits.
Mais que se passe-t-il si quelque chose comme votre origine culturelle affecte les explications que vous attendez d’une IA ?
Dans une revue systématique récente nous avons analysé plus de 200 études des dix dernières années (2012-2022) dans lesquelles les explications données par les systèmes XAI ont été testées sur des personnes. Nous voulions voir dans quelle mesure les chercheurs indiquaient qu’ils étaient conscients des variations culturelles potentiellement pertinentes pour concevoir une IA explicable satisfaisante.
Nos résultats suggèrent que de nombreux systèmes existants peuvent produire des explications qui sont principalement adaptées aux populations individualistes, typiquement occidentales (par exemple, les habitants des États-Unis ou du Royaume-Uni). En outre, la plupart des études sur les utilisateurs de XAI ont uniquement échantillonné des populations occidentales, mais généralisations injustifiées Les résultats pour les populations non occidentales étaient omniprésents.
Différences culturelles dans les explications
Il existe deux manières courantes d’expliquer les actions d’une personne. La première consiste à invoquer les croyances et les désirs de la personne. Cette explication est internaliste, centrée sur ce qui se passe dans la tête de quelqu’un. L’autre est externaliste, citant des facteurs tels que les normes sociales, les règles ou d’autres facteurs extérieurs à la personne.
Pour voir la différence, réfléchissez à la manière dont nous pourrions expliquer l’arrêt d’un conducteur à un feu rouge. Nous pourrions dire : « Ils croient que le feu est rouge et ne veulent enfreindre aucune règle de circulation, alors ils ont décidé de s’arrêter. » C’est une explication internaliste. Mais on pourrait aussi dire : « Les feux sont rouges et le code de la route exige que les conducteurs s’arrêtent aux feux rouges, donc le conducteur s’est arrêté. » Il s’agit d’une explication externaliste.
Beaucoup psychologique des études suggèrent que les explications internalistes sont préférées dans les pays « individualistes » où les gens se considèrent souvent comme plus indépendants des autres. Ces pays ont tendance à être occidentaux, instruits, industrialisés, riches et démocratiques.
Cependant, de telles explications ne sont évidemment pas préférées aux explications externalistes dans les sociétés « collectivistes », comme celles que l’on trouve couramment en Afrique ou en Asie du Sud, où les gens se considèrent souvent comme interdépendants.
Les préférences dans l’explication du comportement sont pertinentes pour ce que pourrait être une sortie XAI réussie. Une IA qui propose un diagnostic médical peut être accompagnée d’une explication telle que : « Puisque vos symptômes sont de la fièvre, un mal de gorge et des maux de tête, le classificateur pense tu as la grippe. C’est internaliste parce que l’explication évoque un état « interne » de l’IA – ce qu’elle « pense » – quoique métaphoriquement. Alternativement, le diagnostic pourrait être accompagné d’une explication ne mentionnant pas un état interne, telle que : « Puisque vos symptômes sont de la fièvre, un mal de gorge et des maux de tête, en s’appuyant sur sa formation sur les critères d’inclusion diagnostique, le classificateur produit le résultat que vous avez la grippe. C’est externaliste. L’explication s’appuie sur des facteurs « externes » comme les critères d’inclusion, de la même manière que l’on pourrait expliquer l’arrêt à un feu tricolore en faisant appel au code de la route.
Si des personnes de cultures différentes préfèrent différents types d’explications, cela est important pour concevoir des systèmes inclusifs d’IA explicable.
Nos recherches suggèrent cependant que les développeurs XAI ne sont pas sensibles aux différences culturelles potentielles dans les préférences d’explication.
Ne pas tenir compte des différences culturelles
Il est frappant de constater que 93,7 % des études que nous avons examinées n’indiquaient pas de prise de conscience des variations culturelles potentiellement pertinentes pour la conception d’une IA explicable. De plus, lorsque nous avons vérifié l’origine culturelle des personnes testées dans les études, nous avons constaté que 48,1 % des études ne faisaient aucun rapport sur l’origine culturelle. Cela suggère que les chercheurs n’ont pas considéré le contexte culturel comme un facteur susceptible d’influencer la généralisabilité des résultats.
Parmi ceux qui ont fait état de leur origine culturelle, 81,3 % n’ont échantillonné que des populations occidentales, industrialisées, instruites, riches et démocratiques. Seulement 8,4 % des populations non occidentales ont été échantillonnées et 10,3 % des populations mixtes ont été échantillonnées.
Échantillonner un seul type de population ne pose pas nécessairement de problème si les conclusions se limitent à cette population ou si les chercheurs donnent des raisons de penser que d’autres populations sont similaires. Pourtant, parmi les études portant sur le contexte culturel, 70,1 % ont étendu leurs conclusions au-delà de la population étudiée – aux utilisateurs, aux personnes, aux humains en général – et la plupart des études ne contenaient aucune preuve de réflexion sur la similitude culturelle.
Pour voir à quel point la surveillance de la culture est profonde dans la recherche sur l’IA explicable, nous avons ajouté une « méta » revue systématique de 34 revues de la littérature existante dans le domaine. Étonnamment, seules deux revues ont commenté un échantillonnage asymétrique dans les recherches sur les utilisateurs, et une seule a mentionné des généralisations excessives des résultats de l’étude XAI.
C’est problématique.
Pourquoi les résultats sont importants
Si les découvertes sur les systèmes d’IA explicables ne s’appliquent qu’à un seul type de population, ces systèmes risquent de ne pas répondre aux exigences explicatives des autres personnes affectées par eux ou qui les utilisent. Cela peut diminuer la confiance dans l’IA. Lorsque les systèmes d’IA prennent des décisions à enjeux élevés mais ne vous donnent pas d’explication satisfaisante, vous vous méfierez probablement d’eux même si leurs décisions (comme les diagnostics médicaux) sont exactes et importantes pour vous.
Pour remédier à ce biais culturel dans XAI, les développeurs et les psychologues doivent collaborer pour tester les différences culturelles pertinentes. Nous recommandons également que les antécédents culturels des échantillons soient signalés avec les résultats de l’étude des utilisateurs XAI.
Les chercheurs devraient État si leur échantillon d’étude représente une population plus large. Ils peuvent également utiliser qualificatifs comme les « utilisateurs américains » ou les « participants occidentaux » pour rapporter leurs découvertes.
Alors que l’IA est utilisée dans le monde entier pour prendre des décisions importantes, les systèmes doivent fournir des explications que les personnes de différentes cultures trouvent acceptables. Dans l’état actuel des choses, de grandes populations qui pourraient bénéficier du potentiel de l’IA explicable risquent d’être négligées dans la recherche XAI.
Marie Carmanmaître de conférences en philosophie, Université du Witwatersrand et Uwe Petersprofesseur adjoint de philosophie, Université d’Utrecht
Cet article est republié à partir de La conversation sous licence Creative Commons. Lis le article original.
