Rebecca Gelles et Ronnie Kinoshita
Dans leur travail Démocratisation des ressources : le calcul est-il la contrainte contraignante pour la recherche en IA ?présenté à l’AAAI 2024, Rebecca Gelles, Veronica Kinoshita, Micah Musser et James Dunham étudier l’accès des chercheurs au calcul et l’impact que cela a sur leur travail. Dans cette interview, Rebecca et Ronnie nous parlent de ce qui a inspiré leur étude, de leur méthodologie et de certaines de leurs principales conclusions.
Quel est le sujet de votre étude et qu’est-ce qui vous a inspiré à enquêter sur cette question ?
Nous souhaitions dialoguer directement avec les chercheurs en IA pour comprendre leurs contraintes en matière de ressources au moment de décider à quels types de recherche consacrer leur temps. Nous voulions également approfondir et essayer de comprendre comment les contraintes de ressources se manifestent au sein de la communauté de recherche en IA – en examinant en particulier les divisions entre l’industrie et le monde universitaire, un sujet de discussion populaire sur les contraintes de ressources en IA. La raison pour laquelle nous nous sommes intéressés à cette question est qu’il y a beaucoup de discours, en particulier de la part de la communauté politique, sur la démocratisation de l’IA, la lutte contre les inégalités dans ce domaine et la crainte que les progrès dans le domaine de l’IA soient freinés par des contraintes de ressources. Ce type de discussions politiques est à l’origine d’efforts récents tels que le projet pilote américain National AI Research Resource, qui fait partie du décret du président Biden d’octobre 2023 sur l’IA. Et ces discussions ont lieu, parlant des contraintes informatiques, des contraintes de données ou des contraintes de talents, dans les gouvernements du monde entier. Mais la plupart de ces conversations ont jusqu’à présent été dominées par les décideurs politiques plutôt que par les chercheurs en IA qui participent quotidiennement à l’évolution du domaine. Nous voulions interroger de vrais chercheurs en IA sur leurs expériences vécues pour mieux comprendre à quoi ressemblaient réellement les contraintes sur le terrain et apporter une partie de leur expertise dans ces discussions.
Comment avez-vous procédé pour concevoir votre enquête ?
La première chose à faire lors de la conception d’une enquête est de déterminer à qui vous devez demander, c’est-à-dire quelle sera votre population. Les types de personnes et leurs expériences affectent à la fois les types de questions que vous posez et la manière dont vous identifiez et contactez réellement l’ensemble des répondants au sein de cette population pour répondre à vos questions. Dans ce cas, notre enquête s’est concentrée spécifiquement sur un groupe de chercheurs en IA basés aux États-Unis, c’est-à-dire des personnes directement impliquées dans l’étude et le travail sur l’IA. Cela signifie que l’étude peut ne pas couvrir toutes les personnes dont le travail est touché par l’IA – par exemple, ceux qui utilisent l’IA au travail dans d’autres domaines ou qui adaptent occasionnellement le code de l’IA en production pour faciliter leur analyse. Nous avons choisi cette orientation parce que nous étions convaincus que les progrès de l’IA qui préoccupaient le plus les décideurs politiques seraient probablement réalisés par ce groupe central de chercheurs en IA.
Après avoir identifié notre population, nous nous sommes ensuite tournés vers la conception du questionnaire. Nous avons développé une série de questions à poser aux répondants sur une variété de sujets liés à leur utilisation des ressources, leurs contraintes et leurs projets. Nous avons utilisé des méthodes d’enquête standard pour garantir une conception de recherche de qualité et testé chacune de nos questions de recherche de plusieurs manières et minimisé les biais des répondants tout en gardant l’enquête suffisamment accessible pour que les répondants restent intéressés à y répondre. De plus, nous avons ensuite testé l’enquête avec une série d’entretiens tests avec des experts en la matière avant d’envoyer une version pilote pour mesurer le taux de réponse et apporter les derniers ajustements. L’ensemble de ce processus a été examiné par le conseil d’administration de l’IRB de notre université, car nous effectuions des recherches sur des humains, et nous voulions nous assurer que tout était fait de manière éthique et réfléchie.
Parlez-nous de la façon dont vous avez réalisé l’enquête.
Pour solliciter la participation des répondants de notre population, nous avons compilé des listes des meilleures conférences et revues dans les domaines de l’IA et des principaux sous-domaines de l’IA, par exemple le traitement du langage naturel, l’apprentissage automatique, la vision par ordinateur et la robotique. Nous avons sélectionné ces conférences et revues en utilisant une combinaison de classements de réputation (basés sur csrankings.org) et l’indice H. Nous avons ensuite collecté les noms des auteurs et les coordonnées de ces conférences et revues au cours des cinq dernières années, dont l’affiliation principale était une organisation américaine. Nous avons défini notre groupe de participants de cette façon, car nous étions plus intéressés par les implications politiques américaines.
Cette liste initiale a produit plus de 27 000 adresses e-mail, incluant des répondants universitaires et industriels. Les répondants du monde universitaire étant surreprésentés dans cet échantillon, nous étions préoccupés par notre capacité à capter la voix des chercheurs de l’industrie, qui étaient moins susceptibles de publier dans ces lieux. C’est pour cette raison que nous l’avons complété par deux ensembles de listes LinkedIn. Pour le premier, nous avons identifié une liste de startups d’IA réparties à travers les États-Unis à l’aide du rapport CBInsights « Les États-Unis des startups d’intelligence artificielle ». Ensuite, nous l’avons limité à toute personne dans ces entreprises ayant un titre de poste technique. Cela nous a donné une liste d’employés principalement de startups. Pour l’autre, nous avons effectué une recherche à l’aide d’une liste plus spécifique de titres d’emploi exclusivement réservés à l’IA pour n’importe quel emploi situé aux États-Unis, afin d’augmenter la représentation de notre secteur. Nous avons ensuite analysé 5 000 de ces résultats via le service de recherche d’e-mails RocketReach et ajouté les e-mails résultants à notre échantillon.
Quelles ont été vos principales conclusions et avez-vous été particulièrement intéressé ou surpris par l’une d’entre elles ?
Nos principales conclusions étaient les suivantes :
- Les chercheurs considèrent le talent comme le principal facteur contribuant au succès de leurs projets les plus importants, et la plupart d’entre eux donneraient la priorité au talent s’ils recevaient davantage de financement.
- Lorsque les chercheurs sont obligés de modifier leurs plans de recherche, cela est plus souvent dû à des limitations en matière de talent ou de données qu’à des limitations de calcul.
- La plupart des personnes interrogées pensent que le rôle de l’informatique dans le progrès de l’IA restera le même ou diminuera au cours de la prochaine décennie par rapport à la décennie précédente.
- Les universitaires déclarent payer moins pour le calcul, mais ne signalent pas une utilisation significativement moindre de celui-ci.
- Les universitaires rapportent que les besoins en matière de calcul ont dépassé la disponibilité, mais ne sont pas beaucoup plus préoccupés par l’impact futur de l’accès sur leurs contributions à l’IA.
- Une utilisation accrue du calcul est corrélée à une plus grande préoccupation pour le calcul.
Nous avons été assez surpris par bon nombre de nos résultats, même s’ils ont plus de sens rétrospectivement, surtout après avoir discuté avec de nombreux chercheurs par la suite et lu les commentaires des chercheurs dans nos questions ouvertes de suivi. En raison du discours populaire sur l’importance du calcul, nous nous attendions à ce que les chercheurs donnent la priorité aux besoins en calcul avant tout et soient donc très préoccupés par le manque croissant de ressources informatiques. Ce n’est pas universellement ce que nous avons trouvé.
En fin de compte, nous pensons que la clé de nos conclusions réside dans le fait que les chercheurs universitaires qui ne disposent pas d’autant de ressources informatiques ont déjà compris comment travailler sans, et ne sont donc pas aussi préoccupés que ce que l’on attend d’eux. Ils ont choisi des sous-domaines et des projets qui ne nécessitent pas autant de ressources informatiques et ils y sont déjà installés. Cela ne signifie pas que le prochain groupe de chercheurs ne bénéficierait pas d’un meilleur calcul ou que fournir davantage de calcul ne permettrait pas de résoudre des problèmes que nous ne pouvons pas résoudre actuellement ; cela signifie simplement que le niveau général d’inquiétude au sein de la communauté universitaire est probablement bien inférieur à ce que les décideurs politiques pensent.
En regardant spécifiquement la ressource nationale de recherche sur l’IA proposée, qu’a révélé votre enquête ici ?
Ce que nous avons constaté dans l’ensemble, c’est que les chercheurs semblaient très intéressés par le potentiel d’une ressource nationale de recherche sur l’IA, mais qu’ils hésitaient davantage à l’utiliser dans la pratique, exprimant leurs inquiétudes quant à la manière dont elle serait mise en œuvre. L’idéal de la plupart des chercheurs pour une telle ressource était qu’elle fournisse simplement davantage de subventions, et l’explication fréquente que nous avons obtenue était qu’ils voulaient simplement avoir accès à de l’argent à utiliser pour leur travail comme bon leur semblait, sans avoir à faire face à la bureaucratie. Il y avait un intérêt pour les ressources informatiques, mais aussi beaucoup d’inquiétudes concernant l’obsolescence, les barrières à l’entrée ou les complications techniques, et des perspectives similaires sur les ressources de données et les ressources de talents. De nombreux chercheurs apprécieraient également clairement davantage de conseils sur ce qu’ils devraient et ne devraient pas faire en matière d’IA et sur la manière de gérer les problèmes de sécurité et de préjudices liés à l’IA.
Quelles sont les principales conclusions que vous avez tirées de votre étude ?
Si nous voulons réduire les contraintes en matière de ressources dans la communauté de l’IA, il ne suffit pas de fournir à certaines ressources informatiques gouvernementales importantes un support technique limité et de mettre fin à cette situation. Des ressources techniques supplémentaires peuvent aider certains chercheurs, mais certainement pas tous, et même dans ce cas, ces ressources doivent être entretenues, mises à jour et prises en charge. En attendant, il faudrait faire davantage pour relever certains des autres défis au-delà de l’accès informatique auxquels sont confrontés les chercheurs, et les décideurs politiques devraient réfléchir à la nature de ces défis et à leur lien avec l’accès aux données, aux talents, à l’équité ou au financement global.
Lire l’ouvrage dans son intégralité
Démocratisation des ressources : le calcul est-il la contrainte contraignante pour la recherche en IA ?, Rebecca Gelles, Veronica Kinoshita, Micah Musser, James Dunham.
À propos des auteurs
 | Ronnie Kinoshita est actuellement directeur adjoint de la science des données et de la recherche au Centre pour la sécurité et les technologies émergentes (CSET) de Georgetown. Dans son précédent rôle d’analyste de recherche par sondage au CSET, elle a soutenu divers axes de recherche au sein de l’organisation. Ronnie est titulaire d’une maîtrise en psychologie industrielle et organisationnelle de l’Université du Tennessee à Chattanooga. Elle a obtenu son baccalauréat en psychologie et chimie du Hendrix College. |
 | Rebecca Gelles est Data Scientist au Center for Security and Emerging Technology de Georgetown. Auparavant, elle a passé près de sept ans au gouvernement, où elle a obtenu son diplôme du programme d’été du directeur (DSP) et du programme de développement des opérations de réseau informatique cryptanalytique (C2DP). Rebecca est titulaire d’un baccalauréat en informatique et en linguistique du Carleton College et d’une maîtrise en informatique de l’Université du Maryland College Park, où ses recherches ont porté sur la façon dont les médias influencent les postures de sécurité informatique des utilisateurs et sur les techniques d’intelligence artificielle pour défendre les appareils IoT contre les cyberattaques. attaques. |
Lucy Smith, rédactrice en chef d’AIhub.
