Détecter,évaluer les risques des impacts discriminatoires des algorithmes d'IA

Following the deployment of the RGPD, the European Commission published in February 2020 a White Paper for an approach to AI based on excellence and trust. Its recommendations are largely derived from the guide for trustworthy AI drawn up in 2019 by a group of European experts. Beyond the priority data protection issues at the very heart of the CNIL's missions, this white paper insistently raises other issues related to the risks of the impacts of machine learning algorithms on our society: quality, reproducibility of algorithmic decisions, opacity of algorithms and explanability of decisions, bias and risks of discrimination. Based on practical examples: credit scoring, predictive hiring, we describe which tools, procedures, indicators (cf. tutorial), could participate in the construction of a Discrimination Impact Assessment (DIA) desired by the Villani report (2018) and consistent with the evaluation list of the European experts group. These examples reveal the difficulties and even the impossibility of an ex-post audit of an artificial intelligence system (AIS) based on learning algorithms. We conclude with a few recommendations, including the need to set up audits on the basis of accurate and exhaustive ex-ante documentation of an AIS.; Faisant suite au déploiement du RGPD, la Commission Européenne a publié, en février 2020 un livre blanc pour une approche de l'IA basée sur l'excellence et la confiance et dont les recommandations sont largement issues du guide pour une IA digne de confiance rédigé en 2019 par un groupe d'experts européens. Au delà des questions prioritaires de protection des données au coeur des missions de la CNIL, ce livre blanc soulève avec insistance d'autres questions relatives aux risques des impacts des algorithmes d'apprentissage automatique sur notre société : qualité, re-productibilité de décisions algorithmiques, opacité des algorithmes et ex-plicabilité des décisions, biais et risques de discrimination. En nous ba-sant sur des exemples concrets : score de crédit, pré-recrutement prédictif, nous décrivons quels outils, procédures, indicateurs (cf. tutoriel), pour-raient participerà la construction d'un DIA ou Discrimination Impact Assessment souhaité par le rapport Villani (2018) et cohérent avec la liste d'évaluation du groupe des experts européens. Les exemples traités montrent les difficultés et même l'impossibilité d'un audit ex post d'un système d'intelligence artificielle (SIA) sur la base d'algorithmes d'appren-tissage. Nous concluons sur quelques recommandations dont la nécessité de la mise en place d'audits sur la base de documentations précises et exhaustives ex ante d'un SIA.