Si un système d’IA exploité pour faire des recommandations sur le bon livre à acheter ou le bon film à regarder se trompe, c’est éventuellement gênant mais pas dramatique. Si un système d’IA au sein d'un système critique (pilotage automatique d’aéronefs ou supervision d’une centrale nucléaire par exemple) devait se tromper, cela pourrait avoir des conséquences dramatiques. Une telle IA doit être capable d’expliquer les raisons de ses choix de façon intelligible par un expert humain, les raisons de ses recommandations même si elle manipule, dans son fonctionnement, des notions ou concepts qui échappent à la compréhension humaine. Il doit être possible de pouvoir valider que l’IA fait ce qu’on attend d’elle, et uniquement ce qu’on attend d’elle. Enfin, la responsabilité des différents intervenants (acteurs qui conçoivent, développent, entraînent, maintiennent, contrôlent voire utilisent l’IA) doit être établie.