Les théorèmes d’incomplétude de Gödel s’appliquent non seulement à l’IA, mais à tout raisonnement éthique formulé dans un système formel. La différence clé est que les raisonneurs humains peuvent, du moins en principe, réviser leurs hypothèses, adopter de nouveaux principes et repenser le cadre lui-même. L’IA, en revanche, reste liée aux structures formelles qui lui sont données, ou n’opère que dans celles qu’elle peut modifier uniquement selon des contraintes prédéfinies. De cette façon, les théorèmes de Gödel posent une limite logique à ce que l’IA, si elle est construite sur des systèmes formels, pourra jamais pleinement prouver ou valider à propos de la moralité depuis l’intérieur de ces systèmes.