Eric Holloway
Ce que les ordinateurs ne peuvent pas savoir : les inconnus inconnus

18 novembre 2024 Il y a les choses que nous savons que nous savons, les choses que nous savons que nous ne savons pas, et les choses que nous ne savons pas que nous ne savons pas. Ce sont ces dernières qui nous piègent. — Donald Rumsfeld (1932-2021) Dans cette célèbre citation, Rumsfeld soulignait une lacune importante […]

18 novembre 2024

Il y a les choses que nous savons que nous savons, les choses que nous savons que nous ne savons pas, et les choses que nous ne savons pas que nous ne savons pas. Ce sont ces dernières qui nous piègent. — Donald Rumsfeld (1932-2021)

Dans cette célèbre citation, Rumsfeld soulignait une lacune importante dans les connaissances de chacun. Parfois, nous ne savons pas ce que nous ne savons pas. Si nous pouvons nous préparer aux choses que nous savons ne pas savoir, nous ne pouvons pas nous préparer aux inconnues inconnues — à moins d’attendre l’inattendu.

Sans surprise, les inconnues inconnues posent également un problème à l’intelligence artificielle (IA). Cependant, l’IA est différente de l’homme en ce sens qu’elle ne peut pas s’attendre à l’inattendu. Pour une IA, tout doit être défini d’une manière compréhensible pour les ordinateurs, même l’inattendu. Mais ce qui est vraiment inattendu ne peut pas être défini d’une manière compréhensible par les ordinateurs.

L’incapacité à définir ce qui est vraiment inattendu est plus qu’une simple observation sur les systèmes d’IA. Il s’agit en fait d’un résultat mathématique profond capturé par la complexité de Kolmogorov : décrire un objet de la manière la moins redondante possible. La description la moins redondante d’un objet est le programme informatique le plus court qui puisse générer cet objet, et la longueur de ce programme correspond à la complexité de Kolmogorov de l’objet.

La complexité de Kolmogorov, dans son essence, est aussi une définition de l’inattendu. L’inattendu est ce qui est imprévisible. Cependant, si quelque chose est redondant, cela signifie qu’il est, dans une certaine mesure, prévisible. Par conséquent, ce qui est imprévisible, et donc inattendu, doit également ne pas être redondant.

La complexité de Kolmogorov d’un objet étant sa description la moins redondante, cette complexité décrit également le caractère inattendu d’un objet. Plus l’objet est imprévisible et inattendu, plus la complexité de Kolmogorov est grande.

Attendez une minute Eric…

Vous avez dit précédemment que l’inattendu ne pouvait pas être défini, mais ici vous venez de définir l’inattendu en termes de complexité de Kolmogorov ? C’est à n’y rien comprendre ?

Bonne remarque ! C’est là tout le paradoxe. On pourrait penser que, puisque nous pouvons définir l’inattendu mathématiquement avec la complexité de Kolmogorov, cela se traduit par une définition compréhensible pour les ordinateurs, puisqu’ils peuvent comprendre les mathématiques. Cependant, les ordinateurs ne peuvent pas comprendre toutes les mathématiques, comme l’a prouvé Gödel avec ses célèbres théorèmes d’incomplétude.

Le même problème se pose pour la complexité de Kolmogorov. Il s’agit d’une définition mathématique que les ordinateurs ne peuvent pas comprendre. La preuve est assez simple. Si nous pouvions mesurer la complexité de Kolmogorov à l’aide d’un programme informatique, alors nous pourrions également écrire un programme informatique qui génère un objet avec le degré de complexité de Kolmogorov que nous désirons. Toutefois, cela signifie également que nous pourrions écrire un programme capable de générer un objet avec une complexité de Kolmogorov supérieure à celle du programme lui-même. Or, puisque la complexité de Kolmogorov correspond à la longueur du programme le plus court générant un objet, cela constitue une contradiction. Par conséquent, les ordinateurs ne peuvent pas mesurer la complexité de Kolmogorov.

Cela signifie que l’IA sera toujours incapable de savoir si un objet est inattendu. Ainsi, contrairement aux humains, l’IA ne peut pas s’attendre à l’inattendu. Il s’agit là d’une capacité fondamentale que les humains possèdent et que l’IA n’a pas : la capacité de faire face aux inconnus inconnus de Rumsfield.

Un corollaire intéressant est que l’IA ne peut pas non plus être véritablement créative. La créativité consiste à créer quelque chose de tout à fait nouveau. Or, pour créer quelque chose de nouveau, un ordinateur doit également être capable d’augmenter sciemment la complexité de Kolmogorov, ce qui est manifestement impossible.

Eric Holloway est Senior Fellow au Walter Bradley Center for Natural & Artificial Intelligence. Il est titulaire d’un doctorat en ingénierie électrique et informatique de l’université Baylor. Capitaine dans l’armée de l’air américaine, il a servi aux États-Unis et en Afghanistan. Il est co-éditeur de Naturalism and Its Alternatives in Scientific Methodologies.

 
Texte original : https://mindmatters.ai/2024/11/what-computers-cant-know-the-unknown-unknowns/