Démontrer des théorèmes, c'est pas si compliqué que ça : on part de ce que l'on sait (des propositions déjà démontrées, qui s'appuient sur d'autres propositions démontrées [...] qui s'appuient sur les axiomes) et on utilise les règles d'inférence (le mode d'emploi des démonstrations, les règles de raisonnement autorisées). En étant suffisamment malin, on devrait pouvoir réussir à démontrer tout ce qui est vrai, et réfuter tout ce qui est faux...

Tout ? Non ! Il reste une poignée d'irréductibles propositions, impossible à démontrer ! Leur bannière, c'est le théorème de Gödel !

Au commencement...
300 ans avant Jésus-Christ, Euclide rédigeait le premier grand traité de mathématiques. Un livre rassemblant toutes les connaissances mathématiques de l'époque (géométriques et arithmétiques), chacunes démontrées de façon rigoureuse. Les règles d'inférences n'étaient pas encore bien connues (elles ne le seront qu'au XIXe siècle) mais chaque nouveaux théorème s'appuient sur les précédents, pour bâtir un édifice mathématique solide. Les fondations de la partie géométrique, ce sont les 5 axiomes d'Euclide :
- Par deux points passent un unique segment
- Tout segment est prolongeable en une droite
- On peut construire un cercle depuis tout point et de n'importe quel rayon donné
- Tous les angles droits sont égaux
- Le cinquième axiome

Le cinquième axiome, connu sous le nom "d'axiome des parallèles", peut s'énoncer de la façon suivante :

Par un point extérieur à une droite d passe une unique droite ne coupant pas la droite d

(On appelle ça une droite parallèle)

Avec ce cinquième axiome, Euclide savait qu'il touchait quelque chose de difficile. C'est le moins naturel des ces 5 axiomes, et Euclide attend le dernier moment pour l'utiliser. Si peu naturel que de nombreux mathématiciens s'étaient mis en tête de le démontrer à partir des 4 axiomes précédents.

Pour essayer de démontrer cet axiome, Lobatchevski (en 1840) a tenté la démonstration par l'absurde. On part du principe qu'il peut y avoir plusieurs parallèles différentes passant par un même point, et on regarde ce qu'il se passe. Si on trouve une contradiction, c'est que l'axiome était faux.
Malheureusement, Lobatchevski n'a pas réussit à aboutir à la moindre contradiction. Pire : il venait d'inventer une nouvelle géométrie, la géométrie hyperbolique, un endroit où les triangles peuvent avoir des angles nuls !

Une géométrie non-euclidienne, où des triangles monstres existent, cela ne plait pas vraiment... Il fallait tout faire pour montrer qu'une telle géométrie aboutirait à des contradictions !

Cela a été fait en 1868 par Beltrani en 1968, mais le théorème n'a pas du plaire à tout le monde : la géométrie hyperbolique est consistante (N'amène à aucune contradiction) si et seulement si la géométrie euclidienne l'est. Autrement dit, si on accepte la géométrie euclidienne, on doit accepter les autres géométries. La conséquence, c'est que l'axiome des parallèles est indémontrable, Euclide avait bien fait de le placer parmi ses axiomes !

Un énoncé est dit indécidable si on ne peut ni le prouver, ni l'infirmer. L'axiome des parallèles, vis à vis des autres axiomes d'Euclide est un indécidable de la théorie ! Une théorie dans laquelle il n'existe aucun énoncé indécidable est dit complet.

Le théorème de Gödel
Oublions un peu la géométrie, et regardons un peu l'arithmétique, formalisée par Peano. Elle contient 5 axiomes, décrivant comment deux entiers peuvent être égaux. Avec la formalisation, on peut écrire des énoncés comme "Il existe une infinité de nombres premiers" ou "Il n'existe pas d'entiers x, y et z strictement positif tel xn+yn=zn, avec n>2" (alias théorème de Fermat). Le premier énoncé est vrai, et démontrable parfaitement dans l'arithmétique de Peano. Le second est également vrai (puisque Wiles l'a démontré en 1994), mais est-il démontrable sans dépasser le cadre de l'arithmétique (Puisque Wiles l'a démontré dans un cadre plus grand, celui des ensembles) ? La question est ouverte !

Les peurs de la non-démontrabilité de Fermat sont tout à fait fondées, à cause du théorème de Gödel, donné en 1931 :

Dans toute théorie non-contradictoire suffisamment puissante pour formaliser l'arithmétique, il existe des énoncés indécidable

Cet énoncé est un théorème : qu'on le veuille ou non, il y a des trous dans l'arithmétique proposée par Peano, ou dans la théorie des ensembles proposées par Zermelo et Frankel (la théorie ZF, dans laquelle on retrouve celle de Peano) !

Pour démontrer son théorème, Gödel pousse le vice jusqu'à donner une façon explicite de fabriquer des énoncés indécidable. En partant d'un système formel S, il code une formule F qui dit "Je ne suis pas prouvable dans S", formule indécidable ! Cette démonstration constructive permet à un ordinateur de construire lui-même des énoncés indémontrables.

Conséquences
En donnant une démonstration constructive, Gödel s'est un peu tiré une balle dans le pied : se poser des questions auto-référentes de ce genre ("Je mens" ?), c'est simplement un travail de logiciens. Les mathématiciens puristes doivent alors se rassurer : puisqu'on a jamais d'énoncés aussi tordus, on ne devrait pas vraiment tomber sur ce genre de problèmes d'indécidabilité...

Enfin, tout ça, c'était avant que l'on cherche vraiment... Des énoncés indécidables, on peut en trouver des tas !

Dans l'arithmétique de Peano, il y a notamment :
- Le suites de Goodstein tendent vers (voir ici)
- Hercule contre l'hydre
- Les arbres de Kruskal : "Toute suite correcte d'arbres (un arbre de la suite n'est jamais sous-arbre d'un arbre placé plus loin) de type n (le 1er arbre possède moins de n branche, le 2e moins n+1 branches, etc.) est toujours finie."

Pour démontrer ces théorèmes, il faut utiliser les ordinaux, pur fruit de la théorie de ZF, inconnu chez Peano. Pourtant, les théorèmes peuvent clairement être énoncés sans faire appel à des notions d'infinis ou d'ensembles ! Ces énoncés ne sont donc pas si indécidables que ça, puisqu'il suffit d'agrandir un peu la théorie pour effacer toutes les traces d'indécidabilité.

Le deuxième gros secteur à être enclin à l'indécidabilité est celle de la théorie du calcul, qui se pose des questions du genre "Quelle est la probabilité qu'un programme s'arrête". Dans cette théorie où la machine de Turing règne en maitre, il n'est pas rare de voir des énoncés indécidables. C'est même d'ailleurs bien rare d'en voir des décidables !

Des exemples d'indécidables dans la théorie des ensembles sont moins nombreux, et aucun résultat important ne tombe dans les trous logiques causés par Gödel... Enfin, on l'espère, puisqu'il n'est pas impossible que parmi les grandes conjectures (nombres premiers jumeaux, Goldbach, Riemann...), certaines soient indécidables (vis à vis de Peano ou de ZF)...

On peut faire un parallèle avec l'axiome du choix (Qui d'ailleurs est indécidable vis à vis des autres axiomes) qui amène son lot de monstres mathématiques, mais qui, dans la pratique, ne pose jamais de problèmes : le théorème de Gödel amène son lot d'énoncés monstres, mais qui n'arrivent jamais dans la pratique, puisqu'il suffit généralement de passer de Peano à ZF pour effacer les problèmes, et que la théorie de la calcul  n'est qu'une affaire de codage, et n'intéresse que les logiciens ou les informaticiens. Jusqu'au jour où...

Axiome du choix, théorème de Gödel... Les débats sont loin d'être terminés.

"95% des mathématiciens se moquent éperdument de ce que peuvent faire tous les logiciens et tous les philosophes" [Jean Dieudonné]


Sources :
Les propositions indécidables - Pour la science N°265, novembre 1999
Promenade au pays des indécidables - Pour la science N°266, décembre 1999