En 1874 paraît au Journal de Crelle une note de quatre pages où Georg Cantor, alors âgé de vingt-neuf ans et jeune professeur à l’université de Halle, établit la dénombrabilité de l’ensemble des nombres algébriques et la non-dénombrablité de l’ensemble des nombres réels. Cet article est révolutionnaire car, pour la première fois, l’infini est considéré non plus comme une limite inatteignable mais comme un possible objet d’investigation. L’héritage de ce travail est extraordinaire : non seulement il marque la naissance de la théorie des ensembles — en fait une théorie de l’infini — mais il contient déjà en germe le problème du continu qui a occupé toute la fin de la vie de Cantor et a été et continue d’être le moteur du développement de cette théorie. Un temps objet d’une fascination déraisonnable reposant sur un malentendu, celle-ci est aujourd’hui largement méconnue, alors même qu’apparaissent les premiers signes d’une possible résolution du problème du continu posé par Cantor.
Ce texte présente le contexte et le contenu de l’article de Cantor, puis évoque deux des principaux développements qui en sont issus, à savoir la construction des ordinaux transfinis, avec l’amusante application aux suites de Goodstein, et le problème du continu, y compris les contresens souvent rencontrés sur la signification des résultats de Gödel et Cohen, ainsi que les résultats récents de Woodin qui laissent entrevoir ce que pourrait être une solution future.
UNE PETITE NOTE ET DEUX RÉSULTATS SIMPLES
Georg Cantor naît en 1845 à Saint-Petersbourg, d’une mère russe et d’un père homme d’affaires allemand, d’origine juive mais converti au protestantisme. Il passe ses premières années en Russie. La famille revient en Allemagne quand Georg a onze ans, d’abord à Wiesbaden puis à Francfort. Cantor fréquente le lycée de Darmstadt, où ses dons en mathématiques sont remarqués, puis le Polytechnicum de Zurich en 1862, et, à partir de 1863, l’université de Berlin où il obtient l’équivalent d’un master en 1867.
En 1869, à l’âge de vingt-quatre ans, il soutient une thèse en théorie des nombres, reçoit son habi¬litation, et obtient un poste à l’université de Halle (Saxe-Anhalt). Là, sous l’influence de son collègue Eduard Heine (1821–1881), il se tourne vers l’analyse, principalement le problème de l’unicité de la représentation d’une fonction par série trigonométrique, qu’il résout positivement en 1870. La question continuera de jouer un grand rôle dans les réflexions de Cantor en arrière-plan de l’élaboration de la théorie des ensembles, notamment avec l’étude des ensembles dits d’unicité.
Figure 1: Georg Cantor jeune (à l’époque de l’article de 1874?)
À partir de 1872, Cantor entretient une correspondance avec Richard Dedekind (1831-1916), qui est son aîné de quatorze ans et vient de proposer la définition des nombres réels par coupures
(1). C’est dans ce contexte que Cantor s’intéresse aux questions qu’on appelle maintenant de dénombrabilité, c’est-à-dire à la possibilité de numéroter les éléments d’un ensemble. Le résultat fondamental dont on va parler plus loin, à savoir la non-dénombrabilité de l’ensemble des nombres réels, est annoncé pour la première fois dans une lettre à Dedekind datée du 7 décembre 1873. Il est publié l’année suivante au
Journal de Crelle, sous le titre « Über eine Eigenschaft des Inbegriffes aller reellen algebraischen Zahlen »
(2). Ce court article contient deux résultats portant sur la possibilité ou non de numéroter les nombres réels.
2. Un résultat positif...
Les nombres réels sont les coordonnées des points d’une droite. Ils incluent en particulier les nombres entiers 0, 1, 2,... et les nombres rationnels, de la forme p/q avec p,q entiers et q non nul. Ils incluent aussi beaucoup de nombres irrationnels. Un nombre réel (ou complexe) 
est dit algébrique s’il existe au moins une équation algébrique à coefficients entiers dont soit solution. Tout nombre entier est algébrique, puisque l’entier n est l’(unique) solution de l’équation x – n = 0. Tout nombre rationnel est algébrique, puisque le rationnel p/q est l’(unique) solution de l’équation qx – p = 0. Un exemple typique de nombre algébrique non rationnel est 
, qui est solution de l’équation x2-2=0. Il existe énormément de nombres algébriques : tout nombre réel pouvant être écrit à partir des nombres entiers à l’aide des opérations 
est algébrique, et il en existe encore bien d’autres puisque, depuis Abel, on sait qu’il existe des équations algébriques dont les solutions ne peuvent pas être exprimées à l’aide des opérations précédentes. Pourtant, Cantor démontre dans son texte :
Théorème 1
On peut numéroter les nombres algébriques.
Autrement dit : il n’existe pas plus de nombres algébriques que d’entiers naturels. La démonstration de Cantor n’est pas difficile.
3. ... et un résultat négatif
Par contre, si on considère la collection de tous les nombres réels, alors la situation est différente, et c'est le second résultat démontré par Cantor :
Théorème 2
On ne peut pas numéroter les nombres réels.
Cantor note que le rapprochement des théorèmes 1 et 2 permet de redémontrer l'existence de réels non algébriques, établie pour la première fois par Liouville en 1851.
4. En quoi ces résultats sont remarquables
L’infini apparaît dans les textes mathématiques dès l’Antiquité, mais il y apparaît en creux, comme une propriété négative (est infini ce qui n’est pas fini) et une limite inatteignable, mais non comme un objet d’étude en soi.
Vers le milieu du dix-neuvième siècle, une maturation s’est opérée et on commence à réfléchir sur l’infini en des termes plus mathématiques. Par exemple, dans un texte posthume intitulé « Paradoxien des Unendlichen » (« Paradoxes de l’infini ») paru en 1851, Bernhard Bolzano (1781–1848) observe qu’il y a autant d’éléments dans l’intervalle réel [0,5] que dans l’intervalle [0,12], et donc que, dans une collection infinie, une partie propre peut être aussi grosse que le tout — mais c’est ce qu’avait déjà fait Thâbit bin Qurrâ al-Harrânî (836–901) mille ans plus tôt. Pour autant, l’infini reste terra incognita et objet de nul résultat ou démonstration, ni même définition puisque la propriété rappelée ci-dessus ne sera explicitement proposée comme définition de l’infini que par Richard Dedekind vers 1888.
Ce qui est profondément novateur dans l’article de Cantor est le fait de démontrer des propriétés de l’infini. Ce que fait Cantor, c’est de démontrer le premier théorème sur l’infini, en l’occurrence qu’il existe non pas un infini, mais au moins deux : l’infini des nombres algébriques est le même que celui des nombres entiers, mais ce n’est pas le même que celui des nombres réels. Indépendamment de l’énoncé du résultat, qui n’est peut-être pas si important en soi, c’est la possibilité de son existence qui est novatrice : avec Cantor, l’infini devient objet d’étude. La lettre à Dedekind de décembre 1873 est donc le point de naissance d’une théorie mathématique complètement nouvelle, la théorie de l’infini — qui sera plutôt appelée la théorie des ensembles. Il est rare que le point de départ de ce qui deviendra un courant de pensée aussi important puisse être daté avec autant de précision.
Un point est remarquable. Cantor a intitulé son article « Sur une propriété de la collection des nombres algébriques », ce qui correspond au théorème 1, mais non au théorème 2, qui pourtant nous apparaît aujourd’hui comme le résultat le plus novateur. Comme le suggère Dauben
(3), on peut se demander si l’accent mis sur le résultat positif (on peut énumérer...) plutôt que sur le résultat négatif (on ne peut pas énumérer...) n’est pas une précaution de Cantor pour éviter le rejet de son article par Leopold Kronecker (1823–1891), alors éditeur du
Journal de Crelle et grand contempteur de l’infini et de toutes les spéculations qu’on appellerait aujourd’hui non effectives.
En 1891, dix-huit ans après l’article de 1874, Cantor publie une nouvelle démonstration du théorème 2, encore plus simple et frappante, et passée à la postérité comme la démonstration de référence. L’argument dit diagonal (4) qui est à la base de cette démonstration a des éléments communs avec une construction développée dès 1875 par Paul du Bois-Reymond (1831–1889), mais la combinaison d’une autoréférence et d’une négation, qui est le point décisif, apparaît semble-t-il pour la première fois chez Cantor. On sait que cet argument a eu une descendance extraordinaire, puisqu’il est l’ingrédient technique de base dans plusieurs des grands résultats de la logique du vingtième siècle, notamment le paradoxe de Russell, les théorèmes d’incom¬plétude de Gödel, la construction d’ensembles indécidables par Turing, et les théorèmes de hiérarchie en théorie de la complexité.
L’HÉRITAGE (1) : LES ORDINAUX
La descendance de l’article de Cantor est extraordinaire puisque c’est toute la théorie des ensembles et, de là, une part non négligeable des mathématiques du vingtième siècle qui peuvent s’y rattacher. Cette descendance peut être décrite en partant des travaux ultérieurs de Cantor. Toujours à Halle, où il devient professeur en 1879 à trente-quatre ans, Cantor s’intéresse de plus en plus à ce qui deviendra la théorie des ensembles et, entre 1879 et 1884, il publie dans les Mathematische Annalen une série de six articles qui forment le socle de cette théorie.
Figure 2 : Georg Cantor, probablement dans les années 1880.
Dans cet héritage, on distinguera ici deux thèmes principaux, le premier étant la possibilité de compter au-delà du fini, qui mène à la notion d’ordinal transfini.
6. Une théorie des nombres transfinis
Ce que montre Cantor, c’est que, une fois franchie la barrière conceptuelle qui rendait l’infini inaccessible, alors rien ne s’oppose à développer une arithmétique des nombres infinis — ou, plutôt, transfinis, c’est-à-dire au-delà du fini — qui ressemble beaucoup à l’arithmétique des nombres entiers et peut être utilisée en particulier pour des démonstrations par récurrence.
L’idée est de prolonger la suite des nombres entiers, c’est-à-dire de compter au-delà de 0,1,2,... . Pour ce faire, le principe placé par Cantor à la base de sa construction est une propriété bien connue pour les nombres entiers et qui se trouve au cœur des démonstrations par récurrence, à savoir que tout ensemble non vide a un plus petit élément. Ce qu’observe Cantor, c’est que, si on garde ce principe, alors il n’existe qu’une façon de prolonger la suite des entiers. Par exemple, il doit exister un plus petit nombre transfini plus grand que tous les entiers, et Cantor l’appelle ω. Ensuite, il doit exister un plus petit nombre transfini plus grand que ω, et Cantor l’appelle ω+1. Evidemment, viennent ensuite ω+2, ω+3, etc., puis un plus petit nombre transfini qui est plus grand que tous les ω+n et qu’on appelle ω+ω, ou encore ω×2. On continue avec ω×2+1, puis, un peu plus tard, ω×3, et ainsi de suite. Il existe un plus petit nombre transfini qui vient après tous les ω×n, et on le note ω×ω, ou encore ω2. Il n’y aucune raison de s’arrêter en si bon chemin, et on trouve encore plus tard ω3, ω4, puis ω
ω, puis
, et même un jour
, ... et encore bien d’autres nombres transfinis au-delà.
Ce que démontre Cantor — sans toutefois convaincre le très réticent Kronecker — c’est que la des¬cription ci-dessus n’est pas simplement une extrapolation gratuite et hasardeuse, mais un système cohérent pouvant être utilisé dans des démonstrations. Par exemple, lui-même l’utilise en 1883 dans l’étude des ensembles d’unicité pour démontrer au moyen d’une récurrence sur les nombres transfinis, et en même temps que le mathématicien suédois Ivar Bendixson (1861–1935), un résultat demeuré fameux sur la structure des sous-ensembles fermés de la droite réelle, à savoir que tout tel ensemble peut s’écrire comme réunion d’un ensemble dénombrable et d’un ensemble dont tous les points sont points d’accumulation.
7. Une application amusante des ordinaux à une démonstration mathématique.
Les nombres transfinis — aujourd’hui appelés ordinaux — sont un moyen puissant de démontrer des résultats mathématiques. Ce qui est intéressant, et peut paraître paradoxal, c’est que l’utilisation des ordinaux infinis permet parfois de démontrer des propriétés d’objets finis qui resteraient sinon inaccessibles. Un exemple spectaculaire est fourni par la convergence des suites de Goodstein en arithmétique. Il s’agit de suites d’entiers définies par une récurrence simple à partir de la notion de développement en base p itérée. Développer un entier n en base p consiste à décomposer n sous forme d’une somme décroissante
où les chiffres ci sont compris entre 1 et p – 1, et où les exposants ni sont des entiers, nécessairement strictement inférieurs à n. On peut alors exprimer les exposants ni eux-mêmes en base p, et itérer le processus. On appellera développement itéré de n en base p l’expression ainsi obtenue. Par exemple, le développement de 26 en base 2 est 2
4 + 2
3 + 2
1: le développement de 4 est 2², celui de 3 est 2
1+1, et, finalement, le développement itéré de 26 en base 2 est
Définition 1
(i) Pour q ≥ 2, on définit Tp,q : 
comme suit : Tp,q (n) est l’entier obtenu en remplaçant partout p par q dans le développement itéré de n en base p, et en évaluant le résultat. (ii) Pour chaque entier d, on définit la suite de Goodstein de base d comme la suite d’entiers g2 , g3 , … définie par g2 = d puis, inductivement, gP+1 = Tp,p+1 (gp) – 1 si gp est non nul, et gP+1 = 0 si gp est nul. Par exemple, partant de g2 = 26, on trouve
d’où g3 = 7625597485070. On recommence ensuite de même en remplaçant 3 par 4, et ainsi de suite. Il semble clair que la suite ainsi obtenue tend vers l’infini extrêmement vite. Et, pourtant, Reuben Goodstein (1912-1985) a démontré en 1942 le résultat suivant :
Théorème 3
Pour tout entier d, la suite de Goodstein de base d converge vers 0 : il existe un entier p vérifiant gp = 0.
Figure 3 : Démonstration du théorème de Goodstein : en bas, les entiers, en haut, leurs images chez les ordinaux infinis, qui gomment les changements de base ; ne restent alors que les -1 qui forcent la décroissance aussi longtemps que 0 n’est pas atteint.
Le point essentiel dans la démonstration précédente est l’existence de l’ordinal ω, c’est-à-dire l’existence d’un nombre transfini qui domine tous les entiers à la façon dont ω le fait, c’est-à-dire qui soit tel que la distance de 3 à ω soit la même que celle de 2 à ω.
Ce qui est remarquable est que le théorème 3, qui est un pur résultat d’arithmétique, au sens où son énoncé ne met en jeu que les entiers et leurs opérations élémentaires, et qu’on a démontré si simplement en utilisant les ordinaux infinis, ne peut pas être démontré sans faire appel à un tel outil. Précisément, s’appuyant sur une méthode développée par Paris et Harrington en 1978, Kirby et Paris ont démontré en 1981 que le théorème de Goodstein ne peut pas être démontré en utilisant seulement les axiomes du système de Peano, c’est-à-dire en restant dans le cadre de l’arithmétique usuelle. En un sens, ce résultat légitime la suspicion de Kronecker envers les méthodes de Cantor
(5) ; en un autre sens, il illustre la portée visionnaire de ces dernières.
8. Les ordinaux aujourd’hui
Plus d’un siècle plus tard, les tensions sont apaisées, les questions de fondement ont été éclaircies, et les ordinaux et la récurrence transfinie font partie de la palette des mathématiciens. Pour autant, à l’exception de la logique mathématique et de certaines parties de l’informatique théorique (terminaison des systèmes de réécriture) qui en font grand usage, force est de constater que ces outils, pourtant aussi élégants que puissants, restent assez peu utilisés dans le cœur des mathématiques — à quelques notables exceptions près comme le théorème de Martin sur la détermination des boréliens. Ceci n’est pas très étonnant dans la mesure où, finalement, les mathématiques ne font qu’un usage assez limité de l’infini actuel, c’est-à-dire d’un infini qui ne soit pas simplement la continuation indéfinie de la suite des entiers.
L’HÉRITAGE (2) : LE PROBLÈME DU CONTINU
L’autre héritage direct de l’article de 1874 est la théorie des cardinaux et son problè¬me central, le problème du continu, qui est la question de déterminer le cardinal de l’ensemble des nombres réels. Cantor a cherché pendant toute la suite de sa vie la solution au problème du continu. Resté à Halle — l’opposition de Kronecker l’empêcha de trouver un poste à Berlin — il continua à y développer sa théorie des ensembles, avec des résultats notables comme l’argument diagonal de 1891 ou le théorème de comparabilité des cardinalités de 1897, mais il ne résolut jamais le problème du continu. La fin de sa vie est assez triste. Bien que la portée scientifique de son œuvre ait été largement reconnue par ses pairs, sa vie à partir de 1884, et jusqu’à sa mort en 1918, a été assombrie par des polémiques scientifiques et surtout des épisodes dépressifs de plus en plus sévères qui ont entraîné de internements récurrents dans des institutions de soin.
Figure 4 : Georg Cantor, probablement aux alentours de 1900.
De son côté, le problème du continu est resté au cœur de la théorie des ensembles tout au long du vingtième siècle et aujourd’hui plus que jamais, à un moment où l’espoir d’une solution commence à se dessiner.
9. Une infinité d’infinis
Le théorème 2 a montré qu’il existe au moins deux infinis qu’on ne peut pas mettre en correspondance bijective, à savoir celui de l’ensemble N des entiers naturels et celui de l’ensemble R des nombres réels. Intuitivement donc, ces infinis n’ont pas la même taille, et le théorème 2 ouvre une nouvelle problématique qui est celle de comparer la taille des infinis.
Rapidement, dès 1878, Cantor a proposé de formaliser la comparaison des tailles dans les termes que nous utilisons toujours, à savoir l’existence de bijections et d’injections : on déclare qu’un ensemble A, fini ou infini, a la même taille (ou cardinalité) qu’un ensemble B s’il existe une bijection de A sur B ;de même, on déclare que A est de taille (ou de cardinalité) au plus celle de B s’il existe une injection de A dans B. Noter que, dans le cas d’ensembles finis, ces définitions correspondent bien à la comparaison usuelle des nombres d’éléments. En 1897, Cantor et, au même moment, Felix Bernstein (1878–1956) et Ernst Schröder (1841–1902) montreront que cette comparaison des cardinalités est un ordre total : s’il existe une injection de A dans B et une injection de B dans A, alors il existe une bijection de A sur B.
On notera que la théorie des cardinalités infinies se sépare rapidement de celle des ordinaux transfinis : alors que, pour les ensembles finis, compter et ordonner sont des tâches équivalentes, il n’en est pas de même pour les ensembles infinis. Précisément, il n’existe qu’un seul type d’ordre total sur un ensemble fini de cardinalité donnée, alors qu’il existe de multiples ordres totaux deux à deux non isomorphes sur un ensemble infini. Par exemple, du point de vue de la taille,
et
sont équivalents, alors que, munis de leurs ordres usuels, ils ne le sont pas.
Dans ce contexte, le théorème 2 affirme qu’il existe au moins deux cardinalités infinies distinctes. Cantor lui-même montrera un résultat beaucoup plus fort grâce à une forme de l’argument diagonal.
Théorème 4
L’ensemble des nombres entiers, son ensemble des parties, l’ensemble des parties de celui-ci, et ainsi de suite, sont deux à deux de tailles différentes.
On reconnaît dans la démonstration du théorème 4 les deux ingrédients de l’argument diagonal, à savoir la combinaison d’une autoréférence — utilisation simultanée de x et f(x) ici, comme celle des chiffres diagonaux ai,i dans la section 1 — et d’une négation — x 
f(x) ici, utilisation de ai,i * dans la section 1.
10. L’hypothèse du continu
Dès lors qu’il existe une infinité de cardinalités infinies différentes, une question évidente est de déterminer la position des cardinalités des ensembles les plus usuels,
et
. Pour ce qui est de la cardinalité de
, on voit facilement que c’est la plus petite des cardinalités infinies :
s’injecte dans tout ensemble infini
(6). D’après le théorème 2, la cardinalité de
est strictement plus grande que celle de
. Ce qu’on appelle le problème du continu
(7) , c’est précisément de déterminer quel infini est la cardinalité de
.
Dès 1877 — avant même d’avoir établi l’existence d’une infinité d’infinis et la comparabilité de ceux-ci — Cantor a prédit une solution au problème du continu, l’hypothèse du continu :
Toute partie infinie de
qui n’est pas en bijection avec
est en bijection avec
.
L’hypothèse du continu signifie qu’il n’existe aucun ensemble de taille strictement intermédiaire entre celles de
et de
, c’est-à-dire, en termes de cardinalités, que la cardinalité de
(le continu) est un successeur immédiat pour celle de
(le dénombrable).
Cantor n’a jamais réussi à démontrer (ou à réfuter) l’hypothèse du continu. Le seul résultat notable qu’il démontra sur le problème du continu est le théorème dit de Cantor–Bendixson sur la structure des fermés mentionné plus haut. Celui-ci entraîne facilement que tout sous-ensemble fermé infini de
qui n’est pas en bijection avec
est en bijection avec
entier : ainsi, on peut dire que les fermés satisfont à l’hypothèse du continu. Hélas, Cantor ne put jamais obtenir de résultat analogue pour des sous-ensembles plus compliqués de
— et les développements de la théorie des ensembles au vingtième siècle montrent qu’on était très loin à l’époque de disposer des moyens techniques de le faire.
Par contre, sans résoudre en rien la question, les travaux ultérieurs de Cantor permettent de donner du problème du continu la version symbolique concise sous laquelle il est souvent énoncé aujourd’hui. Le point de départ est un nouveau résultat fondamental de Cantor qui précise considérablement le théorème 4 et le théorème de Cantor–Bernstein–Schröder.
Théorème 5 (Cantor)
Il existe une suite de cardinalités indexée par les ordinaux 
telle que tout ensemble infini (8) admet pour cardinalité un (et un seul) des alephs (9).
Ainsi, non seulement il existe une infinité d’infinis, mais on a une description complète de la structure de cette famille des infinis, à savoir une suite bien ordonnée indexée par les ordinaux. Le théorème 5 montre en particulier que, pour chaque cardinalité k il existe une plus petite cardinalité strictement plus grande que k, ce qui n’a rien d’évident : il aurait très bien pu se faire a priori que l’ordre des cardinalités inclue des intervalles denses, comme l’ordre des nombres rationnels.
Dès lors,
est la cardinalité de
, et le problème du continu devient celui de déterminer quel aleph est la cardinalité de
. L’hypothèse du continu prend alors la forme simple card(
) = ,
puisque
est, par définition, le successeur immédiat de
dans la suite des alephs.
Par ailleurs, il est facile de définir une bijection (10) entre et 
, donc entre et l’ensemble des applications de dans {0,1}. Puisque la cardinalité de est , il est naturel de noter 
celle de 
, qui est donc aussi celle de . Avec ce formalisme, l’hypothèse du continu correspond à l’égalité
11. Le développement d’une discipline nouvelle
En 1900, David Hilbert (1862–1943) expose au Congrès International des Mathématiciens à Paris sa fameuse liste de vingt-trois problèmes pour les mathématiques du vingtième siècle, et place au premier rang la question de savoir si l’hypothèse du continu est vraie ou fausse. C’est le signe que les réticences sur l’usage de l’infini autrement que comme limite inatteignable ont été dépassées et que le caractère fondamental de l’œuvre de Cantor a été reconnu ; Hilbert décrit l’arithmétique transfinie de Cantor comme « le produit le plus étonnant de la pensée mathématique, et une des plus belles réalisations de l’activité humaine dans le domaine de l’intelligence pure ».
Les progrès directs sur le problème du continu ont été lents, car ils n’ont pu se produire qu’après le développement d’un substrat considérable. Dans la lignée du théorème de Cantor–Bendixson montrant que les fermés satisfont à l’hypothèse du continu, un résultat précoce est le théorème démontré en 1916, à l’âge de vingt ans, par Pavel Alexandroff (1896–1982) : les boréliens satisfont à l’hypothèse du continu
(11) . On sait maintenant que ce résultat est l’optimum de ce qui pouvait être établi à l’époque, et cette direction de recherche n’a pu être poursuivie qu’à partir des années 1970 avec le développement de ce qu’on appelle la théorie descriptive des ensembles modernes, à savoir l’étude fine des sous-ensembles de
.
La grande difficulté du problème du continu et, plus généralement, de toutes les questions mettant en jeu l’infini, et ce qui rendait pratiquement impossible une solution à l’époque de Cantor, était l’absence d’un cadre conceptuel à la fois précis et objet d’un consensus général pour élaborer une théorie et démontrer des résultats. Cantor a bien proposé une définition devenue classique de la notion d’ensemble « n’importe quelle collection M d’objets de notre pensée ou de notre intuition définis et séparés ; ces objets sont appelés éléments de M » — mais cela ne saurait suffire à préciser la règle du jeu, c’est-à-dire à déterminer d’où partir pour démontrer des propriétés des ensembles. Cantor lui-même a reconnu, en même temps que d’autres comme Cesare Burali-Forti (1861–1931) ou Bertrand Russell (1872–1970), les difficultés où mène l’imprécision de la notion d’objet défini, et ce n’est qu’à partir du début du vingtième siècle que ces points ont commencé à être éclaircis :ce qui importe au mathématicien n’est point de définir ce qu’est un ensemble, mais simplement d’obtenir un consensus sur la façon dont fonctionnent les ensembles, c’est-à-dire sur le point de départ à partir duquel démontrer des théorèmes. En 1908, Ernst Zermelo (1871–1953) a proposé un système axiomatique pour les ensembles, ultérieurement amendé en 1922 par Adolf Fraenkel (1891–1965), et ce système, connu sous le nom de système de Zermelo–Fraenkel ou système ZF s’est assez rapidement imposé comme un point de départ standard pour la théorie des ensembles, à la façon dont le système d’Euclide est un point de départ pour la géométrie du plan ou le système de Peano en est un pour l’arithmétique.
12. Deux résultats majeurs...
À partir du moment où un consensus était établi pour tenir le système ZF comme point de départ d’une théorie des ensembles, la première étape en direction d’une solution du problème du continu est de déterminer si l’hypo¬thèse du continu est ou non une conséquence des axiomes de ce système. Ce n’est pas le cas :Kurt Gödel (1906–1978) d’abord, puis, vingt-cinq ans plus tard, Paul Cohen (1934–2007), ont montré deux résultats négatifs :
Théorème 6 (Gödel, 1938)
Sauf si ceux-ci sont contradictoires (12), la négation de l’hypothèse du continu n’est pas conséquence des axiomes du système ZF.
Théorème 7 (Cohen, 1963)
Sauf si ceux-ci sont contradictoires, l’hypothèse du continu n’est pas conséquence des axiomes du système ZF.
Figure 5 : Kurt Gödel (à gauche) et Paul Cohen (à droite)
Les théorèmes de Gödel et de Cohen sont à juste titre considérés comme des étapes majeures. Leur démonstration a requis la mise en œuvre de moyens complètement nouveaux, méthode des modèles intérieurs dans le cas de Gödel, méthode du forcing dans celui de Cohen. Indépendamment des difficultés purement techniques (qui restent non négligeables, même avec le recul de plusieurs décennies), ces résultats ont nécessité un changement de point de vue complet sur la théorie des ensembles, analogue en bien des points à la révolution copernicienne ou à la découverte des géométries non euclidiennes puisqu’il s’agissait de passer de la vision d’un monde des ensembles unique à celle d’une multiplicité de mondes possibles.
13. ... et deux malentendus
La destinée de la théorie des ensembles n’a, dans la suite du vingtième siècle, guère été plus heureuse que la destinée personnelle de son créateur, Georg Cantor. Deux malentendus sont à l’origine de cette situation.
Le premier malentendu tient au succès-même de la théorie des ensembles. Ce que Zermelo a saisi probablement le premier
(13) , c’est la possibilité d’utiliser les ensembles comme base unique de la totalité de l’édifice mathématique. Précisément, on peut représenter comme ensembles les fonctions (Felix Hausdorff, 1918), puis les entiers (John von Neumann, 1923), et, de là, la quasi-totalité des objets mathématiques. Certes remarquable, ce résultat — mis en œuvre de façon systématique dans le traité de Bourbaki quelques années plus tard — a été pris pour bien plus que ce qu’il est, à savoir un résultat de codage (ou de coordinisation), analogue par exemple à la possibilité de coder les points d’un plan par un couple de nombres réels ou par un nombre complexe. Des épigones approximatifs ont vu un résultat ontologique là où il n’est question que de codage, et posé un dogme « tout est ensemble » faisant jouer à la théorie des ensembles un rôle de théorie du grand tout qu’elle ne revendique nullement :il est difficile à un mathématicien laïque de croire que l’entier 2 est l’ensemble {
,{
}}, puisqu’aucune intuition ne vient étayer une telle identité, et qu’aucune démonstration ne saurait en être donnée. Il était dès lors inévitable que l’engouement déraisonnable suscité par cette approche soit déçu et que les applications somme toute mineures de la théorie au reste des mathématiques entraînent un rejet à la mesure des espoirs initiaux. Les dérives pédagogiques des années 1960, directement issues d’une confusion entre « tout est représentable par des ensembles » et « tout est ensemble », n’ont évidemment pas redoré le blason d’une théorie méconnue et souvent imaginée comme la manipulation de diagrammes à bases d'ellipses et de croix aussi abstraits que vides de sens mathématique : la théorie des ensembles est la théorie de l’infini, et elle n’a que très peu à voir avec l’utilisation — au demeurant quotidienne et bien commode — du vocabulaire ensembliste élémentaire par tous les mathématiciens contemporains.
Le second malentendu tient à la signification des théorèmes de Gödel et Cohen. Le public cultivé, et bien des mathématiciens, en ont retenu que le problème du continu est un problème qui ne peut pas être résolu et restera ouvert pour l’éternité. Certains imaginent un mystérieux statut qui ne serait ni vrai, ni faux, ou alors serait intrinsèquement inconnaissable, ou encore dépourvu de tout sens véritable. Ce que disent les résultats de Gödel et Cohen est tout autre, et bien plus simple :ils disent, ou plutôt illustrent puisqu’on le savait déjà depuis les théorèmes d’incomplétude de Gödel, que le système ZF de Zermelo-Fraenkel est incomplet, lacunaire, qu’il n’épuise pas les propriétés des ensembles. Ce sur quoi existe un consensus quasiment général, c’est sur le fait que les axiomes de ZF expriment des propriétés des ensembles que notre intuition recommande de tenir pour vraies. Autrement dit, nous jugeons opportun de prendre ces axiomes comme point de départ et d’accepter comme valides leurs conséquences. Mais personne — en tout cas aucun spécialiste de théorie des ensembles — n’a jamais prétendu que les axiomes de ZF épuisent notre intuition des ensembles. L’exploration de cette notion est en cours, et il se peut très bien que, dans le futur, un consensus émerge sur l’opportunité d’ajouter de nouveaux axiomes, au fur et à mesure qu’on reconnaîtra comme pertinentes de nouvelles propriétés des ensembles et de l’infini. Ainsi les résultats de Gödel et Cohen ont ouvert le problème du continu bien plus qu’ils ne l’ont fermé.
Le problème du continu aujourd’hui
Près de cinquante ans après le résultat de Cohen, le problè¬me du continu n’est pas réglé, mais des progrès importants ont été effectués et il n’est pas exclu qu’une solution apparaisse dans un futur assez proche. Le développement majeur de la théorie des ensembles depuis les années 1970 a été l’émergence progressive, sur la base d’un corpus considérable de résultats convergents, d’un consensus quant à l’opportunité d’ajouter au système ZF des axiomes additionnels affirmant l’existence d’infinis de plus en plus grands — ce qui n’est qu’une itération naturelle de l’approche de Cantor. Ces axiomes, dits « de grands cardinaux », ont des formes techniques variées. Le plus important d’entre eux est aujourd'hui l’axiome DP dit de détermination projective. Essentiellement, il a été démontré par D. A. Martin, J. Steel, et H. Woodin dans les années 1980 que le système ZF+DP fournit une description aussi satisfaisante du monde des ensembles dénombrables que ce que le système ZF fournit pour le monde des ensembles finis, à savoir une description qui, en pratique et de façon heuristique, apparaît complète. Sur la base du système ZF+DP, il en est de même pour le niveau de complexité suivant, qui est celui de la topologie et de l’analyse dans les ensembles dits projectifs. Ce type de complétude heuristique suscite l’émergence d’un consensus pour ajouter l’axiome DP à ceux de ZF comme nouveau point de départ de la théorie des ensembles.
Figure 6 : le mathématicien Hugh Woodin (né en 1955)
La situation pour le niveau suivant dans l'échelle de complexité, qui est donc le niveau 2 si l'arithmétique est le niveau 0 et l'analyse projective le niveau 1, est moins claire. Pour le moment, il n'existe pas encore de consensus sur un ou des axiomes pouvant jouer pour le niveau 2 le rôle de l'axiome DP pour le niveau 1. Par contre, il existe déjà un résultat remarquable, démontré par H.Woodin en 2001, à savoir que tout axiome donnant pour le niveau 2 le type de description donné par ZF pour le niveau 0 et par ZF + DP pour le niveau 1 entraîne que l'hypothèse du continu est fausse. Ce résultat n'est pas encore la solution finale du problème du continu car, d'une part, le théorème de Woodin reste conditionné par une conjecture non complètement établie à ce jour et, d'autre part, il n'existe pas de consensus sur ce qu'on doit appeler exactement une description complète du niveau 2. Néanmoins, on a ici un résultat qui à la fois semble faire pencher la balance du côté de la fausseté de l'hypothèse du continu, et montre que des progrès très importants sont possibles sur le problème du continu. Il n'y a aucune raison de penser que celui-ci ne sera pas résolu dans le futur.
CONCLUSION
En un sens, le problème du continu est un point mineur des mathé¬matiques : peu d’applications dépendent vraiment de l’hypothèse du continu, et les seuls énoncés qui lui sont liés mettent en jeu des objets qui sont soit très grands, soit très compliqués, et sont à ce titre assez éloignés du cœur des mathématiques actuelles. C’est probablement l’une des raisons pour laquelle le problème du continu, premier sur la liste des problèmes de Hilbert en 1900, n’est plus mentionné un siècle plus tard dans la liste des problèmes du millénaire proposé par le Clay Institute
(14) où, dans la catégorie des problèmes de fondement, l’a remplacé le problème P = NP. D’un autre côté, ce problème reste toujours aussi fascinant par son côté fondamental et son énoncé si simple, et il a été et reste le moteur de la recherche en théorie des ensembles. Il est certain qu’on en saura plus dans cent ans, et l’auteur de ces lignes serait bien curieux de savoir où on en sera alors du problème du continu et de l’exploration de l’infini. Dans tous les cas, si quelque chose est certain, c’est bien le fait que Cantor, par sa note anodine de 1874, a ouvert un monde et donné pour des siècles du grain à moudre aux mathématiciens.
L’auteur remercie Pierre Ageron et Akihiro Kanamori pour les utiles précisions qu’ils lui ont apportées, ainsi que Jean Fichot qui lui a signalé la présence précoce d’une forme d’argument diagonal dans les travaux de Paul du Bois-Reymond. Ce texte fait suite à la conférence « Un texte, un mathématicien » tenue sur ce même sujet par l’auteur à la BnF le mercredi 18 mars 2009, et a été adapté à BibNum par Alexandre Moatti.
(1) Une coupure est une partition de l’ensemble des nombres rationnels en deux sous-ensembles A et B tels que tout élément de A est plus petit que tout élément de de B ; Dedekind montre que l’ensemble des coupures se comporte exactement comme ce qu’on attend de l’ensemble des nombres réels, la coupure (A,B) représentant l’unique réel coincé entre A et B ; par conséquent, on peut utiliser les coupures comme une construction des nombres réels.
(2) « Sur une propriété de la collection de tous les nombres algébriques ».
(3) J.W. Dauben, Georg Cantor : His mathematics and Philosophy of the Infinite, Cambridge, Mass. 1979; réédition 1990.
(4) L’argument diagonal consiste à prendre ci-dessous le nombre constitué des décimales de type a
n,n.
(5) Kronecker n’aurait certainement pas été rassuré d’apprendre que le plus petit entier
p pour lequel le
p-ième terme de la suite de Goodstein de base 4 vaut zéro est 3x2
402653211-2.
(6) En termes modernes, il faut au moins une forme faible de l’axiome du choix pour pouvoir affirmer ceci ; ces questions somme toute mineures n’interviendront que plus tard, et n’affectent pas vraiment la théorie cantorienne des cardinaux qui est, principalement, une théorie des ensembles bien ordonnables, c’est-à-dire une théorie où l’axiome du choix est valide.
(7) À l’époque de Cantor, l’ensemble des nombres réels est appelé
le continu.
(8) Ici encore, il convient de préciser « tout ensemble bien ordonnable » pour tenir compte des problèmes de choix.
(9) 
est la première lettre, aleph, de l’alphabet hébraïque
(10) On peut par exemple associer à chaque réel compris entre 0 et 1 la suite di de 0 et de 1 de son développement en base 2, puis à cette suite la partie de N composée des indices où cette suite vaut 1 (si di = 1, i est dans la partie de N, ; si di = 0, i n’est pas dans la partie de N).
(11) Mais Alexandroff, déçu de n’avoir pas résolu le problème du continu, devint producteur de théâtre et ne revint aux mathématiques que des années plus tard
(12) La précaution oratoire est nécessaire, car le second théorème d’incomplétude de Gödel empêche qu’on puisse établir le caractère non-contradictoire du système
ZF ; il est donc impossible d’écarter
a priori l’hypothèse que ce système soit contradictoire.
(13) Il ne semble pas que Cantor ait anticipé cet aspect du développement de la théorie des ensembles.
Sur les fondements de la théorie des ensembles transfinis, trad. fcse. 1899, réédition Jacques Gabay 1989 et 2005 (lien) (en ligne Gallica)
« Über eine Eigenschaft des Inbegriffes aller reellen algebraischen Zahlen », Journal für die reine und angewandte Mathematik, Volume 77, p. 258-262, 1874, Berlin (Bibliothèque numérique de Göttingen GDZ, lien)
« Über eine elementare Frage der Mannigfaltigkeitslehre », Jahresbericht der Deutschen Mathematischen Vereinigung, Volume I, 1890-1891, p. 75-78 (Bibliothèque numérique de Göttingen GDZ , lien)
Conférence Patrick Dehornoy à la BnF « Un texte, un mathématicien », 18 mars 2009, présentation (PDF).
Patrick Dehornoy, Complexité et décidabilité, Springer-Verlag 2003.
Luis Paris, « Les tresses : de la topologie à la cryptographie », Images des mathématiques, CNRS, 11 janvier 2009 (lien)
