Jouons ensemble à pile ou face ! (Dans une variante que je vais appeler "Jeu de Saint-Petersbourg")
Les règles sont simples : Lancez une pièce de monnaie non truquée.
Si pile sort, je vous donne 2 euros et le jeu s'arrête. Si face sort, relancez la pièce.
Si pile sort alors, je vous donne 4 euros et le jeu s'arrête. Si face sort, relancez la pièce.
Si pile sort alors, je vous donne 8 euros et le jeu s'arrête. Si face sort, relancez la pièce.
Et ainsi de suite.
Si pile sort au n-ième lancer, je vous donnerai 2n euros.

Bon, évidement, ce jeu n'est pas gratuit, je ne jette pas l'argent par les fenêtres... Combien pensez-vous qu'il est raisonnable de miser pour jouer à un tel jeu ?
Hors de question que vous m'arnaquiez, il faudrait que la somme miser rende le jeu équitable pour vous comme moi moi : La question autrement posée : combien gagne t-on en moyenne à ce jeu ? Ca sera la mise du jeu !

Combien gagne-t-on, en moyenne ?
Avant de faire le calcul effectif de ce que l'on peut espérer de ce jeu, on peut déjà faire une simulation.

Stpeters

Les résultats expérimentaux sont formels : on ne peut pas vraiment conclure à partir d'eux ! Il semble que plus on fait de partie, plus la moyenne des gains est grande. (On s'attend à ce que plus le nombre de simulation est grand, plus la moyenne observée s'approche de la moyenne théorique - d'après la loi des grands nombres). Réfléchissons plutôt.

Si la pièce n'est pas truquée, on a toujours exactement 1 chance sur 2 de faire pile.
La probabilité de gagner 2 euros, c'est celle de faire pile du premier coup, donc 1 chance sur 2.
La probabilité de gagner 4 euros, c'est celle de faire dans l'ordre face-pile. Une chance sur deux pour le premier lancé, une chance sur 2 pour le deuxième. En multipliant les deux, on trouve bien une chance sur 4. (Le résultat du premier lancé n'influence en rien le résultat du suivant)
Et ainsi de suite :
2€ : P -> 1 chance sur 2
4€ : FP -> 1 chance sur 4
8€ : FFP -> 1 chance sur 8
16€ : FFFP -> 1 chance sur 16
On généralise rapidement :
Pour avoir 2n euros, il faut faire (n-1) fois face, puis pile, donc 1 chance sur 2n.

Pour connaitre la moyenne de gain d'un jeu, il faut calculer la moyenne de ce que l'on peut gagner pondéré par leur probabilité d'apparaitre.
Prenons l'exemple d'une roulette classique où l'on miserai 10 euros. On a 18 chances sur 37 de gagner (gain  :+10) et 19 chances sur 37 de perdre (gain : -10). L'espérance de gain de ce jeu se calcule comme ceci :
E = 18/37 × 10  +  19/37 × (-10) =  -0.27.
En moyenne, on perd 27 centimes à chaque fois que l'on mise 10 euros à la roulette, ce jeu n'est donc pas équitable. Pour qu'il le soit, il faudrait que le casino nous donne 27 centimes à chaque fois que l'on joue.

Dans le cas de notre jeu de Saint-Petersbourg, les choses sont moins évidentes, puisque la somme sera infinie (Le nombre de face avant le premier pile peut être aussi grand que l'on peut l'imaginer).
On peut donc espérer gagner :
E = 1/2 × 2  +  1/4 × 4  +  1/8 × 8  + ... = 1 + 1 + 1 + ...
Donc, l'espérance de gain du jeu, c'est 1+1+1+..., c'est à dire ∞ !
Pour que le jeu soit équitable (et donc, que je ne me fasse pas arnaquer), il faudrait que vous misiez une somme d'euros infinie ! Contrairement à n'importe quel jeu de casino, le joueur ressort gagnant -en moyenne- à chaque fois qu'il se tente au jeu de Saint-Petersbourg.

(À noter qu'en jouant avec une pièce truquée où pile sort plus souvent que face, on se retrouve avec une espérance de gain entière, rendant le jeu exploitable par un casino - par exemple, si la probabilité de faire pile est de 2 chance sur 3, on trouve par les calculs que l'espérance de gain est de 4 €!)

Petite pause historique :
Ce paradoxe, appelé paradoxe de Saint-petersbourg, nous vient de Nicolas Bernoulli, résidant à Saint-Petersbourg quand il écrit une lettre à un ami pour parler de ce problème. Le problème fut réétudié par son neveu, Daniel Bernouilli. À noter que chez les Bernoulli, on était mathématicien de pères en fils : 8 sur 3 générations !

Explication du paradoxe
Reste que malgré tout, personne de saint d'esprit n'acceptera de miser 100 euros pour un tel jeu... Pourquoi donc un tel paradoxe ?

Il y a une explication : je n'ai pas assez d'argent sur mon compte pour vous y faire jouer !
Plaçons nous dans un univers parallèle où faire des maths peut rendre riche, et que je dispose donc d'un peu plus d'un millions d'euros à mettre en jeu .
Les règles du jeu restent les mêmes, sauf sur un point : si vous faites 19 fois face à suivre, le jeu s'arrête quand même, et je vous donne 1 048 576 €. (Parce que si vous faites face une 20e fois, je n'aurai pas assez d'argent en stock pour vous payer).
La probabilité de faire 19 face à suivre (qui est la même que de faire 18 face et un pile à suivre) est de 1 chance sur 524 288 (219)
La probabilité de gagner 524 288 € est de 1/524 288.
La probabilité de gagner 1 048 576 € est de 1/524 288.
On ne peut pas gagner plus, contrairement au jeu original.
On peut à nouveau calculer l'espérance de gain du jeu :
E = 1/2 ×2  +  1/4 ×4  +    1/8 ×8  +  ... +   1/524 288 ×524 288  +  1/524 288 × 1 048 576
    = 21 €
Dans cette variante du jeu, il faudra débourser 21 € pour jouer, ce qui est déjà plus raisonnable ! (Avec une telle mise, la probabilité d'être remboursé de sa mise est de 6,25%, ce qui reste très peu !)
La clé du paradoxe vient de l'hypothèse irréaliste que je dispose une somme infinie d'argent que vous pourriez gagner.

D'un point de vue psychologique, le paradoxe vient du fait que l'on se fixe inconsciemment une limite dans les gains possibles. Avec 1024 euros gagné à un tel jeu (Pile survenant au 10e coup), on sera tout à fait heureux, on a envie de gagner plus seulement parce qu'on sait que l'on pourrait gagner plus ; en soi, 1024 euros est une somme tout à fait heureuse ! Voilà pourquoi on se dit que 10€ est une somme raisonnable à jouer, même si le calcul dit l'inverse !
C'est là dessus que Daniel Bernoulli a écrit sa théorie sur la mesure du risque, à la base des théories d'aversion au risque, en économie. (Qui peut se résumer par le fait que l'on préfère un petit gain sûr à un gros gain risqué)

Tout ça pour répondre à cette question que l'on se pose souvent entre 19h et 20h  :
« Mais pourquoi est-ce qu'il a pris son joker "Appel au public" alors qu'il avait la réponse ?! »


Sources :
Le paradoxe de Saint-Petersbourg, sur ChronoMath (Sur lequel j'ai récupéré le script)