Brillouin fait le lien rigoureux entre l'entropie mathématique de Shannon et l'entropie statistique de Boltzmann en physique, et donne une signification physique à la notion de néguentropie (entropie négative) qu'il introduit.
Dans ce texte fondateur de la théorie de l’information, Shannon définit la notion de communication, la fonde sur celle de probabilité, définit le terme bit comme mesure logarithmique de l’information, ainsi que la notion d’entropie informatique (par analogie avec celle de Boltzmann en...