Les fondements de la théorie de l'information

La théorie de l'information, formalisée par Claude Shannon en 1948 avec son article « A Mathematical Theory of Communication », constitue une pierre angulaire des sciences de la communication, de l'informatique et des télécommunications. Son objectif principal est de quantifier l'information et d'établir les limites fondamentales de sa transmission, de son stockage et de son traitement. Plutôt que de s'intéresser au sens des messages, elle se concentre sur leur aspect statistique et probabiliste, traitant l'information comme une mesure de la réduction d'incertitude.

Au cœur de cette théorie se trouve le concept d'information, défini de manière quantitative. L'information apportée par un événement est inversement proportionnelle à sa probabilité d'occurrence : un événement rare porte plus d'information qu'un événement fréquent. Mathématiquement, la quantité d'information I(p) d'un événement de probabilité p est donnée par I(p) = -log₂(p). Cette définition conduit naturellement à l'entropie de Shannon, qui est la quantité moyenne d'information par symbole issue d'une source d'information.

L'entropie est cruciale car elle quantifie l'imprévisibilité d'une source. Une source avec une entropie élevée est plus « riche » en information car ses symboles sont moins prévisibles. À l'inverse, une faible entropie indique une forte redondance, c'est-à-dire que certains symboles sont plus probables et donc moins « informatifs ». La redondance est une caractéristique importante : si elle peut sembler inutile, elle est en fait essentielle pour la robustesse de la communication, permettant la détection et la correction d'erreurs lors de la transmission à travers des canaux bruités.

La théorie de l'information aborde également les problématiques de codage. Le codage de source (ou compression de données) vise à réduire la redondance d'une source pour la représenter avec le moins de bits possible sans perte d'information. Des algorithmes comme le codage de Huffman sont des exemples classiques qui attribuent des codes plus courts aux symboles fréquents et des codes plus longs aux symboles rares, s'approchant ainsi de la borne d'entropie.

Le codage de canal, quant à lui, a pour but de protéger l'information contre les erreurs introduites par le bruit lors de la transmission. Cela implique d'ajouter délibérément de la redondance (codes correcteurs d'erreurs) afin que le récepteur puisse détecter et, si possible, corriger les erreurs. Des codes comme les codes de Hamming ou les codes convolutifs sont des illustrations de ces techniques.

Un concept central est celui de la capacité d'un canal, notée C. Il s'agit du débit maximal auquel l'information peut être transmise de manière fiable à travers un canal donné. Shannon a démontré que, même en présence de bruit, il est possible de transmettre de l'information avec un taux d'erreur arbitrairement faible tant que le débit de transmission n'excède pas la capacité du canal. Le célèbre théorème de Shannon-Hartley fournit la formule de la capacité pour un canal de communication à bande passante limitée et soumis à un bruit gaussien additif blanc (AWGN).

Où C est la capacité du canal en bits par seconde, B est la bande passante en Hertz, S est la puissance moyenne du signal et N est la puissance moyenne du bruit. Ce théorème est d'une importance capitale car il établit une limite supérieure théorique à la performance de tout système de communication, quel que soit le schéma de modulation ou de codage utilisé. Il ne dit pas comment atteindre cette capacité, mais qu'elle est atteignable en principe.

En conclusion, la théorie de l'information a profondément transformé notre compréhension de la communication en la réduisant à ses principes fondamentaux mathématiques. Elle a fourni les outils pour concevoir des systèmes de communication et de stockage de données plus efficaces et robustes, des technologies mobiles aux réseaux internet, en passant par les disques durs et les CD. Ses applications s'étendent bien au-delà de l'ingénierie, influençant des domaines aussi variés que la linguistique, la biologie (séquençage de l'ADN), la physique statistique et l'apprentissage automatique, où la notion d'information et d'entropie est omniprésente.