Quantities of informationThe mathematical theory of information is based on probability theory and statistics, and measures information with several quantities of information. The choice of logarithmic base in the following formulae determines the unit of information entropy that is used. The most common unit of information is the bit, or more correctly the shannon, based on the binary logarithm.
Codage entropiqueLe codage entropique (ou codage statistique à longueur variable) est une méthode de codage de source sans pertes, dont le but est de transformer la représentation d'une source de données pour sa compression ou sa transmission sur un canal de communication. Les principaux types de codage entropique sont le codage de Huffman et le codage arithmétique. Le codage entropique utilise des statistiques sur la source pour construire un code, c'est-à-dire une application qui associe à une partie de la source un mot de code, dont la longueur dépend des propriétés statistiques de la source.
Shannon (unité)Le shannon est une unité de mesure logarithmique de l'information. L'unité est égale à l'information contenue dans un bit dont la valeur est imprévisible et les deux valeurs également probables. 1 Sh ≈ 0,693 nat ≈ 0,301 . La quantité d'information contenue dans un message est ainsi le nombre de bits minimal pour le transmettre ; soit le logarithme en base 2 du nombre de possibilités de messages différents dans le même code. La compression de données consiste à rapprocher le nombre de bits du nombre de shannons.
Communications systemA communications system or communication system is a collection of individual telecommunications networks systems, relay stations, tributary stations, and terminal equipment usually capable of interconnection and interoperation to form an integrated whole. The components of a communications system serve a common purpose, are technically compatible, use common procedures, respond to controls, and operate in union. Telecommunications is a method of communication (e.g., for sports broadcasting, mass media, journalism, etc.
TélécommunicationsLes télécommunications sont définies comme la transmission d’informations à distance en utilisant des technologies électronique, informatique, de transmission filaire, optique ou électromagnétique. Ce terme a un sens plus large que son acception équivalente officielle « communication électronique ». Elles se distinguent ainsi de la poste qui transmet des informations ou des objets sous forme physique.
InterférenceEn mécanique ondulatoire, les interférences sont la combinaison de deux ondes susceptibles d'interagir. Ce phénomène apparaît souvent en optique avec les ondes lumineuses, mais il s'obtient également avec des ondes électromagnétiques d'autres longueurs d'onde, ou avec d'autres types d'ondes comme des ondes sonores. À savoir aussi, le phénomène d'interférence se produit uniquement lors de la combinaison de deux ondes de même fréquence. L' onde se modélise par une fonction , étant la position dans l'espace et t étant le temps.
Entropie différentielleDifferential entropy (also referred to as continuous entropy) is a concept in information theory that began as an attempt by Claude Shannon to extend the idea of (Shannon) entropy, a measure of average (surprisal) of a random variable, to continuous probability distributions. Unfortunately, Shannon did not derive this formula, and rather just assumed it was the correct continuous analogue of discrete entropy, but it is not. The actual continuous version of discrete entropy is the limiting density of discrete points (LDDP).
Théorème du codage de canalEn théorie de l'information, le théorème du codage de canal aussi appelé deuxième théorème de Shannon montre qu'il est possible de transmettre des données numériques sur un canal bruité avec un taux d'erreur arbitrairement faible si le débit est inférieur à une certaine limite propre au canal. Ce résultat publié par Claude Shannon en 1948 est fondé sur des travaux antérieurs de Harry Nyquist et Ralph Hartley. La première preuve rigoureuse fut établie par Amiel Feinstein en 1954.
Énergie (physique)En physique, l'énergie est une grandeur qui mesure la capacité d'un système à modifier un état, à produire un travail entraînant un mouvement, un rayonnement électromagnétique ou de la chaleur. Dans le Système international d'unités (SI), l'énergie s'exprime en joules et est de dimension . Le mot français vient du latin vulgaire energia, lui-même issu du grec ancien / enérgeia. Ce terme grec originel signifie « force en action », par opposition à / dýnamis signifiant « force en puissance » ; Aristote a utilisé ce terme , pour désigner la réalité effective en opposition à la réalité possible.
Canal de communication (théorie de l'information)vignette En théorie de l'information, un canal de communication ou canal de transmission est un support (physique ou non) permettant la transmission d'une certaine quantité d'information, depuis une source (ou émetteur) vers un destinataire (ou récepteur). Souvent, le canal altère l'information transmise, par exemple en ajoutant un bruit aléatoire. La quantité d'information qu'un canal de communication peut transporter est limitée : on parle de capacité du canal.
Interférence inter-symboleEn télécommunications, une interférence inter-symbole (en anglais, intersymbol interference ou ISI) est une forme de distorsion d'un signal qui a pour effet que le symbole transmis précédemment affecte le symbole actuellement reçu. C'est en principe un effet non désiré car l'effet du symbole précédent agit comme du bruit, ce qui rend la communication moins fiable. Il existe des solutions pour réduire les interférences inter-symboles par exemple l'algorithme de Viterbi, l'OFDM et l'OFDMA.
Loi normaleEn théorie des probabilités et en statistique, les lois normales sont parmi les lois de probabilité les plus utilisées pour modéliser des phénomènes naturels issus de plusieurs événements aléatoires. Elles sont en lien avec de nombreux objets mathématiques dont le mouvement brownien, le bruit blanc gaussien ou d'autres lois de probabilité. Elles sont également appelées lois gaussiennes, lois de Gauss ou lois de Laplace-Gauss des noms de Laplace (1749-1827) et Gauss (1777-1855), deux mathématiciens, astronomes et physiciens qui l'ont étudiée.
