Entropie de RényiL'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .
Ordre denseLa notion dordre dense est une notion de mathématiques, en lien avec la notion de relation d'ordre. Un ensemble ordonné (E, ≤) est dit dense en lui-même, ou plus simplement dense, si, pour tout couple (x, y) d'éléments de E tels que x < y il existe un élément z de E tel que x < z < y. Par exemple, tout corps totalement ordonné est dense en lui-même alors que l'anneau Z des entiers relatifs ne l'est pas.
Sciences de l'information et de la communicationthumb|Schéma simpliste de la transmission linéaire de l'information dans la communication (paradigme mécaniste) Les sciences de l'information et de la communication (SIC) forment un champ de recherches universitaires, connu sous ce nom en France, Belgique, Suisse, Algérie et au Maroc. Au Québec, on se réfère aux études en « Communication » ou « Science de l'information ». Créée en France au cours du , en écho aux américaines ou à la allemande, cette nouvelle discipline se fonde sans que les chercheurs qui y participent ne partagent un paradigme commun.
StatistiqueLa statistique est la discipline qui étudie des phénomènes à travers la collecte de données, leur traitement, leur analyse, l'interprétation des résultats et leur présentation afin de rendre ces données compréhensibles par tous. C'est à la fois une branche des mathématiques appliquées, une méthode et un ensemble de techniques. ce qui permet de différencier ses applications mathématiques avec une statistique (avec une minuscule). Le pluriel est également souvent utilisé pour la désigner : « les statistiques ».
Models of communicationModels of communication are simplified representations of the process of communication. Most models try to describe both verbal and non-verbal communication and often understand it as an exchange of messages. Their function is to give a compact overview of the complex process of communication. This helps researchers formulate hypotheses, apply communication-related concepts to real-world cases, and test predictions. Despite their usefulness, many models are criticized based on the claim that they are too simple because they leave out essential aspects.
Frequentist probabilityFrequentist probability or frequentism is an interpretation of probability; it defines an event's probability as the limit of its relative frequency in many trials (the long-run probability). Probabilities can be found (in principle) by a repeatable objective process (and are thus ideally devoid of opinion). The continued use of frequentist methods in scientific inference, however, has been called into question. The development of the frequentist account was motivated by the problems and paradoxes of the previously dominant viewpoint, the classical interpretation.
Alphabet phénicienL'alphabet phénicien (appelé par convention alphabet protocananéen pour les inscriptions antérieures à 1200 av. J.-C.) est un ancien abjad, un alphabet consonantique non pictographique. Il était utilisé pour l'écriture des langues cananéennes et en particulier du phénicien, langue sémitique utilisée par la civilisation phénicienne. Il s'agit d'un abjad, car il ne note que les sons consonantiques (une mater lectionis a été utilisée pour certaines voyelles dans des variétés tardives).
Montenegrin alphabetThe Montenegrin alphabet is the collective name given to "Abeceda" (Montenegrin Latin alphabet) and "Азбука" (Montenegrin Cyrillic alphabet), the writing systems used to write the Montenegrin language. It was adopted on 9 June 2009 by the Montenegrin Minister of Education, Sreten Škuletić and replaced the Serbian Cyrillic and Gaj's Latin alphabets in use at the time.
Entropie de ShannonEn théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.
Entropie croiséeEn théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .
Information quantiqueLa théorie de l'information quantique, parfois abrégée simplement en information quantique, est un développement de la théorie de l'information de Claude Shannon exploitant les propriétés de la mécanique quantique, notamment le principe de superposition ou encore l'intrication. L'unité qui est utilisée pour quantifier l'information quantique est le qubit, par analogie avec le bit d'information classique.
Théorie de l'informationLa théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.
