Entropie de ShannonEn théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.
Entropie (thermodynamique)L'entropie est une grandeur physique qui caractérise le degré de désorganisation d'un système. Introduite en 1865 par Rudolf Clausius, elle est nommée à partir du grec , littéralement « action de se retourner » pris au sens de « action de se transformer ». En thermodynamique, l'entropie est une fonction d'état extensive (c'est-à-dire, proportionnelle à la quantité de matière dans le système considéré). Elle est généralement notée , et dans le Système international d'unités elle s'exprime en joules par kelvin ().
Théorie de l'informationLa théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.
Hydrographic surveyHydrographic survey is the science of measurement and description of features which affect maritime navigation, marine construction, dredging, offshore oil exploration and drilling and related activities. Strong emphasis is placed on soundings, shorelines, tides, currents, seabed and submerged obstructions that relate to the previously mentioned activities. The term hydrography is used synonymously to describe maritime cartography, which in the final stages of the hydrographic process uses the raw data collected through hydrographic survey into information usable by the end user.
Sondage (statistique)Un sondage est une méthode statistique visant à évaluer les proportions de différentes caractéristiques d'une population à partir de l'étude d'une partie seulement de cette population, appelée échantillon. Les proportions sont déterminées avec des marges d'erreur, dans lesquelles se situent les proportions recherchées avec telle ou telle probabilité. Par métonymie, le mot sondage désigne également le document présentant les résultats de l'étude par sondage. Les sondages les plus connus du grand public portent sur des populations humaines.
Entropie de RényiL'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .
Entropie croiséeEn théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .
Sondage (sciences sociales)Un sondage en sciences sociales est l'application de la technique des sondages à une population humaine. Le sondage est un outil de mesure quantitative qui vise à donner une image juste d'un phénomène social inaccessible à la simple perception du chercheur qui souhaite l'appréhender. Ces points sont à peu près évidents intuitivement. La fréquence d'apparition d'un caractère dans un échantillon donne une idée sur cette fréquence dans la population mais seulement une idée imprécise.
Ordnance Survey[[Fichier:Grays Thurrockmap 1946.jpg|thumb|Carte de lOrdnance Survey de 1946.]] L’Ordnance Survey (ou « Service cartographique de l'État''' ») est une agence exécutive et un département non-ministériel du gouvernement du Royaume-Uni chargé de la cartographie du pays. Il produit des cartes uniquement pour la Grande-Bretagne, ainsi que pour l'île de Man (l'Irlande du Nord est couverte par une autre agence, L'Ordnance Survey of Northern Ireland). C'est l’équivalent de l’IGN français.
Survey samplingIn statistics, survey sampling describes the process of selecting a sample of elements from a target population to conduct a survey. The term "survey" may refer to many different types or techniques of observation. In survey sampling it most often involves a questionnaire used to measure the characteristics and/or attitudes of people. Different ways of contacting members of a sample once they have been selected is the subject of survey data collection.
Information mutuelleDans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit. L'information mutuelle d'un couple de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre.
Écriture bicaméraleUne écriture bicamérale est une écriture comprenant des lettres minuscules et des lettres capitales. Plus précisément, elle oppose deux œils de format (ou « casse ») — et parfois de tracé — différents pour chaque caractère. Par opposition, une écriture dans laquelle il n’existe pas une telle opposition est dite monocamérale ou unicamérale. On appelle les lettres des minuscules, tandis que les lettres d’un format plus grand, utilisées dans certains cas régis par la grammaire et l’orthotypographie, sont les majuscules (à ne pas confondre avec capitales).
Arbre de décision (apprentissage)L’apprentissage par arbre de décision désigne une méthode basée sur l'utilisation d'un arbre de décision comme modèle prédictif. On l'utilise notamment en fouille de données et en apprentissage automatique. Dans ces structures d'arbre, les feuilles représentent les valeurs de la variable-cible et les embranchements correspondent à des combinaisons de variables d'entrée qui mènent à ces valeurs. En analyse de décision, un arbre de décision peut être utilisé pour représenter de manière explicite les décisions réalisées et les processus qui les amènent.
Codage entropiqueLe codage entropique (ou codage statistique à longueur variable) est une méthode de codage de source sans pertes, dont le but est de transformer la représentation d'une source de données pour sa compression ou sa transmission sur un canal de communication. Les principaux types de codage entropique sont le codage de Huffman et le codage arithmétique. Le codage entropique utilise des statistiques sur la source pour construire un code, c'est-à-dire une application qui associe à une partie de la source un mot de code, dont la longueur dépend des propriétés statistiques de la source.
Accouplement assortatifL'accouplement assortatif (également appelé accouplement assortatif positif ou homogamie ) est une stratégie d'accouplement et une forme de sélection sexuelle dans lesquels des individus ayant des phénotypes similaires s'accouplent plus fréquemment que ce qui pourrait être attendu dans un modèle d'accouplement aléatoire. Quelques exemples de phénotypes similaires sont la taille du corps ou la coloration ou la pigmentation de la peau. L'accouplement assortatif peut augmenter la parenté génétique au sein de la famille et est l'inverse de l'accouplement désassortatif.
Entropy (statistical thermodynamics)The concept entropy was first developed by German physicist Rudolf Clausius in the mid-nineteenth century as a thermodynamic property that predicts that certain spontaneous processes are irreversible or impossible. In statistical mechanics, entropy is formulated as a statistical property using probability theory. The statistical entropy perspective was introduced in 1870 by Austrian physicist Ludwig Boltzmann, who established a new field of physics that provided the descriptive linkage between the macroscopic observation of nature and the microscopic view based on the rigorous treatment of large ensembles of microstates that constitute thermodynamic systems.
Principe d'entropie maximaleLe principe d'entropie maximale consiste, lorsqu'on veut représenter une connaissance imparfaite d'un phénomène par une loi de probabilité, à : identifier les contraintes auxquelles cette distribution doit répondre (moyenne, etc) ; choisir de toutes les distributions répondant à ces contraintes celle ayant la plus grande entropie au sens de Shannon. De toutes ces distributions, c'est en effet celle d'entropie maximale qui contient le moins d'information, et elle est donc pour cette raison la moins arbitraire de toutes celles que l'on pourrait utiliser.
Mécanique newtonienneLa mécanique newtonienne est une branche de la physique. Depuis les travaux d'Albert Einstein, elle est souvent qualifiée de mécanique classique. La mécanique classique ou mécanique newtonienne est une théorie physique qui décrit le mouvement des objets macroscopiques lorsque leur vitesse est faible par rapport à celle de la lumière. Avant de devenir une science à part entière, la mécanique a longtemps été une section des mathématiques. De nombreux mathématiciens y ont apporté une contribution souvent décisive, parmi eux des grands noms tels qu'Euler, Cauchy, Lagrange.
Entropy as an arrow of timeEntropy is one of the few quantities in the physical sciences that require a particular direction for time, sometimes called an arrow of time. As one goes "forward" in time, the second law of thermodynamics says, the entropy of an isolated system can increase, but not decrease. Thus, entropy measurement is a way of distinguishing the past from the future. In thermodynamic systems that are not isolated, local entropy can decrease over time, accompanied by a compensating entropy increase in the surroundings; examples include objects undergoing cooling, living systems, and the formation of typical crystals.
Survey data collectionWith the application of probability sampling in the 1930s, surveys became a standard tool for empirical research in social sciences, marketing, and official statistics. The methods involved in survey data collection are any of a number of ways in which data can be collected for a statistical survey. These are methods that are used to collect information from a sample of individuals in a systematic way. First there was the change from traditional paper-and-pencil interviewing (PAPI) to computer-assisted interviewing (CAI).
