Divergence de Kullback-LeiblerEn théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler (ou divergence K-L ou encore entropie relative) est une mesure de dissimilarité entre deux distributions de probabilités. Elle doit son nom à Solomon Kullback et Richard Leibler, deux cryptanalystes américains. Selon la NSA, c'est durant les années 1950, alors qu'ils travaillaient pour cette agence, que Kullback et Leibler ont inventé cette mesure. Elle aurait d'ailleurs servi à la NSA dans son effort de cryptanalyse pour le projet Venona.
Codage des caractèresvignette|alt=Carte rectangulaire beige clair avec dans le sens de la longueur 10 lignes constituées chacune d'une suite de chiffre identique, de 1 à 10. Des perforations verticales font disparaître certains de ces chiffres|Carte perforée à 80 colonnes, sur laquelle est codé le texte de programmation « CALL RCLASS (AAA, 21, NNC, PX3, PX4) ».
Divergence (analyse vectorielle)vignette|Les lignes bleues représentant les gradients de couleur, du plus clair au plus foncé. L'opérateur divergence permet de calculer, localement, la variation de ce gradient de couleur vignette|Illustration de la divergence d'un champ vectoriel, ici champ de vitesse converge à gauche et diverge à droite. En géométrie, la divergence d'un champ de vecteurs est un opérateur différentiel mesurant le défaut de conservation du volume sous l'action du flot de ce champ.
Théorème de la divergenceEn analyse vectorielle, le théorème de la divergence (également appelé théorème de Green-Ostrogradski ou théorème de flux-divergence), affirme l'égalité entre l'intégrale de la divergence d'un champ vectoriel sur un volume dans et le flux de ce champ à travers la frontière du volume (qui est une intégrale de surface). L'égalité est la suivante : où : est le volume ; est la frontière de est le vecteur normal à la surface, dirigé vers l'extérieur et de norme égale à l'élément de surface qu'il représente est continûment dérivable en tout point de ; est l'opérateur nabla ; (valable uniquement en coordonnées cartésiennes).
Code (information)vignette|redresse|Code morse international. En sciences et techniques, notamment en informatique et en théorie de l'information, un code est une règle de transcription qui, à tout symbole d'un jeu de caractères (alphabet source) assigne de manière univoque un caractère ou une chaîne de caractères pris dans un jeu de caractères éventuellement différent (alphabet cible). Un exemple est le code morse qui établit une relation entre lettres de l'alphabet latin et des séquences de sons courts et longs.
F-divergenceIn probability theory, an -divergence is a function that measures the difference between two probability distributions and . Many common divergences, such as KL-divergence, Hellinger distance, and total variation distance, are special cases of -divergence. These divergences were introduced by Alfréd Rényi in the same paper where he introduced the well-known Rényi entropy. He proved that these divergences decrease in Markov processes.
Divergence (statistiques)En statistiques, une divergence est une fonction ou une fonctionnelle qui mesure la dissimilarité d'une loi de probabilité par rapport à une autre. Selon le contexte, elles peuvent être définies pour des lois, des mesures positives (non-normalisées), des vecteurs (par exemple sur l'espace des paramètres si l'on considère un modèle paramétrique), ou encore des matrices. Les divergences sont analogues à des distances au carré et permettent de généraliser la notion de distance aux variétés statistiques, mais il s'agit d'une notion plus faible dans la mesure où elles ne sont en général pas symétriques et ne vérifient pas l'inégalité triangulaire.
Champ solénoïdalthumb|Champ solénoïdal En analyse vectorielle, un champ solénoïdal ou champ incompressible désigne un champ vectoriel dont la divergence est nulle, ou de manière équivalente dont le flot préserve le volume euclidien. L’incompressibilité fait référence à la conservation du volume.
Divergence de BregmanEn mathématiques, la divergence de Bregman est une mesure de la différence entre deux distributions dérivée d'une fonction potentiel U à valeurs réelles strictement convexe et continûment différentiable. Le concept a été introduit par en 1967. Par l'intermédiaire de la transformation de Legendre, au potentiel correspond un potentiel dual et leur différentiation donne naissance à deux systèmes de coordonnées duaux. Soit une fonction à valeurs réelles, strictement convexe et continûment différentiable définie sur un domaine convexe fermé .
Correction d'un algorithmeUn algorithme est correct s'il fait ce qu'on attend de lui. Plus précisément, rappelons qu'un algorithme est décrit par une spécification des données sur lesquelles l'algorithme va démarrer son calcul et une spécification du résultat produit par l'algorithme. Démontrer la correction de l'algorithme consiste à démontrer que l'algorithme retourne, quand il calcule en partant des données, un objet qui est un des résultats escomptés et qui satisfait la spécification du résultat comme énoncé dans la description de l'algorithme.
UTF-8UTF-8 (abréviation de l'anglais Universal Character Set Transformation Format - ) est un codage de caractères informatiques conçu pour coder l’ensemble des caractères du « répertoire universel de caractères codés », initialement développé par l’ISO dans la norme internationale ISO/CEI 10646, aujourd’hui totalement compatible avec le standard Unicode, en restant compatible avec la norme ASCII limitée à l'anglais de base, mais très largement répandue depuis des décennies.
Alternative terms for free softwareAlternative terms for free software, such as open source, FOSS, and FLOSS, have been a controversial issue among free and open-source software users from the late 1990s onwards. These terms share almost identical licence criteria and development practices. Free software In the 1950s to the 1990s software culture, the "free software" concept combined the nowadays differentiated software classes of public domain software, Freeware, Shareware and FOSS and was created in academia and by hobbyists and hackers.
Théorie de l'informationLa théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.
Preuve de travailUn système de validation par preuve de travail (en anglais : proof of work, PoW) est, en informatique, un protocole permettant de repousser, sur un environnement client-serveur, des attaques par déni de service ou d'autres abus de service tels que les spams. Ce système de preuve de travail est utilisé dans des cadres beaucoup plus complexes, pour la validation des transactions de la blockchain de certaines crypto-monnaies comme le Bitcoin. Cette vérification par les mineurs de bitcoins est récompensée par l'émission de nouveaux bitcoins au bénéfice des vérificateurs.
Transformeurvignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).
Open-source licenseOpen-source licenses facilitate free and open-source software (FOSS) development. Intellectual property (IP) laws restrict the modification and sharing of creative works. Free and open-source software licenses use these existing legal structures for the inverse purpose of granting freedoms that promote sharing and collaboration. They grant the recipient the rights to use the software, examine the source code, modify it, and distribute the modifications. These licenses target computer software where source code can be necessary to create modifications.
Démonstration constructiveUne première vision d'une démonstration constructive est celle d'une démonstration mathématique qui respecte les contraintes des mathématiques intuitionnistes, c'est-à-dire qui ne fait pas appel à l'infini, ni au principe du tiers exclu. Ainsi, démontrer l'impossibilité de l'inexistence d'un objet ne constitue pas une démonstration constructive de son existence : il faut pour cela en exhiber un et expliquer comment le construire. Si une démonstration est constructive, on doit pouvoir lui associer un algorithme.
ChoixUn choix résulte de la décision d'un individu ou d'un groupe confronté à une situation ou à un système offrant une ou plusieurs options. Le terme « choix » pouvant désigner le processus par lequel cette opération est menée à bien et/ou le résultat de ladite opération : en philosophie, la question de savoir si un individu effectue des choix librement ou est déterminé renvoie au problème de l'existence ou non du libre arbitre. De plus, l’expression « être un Renaud » prend de l’ampleur dans le langage utilisé par les 18-25ans.
Simulation de phénomènesLa simulation de phénomènes est un outil utilisé dans le domaine de la recherche et du développement. Elle permet d'étudier les réactions d'un système à différentes contraintes pour en déduire les résultats recherchés en se passant d'expérimentation. Les systèmes technologiques (infrastructures, véhicules, réseaux de communication, de transport ou d'énergie) sont soumis à différentes contraintes et actions. Le moyen le plus simple d'étudier leurs réactions serait d'expérimenter, c'est-à-dire d'exercer l'action souhaitée sur l'élément en cause pour observer ou mesurer le résultat.
Théorie des choix publicsLa théorie des choix publics, appelée aussi théorie des choix collectifs, est une théorie économique sur le rôle de l'État et le comportement politique des électeurs, des élus, des fonctionnaires et des groupes d'intérêts. Elle s'appuie sur une série de postulats empruntés à l'économie néoclassique (notamment celui de l'individualisme méthodologique et du choix rationnel) pour l'appliquer à la science politique : les décisions politiques ne résulteraient que de la somme de décisions individuelles, prises dans leur propre intérêt personnel par leurs auteurs.
