Attention (machine learning)Machine learning-based attention is a mechanism mimicking cognitive attention. It calculates "soft" weights for each word, more precisely for its embedding, in the context window. It can do it either in parallel (such as in transformers) or sequentially (such as recursive neural networks). "Soft" weights can change during each runtime, in contrast to "hard" weights, which are (pre-)trained and fine-tuned and remain frozen afterwards. Multiple attention heads are used in transformer-based large language models.
Opérateur de transfertEn mathématiques, l'opérateur de transfert encode l'information d'une application itérée et est fréquemment utilisé pour étudier le comportement des systèmes dynamiques, de la mécanique statistique, du chaos quantique et des fractales. L'opérateur de transfert est quelquefois appelé l'opérateur de Ruelle, en l'honneur de David Ruelle, ou l'opérateur de Ruelle-Perron-Frobenius faisant référence à l'applicabilité du théorème de Perron-Frobenius pour la détermination des valeurs propres de l'opérateur.
Convergence uniformeLa convergence uniforme d'une suite de fonctions est une forme de convergence plus exigeante que la convergence simple. La convergence devient uniforme quand toutes les suites avancent vers leur limite respective avec une sorte de « mouvement d'ensemble ». Dans le cas de fonctions numériques d'une variable, la notion prend une forme d'« évidence » géométrique : le graphe de la fonction f se « rapproche » de celui de la limite. Soient X un ensemble, (Y, d) un espace métrique, et A un sous-ensemble de X.
Loi normaleEn théorie des probabilités et en statistique, les lois normales sont parmi les lois de probabilité les plus utilisées pour modéliser des phénomènes naturels issus de plusieurs événements aléatoires. Elles sont en lien avec de nombreux objets mathématiques dont le mouvement brownien, le bruit blanc gaussien ou d'autres lois de probabilité. Elles sont également appelées lois gaussiennes, lois de Gauss ou lois de Laplace-Gauss des noms de Laplace (1749-1827) et Gauss (1777-1855), deux mathématiciens, astronomes et physiciens qui l'ont étudiée.
Convergence simpleEn mathématiques, la convergence simple ou ponctuelle est une notion de convergence dans un espace fonctionnel, c’est-à-dire dans un ensemble de fonctions entre deux espaces topologiques. C'est une définition peu exigeante : elle est plus facile à établir que d'autres formes de convergence, notamment la convergence uniforme. Le passage à la limite possède donc moins de propriétés : une suite de fonctions continues peut ainsi converger simplement vers une fonction qui ne l'est pas.
Convergence de variables aléatoiresDans la théorie des probabilités, il existe différentes notions de convergence de variables aléatoires. La convergence (dans un des sens décrits ci-dessous) de suites de variables aléatoires est un concept important de la théorie des probabilités utilisé notamment en statistique et dans l'étude des processus stochastiques. Par exemple, la moyenne de n variables aléatoires indépendantes et identiquement distribuées converge presque sûrement vers l'espérance commune de ces variables aléatoires (si celle-ci existe).
Méthode de Monte-Carlo par chaînes de MarkovLes méthodes de Monte-Carlo par chaînes de Markov, ou méthodes MCMC pour Markov chain Monte Carlo en anglais, sont une classe de méthodes d'échantillonnage à partir de distributions de probabilité. Ces méthodes de Monte-Carlo se basent sur le parcours de chaînes de Markov qui ont pour lois stationnaires les distributions à échantillonner. Certaines méthodes utilisent des marches aléatoires sur les chaînes de Markov (algorithme de Metropolis-Hastings, échantillonnage de Gibbs), alors que d'autres algorithmes, plus complexes, introduisent des contraintes sur les parcours pour essayer d'accélérer la convergence (Monte Carlo Hybride, Surrelaxation successive).
Loi de Cauchy (probabilités)La loi de Cauchy, appelée aussi loi de Lorentz, est une loi de probabilité continue qui doit son nom au mathématicien Augustin Louis Cauchy. Une variable aléatoire X suit une loi de Cauchy si sa densité , dépendant des deux paramètres et ( > 0) est définie par : La fonction ainsi définie s'appelle une lorentzienne. Elle apparaît par exemple en spectroscopie pour modéliser des raies d'émission. Cette distribution est symétrique par rapport à (paramètre de position), le paramètre donnant une information sur l'étalement de la fonction (paramètre d'échelle).
Suite récurrente linéaireEn mathématiques, on appelle suite récurrente linéaire d’ordre p toute suite à valeurs dans un corps commutatif K (par exemple R ou C ; on ne se placera que dans ce cas dans cet article) définie pour tout par une relation de récurrence linéaire de la forme où , , ... sont p scalaires fixés de K ( non nul). Une telle suite est entièrement déterminée par la donnée de ses p premiers termes et par la relation de récurrence. Les suites récurrentes linéaires d’ordre 1 sont les suites géométriques.
Loi stableLa loi stable ou loi de Lévy tronquée, nommée d'après le mathématicien Paul Lévy, est une loi de probabilité utilisée en mathématiques, physique et analyse quantitative (finance de marché). On dit qu'une variable aléatoire réelle est de loi stable si elle vérifie l'une des 3 propriétés équivalentes suivantes : Pour tous réels strictement positifs et , il existe un réel strictement positif et un réel tels que les variables aléatoires et aient la même loi, où et sont des copies indépendantes de .
Linear recurrence with constant coefficientsIn mathematics (including combinatorics, linear algebra, and dynamical systems), a linear recurrence with constant coefficients (also known as a linear recurrence relation or linear difference equation) sets equal to 0 a polynomial that is linear in the various iterates of a variable—that is, in the values of the elements of a sequence. The polynomial's linearity means that each of its terms has degree 0 or 1.
Suite définie par récurrenceEn mathématiques, une suite définie par récurrence est une suite définie par son (ou ses) premier(s) terme(s) et par une relation de récurrence, qui définit chaque terme à partir du précédent ou des précédents lorsqu'ils existent. Une relation de récurrence est une équation dans laquelle l'expression de plusieurs termes de la suite apparait, par exemple : ou ou ou si l'on se place dans les suites de mots sur l'alphabet : Si la relation de récurrence a une « bonne » présentation, cela permet de calculer l'expression du terme d'indice le plus élevé en fonction de l'expression des autres.
