Couvre les mesures d'information telles que l'entropie, la divergence Kullback-Leibler et l'inégalité de traitement des données, ainsi que les noyaux de probabilité et les informations mutuelles.
Explore la théorie de l'information traditionnelle, la compression des données, la transmission des données et les lemmas de représentation fonctionnelle dans les systèmes en réseau.
Explore les arbres de décision pour la classification, l'entropie, le gain d'information, l'encodage à chaud, l'optimisation de l'hyperparamètre et les forêts aléatoires.
Explore les variables aléatoires, les densités de probabilité, la distribution gaussienne et les probabilités conditionnelles dans les systèmes de mesure.
Couvre les concepts de micro-états et de macro-états en thermodynamique, en se concentrant sur l'entropie et ses implications pour les systèmes isolés.
