Machine Learning non linéaire : les voisins les plus proches et l’expansion des fonctionnalités

Cette séance de cours traite de la transition entre les modèles d'apprentissage automatique linéaires et non linéaires, en se concentrant sur l'algorithme k-NN (k-Nearest Neighbors) et les techniques d'expansion des fonctionnalités. Linstructeur commence par un résumé des modèles linéaires, expliquant leur structure et les algorithmes qui les utilisent, tels que les moindres carrés, la régression logistique et les machines vectorielles de soutien. La séance de cours présente ensuite l'algorithme k-NN, en mettant l'accent sur son approche intuitive de la classification des données en fonction de la proximité des échantillons d'entraînement. L'instructeur illustre comment k-NN peut traiter les données non linéaires et discute de ses propriétés, y compris la sensibilité aux valeurs aberrantes et l'importance de la fonction de distance utilisée. Le concept d’expansion des fonctionnalités est également exploré, démontrant comment la transformation des données d’entrée en dimensions supérieures peut les rendre séparables linéairement. La séance de cours se termine par une discussion sur les défis du choix du bon degré polynomial pour l'expansion des fonctionnalités et présente l'idée des méthodes du noyau comme solution à ces défis.