Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Évoluer vers des données massives: Fondements de l'étincelle

Dans cours

CS-401: Applied data analysis

This course teaches the basic techniques, methodologies, and practical skills required to draw meaningful insights from a variety of data, with the help of the most acclaimed software tools in the data science world (pandas, scikit-learn, Spark, etc.) ...

Description

Cette séance de cours couvre les fondamentaux de l'échelle vers des données massives à l'aide de Spark, en mettant l'accent sur les DDR, les transformations, les actions, l'architecture Spark, et la boîte à outils d'apprentissage automatique de Spark. Il explique les défis du big data, le matériel nécessaire et les solutions fournies par Spark. La séance de cours présente également Spark SQL et Spark Machine Learning Toolkit (MLlib), des exemples de régression logistique. Il met l'accent sur l'importance de comprendre les DDR et les cadres de données et donne des renseignements sur les capacités de Spark à traiter les données à grande échelle.

Enseignant·e·s (2)

Robert West

Robert West is a tenure-track assistant professor of computer science at EPFL, where he heads the Data Science Lab. In his research, he develops and applies techniques in machine learning, computational social science, natural language processing, social network analysis, and data mining. Bob also collaborates closely with the Wikimedia Foundation, in his role as a Wikimedia Research Fellow. Bob’s work has won several awards, including best/outstanding paper awards at ICWSM’21, ICWSM’19, and WWW’13, a best-paper runner-up award at WWW’16, a Google Faculty Research Award, a Facebook Research Award, a Hewlett-Packard Graduate Fellowship, and a Facebook Graduate Fellowship. He is actively involved in the research community, e.g., as an Associate Editor of ICWSM and EPJ Data Science and as a co-founder of the Wiki Workshop (held at WWW and ICWSM) and the Applied Machine Learning Days. Bob received his PhD in Computer Science from Stanford University, his MSc from McGill University, Canada, and his undergraduate degree from Technische Universität München, Germany.[Last updated: 25 Aug 2021]

Maria Brbic

Maria Brbic is an assistant professor in computer science at EPFL. Prior to joining EPFL, Maria was a postdoctoral researcher in Computer Science at Stanford University working with Jure Leskovec. She received her PhD degree from University of Zagreb in 2019, while also researching at Stanford University and University of Tokyo. Her research was awarded with the Fulbright Scholarship, L’Oreal UNESCO for Women in Science Scholarship, Branimir Jernej award for outstanding publication in biology and biomedicine, and Josip Loncar Silver Plaque award for the best doctoral dissertation. She has been named a Rising Star in EECS by MIT in 2021. Her research is focused on developing new machine learning methods and applying her methods to advance biomedical research.

Source officielle

Concepts associés (32)

Apache Spark

Spark (ou Apache Spark) est un framework open source de calcul distribué. Il s'agit d'un ensemble d'outils et de composants logiciels structurés selon une architecture définie. Développé à l'université de Californie à Berkeley par AMPLab, Spark est aujourd'hui un projet de la fondation Apache. Ce produit est un cadre applicatif de traitements des mégadonnées (big data) pour effectuer des analyses complexes à grande échelle. En 2009, Spark fut conçu par lors de son doctorat au sein de l'université de Californie à Berkeley.

Régression logistique

En statistiques, la régression logistique ou modèle logit est un modèle de régression binomiale. Comme pour tous les modèles de régression binomiale, il s'agit d'expliquer au mieux une variable binaire (la présence ou l'absence d'une caractéristique donnée) par des observations réelles nombreuses, grâce à un modèle mathématique. En d'autres termes d'associer une variable aléatoire de Bernoulli (génériquement notée ) à un vecteur de variables aléatoires . La régression logistique constitue un cas particulier de modèle linéaire généralisé.

Multinomial logistic regression

In statistics, multinomial logistic regression is a classification method that generalizes logistic regression to multiclass problems, i.e. with more than two possible discrete outcomes. That is, it is a model that is used to predict the probabilities of the different possible outcomes of a categorically distributed dependent variable, given a set of independent variables (which may be real-valued, binary-valued, categorical-valued, etc.).

Régression linéaire

En statistiques, en économétrie et en apprentissage automatique, un modèle de régression linéaire est un modèle de régression qui cherche à établir une relation linéaire entre une variable, dite expliquée, et une ou plusieurs variables, dites explicatives. On parle aussi de modèle linéaire ou de modèle de régression linéaire. Parmi les modèles de régression linéaire, le plus simple est l'ajustement affine. Celui-ci consiste à rechercher la droite permettant d'expliquer le comportement d'une variable statistique y comme étant une fonction affine d'une autre variable statistique x.

Matrice d'une application linéaire

En algèbre linéaire, la matrice d'une application linéaire est une matrice de scalaires qui permet de représenter une application linéaire entre deux espaces vectoriels de dimensions finies, étant donné le choix d'une base pour chacun d'eux. Soient : E et F deux espaces vectoriels sur un corps commutatif K, de dimensions respectives n et m ; B = (e, ... , e) une base de E, C une base de F ; φ une application de E dans F.

Afficher plus

Séances de cours associées (52)

Scaling up : Spark et Big Data

Explore les défis du traitement des données volumineuses et présente Spark en tant que solution.

Régression logistique : prédiction de la végétation

Explore la régression logistique pour prédire les proportions de la végétation dans la région amazonienne grâce à l'analyse des données de télédétection.

Régression linéaire généralisée : classification

Explorer la régression linéaire généralisée, la classification, les matrices de confusion, les courbes ROC et le bruit dans les données.

Modèles linéaires pour la classification

Explore des modèles linéaires pour la classification, la régression logistique et la descente en gradient dans l'apprentissage automatique.

Régression linéaire généralisée

Explore la régression linéaire généralisée, la régression logistique et la classification multiclasses dans l'apprentissage automatique.

Afficher plus

Concepts associés (32)

Apache Spark

Régression logistique

Multinomial logistic regression

Régression linéaire

Matrice d'une application linéaire

Afficher plus