Séance de cours

Spark SQL: Schéma, Optimisation et UDF

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-422: Database systems

This course is intended for students who want to understand modern large-scale data analysis systems and database systems. It covers a wide range of topics and technologies, and will prepare students to be able to build such systems as well as read and und ...

Description

Cette séance de cours couvre la deuxième génération de modèles d'exécution pour l'informatique distribuée, mettant l'accent sur Spark SQL. Il introduit le Spark Unified Stack, l'interface de programmation Spark SQL, les cadres de données, les opérateurs DataFrame et les principes d'optimisation. L'instructeur explique le processus d'optimisation, y compris l'optimisation logique et physique, et l'utilisation des Règles Catalyst. En outre, il se décline en fonctions définies par l'utilisateur (UDF) et leur optimisation, mettant en évidence les avantages de Spark SQL par rapport au SQL traditionnel.

Cette vidéo est disponible exclusivement sur Mediaspace pour un public restreint. Veuillez vous connecter à Mediaspace pour y accéder si vous disposez des autorisations nécessaires.

Regarder sur Mediaspace

Enseignant·e

Anastasia Ailamaki

Expertise SystÃ¨mes de gestion de bases de donnÃ©es, applications scientifiques, architecture des ordinateurs Enseignement et PhD Doctorant·es actuel·les Hamish Nicholson, Anna Herlihy, Yi Jiang, Eleni Zapridou, Georgiy Konstantinovich Lebedev, Ioanna Tsakalidou A dirigé les thèses EPFL de Farhan Tauheed, Radu Ioan Stoica, Manos Athanassoulis, Pinar Tözün, Adrian Daniel Popescu, Ioannis Alagiannis, Renata Borovica-Gajic, Danica Porobic, Iraklis Psaroudakis, Manos Karpathiotakis, Matthaios Alexandros Olma,

Source officielle

Concepts associés (31)

Interface utilisateur

L’interface utilisateur est un dispositif matériel ou logiciel qui permet à un usager d'interagir avec un produit informatique. C'est une interface informatique qui coordonne les interactions homme-machine, en permettant à l'usager humain de contrôler le produit et d'échanger des informations avec le produit. Parmi les exemples d’interface utilisateur figurent les aspects interactifs des systèmes d’exploitation informatiques, des logiciels informatiques, des smartphones et, dans le domaine du design industriel, les commandes des opérateurs de machines lourdes et les commandes de processus.

User interface design

User interface (UI) design or user interface engineering is the design of user interfaces for machines and software, such as computers, home appliances, mobile devices, and other electronic devices, with the focus on maximizing usability and the user experience. In computer or software design, user interface (UI) design primarily focuses on information architecture. It is the process of building interfaces that clearly communicates to the user what's important. UI design refers to graphical user interfaces and other forms of interface design.

Organic user interface

In human–computer interaction, an organic user interface (OUI) is defined as a user interface with a non-flat display. After Engelbart and Sutherland's graphical user interface (GUI), which was based on the cathode ray tube (CRT), and Kay and Weiser's ubiquitous computing, which is based on the flat panel liquid-crystal display (LCD), OUI represents one possible third wave of display interaction paradigms, pertaining to multi-shaped and flexible displays.

Apache Spark

Spark (ou Apache Spark) est un framework open source de calcul distribué. Il s'agit d'un ensemble d'outils et de composants logiciels structurés selon une architecture définie. Développé à l'université de Californie à Berkeley par AMPLab, Spark est aujourd'hui un projet de la fondation Apache. Ce produit est un cadre applicatif de traitements des mégadonnées (big data) pour effectuer des analyses complexes à grande échelle. En 2009, Spark fut conçu par lors de son doctorat au sein de l'université de Californie à Berkeley.

Utilisateur final

thumb|Infirmières utilisant un logiciel informatique aux États-Unis en 1987. En informatique, dans le cadre du développement d'un logiciel, lutilisateur final est la personne qui va utiliser ledit logiciel. Les développeurs peuvent avoir de la peine à comprendre les besoins de cet utilisateur.

Afficher plus

Séances de cours associées (55)

Intégration de systèmes et gestion d'interface

Explore la gestion de l'interface pour prévenir les défaillances du système et le rôle des normes dans la simplification de l'intégration.

Robots modulaires : Systèmes autoconfigurables

Déplacez-vous dans des robots modulaires auto-reconfigurés, en discutant des avantages, des concepts de conception, des stratégies de planification et des défis dans la planification des mouvements et les algorithmes de recherche.

Conception du formulaire : Gestion ServiceNow

Couvre la mise en page et la conception du formulaire dans ServiceNow, y compris la personnalisation du comportement et le contrôle de l'interface utilisateur.

WinCC OA Tutoriel: Lancement et vue synoptique

Démontre le lancement de WinCC OA et l'exécution d'une vue synoptique dans un projet semestriel.

Filtrer par lieu: Nouveau bouton

Présente un nouveau bouton pour filtrer le contenu par emplacement, améliorant l'expérience utilisateur et l'efficacité.

Afficher plus

Concepts associés (31)

Interface utilisateur

User interface design

Organic user interface

Apache Spark

Utilisateur final

Afficher plus