Scalabilité, persistance, cohérence

Cette séance de cours porte sur des sujets liés à l'évolutivité, à la persistance et à la cohérence des systèmes de bases de données et des applications à forte intensité de données. Il discute de techniques telles que partitionnement, architectures hors-cœur, exemples d'états intégrés, Apache Flink, Spark, Google Dataflow, et Millwheel. La séance de cours explore également des concepts comme la manipulation des défaillances, la reconfiguration des systèmes correctement, les transactions de traitement de flux, le traitement exactement une fois, et le traitement de flux distribué. Elle se décline en transactions au niveau de l'action, exécution déterministe, transactions au niveau de l'époque, commit synchrones, ordre causal dans les flux distribués, instantanés basés sur des coupures cohérentes, et instantanés alignés dans Flink. L'instructeur souligne l'importance de l'état pour relever les défis de l'évolutivité, de la persistance et de la cohérence, en mettant l'accent sur les compromis en matière de mouvement des données, d'équilibrage des charges, d'accès aux données locales, d'élasticité, de granularité des transactions et de cohérence.